Inteligencia artificial y educación

Introducción

Aunque comenzó a desarrollarse a mediados de la década de 1950, la inteligencia artificial (IA) se ha popularizado en los últimos años, especialmente con la eclosión de la IA generativa en 2022 (Ver cuadro 1)^1,2. En la denominada era de la implementación, se compara la llegada de la IA con la introducción de la electricidad¹. Se considera que tiene el potencial de revolucionar decenas de industrias diferentes y transformar el mercado de trabajo^1,3–5. Por ejemplo, según el INE, en España la emplean el 9,55 % de las empresas con más de diez trabajadores, porcentaje que se cuadriplica en las empresas de más de 250 empleados⁶. Además, la llegada de la IA generativa ha aumentado el potencial de automatización de los trabajos desempeñados por empleados con mayor nivel educativo². Según el personal experto, el cambio estructural no deriva solo de la disponibilidad de nuevas herramientas, sino de que la IA permite, si así se decide, delegar en las máquinas tareas complejas que antes eran dominio exclusivo de la inteligencia humana⁷.

El sector educativo se considera uno de los más sensibles a los cambios que causará la IA, tanto por las tareas que podrán ser automatizadas o complementadas por ella como por el potencial aumento de la productividad del personal educativo^4,8.

A pesar de las expectativas, es demasiado pronto para saber si será una tecnología realmente disruptiva⁹. Por el momento, pocos países la integran en sus sistemas educativos¹⁰. Sin embargo, el 82 % de los alumnos españoles de entre 14 y 17 años, el 73 % del profesorado y el 69 % de los padres y madres encuestados dice haber usado alguna vez alguna herramienta de IA, principalmente chatbots o asistentes virtuales¹¹. De hecho, el 40 % del alumnado afirma usar ChatGPT de manera frecuente¹¹.

Además, el 39 % del profesorado encuestado y el 57 % de los padres y las madres cree que la IA tendrá un impacto positivo en la educación, con solo un 27 % de los primeros y un 11 % de los segundos inclinándose por un efecto negativo o muy negativo¹¹. Sin embargo, la sociedad también percibe el riesgo de exclusión que pueden traer los modelos educativos digitales, donde se incluiría la IA, ante la falta de acceso a las infraestructuras necesarias para implementar estos modelos en algunos hogares¹².

La aplicación de IA en la educación supone un reto educativo y social que parte de una innovación tecnológica, lo que entronca con el debate sobre el uso de nuevas tecnologías en la educación¹³. A este respecto, un reciente informe de la UNESCO indica que escasean los datos fiables e imparciales sobre el impacto de la tecnología educativa, ya que esta evoluciona más rápido de lo que es posible evaluarla y en ocasiones la validación procede de las propias empresas desarrolladoras¹⁰. Entre el personal experto hay un gradiente de opiniones, desde los que se centran en los aspectos negativos que la tecnología tiene sobre el aprendizaje a los que la perciben como la revolución que transformará la educación¹³. En este debate, algunas voces apuntan que el ser humano siempre ha estado involucrado con la tecnología y recuerdan la controversia que causó la instalación de pizarras grandes en las aulas del siglo XIX, cuando los estudiantes se rebelaron contra la idea de resolver problemas en la pizarra sin la ayuda de los libros y los profesores tuvieron que descubrir su utilidad para dar instrucciones al grupo completo¹³. Así, cualquier herramienta, sea digital o no, se podría considerar tecnología y hay que decidir cuál es la mejor forma de usarla¹³.

El uso de la IA en educación conlleva beneficios y riesgos, sobre los que todavía hay incertidumbres^14,15 y falta de estudios sistemáticos^16–19. Sin embargo, algunos recalcan que la incertidumbre en materia tecnológica siempre es temporal e indican que el alarmismo distrae de los problemas reales sobre los que se debe meditar en el momento actual¹⁴. También indican que la IA es sustancialmente distinta y complementaria a la inteligencia humana y que el reto es establecer un ecosistema donde puedan cooperar^20,21. En esta línea, otros proponen huir de visiones utópicas o distópicas, que califican como un falso dilema entre la innovación o el retroceso^22,23.

Como alternativa, llaman a la acción para reflexionar sobre la mejor forma de equipar a las instituciones educativas no solo con las herramientas y las metodologías necesarias, sino también con las capacidades humanas, la mentalidad, la ética y los marcos regulatorios para apoyar la evolución de la educación²³. En esta vía, la celeridad con la que surgen nuevas tecnologías dificulta actualizar la legislación, las pedagogías y las formas de monitorización al ritmo preciso^24,25.

Para adaptar la educación y la formación a la era digital, que incluye la IA como una herramienta más, se están desarrollando planes a nivel europeo y nacional (Ver Cuadro 2).

Oportunidades de la IA para el alumnado

Existen múltiples aplicaciones basadas en IA cuyo propósito es apoyar al estudiantado en su aprendizaje^19,56. Por ejemplo, algunas resuelven las operaciones matemáticas que el usuario escanea paso a paso, otras interpretan los esquemas del estudiante y ofrecen retroalimentación, otras ayudan a escribir o corregir código, a mejorar dibujos o animarlos^19,57,58. También hay software educativo para aprender idiomas, traducir textos o resolver las dudas del alumnado^19,57,58. Respecto a su uso en las aulas, el Ministerio de Educación, Formación Profesional y Deportes ha publicado un documento orientativo que analiza el grado de cumplimiento de la legislación europea en materia de protección de datos de carácter personal de más de 70 aplicaciones de IA con versión gratuita⁵⁸. Entre las más populares se encuentran las herramientas de IA generativa y las de aprendizaje adaptativo.

Herramientas de IA generativa

A pesar de lo extendido de su uso entre los estudiantes¹¹, las aplicaciones más populares están recomendadas solo a partir de los 13 años⁵⁹ y, en algunos casos, de los 18⁶⁰. Como el contenido generado puede no ser apropiado, los menores de 13 años necesitan consentimiento paterno para usar ChatGPT, aunque ninguna de las herramientas tiene un mecanismo de verificación de edad⁶⁰.

Los estudiantes adultos o con consentimiento pueden emplear IA generativa para resumir, esquematizar, destacar palabras clave, obtener definiciones y ampliar una explicación, expresar una idea de manera alternativa, buscar bibliografía básica, estructurar trabajos, traducir o simplificar textos, revisar su estilo gramatical y formato, generar cuestionarios de autoevaluación, corregir código, redactar su currículum vitae, actuar como oponente para preparar debates, generar imágenes, presentaciones etc. ^33,61–64. Pero han de ser conscientes del riesgo de inexactitud, la falta de profundidad del contenido y la necesidad de supervisión del resultado^33,61–64. Se recomienda que no se queden con la primera respuesta y que aprendan a dialogar con la aplicación utilizando instrucciones efectivas⁶¹. Para un uso ético, los estudiantes deben respetar las normas establecidas por el profesorado respecto a las herramientas de IA generativa, referenciarlas si se han usado, desarrollar las habilidades críticas necesarias, según la etapa educativa, para identificar los sesgos o la información falsa en los resultados generados, evitar proporcionar información personal y no copiar literalmente los textos producidos de forma automática, sin un análisis que lleve al aprendizaje⁶¹ (Ver Cuadro 3).

Las instituciones educativas tienen la tarea de valorar la idoneidad de estas herramientas en educación²⁴.

Herramientas para personalizar el aprendizaje

Hace décadas se demostró que las tutorías individuales mejoraban el rendimiento académico de los estudiantes y reducían las diferencias entre ellos⁷⁸. Aun así, incluso en clases pequeñas, personalizar el contenido para cada estudiante supone un gran esfuerzo^19,57,78. Sin embargo, desde la década de 1970, se han desarrollado plataformas basadas en IA que permiten adaptar los itinerarios de aprendizaje, basándose en el conocimiento previo de cada estudiante, en sus debilidades y fortalezas⁵⁷. Con los datos de entrenamiento y los resultados que se generan con el uso, el aprendizaje automático permite crear y actualizar modelos personalizados, o un modelo de estudiante medio, que se utilizan para recomendar nuevos itinerarios que respondan a su progreso⁵⁷. Algunos algoritmos, cuando se trata de asignaturas complejas, son capaces de generar trillones de rutas diferentes⁵⁷.

Estas plataformas, junto con los tutores virtuales, permiten que los alumnos reciban feedback inmediato a cualquier hora sin temor a ser juzgados por las respuestas. Además, amplían el tiempo de aprendizaje más allá de la escuela⁷⁹, señalan al profesor las partes donde los estudiantes tienen más dificultades y utilizan recursos elaborados como animaciones, representaciones 3D o grabaciones con la pronunciación correcta⁵⁷. También, hay opciones dirigidas a alumnos con discapacidad o dificultades en el aprendizaje, como la dislexia^80–83. Aunque algunos informes indican que los estudiantes con discapacidad están en desventaja cuando se utilizan tecnologías digitales debido a trabas en la accesibilidad, otros señalan que es necesario trabajar para llevar las nuevas tecnologías a todos^19,84.

En la otra cara de la moneda, la individualización del aprendizaje supone ignorar su componente social y centrar el objetivo en el rendimiento académico^57,85. Se desconocen las consecuencias que esto puede tener en el bienestar psicológico del estudiante y en su habilidad para autorregularse, ya que estos métodos precisan más autocontrol y disciplina^57,85. Además, para predecir los siguientes pasos del itinerario, el modelo se basa en las respuestas del estudiante medio o en datos del pasado del estudiante⁵⁷. Sin embargo, las personas están en continua evolución y su comportamiento y circunstancias pueden no ser predecibles⁵⁷.

Por tanto, el algoritmo puede tener dificultad para interpretar las fluctuaciones de la normalidad o incluso registrarlas, ya que muchas variables con relevancia educativa (por ejemplo, conversaciones en el aula) no están a su alcance⁵⁷.

El aprendizaje personalizado a través de tecnologías de automatización también podría agrandar las diferencias entre los estudiantes con mayor y menor rendimiento académico e incluso encasillarlos (el conocido en psicología como efecto Pigmalión o profecía autocumplida), al exponerlos mayoritariamente solo a contenido que les vaya a gustar o con el que se sientan cómodos⁵⁷. Además, el alumnado puede descubrir sus debilidades y sabotearlos. Por ejemplo, los estudiantes pueden responder erróneamente para obtener tareas más fáciles que puedan terminar en menos tiempo⁸⁶. También, resolver las tareas de un compañero y que el sistema infiera erróneamente que este progresa y proponga problemas más difíciles que terminen desmotivándolo⁸⁶.

A pesar de las incertidumbres, algunas de estas herramientas han demostrado su eficacia, frecuentemente en la enseñanza de Matemáticas, aunque a menudo en estudios cortos, con investigaciones en universidades o institutos y menos evidencia en etapas más tempranas o en otras áreas como la lectura y la escritura^19,87–90. Otros apuntan que es necesario investigar si la mejora proviene del uso de la herramienta en sí o de recibir instrucción más tiempo⁹⁰. Sus detractores esgrimen que solo es un parche que desvía recursos de la raíz del problema: la necesidad de más profesores cualificados¹⁹.

Oportunidades de la IA para el personal educativo

Algunos señalan que los promotores de la IA pretenden sustituir al profesorado o relegarlo a tareas menores¹⁹. Otros en cambio esperan que la tecnología libere a los docentes de algunas tareas para que puedan centrarse en otras más relevantes¹⁹. Según esta visión, el objetivo de utilizar IA para ayudar al profesorado no es sustituirlo por la tecnología sino ampliar sus capacidades a través de nuevas herramientas, el llamado maestro aumentado⁵⁷.

Herramientas de IA generativa

Con los prompts adecuados y una revisión posterior, los profesores pueden ayudarse de esta tecnología para elaborar planes de sus asignaturas, identificar los objetivos clave de aprendizaje, generar rúbricas e infografías, resumir o adaptar temas para alumnos con diversidad funcional o distinto nivel, transformar textos a diferentes estilos, encontrar nuevos recursos educativos, idear pruebas, generar audio y vídeo a partir de texto y otros usos listados anteriormente^{61,64,79,91,92}.

Puede ser interesante utilizarlas en clase para hacer ver a los alumnos sus limitaciones, por ejemplo, identificando los errores⁵⁷.

Herramientas para evaluar y corregir

El Consenso de Pekín sobre IA y educación, auspiciado por la UNESCO, propone aprovechar el potencial de los datos para evaluar las distintas competencias de los estudiantes, siempre que se mitiguen los riesgos asociados¹⁶. También usar la IA para apoyar la evaluación a gran escala y a distancia¹⁶. Los defensores de utilizar la IA para corregir proponen que, además de ahorrar tiempo al profesorado, podrían obtenerse calificaciones más objetivas y prolongar el período de evaluación, lo que disminuiría las dinámicas orientadas a preparar las pruebas^93,94. Sin embargo, la IA puede estar sesgada y no ser justa corrigiendo, lo que perpetuaría desigualdades pasadas^19,93. Además, el análisis de la IA puede no tener la profundidad de interpretación de los humanos^19,93. Estas características han llevado a considerar estos sistemas como de alto riesgo (ver Regulación más adelante)⁹⁵. Además, someter a una persona a una decisión automatizada con efectos jurídicos o significativos ya está prohibido en el artículo 22 del Reglamento General de Protección de Datos si no hay ciertas garantías, como la intervención humana cualificada⁹⁶.

Una vía intermedia consistiría en usar la IA para apoyar al docente en las correcciones. De esta forma, la tecnología ofrecería sugerencias y atajos, pero la calificación la realizaría el profesorado¹⁹. También podría utilizarse la IA para guiar al alumnado durante la evaluación continua, corrigiendo los primeros borradores de sus trabajos para poder darles indicaciones antes de que envíen la versión final¹⁹.

Herramientas para optimizar la formación de equipos

El alumnado aprende más, retiene la información por más tiempo y está más satisfecho con sus clases cuando trabaja en equipo y sigue dinámicas de aprendizaje activo^97–99. Para agruparlos de la manera más equilibrada posible, el Consejo Superior de Investigaciones Científicas (CSIC) ha desarrollado el programa informático gratuito Eduteams⁹⁷. Utilizando distintos algoritmos y basándose en la personalidad, género y competencias del alumnado, distribuye a los estudiantes en equipos que tengan todas las competencias necesarias para desarrollar una tarea y a la vez sean diversos en cuanto a personalidad y género. El objetivo es que todos los grupos sean igual de capaces de desempeñar el trabajo y que los participantes puedan aprender unos de otros^97,100. Los equipos que hace la IA parecen funcionar mejor que los que se agrupan por métodos tradicionales^101,102.

Herramientas para saber cómo se aprende

Los investigadores en el campo del aprendizaje analítico obtienen datos sobre cómo aprende el alumnado para que el profesorado (o incluso otros actores implicados como alumnos, padres, instituciones, etc.) pueda tomar decisiones que faciliten el aprendizaje^19,103. Por ejemplo, el resultado del análisis puede llevar a modificar el diseño de un curso, influir en cómo los estudiantes revisan el contenido, reconocer aspectos que les resultan difíciles, identificar personas en riesgo de abandonar el curso, saber cómo van en otras asignaturas, predecir la nota final, tener una impresión del rendimiento de toda la clase o permitir al alumno saber cómo progresan sus compañeros etc.^62,104–111.

Los datos recogidos a través de distintas herramientas digitales se analizan y modelan, a menudo con IA para hacer predicciones^112,113. Por ejemplo, la fuente de datos pueden ser plataformas de aprendizaje adaptativo que informen al profesor del progreso y dificultades de sus alumnos con los deberes, para que pueda adaptar sus clases en consecuencia^114,115.

Es frecuente que los docentes no estén implicados en la investigación sobre cómo se aprende, lo que dificulta la interpretación de los resultados, muy dependiente del contexto¹¹⁶. Algunos investigadores proponen que una parte del profesorado se especialice en obtener datos para colaborar con ellos. Además, indican que para poder escalar los resultados del aprendizaje analítico, necesitan integrar datos que provengan de diversas fuentes y que estos sean interoperables^116,117.

Herramientas para automatizar tareas rutinarias

El profesorado podría utilizar herramientas de IA para contabilizar la asistencia y reducir su carga de tareas administrativas⁷⁹.

Estas también podrían ayudar a los servicios administrativos e institucionales, por ejemplo para apoyar en los procesos de admisión o mediante chatbots monitorizados que resuelvan las dudas de los aspirantes en horario ininterrumpido^{19,64,118,119}. De igual manera, pueden usarse para confeccionar horarios, asignar espacios, escribir recordatorios para las familias o para planificar el calendario de exámenes^93,120.

Riesgos del uso de la IA en el ámbito educativo

La IA, aunque tiene sus propias especificidades, entra dentro de la tecnología educativa¹³. Aunque no hay tanta evidencia sobre su uso en educación, sí hay más sobre la tecnología educativa en general^19,57. En la literatura científica, se ha observado que hay dos parámetros que influyen en el éxito de las intervenciones: la dedicación y formación del implementador y el tamaño de la muestra¹²¹. Respecto a este último, la mayoría de las experiencias se investigan a pequeña escala y son una prueba de eficacia más que de efectividad en condiciones menos controladas. El efecto positivo suele diluirse al escalar, aunque también se conocen intervenciones exitosas con millones de alumnos^10,121.

Un experimento con tecnología educativa a gran escala fue la educación durante la reciente pandemia cuando, debido al cierre repentino de los centros educativos, las clases se impartieron en remoto utilizando medios digitales¹²². Aunque estas decisiones permitieron a muchos estudiantes continuar el curso, otros quedaron excluidos¹²². En países como España, se estima que se perdió un 35 % del aprendizaje en comparación a un año normal y que estas pérdidas fueron aún mayores para menores de entornos desfavorecidos^122,123. En este contexto tan difícil, también empeoró la salud mental y física, y las relaciones humanas se remplazaron por las mediadas por máquinas¹²². En estas circunstancias extremas, los estudios señalan que la tecnología no fue capaz de sustituir a las escuelas¹²².

Respecto a la IA, aún no hay suficiente evidencia sólida e independiente sobre los efectos de introducirla en la educación y su eficacia para mejorar el aprendizaje^19,57,120, por lo que las afirmaciones que reivindican su poder transformador en este ámbito son todavía aspiracionales¹⁹.

Para algunos, la tecnología no es ideológicamente neutra, sino que acarrea unos valores que no pueden separarse del contexto social y político en el que opera^{22,32,124,125}. Al ser un producto social, sus efectos e impactos no pueden desvincularse de los objetivos de las políticas educativas, que pueden priorizar mayor equidad y justicia social, o mayor excelencia y diferenciación^22,124,126. Para decidir cómo encaja la IA en el sistema educativo y limitar sus riesgos e impactos indeseados, se precisa contar tanto con los tecnólogos como con los responsables de política educativa, los especialistas en ciencias sociales y la comunidad educativa, para abrir y diversificar el debate público¹²⁴. Esto implica conocer cómo las personas usan esta tecnología, qué recursos se necesitan para producirla, qué actores desarrollan y comercializan las aplicaciones y qué formas de organización educativa conllevan¹²⁴. En el contexto educativo se traduce en contar con el profesorado, el alumnado, los gestores y expertos en educación, así como evaluar si el objetivo que persigue la introducción de la IA promueve su bienestar y una educación inclusiva, equitativa y de calidad¹²⁷.

A continuación, se describen una serie de riesgos asociados al uso de IA en educación, algunos comunes a otras tecnologías educativas.

Privacidad y protección de datos

El Reglamento General de Protección de Datos (RGPD) protege los derechos y las libertades fundamentales de las personas físicas en relación con las actividades de tratamiento de datos de carácter personal⁹⁶.

Tendrán que someterse al RGPD los tratamientos que incluyan operaciones implementadas con sistemas de IA que tratan datos personales, generan perfiles de personas físicas o toman decisiones sobre ellas¹²⁸. En este sentido, ha de someterse a los principios de: licitud, lealtad y transparencia (que los datos se traten solo si lo ampara una base legal, sin llevar a error o a engaño al interesado, al que se debe informar de manera clara y concisa), limitación de la finalidad (que se recojan con fines determinados explícitos y legítimos), minimización de datos (recoger los mínimos necesarios para el propósito de la actividad), exactitud, limitación del plazo de conservación (que se pueda identificar al interesado solo el tiempo necesario para los fines acordados) y seguridad y confidencialidad (que se garantice la seguridad de los datos) y responsabilidad proactiva⁹⁶.

Sin embargo, la realidad es diferente. Por un lado, en algunas herramientas de aprendizaje falta información sobre el tratamiento de datos, como qué datos se recogen (pueden ser personales, académicos, de asistencia u otros más invisibles como los clics del alumno, el tiempo en la página, las respuestas que se reescriben etc.), dónde se almacenan, por cuánto tiempo, cómo se garantiza la calidad de los datos generados, qué intervinientes participan en los tratamientos o para qué fines se usarán^19,76,129. También hay cierta opacidad que dificulta validar si efectivamente se cumplen los principios mencionados¹⁹.

Por otra parte, los sistemas que incluyen IA pueden aumentar los riesgos para los derechos y libertades de alumnos, profesores y familiares, así como de seguridad¹³⁰ o presentar algunos específicos¹²⁸. Asimismo, los modelos basados en aprendizaje automático suelen funcionar mejor con más datos de los estrictamente necesarios, lo que dificulta establecer el límite del principio de minimización¹³⁰.

En la misma línea, además de los datos que se le provean, algunos algoritmos pueden inferir información, verdadera o errónea, que vulnere la privacidad de los usuarios e incluso pueda resultar en discriminación^15,19.

Hay que tener en cuenta que el tratamiento de datos para el uso de IA en las aulas no puede basarse en el consentimiento de un menor de 14 años y generalmente no puede fundarse en el consentimiento, que no es apropiado cuando hay un desequilibrio de poder entre las partes y puede retirarse en cualquier momento^86,131. Como todo tratamiento de datos personales, si no está basado en el consentimiento solo podrá llevarse a cabo si es necesario para cumplir determinados propósitos: ejecutar o perfeccionar un contrato, atender el interés público o cumplir una obligación legal^86,96. En los últimos dos casos, dicho propósito debe estar establecido en una norma con rango de ley^86,96.

Existen mecanismos para disminuir el riesgo, como ejecutar las aplicaciones en el propio dispositivo en lugar de en un servidor web, usar versiones que no sigan aprendiendo, convertir los datos en menos legibles, agregarlos, o anonimizarlos^128,130.

Si el tratamiento que emplea IA implica un alto riesgo, es obligatorio que sea realmente idóneo (cumpla objetivamente su propósito), necesario (no haya otra forma menos lesiva de conseguir el propósito) y proporcional (los beneficios para la sociedad y el interesado compensan la intrusión en los derechos y libertades)⁹⁶.

Asimismo, la determinación de la calidad y confiabilidad de los productos que utilizan IA no puede basarse únicamente en las manifestaciones de fabricantes y distribuidores: es fundamental que, como cualquier otro desarrollo tecnológico, pasen exámenes previos ejecutados por terceros y que se desarrollen marcos de referencia para acreditar el cumplimiento del RGPD¹²⁸.

Vigilancia

Si las aplicaciones de IA recogen constantemente datos sobre su desempeño académico, los estudiantes pueden sentirse vigilados, expuestos y cambiar sus comportamientos, inhibirse, autocensurarse o actuar como creen que se espera de ellos^76,86. Algunos estudios advierten de que disponer de tantos datos puede derivar en relaciones en el aula basadas en la desconfianza, el control y la supervisión^23,132.

Sesgos

Seleccionar adecuadamente los datos para el entrenamiento de la IA es un paso clave para su funcionamiento ético: si no están equilibrados, la herramienta puede reproducir estos sesgos durante su funcionamiento^{64,76,133,134}. Por ejemplo, si se ha entrenado mayoritariamente con rostros de hombres blancos, no será tan eficiente reconociendo rostros de mujeres, especialmente mujeres no blancas¹³⁵. Es más, si hay un grupo sobrerrepresentado, la IA puede reconocer patrones o establecer relaciones de causalidad erróneas en su beneficio. Por ejemplo, puntuar mejor los currículums de hombres al inferir que ser hombre es preferible en determinados puestos¹³⁵.

No se ha hecho público el conjunto de datos que se ha utilizado para entrenar los principales modelos de lenguaje, aunque se sabe que incluye una mayoría de contenido sin seleccionar recogido directamente de internet¹³⁶. Uno de estos conjuntos de datos, el llamado Common Crawl, ha servido para entrenar a los principales modelos y contiene un porcentaje no desdeñable de contenido no deseado, que incluye discurso de odio y contenido sexual explícito incluso después de haber sido filtrado¹³⁶. En los textos e imágenes producidos por estos modelos se han detectado sesgos que llevan a generar contenido sexista, racista o a perpetuar y replicar determinados estereotipos^15,57,76.

Los prejuicios también pueden estar en los algoritmos y en la apariencia física, voz o nombre que adopte el sistema. Por ejemplo, la mayoría de los asistentes virtuales para los estudiantes en distintas universidades españolas tiene nombre y apariencia de mujer¹³⁵.

Además de la recomendación de usar datos de calidad, existen técnicas de diseño centrado en la persona para favorecer el desarrollo ético de los productos de software^137,138. Aquí se incluyen, por ejemplo, protocolos para diseñar productos más inclusivos en cuanto al género¹³⁹, instrucciones específicas para neutralizar variables discriminatorias¹³⁵ o utilizar la IA como herramienta para anonimizar perfiles en los procesos de selección o eliminar la información que permita la identificación personal¹³³.

Efecto filtro

La IA generativa no es un buscador, sino que actúa como un filtro según los datos con los que se ha entrenado^57,74. Puede no tener acceso a todo el conocimiento de un tema (por ejemplo, incluir artículos de unos autores y de otros no o excluir el conocimiento no digitalizado), lo que empobrece la realidad para los usuarios y sesga el conocimiento^57,74. Por estas razones, algunos expertos señalan la conveniencia de que universidades y otras entidades públicas desarrollen modelos más transparentes y confiables, abiertos y sin ánimo de lucro^74,140.

Desconexión social

La escuela, además de un espacio académico, es un espacio de socialización insustituible donde se aprende con y de los otros y donde el vínculo con el profesorado es central para el éxito educativo^141,142. Como con otras tecnologías, el uso de dispositivos de IA por parte de los estudiantes puede llevar a que interaccionen menos con sus compañeros y profesores^120,122,143. Priorizar la relación del alumnado con la tecnología puede debilitar el aspecto social del aprendizaje^85,122,144 y empobrecer la experiencia educativa, al aumentar el aislamiento, la soledad y la desconexión¹⁴³.

Sin embargo, algunos expertos apuestan por el diseño de aplicaciones de IA alineadas con los valores sociales, que permitan al alumnado beneficiarse de la tecnología sin remplazar la interacción humana¹⁴⁴. Esta corriente sugiere que las herramientas de IA son una oportunidad para planificar actividades en las que los estudiantes puedan establecer sus propios objetivos y trabajar en equipo en proyectos abiertos¹⁴⁴.

Efectos en las capacidades humanas

Más allá de los efectos de usar IA en la experiencia educativa, todavía se desconoce su impacto en el desarrollo neurológico, cognitivo y emocional de los escolares^19,145. Preocupa, por ejemplo, el efecto que puede tener la IA generativa en habilidades como la creatividad, la curiosidad, el pensamiento crítico o la capacidad de resolver problemas, así como la posibilidad de generar dependencia tecnológica^57,120,146. En algunos casos, puede usarse para saltarse el proceso de aprendizaje y obtener directamente el producto final⁷³. También cabría la posibilidad de que la IA merme las funciones del profesorado, y sean relegados a facilitadores de la tecnología y monitores del comportamiento del alumnado^57,120.

No obstante, un estudio con alumnado universitario reveló que la IA generativa facilita y acelera la generación de ideas y otros aspectos de la creatividad¹⁴⁷. Como contrapunto, algunos de los participantes no conseguían aportar alternativas a las propuestas por la IA y sintieron que la tecnología hacía el trabajo por ellos¹⁴⁷. Además, algunos no veían las sugerencias de la IA como originales, sino como un refrito de ideas ajenas, lo que subraya la necesidad de supervisión y refinamiento de los resultados¹⁴⁷. A pesar de su utilidad, otra investigación indica que los estudiantes tienden a depender de la IA en lugar de aprender de ella, lo que subraya la necesidad de equilibrar su uso¹⁴⁸.

Por otra parte, un estudio sobre cómo utilizan la IA generativa los estudiantes de doctorado, detectó que los que usaban la IA para mejorar sus textos escribían mejor que aquellos que no la usaban o la utilizaban únicamente como fuente de información suplementaria¹⁴⁹. En esta línea, la comunidad experta recomienda desarrollar y utilizar herramientas que mejoran las habilidades humanas, más que utilizarla como un buscador⁷⁹. Proponen crear con la IA en lugar de dejar que la IA cree por los humanos¹⁵⁰.

Inexactitudes, errores y exceso de confianza

La IA generativa inventa información que puede parecer verídica⁷⁶. Esto puede llevar a generar materiales educativos de baja calidad o a respuestas incorrectas del alumnado¹²⁰. Un estudio reciente con preguntas sobre programación identificó que ChatGPT ofrecía información incorrecta en el 52 % de las respuestas¹⁵¹. Esta inexactitud es una de las principales preocupaciones de los profesores¹⁵². Sin embargo, en otra encuesta, solo el 56 % de los alumnos consideraba que a veces puede proporcionar información falsa^11,32. Además, a menudo la desinformación puede pasar desapercibida¹⁵¹.

También se ha observado que puede impactar negativamente en la toma de decisiones porque las personas tienden a confiar en el criterio del algoritmo y no lo ignoran cuando es erróneo^153,154, incluso si el usuario tiene información sobre cómo decide el algoritmo¹⁵³.

Estos datos subrayan la necesidad de regulación y estándares de calidad altos en los sistemas que puedan condicionar las decisiones humanas (por ejemplo, en orientación académica). Al mismo tiempo, es clave desarrollar el pensamiento crítico del alumnado y fomentar su curiosidad por saber más^76,153.

Derechos de autor y plagio

Los datos que se han utilizado para entrenar a los modelos de lenguaje de gran tamaño son públicos, pero se sabe que también pueden acceder a contenido protegido por derechos de autor y resumirlo o utilizar fragmentos de fotografías con marca de agua para componer una nueva imagen^57,155. Asimismo, algunas licencias de copyright permiten usar el contenido si se cita la fuente original, algo que los modelos pueden hacer o no⁵⁷. Normalmente la IA no reproduce los textos literalmente, sino que los genera a partir de las fuentes¹⁵⁵. Sí puede reproducir frases comunes que no generan derechos. Sin embargo, puede darse el caso de que en el entrenamiento se repita mucho algún contenido protegido, por ser muy frecuente, y que la IA considere que es una respuesta natural y lo reproduzca sin modificarlo¹⁵⁶. Así, en teoría el estudiante podría incurrir en plagio o violar derechos de autor si usa textos o imágenes procedentes de la IA sin modificar, que en origen estén protegidos, sin acreditarlo⁷⁴. Algunas grandes compañías han denunciado la reproducción de sus contenidos sin permiso, pero todavía no hay sentencias al respecto^155,157,158.

En este sentido, el Real Decreto 24/2021 indica que es lícito utilizar contenidos protegidos por derechos de propiedad intelectual para la minería de datos siempre que la finalidad sea la investigación o los usos comerciales, a menos que el titular rechace explícitamente que su contenido se utilice para este fin¹⁵⁹. Aun así, según el personal experto, todavía hay incertidumbre sobre cómo se van a interpretar estos supuestos respecto a la IA generativa.

Actualmente, la obra generada únicamente por IA no es protegible por derechos de autor, ya que por ley solo los humanos pueden ser autores¹⁶⁰. Sin embargo, todavía no hay guías claras sobre cuánto hay que modificar un contenido para poder reclamar algún derecho^57,161. Además, como la IA generativa puede tomar textos de otras personas, la autoría y el plagio ya no son tan sencillos de definir como antes (alguien ha sido autor o no, se ha utilizado una fuente o no)_74,162. Se discute por ejemplo si la IA generativa podría generar derechos como el sui generis sobre bases de datos¹⁶³.

Comercialización de la educación

La investigación en IA se realizaba mayoritariamente en las universidades hasta 2014, cuando aumentaron las colaboraciones con las empresas¹⁶⁴. Sin embargo, el auge del aprendizaje profundo está inclinando la balanza hacia el dominio empresarial, que cuenta con gran financiación, potencia de cálculo, grandes conjuntos de datos e investigadores altamente capacitados^41,165. De generalizarse el uso de las aplicaciones de IA en educación, podría tratarse de una privatización encubierta, ya que la mayoría son productos comerciales¹⁹.

Por otro lado, las compañías pioneras y más exitosas están concentradas en unos pocos países, mayoritariamente de habla inglesa, lo que dificulta la diversidad cultural y puede llevar a que estas compañías determinen y homogeneicen los contenidos que se estudian^19,57. Además de la influencia que estas empresas pueden tener en las sociedades del futuro de los países usuarios, también se produce una brecha entre los países con acceso a esta tecnología y el resto^1,19,57.

En otro plano, algunos también apuntan la necesidad de salvaguardar la libertad académica de los profesores que utilizan plataformas educativas en la universidad y la propiedad intelectual sobre el contenido que suben¹²⁹.

Como solución, la comunidad experta propone promover recursos educativos abiertos y el desarrollo de herramientas públicas que permitan la independencia respecto a las empresas^19,140.

Agrandar la brecha digital

Para usar la IA se requiere una infraestructura digital básica, con ordenadores y acceso estable a internet¹⁵. No obstante, el acceso a estos recursos es desigual, como evidenció la pandemia^15,58, aunque podría paliarse con sistemas de préstamo, reciclaje y reacondicionamiento de dispositivos en los centros¹²⁰. También son desiguales las competencias digitales de las familias¹²⁰. Además, la mayoría de las aplicaciones de IA son gratuitas al principio para después requerir suscripción de pago, necesaria para acceder al menos a la versión más potente de la tecnología⁷⁶. Esto puede resultar en desigualdades entre alumnos y centros. Por otro lado, las herramientas gratuitas basan su negocio en los datos recabados o en la publicidad^19,76,143.

Para favorecer la igualdad, la comunidad experta llama a desarrollar programas de bajo coste para el usuario, fáciles de usar, que unifiquen las mejores características y que no requieran demasiado conocimiento técnico para su uso⁷⁹.

Gasto energético y coste ambiental

Los sistemas de IA, especialmente los de IA generativa, son costosos para el medio ambiente: precisan energía y materias primas críticas, emiten CO₂ , consumen agua para enfriar los servidores, ocupan espacio físico y generan desechos electrónicos^57,166–168.

Una parte significativa del gasto energético proviene del entrenamiento de los modelos. Por ejemplo, se estima que una persona emite unas 5 toneladas de CO₂ (o gases equivalentes) al año, mientras que entrenar un modelo grande basado en redes neuronales emitió 284 toneladas⁴¹.

Usarlos también deja una huella de carbono, especialmente importante en la generación de imágenes^166,169. Incluso cuando se trata de texto, 1000 respuestas equivaldrían en los modelos más eficientes al 9% de la energía necesaria para cargar un móvil inteligente¹⁶⁶. Así, aunque cada respuesta puede requerir una cantidad relativamente pequeña de energía, el consumo total se acumula exponencialmente cuando se utiliza en todo el mundo millones de veces al día¹⁶⁶. Además, los grandes modelos de lenguaje siguen aumentando de tamaño, lo que multiplica su consumo y requerimientos^41,168,169. En este sentido, otros argumentan que entrenar mejor a los modelos ahorra energía a largo plazo, ya que son más eficaces y gastan menos energía cada vez que se usan¹⁷⁰.

Otras estrategias para que la IA contamine menos serían reutilizar modelos en vez de entrenarlos desde cero, utilizar fuentes de energía renovables y decidir en qué situaciones se necesita y con qué capacidades^41,167,170.

El encaje de la IA en el sistema educativo

A continuación, se exploran algunas alternativas para dotar a la sociedad con las herramientas y capacidades necesarias para relacionarse con la IA de manera efectiva, especialmente en el plano educativo.

Alfabetización en IA

La alfabetización digital no es un tema de futuro sino de presente, pues la sociedad digital ya configura la forma en que interpretamos, vivimos y entendemos el mundo así como la experiencia de estar en la escuela para los estudiantes¹⁷¹. No obstante, disponer de aparatos tecnológicos no garantiza que los estudiantes adquieran los conocimientos que precisarán para estudiar o trabajar. No se trata solamente de aprender a usar la tecnología, sino de comprenderla críticamente y capacitar a las personas para participar en la sociedad digital actual^171,172.

En concreto, aprender los fundamentos de la IA es necesario para que los estudiantes y otros actores del sistema educativo puedan usarla de forma segura, entiendan la tecnología, sus riesgos y beneficios y cómo les afecta¹⁷³, además de para desmitificarla y evitar errores de concepto (por ejemplo, atribuirle en exceso rasgos o cualidades humanas¹⁷⁴). También es esencial para despertar vocaciones y cubrir los puestos de trabajo especializado que se requerirán en los próximos años¹⁷³. A este respecto, en la Unión Europea, la oferta académica de másteres en IA está liderada por Alemania, Países Bajos y Suecia, con España en una posición intermedia¹⁷⁵. Sin embargo, recientemente ha aumentado el número de másteres ofertados, tanto genéricos como especializados y diversas universidades han iniciado grados en IA¹⁷⁵.

El pensamiento computacional, el lenguaje de programación y la robótica educativa, ya presentes en los currículos de educación infantil, primaria y secundaria^176–178, suponen una buena base para facilitar la comprensión de la IA^173,179. Al tratarse de un campo nuevo para la educación preuniversitaria y en continuo cambio, por el momento solo 15 países han aprobado o están desarrollando currículos para su enseñanza en estas etapas¹⁸⁰. En España, su introducción reglada sigue pendiente¹⁸¹. Es necesario definir qué debe aprender el alumnado en este contexto¹⁸². A este respecto, desde Europa y el Ministerio de Educación se recopilan ya escenarios educativos y ejemplos prácticos de su uso^120,179. A nivel internacional se está desarrollando un marco de referencia sobre el plan de estudios en IA¹⁸⁰.

Mientras que, en etapas tempranas, pueden utilizarse aproximaciones sin ordenadores o sin usar la IA para formar al alumnado, en España, una iniciativa particular ha desarrollado una plataforma denominada LearningML, que permite enseñar las bases del aprendizaje automático y reflexionar sobre su uso responsable^173,183 (Ver Cuadro 4).

Otro aspecto relevante es enseñar a los alumnos a comprender y analizar datos, que son la base de las aplicaciones de aprendizaje automático, así como estadística, matemáticas e informática¹⁷⁴.

Actualmente, la evidencia científica internacional sobre las experiencias de enseñanza del aprendizaje automático en la educación preuniversitaria es escasa y centrada mayoritariamente en la etapa del instituto como parte de la educación formal y asociada a actividades informáticas, aunque se espera que se publiquen investigaciones más variadas en los próximos años¹⁸⁸. En los estudios también se evidenció la falta de preparación del profesorado para enseñar aprendizaje automático¹⁸⁸. Este aspecto es clave, pues el éxito de las experiencias parece depender del grado de competencia e interés en el tema del docente, lo que subraya la necesidad de investigar sus necesidades¹⁸⁸.

Asimismo, muchos estudios no detallan el grado de adquisición de conocimiento de los estudiantes tras el programa¹⁸⁹. Conviene desarrollar criterios de evaluación para medir el grado de alfabetización en IA y qué implica esta alfabetización en los distintos niveles preuniversitarios¹⁸⁹.

Formación del profesorado

Respecto a la preparación de los docentes, es importante que dispongan del conocimiento necesario para utilizar y adaptar las herramientas de IA según sus prioridades didácticas y pedagógicas²³.

Algunos estudios preliminares indican que el profesorado preuniversitario de España e Iberoamérica conoce y usa poco las herramientas de IA¹⁹⁰. En esta línea y ante la rapidez con que esta avanza, una mayoría del claustro no se cree preparado para integrarla en su profesión, cree que necesita formación y aduce falta de tiempo para ponerse al día o preocupaciones acerca de sus riesgos^62,174,191.

En este sentido, según algunas investigaciones en curso, la opinión respecto al uso de la IA puede volverse más positiva tras un curso de capacitación¹⁹². El Instituto Nacional de Tecnologías Educativas y de Formación del Profesorado (INTEF) ofrece formación para el profesorado en distintos formatos, como un complemento que mejora la competencia digital docente¹⁹³. El profesorado necesita distintas competencias según el objetivo: enseñar cómo interactuar de manera segura con la IA, abordar la IA desde un enfoque técnico o utilizarla con fines educativos¹⁹⁴. Además, el trabajo manual y de fabricación tecnológica fomenta la comprensión y favorece el pensamiento crítico del alumnado¹⁷¹, por lo que algunos expertos sugieren incluso que los profesores desarrollen actividades de construcción de tecnologías sencillas en el aula. Esto implica que puedan servirse de recursos educativos abiertos fácilmente adaptables o grupos de apoyo y asesoramiento. Para ello necesitan herramientas para experimentar con la IA y tiempo y recursos para pensar individual y colectivamente en proyectos estables^79,195.

Regulación para el uso de IA

Aunque hay aspectos de la lA que ya están regulados por otras leyes, como el tratamiento de datos por el RGPD, el Reglamento de IA del Parlamento Europeo y del Consejo, entrará mayoritariamente en vigor en 2026 sin necesidad de trasposición. Según este reglamento, incorporar sistemas de IA en la educación es importante para promover una educación digital de alta calidad y para permitir a estudiantes y profesores adquirir y compartir las competencias digitales necesarias⁹⁵.

Con esta norma, para evitar vulnerar la privacidad de los estudiantes y perpetuar patrones históricos de discriminación, se prohíben los sistemas de reconocimiento de emociones en la educación, excepto si tienen uso terapéutico⁹⁵. Además, se considerarán sistemas de alto riesgo los que pueden determinar el curso educativo y profesional de la vida de una persona e influir en sus posibilidades futuras⁹⁵. Entre ellos:

• Sistemas que determinan admisiones o asignan personas a programas educativos o instituciones⁹⁵.
• Sistemas que evalúan el grado de aprendizaje o el nivel educativo e influyen en el título que los alumnos van a recibir o en el nivel educativo al que tienen acceso⁹⁵.
• Sistemas que monitorizan y detectan comportamientos prohibidos durante los exámenes⁹⁵.

Los sistemas de alto riesgo están sujetos a obligaciones estrictas antes de que puedan introducirse en el mercado, como someterlos a evaluación, entrenarlos con conjuntos de datos de alta calidad o garantizar la trazabilidad de los resultados, entre otros⁹⁵. En paralelo, el Consejo de Europa, formado por 46 países y abierto a otras adhesiones, ha publicado el primer borrador del Convenio Marco sobre Inteligencia Artificial, Derechos Humanos, Democracia y Estado de Derecho¹⁹⁶.

A nivel nacional, destacan los esfuerzos por robustecer la gobernanza y el marco regulatorio, con la creación de la primera Agencia Española de Supervisión de la Inteligencia Artificial, que velará por la adherencia a los estándares de IA y facilitará su introducción responsable¹⁹⁷. También se ha creado un sandbox regulatorio en colaboración con la Comisión Europea para implementar la nueva legislación^198,199.

Las comunidades de Cataluña y Canarias han publicado sendas guías orientativas sobre el uso de la IA en el sistema educativo^76,200.

Hacia la IA responsable en educación

El desarrollo e introducción responsable de la IA en educación requiere garantizar que la IA sea fiable. Para ello, debe fundamentarse sobre 3 pilares: cumplir con la ley, adherirse a los principios éticos y ser robusta^201–203.

Junto con los requerimientos ya mencionados, la IA fiable admite el control o la supervisión humana y es transparente y explicable, lo que permite que los agentes implicados entiendan cómo llega al resultado²⁰¹. Los algoritmos también deben poder ser auditados para comprobar que funcionan como se espera y además debe haber un responsable si la IA causa daños^201,204.

Asimismo, tiene que ser beneficiosa, no solo para las personas de hoy, sino también para las generaciones del futuro, lo que subraya la necesidad de que sea sostenible²⁰¹.

En el plano educativo, la comunidad experta sugiere evaluar las herramientas de IA antes de usarlas en base a criterios que ya se usan con otros recursos educativos, tales como la exactitud del contenido, la adecuación a la edad, la pertinencia de los métodos pedagógicos y la idoneidad cultural y social¹²⁵.

Por otro lado, para desarrollar la IA de manera responsable en el ámbito educativo, parte de la comunidad experta propone fundamentar su incorporación en el Principio de Precaución. Este principio no implica inmovilismo, sino actuar según una acción mesurada, que se caracteriza por ser progresiva, revocable, tener en cuenta las consecuencias de las acciones y retroalimentarse de las opiniones y necesidades de la comunidad educativa^171,205. En definitiva, sin negar el potencial transformador de la tecnología, algunos llaman a huir del solucionismo tecnológico, ya que transformar y mejorar la educación depende especialmente de la política educativa y el contexto social y familiar¹⁷¹. Los cambios que pueden conllevar las tecnologías van de la mano de transformaciones en otras dimensiones, como la infraestructura educativa, la preparación de los profesores, establecer nuevas pedagogías, mejorar la evaluación, tener un contenido y currículo de alta calidad etc.²³.