Contribuyen también a una educación más personalizada distintas soluciones basadas en IA, creadas para atender a necesidades educativas especiales, como el subtitulado en directo en caso de discapacidad auditiva o la audiodescripción para quienes presentan discapacidad visual.

Cabe considerar, además, otras muchas aplicaciones algorítmicas que se incorporan al ecosistema de aprendizaje desde la educación informal: a través de las redes sociales, plataformas de juegos on-line o aplicaciones móviles, entre otras.

Pero, aunque el uso de la IA en la Educación se está normalizando, la investigación empírica sobre su efecto real sigue siendo escasa. Algunos estudios revelan que estas herramientas, con un enfoque basado en pasos para problemas bien definidos, están teniendo éxito en apoyar la enseñanza y el aprendizaje de conocimientos del dominio STEM (Humble & Mozelius, 2022). Se trata, precisamente, de aquellas disciplinas que buscan desarrollar competencias aptas desde el punto de vista tecnológico y científico para los retos del siglo XXI (Moreno Padilla, 2019). También funcionan bien en el aprendizaje de lenguas extranjeras. En cualquier caso, parece conveniente mantener una actitud crítica y supervisada (Unión Europea, 2022, p. 14).

4. RIESGOS POTENCIALES E IMPLICACIONES ÉTICAS

Para una adecuada implementación de la IA en la educación, preocupa la limitada formación de los docentes, porque puede conducir al mal uso o incluso al abuso de esta tecnología. Pero para comprender los riesgos potenciales, conviene mirar sobre todo a los diseños de las herramientas y preguntarse a qué responde su introducción en el “mercado” educativo, quién la impulsa y por qué lo hace.

Los desarrollos de IA en educación pueden interferir en la autonomía y la responsabilidad de las personas y obstaculizar derechos universales (Asamblea General de la ONU, 1948) como la privacidad (art. 12), la igualdad (art. 1) y la no discriminación (art. 2). Esto tiene implicaciones sociales y éticas de carácter general (Crawford, 2023) que se plantean también en otros ámbitos (Linares Salgado, 2022), pero requieren una especial precaución en contextos educativos.

Privacidad: Los sistemas de aprendizaje automático se entrenan con grandes volúmenes de datos. En educación, se refieren a: (i) información personal sobre los estudiantes y sus familias; (ii) datos registrados acerca del rendimiento escolar; y (iii) datos de rastreo generados en el uso digital y las actividades de aprendizaje.

Los datos son la clave del éxito de la IA y constituyen la base de una educación personalizada. Pero la lógica del sector tecnológico según la cual cualquier cosa puede ser un dato que se puede tomar y usar (Crawford, 2023) plantea, en el espacio educativo, una serie de problemas relacionados con: el modo cómo se obtienen esos datos (el consentimiento y la privacidad); cómo se analizan (la transparencia y la confianza); y la posibilidad de que puedan ser usados para fines distintos a los aprobados, de modo que los alumnos y sus familias acaben siendo víctimas de manipulación comercial o de otro tipo (Unesco, 2019).

El riesgo de ciberataques es alto, cuando no existen protocolos de seguridad. Esto es especialmente preocupante cuando se trata de menores de edad. Los centros educativos están obligados a contar con procedimientos adecuados para garantizar la protección y el uso ético de los datos personales (UE, 2022, p. 11), pero la tarea no es fácil cuando las habilidades y el conocimiento para desarrollar sistemas AIED se encuentra en organizaciones con fines de lucro y no dentro del sector educativo (Humble & Mozelius, 2022).

Igualdad y no discriminación: Los datos con los que se entrenan los algoritmos de aprendizaje automático incorporan sesgos provenientes de ciertos contextos y personas. Esto conduce a que estos sistemas internalicen criterios parciales o discriminatorios (de “raza”, género, edad…) propios de esas fuentes e incluso los amplifiquen.

Históricamente, las distintas formas de desigualdad condicionaron el acceso a los recursos y las oportunidades y esto ahora incide en los datos con los que se entrenan los algoritmos para clasificar y reconocer patrones. Así, “bajo el disfraz de una neutralidad técnica” (Crawford, 2023, p. 200), que a menudo deja atrás a los grupos de usuarios de los que se tienen menos datos disponibles., los sistemas de IA perpetúan las desigualdades sociales. El uso de la IA, también está dilatando, socialmente, la brecha digital, ya que los países y los grupos humanos con más recursos son quienes se benefician de las oportunidades que ofrece. Todo ello compromete la equidad educativa.

Los sesgos son también consustanciales a las prácticas de clasificación de la IA. Los diseñadores quienes tienen la última palabra para decidir cuáles son las variables a considerar en el conjunto de datos de entrenamiento y qué diferencias se tienen en cuenta para clasificar correctamente nuevas observaciones (Crawford, 2023). Esto contribuye a mantener y amplificar estereotipos (con claras implicaciones epistemológicas que trascienden el objetivo de este artículo).

Autonomía: La interacción con los SIA puede obstaculizar el desarrollo de la autonomía de los estudiantes y afectar a su capacidad de razonamiento y decisión, lo que plantea pues una dificultad añadida para alcanzar el objetivo de convertirse en aprendices independientes (Humble & Mozelius, 2022). Además, renunciar a la libertad de elección y delegar la toma de decisiones, socava la autonomía como capacidad de autolegislarse y autodeterminarse, ligada al reconocimiento de la dignidad de las personas.

Responsabilidad: Los SIA son agentes – y pueden estar reemplazando la agencia humana–, pero no son agentes morales. Esto genera problemas éticos relacionados con la responsabilidad (e imputabilidad) de sus acciones, incluidas las responsabilidades legales que habría que afrontar en caso de que tuvieran consecuencias negativas para otras personas. Estos problemas se incrementan porque actualmente los algoritmos de aprendizaje automático presentan elementos no predecibles debido a la opacidad con la que funcionan.

4.1. Desafíos éticos específicos del dominio educativo

Junto a estas cuestiones generales, cada uno de los dominios en los que se aplica la IA presenta desafíos éticos específicos que deben ser analizados en su contexto. En educación, hay que tener en cuenta lo siguiente: 1) Los posibles daños derivados de los diagnósticos y la predicción de los resultados de aprendizaje de los estudiantes que pueden condicionar su desarrollo futuro. 2) Los problemas generados por las decisiones que podría tomar el sistema de IA por su influencia en las decisiones educativas de los docentes, las familias y otras partes interesadas (incluidos los legisladores). 3) Los impactos en el desarrollo y madurez de las personas, especialmente en las primeras etapas educativas, como consecuencia del cambio de roles que modifica la relación entre docentes y discentes.

También hay que considerar: 4) Las pedagogías que orientan los diseños de los sistemas de IA. Generalmente buscan aquello que se monetiza con mayor facilidad y son poco innovadoras. Contribuyen así a mantener el statu quo del sistema educativo (Holmes et al, 2022), perdiendo su inmenso potencial para cambiar la educación y ampliar realmente las oportunidades de las personas. 5) La imagen del mundo y las concepciones sociales y políticas tácitas a las que responde la IA, que se trasladan al ámbito educativo. Esta tecnología no es inocua y “las clasificaciones que se eligen casualmente para darle forma a un sistema técnico pueden jugar un papel dinámico a la hora de delinear el mundo social y material” (Crawford, 2023, p. 195). 6) Cabe citar también la dimensión ética de algunas malas prácticas de los estudiantes sirviéndose de instrumentos de IA, que conllevan el engaño y el fraude, atentan contra la propiedad y comprometen la honestidad intelectual.

5. LA IMPORTANCIA DE LA ÉTICA

Los aspectos positivos y los riesgos asociados a la IA están íntimamente relacionados y no es posible acceder a las enormes ventajas que ofrece sin enfrentarnos a sus consecuencias negativas. Se hace necesario analizar y comprender estas ambivalencias para (i) anticipar y calibrar los impactos de determinados desarrollos y (ii) seleccionar los valores y principios que debemos proteger. Por eso ha surgido una ética de la IA como área de investigación multidisciplinaria en cuestiones de ética aplicada relacionadas con los problemas normativos que plantea el desarrollo, despliegue y utilización de sistemas inteligentes. No es una ética para sistemas inteligentes, sino para personas que diseñan, desarrollan o usan esos sistemas inteligentes, que son quienes pueden causar, aunque sea de manera involuntaria, los problemas morales.

El análisis normativo de los impactos de la IA, presenta paralelismos con otros subdominios específicos en la ética de la tecnología (de internet, de datos, de robots…) conformados en torno a distintas innovaciones. Con frecuencia abordan las mismas cuestiones (privacidad, sesgos…) con planteamientos similares, pero se desarrollan sin interacción entre ellas y no llegan a conectar sus discusiones ni a ponerlas en relación con los enfoques históricos (Sætra & Danaher, 2022). Esto conduce a duplicar esfuerzos sin aumentar el conocimiento real e incluso a obviar ideas consolidadas en la tradición ética. Así, muchas veces, las dificultades para afrontar los desafíos éticos de la IA, proceden más del olvido de cuestiones fundamentales de la ética –y del conocimiento históricamente adquirido–, que de nuestra comprensión de la IA.

La ética de la IA ha recibido mucha atención por parte de los investigadores (Boddington, 2017; Coeckelberg, 2021; Floridi, 2022) y también de diversos organismos, instituciones y corporaciones. Actualmente, está centrada en la elaboración de códigos éticos para identificar los valores y principios que se deben poner en práctica. Son múltiples las iniciativas y propuestas que surgieron en los últimos años y distintos países han intentado también establecer sugerencias y regulaciones. Con frecuencia, la proliferación de códigos con sus pautas y principios es vista como un problema (Sætra & Danaher, 2022) ya que puede confundir (Floridi & Cowls, 2021). Sin embargo, muchos de estos códigos contemplan principios comunes, con ciertos énfasis y matices afectados por valores culturales y sociales diferentes.

El análisis comparativo de seis códigos de alto perfil para la IA –publicados entre 2017 y 2018¹–, ha permitido a Floridi & Cowls (2021) establecer un marco general con cinco principios básicos, cuatro de los cuales convergen con los utilizados en Bioética: beneficencia, no maleficencia, autonomía y justicia (Beauchamp & Childress 2019). No obstante, la transposición a los desafíos de la IA no es perfecta y requiere, en algunos casos, una traducción adecuada:

Beneficencia supone promover el bienestar, preservar la dignidad y el sostenimiento del planeta. No maleficencia remite a la privacidad, seguridad y precaución. Autonomía se entiende como el poder de decidir. Justicia implica promover la prosperidad, preservar la solidaridad y evitar la injusticia. Cuestiones derivadas del desarrollo mismo de la IA hacen necesaria la incorporación de un nuevo principio: la explicabilidad, que permite habilitar los otros principios a través de la inteligibilidad y la rendición de cuentas (Floridi & Cowls, 2021).

Este marco se presenta como la arquitectura dentro de la cual se puedan desarrollar las regulaciones, los estándares técnicos y las mejores prácticas para sectores específicos. Puede desempeñar tanto un papel habilitador (p. ej. el uso de la IA para alcanzar los Objetivos de Desarrollo Sostenible de las Naciones Unidas), como restrictivo (Floridi & Cowls, 2021, p. 14). Es un marco ético general y realista para el seguimiento y evaluación del diseño, desarrollo y uso de los SIA, porque dispone de un número manejable de principios compatibles con valores fundamentales universalizables e irrenunciables. Estos principios ofrecen una base para las regulaciones específicas que se propongan en una amplia variedad de contextos, para las leyes y acuerdos internacionales, las instancias de supervisión y evaluación que los estados establezcan e incluso los observatorios ciudadanos… Proporcionan, de ese modo, legitimidad moral, jurídica y política.

6. UN MARCO ÉTICO UNIFICADO PARA LA INTELIGENCIA ARTIFICIAL EN EL CONTEXTO EDUCATIVO

Desde las ideas expuestas, se puede avanzar de lo general a lo particular. Esto requiere adoptar marcos éticos para el uso y desarrollo de la IA en la educación. Su importancia ha sido señalada en investigaciones anteriores (Holmes et al., 2022; Holmes y Porayska-Pomsta, 2023). Pero desde las Directrices para una Ética de la IA en Educación que Aiken y Epstein publicaron hace más de dos décadas (Aiken & Epstein 2000), ha habido una sorprendente escasez de trabajos publicados que se centren explícitamente en la ética (Holmes, et al., 2022, pp. 505-506). Recientemente, esta cuestión volvió a suscitar el interés de la comunidad investigadora en educación (Chu et al, 2022; Holmes y Porayska-Pomsta, 2023; Boddington, 2023; Nguyen et al., 2023) y, en los últimos años, surgieron también algunas iniciativas relevantes de organizaciones internacionales (Unesco, 2019; Unión Europea, 2022).

La Unión Europea, dentro de su Plan de Acción para la Educación Digital (2021-2027) -cuyo fin es apoyar una adaptación sostenible y eficaz de los sistemas de educación y formación de los Estados miembros a la era digital- estableció una serie de directrices éticas sobre el uso de la Inteligencia Artificial (IA) y los datos en la educación y formación para los educadores (Unión Europea, 2022). En esas directrices, basadas en los principios y requisitos para una IA fiable (Unión Europea, 2019), hay cuatro consideraciones clave que deben orientan a los agentes educativos en sus decisiones sobre el uso de la IA: la capacidad de acción humana, la equidad, la humanidad y la elección justificada.

Dentro de la comunidad académica, se han analizado de manera sistemática directrices e informes éticos de organizaciones internacionales y se han seleccionado principios aplicables para garantizar que los sistemas de IA desarrollados para la educación, sean esencialmente éticos por diseño: Principio de gobernanza y administración, Principio de transparencia y responsabilidad, Principio de sostenibilidad y proporcionalidad, Principio de privacidad, Principio de seguridad y protección, Principio de inclusión y Principio de AIED centrado en el ser humano (Nguyen et al. 2023).

Consideradas estas propuestas, hace falta contar con un marco unificado para una IA responsable, ética y confiable. Con ello se busca evitar la superposición de principios y recomendaciones para cada dominio específico. Existe un marco de prestigio, que ha desempeñado un importante papel en los debates del Grupo de expertos de alto nivel en IA de la Comisión Europea e influido en distintas recomendaciones (Floridi & Colws, 2021). Sus principios se adaptan sorprendentemente bien a una amplia gama de contextos (Linares Salgado, 2022). La cuestión es si pueden regular también problemas relativos al cuándo, cómo y con qué fin se utiliza en educación un sistema inteligente, para situar decisiones, acciones y prácticas pedagógicas concretas que aseguren un uso adecuado de la IA.

Esta cuestión llevó a un nuevo análisis en tres fases: