Este artículo reflexiona sobre el uso de la Inteligencia Artificial en educación desde una perspectiva ética. Lo hace desde un punto de vista externo, considerando su incidencia en los contextos educativos como vivero de los desafíos éticos y políticos que encara la sociedad. Esto permite dimensionar su alcance y profundidad y proponer medidas para afrontarlos.
Sus objetivos se enfocan hacia las bases éticas de la Inteligencia Artificial relacionada con la actividad educativa, buscando identificar: las oportunidades, riesgos asociados y su impacto ético en educación; y b) los principios éticos que puedan guiar el desarrollo, despliegue y uso de estos sistemas inteligentes.
Para ello se realizó un estudio cualitativo, apoyado en una metodología de revisión bibliográfica de: (i) trabajos académicos sobre sus usos actuales y riesgos potenciales de la Inteligencia Artificial; y (ii) un análisis comparativo de distintos códigos éticos, explorando la convergencia de principios aplicables a Sistemas de Inteligencia Artificial en los contextos educativos.
Los resultados obtenidos, en primer lugar, sitúan los problemas identificados en la tradición ética, cuestionando la proliferación de subdominios de la disciplina. Se indaga, después, la posibilidad de un marco ético unificado que evite la superposición de principios para cada dominio específico. Se constata la utilidad de un marco ampliamente reconocido e influyente, cuyos principios se adaptan bien a los desafíos de la educación.
Se concluye señalando las líneas en las que se debe avanzar en la investigación: (I) fundamentación ética y regulación normativa para el desarrollo y uso de la Inteligencia Artificial en educación conforme a los principios seleccionados; y (II) definición del nuevo perfil profesional docente y sus implicaciones para la formación inicial del profesorado.
ABSTRACT
This article reflects on the use of Artificial Intelligence in education from an ethical perspective. It does so from the external point of view, considering its impact on educational contexts, as a breeding ground for the ethical and political challenges that society faces. This allows us to measure its scope and depth and propose actions to address them.
Its objectives focus on the ethical bases of Artificial Intelligence related to educational activity, seeking to identify: a) the opportunities, associated risks and its ethical impact on education; and b) the ethical principles that should guide the development, deployment and use of these intelligent systems.
For this purpose, a qualitative study was carried out, supported by a bibliographic review methodology: (i) academic works on current uses and potential risks of Artificial Intelligence and (ii) a comparative analysis of different ethical codes, exploring the convergence of principles applicable to Artificial Intelligence Systems in educational contexts.
The results obtained first place the identified problems in the ethical tradition and question the proliferation of subdomains of the discipline. The possibility of a unified ethical framework that avoids the overlap of principles for each specific domain is then investigated. The usefulness of a widely recognized and influential framework is confirmed, whose principles adapt well to the ethical challenges of education.
It concludes by indicating the lines in which research should advance (I) ethical foundation and normative regulation for the development and use of Artificial Intelligence in education in accordance with the selected principles; and (II) definition of the new teaching professional profile and its implications for initial teacher training.
La digitalización creciente de las tareas habituales en los distintos sectores de la actividad humana ha generado cambios de carácter informacional que modulan nuestra interacción con las Tecnologías de la Información y la Comunicación (TICs), pero también cómo se articulan las relaciones y los procesos sociales. Esto impulsa una “reontologización” del mundo a partir de la infosfera y nos sitúa en una nueva era: la hiperhistoria (Floridi, 2014), donde la información es el recurso fundamental, lo que nos convierte en vitalmente dependientes de las TICs.
La educación es el medio que hace posible esta innovación disruptiva y por eso es ahora “a lo largo de la vida”. Por ser la instancia que facilita la transición al recurso informativo, la Agenda 2030 tiene como uno de los objetivos del Desarrollo Sostenible (ODS 4) “garantizar una educación inclusiva, equitativa y de calidad y promover las oportunidades de aprendizaje durante toda la vida para todos” (United Nations, 2019). La Inteligencia Artificial (IA) puede contribuir de manera eficaz a esos objetivos, pues ya ofrece numerosas oportunidades en los diversos ámbitos de la actividad social (la industria, la comunicación, la salud, etc.).
Su incorporación a la educación impulsada desde el e-learning ha sido discreta, pero su uso está en constante crecimiento incluso en los entornos educativos más convencionales. Su potencial para mejorar la educación es inmenso, pero es preciso aprender a gestionar las numerosas implicaciones sociales, éticas y deontológicas. Sobre todo, porque la normalización de la IA en los distintos ámbitos de la vida social conlleva un cambio inevitable al que la educación está obligada a responder.
Este “discurso del cambio imperativo” (Bearman et al., 2023) supone poco realista prescindir de estas herramientas porque entrañan riesgos. Además, sería contrario a los fines de la educación, que incluyen preparar a los estudiantes para incorporarse al mundo en el que tendrán que vivir, que es ya un entorno de digitalización e IA. Hay que pensar entonces en una Inteligencia Artificial para la Educación en el contexto de una Educación para la Inteligencia Artificial.
El impacto social de la IA en general plantea preocupaciones éticas legítimas respecto de su aplicación en el dominio educativo. Por tratarse de un campo de especial riesgo —y un inmejorable banco de pruebas para la resolución de esta clase de problemas adecuadamente enfocados— es necesaria una reflexión ética. Puede plantearse desde una perspectiva “interna”, como hacen los científicos que crean la IA, los tecnólogos que la implementan o los educadores que la utilizan. Pero aquí se busca profundizar en el enfoque “externo”, que permite considerar la triple dimensión científica, tecnológica y social, de los problemas y aportar criterios para valorar las posibles soluciones, los resultados que se esperan y las posibles consecuencias.
Así, los objetivos de este trabajo se orientan hacia las bases éticas de la Inteligencia Artificial relacionada con la actividad educativa, buscando: a) identificar las oportunidades, riesgos e impacto ético asociado a su incorporación. Esto ayuda a comprender la necesidad de contar con principios éticos; y b) concretar esos principios para disponer un marco ético que regule el desarrollo, despliegue y uso de los sistemas inteligentes. Debe considerarse también su utilidad en la toma de decisiones pedagógicas y para determinar las capacidades que necesitan docentes y estudiantes, cuando interaccionan con la IA, para prevenir sus riesgos.
Con el fin de articular una propuesta, se realizó un estudio cualitativo apoyado en una metodología de revisión bibliográfica de dos tipos de textos: (i) trabajos académicos sobre usos, riesgos y directrices éticas en Inteligencia Artificial — seleccionados en base a la temática específica, la autoridad de los autores y el impacto de los trabajos— que confirmaron la necesidad de vincular las aplicaciones de IA a códigos éticos; y (ii) códigos éticos para sistemas inteligentes buscando consensos en torno a determinados principios. El número y diversidad de los códigos publicados recomendó un muestreo intencionalmente orientado a comparar la perspectiva de distintas partes interesadas: organizaciones internacionales, países implicados en la carrera por la IA y las industrias representativas del sector.
Dentro de este contexto, la investigación sigue varios pasos que definen la estructura del artículo. Primero, se sitúa el problema en el marco filosófico-metodológico de las Ciencias de Diseño. Segundo, se describen usos, oportunidades y riesgos de las herramientas de IA en educación. Tercero, se constatan importantes implicaciones éticas. A este respecto, una vez reconocida su continuidad con problemas de la tradición, se cuestiona la proliferación de subdominios en la ética. Cuarto, como resultado del análisis de distintos códigos éticos, se confirma la convergencia de principios que permiten proponer un marco unificado para la IA en educación. Quinto, se concluye que este planteamiento requiere avanzar en dos direcciones de investigación: (i) fundamentación ética y regulación normativa para el desarrollo y uso de los Sistemas de Inteligencia Artificial (SIA) en educación; y (ii) esbozar el nuevo perfil profesional docente para identificar las necesidades de formación del profesorado.
<bold>C<sc>iencias de diseño</sc>: <sc>objetivos</sc>, <sc>procesos y resultados</sc></bold>
La Inteligencia Artificial en Educación (AIED, por sus siglas en inglés) es un quehacer científico en el ámbito de la ciencia de diseño (González, 2017a). Su objetivo es crear herramientas inteligentes que permiten ampliar las posibilidades de diferentes usuarios en contextos específicos de uso educativo. Surge de la confluencia de la Inteligencia Artificial y la Educación, que son también disciplinas científicas de Diseño, pues buscan nuevas metas para ampliar las posibilidades humanas y se articulan en términos de objetivos, procesos y resultados.
A diferencia de las Ciencias de la Naturaleza y las Ciencias Sociales, las Ciencias de Diseño se orientan expresamente a predecir cómo pueden llegar a ser las cosas y a prescribir pautas de actuación que contribuyan a cambiar la realidad existente para que sea “como debe ser” (Simon, 1996; González, 2007). Así, su objetivo principal es modular el futuro de acuerdo con unos fines previamente elegidos.
Sobre esta base científica se pueden diseñar intervenciones en distintos campos de actividad humana y, para hacerlas operativas, pueden incorporar diseños tecnológicos. Es el caso de los desarrollos de IA para resolver problemas y mejorar las posibilidades de la educación en el logro de objetivos. Pero esto tiene profundas implicaciones éticas que han de ser consideradas en relación a varios aspectos:
(i) Los objetivos, que pueden ser discutibles o plantear conflictos entre las distintas partes interesadas. Ello incluye la selección de los problemas cuya resolución encomendamos a la IA. (ii) Los procesos: qué procesos queremos automatizar, acelerar, etc. y qué tecnologías de IA son adecuadas a ese propósito. (iii) Los resultados, que pueden conducir a cuestionar la intervención misma (es decir, toda la secuencia de actividad pedagógica mejorada con IA). (iv) Las consecuencias que se siguen a partir de las acciones realizadas, que pueden no ser las deseadas.
<bold>U<sc>sos y oportunidades de la ia en educación</sc></bold>
Entre la amplia diversidad de usos de la IA en la Educación (Flores Vivar y García Peñalvo, 2023; Unión Europea, 2022; Jara y Ochoa, 2020; Ocaña Fernández et al., 2019; Moreno Padilla, 2019; Sánchez Vila y Lema Penín, 2007), destacan las siguientes:
Facilitar la gestión, con la programación de horarios, asignación de recursos, etc.
Automatizar tareas rutinarias de los profesores, como el seguimiento de estudiantes, la provisión de información sobre los estudiantes a sus familias o tutores, la calificación de ejercicios o pruebas, etc.
Apoyar la enseñanza, a través de sistemas de tutoría inteligentes que ofrecen asistencia a los estudiantes, en función de las dificultades que pueda mostrar. Pueden ayudarles de manera efectiva, también fuera del aula, con la preparación de las tareas. En contextos y situaciones en los que el docente humano no esté disponible, podrían sustituirlo facilitadores virtuales (personajes virtuales realistas mediante la combinación de tecnologías de IA, juegos en 3-D y animación por ordenador).
Personalizar la experiencia educativa, que es quizá la principal contribución de la IA. Los llamados sistemas de enseñanza adaptativos son aplicaciones relacionadas con este objetivo. Sitúan a los estudiantes realmente en el centro, ajustando las trayectorias educativas a sus perfiles, características y comportamiento individual. Analizando la información obtenida acerca de su progreso, predicen el rendimiento futuro, lo que permite optimizar los recursos y el contenido que se les ofrece e incluso anticipar medidas correctoras para mejorarlo.
Contribuyen también a una educación más personalizada distintas soluciones basadas en IA, creadas para atender a necesidades educativas especiales, como el subtitulado en directo en caso de discapacidad auditiva o la audiodescripción para quienes presentan discapacidad visual.
Cabe considerar, además, otras muchas aplicaciones algorítmicas que se incorporan al ecosistema de aprendizaje desde la educación informal: a través de las redes sociales, plataformas de juegos on-line o aplicaciones móviles, entre otras.
Pero, aunque el uso de la IA en la Educación se está normalizando, la investigación empírica sobre su efecto real sigue siendo escasa. Algunos estudios revelan que estas herramientas, con un enfoque basado en pasos para problemas bien definidos, están teniendo éxito en apoyar la enseñanza y el aprendizaje de conocimientos del dominio STEM (Humble & Mozelius, 2022). Se trata, precisamente, de aquellas disciplinas que buscan desarrollar competencias aptas desde el punto de vista tecnológico y científico para los retos del siglo XXI (Moreno Padilla, 2019). También funcionan bien en el aprendizaje de lenguas extranjeras. En cualquier caso, parece conveniente mantener una actitud crítica y supervisada (Unión Europea, 2022, p. 14).
<bold>R<sc>iesgos potenciales e implicaciones éticas</sc></bold>
Para una adecuada implementación de la IA en la educación, preocupa la limitada formación de los docentes, porque puede conducir al mal uso o incluso al abuso de esta tecnología. Pero para comprender los riesgos potenciales, conviene mirar sobre todo a los diseños de las herramientas y preguntarse a qué responde su introducción en el “mercado” educativo, quién la impulsa y por qué lo hace.
Los desarrollos de IA en educación pueden interferir en la autonomía y la responsabilidad de las personas y obstaculizar derechos universales (Asamblea General de la ONU, 1948) como la privacidad (art. 12), la igualdad (art. 1) y la no discriminación (art. 2). Esto tiene implicaciones sociales y éticas de carácter general (Crawford, 2023) que se plantean también en otros ámbitos (Linares Salgado, 2022), pero requieren una especial precaución en contextos educativos.
Privacidad: Los sistemas de aprendizaje automático se entrenan con grandes volúmenes de datos. En educación, se refieren a: (i) información personal sobre los estudiantes y sus familias; (ii) datos registrados acerca del rendimiento escolar; y (iii) datos de rastreo generados en el uso digital y las actividades de aprendizaje.
Los datos son la clave del éxito de la IA y constituyen la base de una educación personalizada. Pero la lógica del sector tecnológico según la cual cualquier cosa puede ser un dato que se puede tomar y usar (Crawford, 2023) plantea, en el espacio educativo, una serie de problemas relacionados con: el modo cómo se obtienen esos datos (el consentimiento y la privacidad); cómo se analizan (la transparencia y la confianza); y la posibilidad de que puedan ser usados para fines distintos a los aprobados, de modo que los alumnos y sus familias acaben siendo víctimas de manipulación comercial o de otro tipo (Unesco, 2019).
El riesgo de ciberataques es alto, cuando no existen protocolos de seguridad. Esto es especialmente preocupante cuando se trata de menores de edad. Los centros educativos están obligados a contar con procedimientos adecuados para garantizar la protección y el uso ético de los datos personales (UE, 2022, p. 11), pero la tarea no es fácil cuando las habilidades y el conocimiento para desarrollar sistemas AIED se encuentra en organizaciones con fines de lucro y no dentro del sector educativo (Humble & Mozelius, 2022).
Igualdad y no discriminación: Los datos con los que se entrenan los algoritmos de aprendizaje automático incorporan sesgos provenientes de ciertos contextos y personas. Esto conduce a que estos sistemas internalicen criterios parciales o discriminatorios (de “raza”, género, edad…) propios de esas fuentes e incluso los amplifiquen.
Históricamente, las distintas formas de desigualdad condicionaron el acceso a los recursos y las oportunidades y esto ahora incide en los datos con los que se entrenan los algoritmos para clasificar y reconocer patrones. Así, “bajo el disfraz de una neutralidad técnica” (Crawford, 2023, p. 200), que a menudo deja atrás a los grupos de usuarios de los que se tienen menos datos disponibles., los sistemas de IA perpetúan las desigualdades sociales. El uso de la IA, también está dilatando, socialmente, la brecha digital, ya que los países y los grupos humanos con más recursos son quienes se benefician de las oportunidades que ofrece. Todo ello compromete la equidad educativa.
Los sesgos son también consustanciales a las prácticas de clasificación de la IA. Los diseñadores quienes tienen la última palabra para decidir cuáles son las variables a considerar en el conjunto de datos de entrenamiento y qué diferencias se tienen en cuenta para clasificar correctamente nuevas observaciones (Crawford, 2023). Esto contribuye a mantener y amplificar estereotipos (con claras implicaciones epistemológicas que trascienden el objetivo de este artículo).
Autonomía: La interacción con los SIA puede obstaculizar el desarrollo de la autonomía de los estudiantes y afectar a su capacidad de razonamiento y decisión, lo que plantea pues una dificultad añadida para alcanzar el objetivo de convertirse en aprendices independientes (Humble & Mozelius, 2022). Además, renunciar a la libertad de elección y delegar la toma de decisiones, socava la autonomía como capacidad de autolegislarse y autodeterminarse, ligada al reconocimiento de la dignidad de las personas.
Responsabilidad: Los SIA son agentes – y pueden estar reemplazando la agencia humana–, pero no son agentes morales. Esto genera problemas éticos relacionados con la responsabilidad (e imputabilidad) de sus acciones, incluidas las responsabilidades legales que habría que afrontar en caso de que tuvieran consecuencias negativas para otras personas. Estos problemas se incrementan porque actualmente los algoritmos de aprendizaje automático presentan elementos no predecibles debido a la opacidad con la que funcionan.
<italic>Desafíos éticos específicos del dominio educativo</italic>
Junto a estas cuestiones generales, cada uno de los dominios en los que se aplica la IA presenta desafíos éticos específicos que deben ser analizados en su contexto. En educación, hay que tener en cuenta lo siguiente: 1) Los posibles daños derivados de los diagnósticos y la predicción de los resultados de aprendizaje de los estudiantes que pueden condicionar su desarrollo futuro. 2) Los problemas generados por las decisiones que podría tomar el sistema de IA por su influencia en las decisiones educativas de los docentes, las familias y otras partes interesadas (incluidos los legisladores). 3) Los impactos en el desarrollo y madurez de las personas, especialmente en las primeras etapas educativas, como consecuencia del cambio de roles que modifica la relación entre docentes y discentes.
También hay que considerar: 4) Las pedagogías que orientan los diseños de los sistemas de IA. Generalmente buscan aquello que se monetiza con mayor facilidad y son poco innovadoras. Contribuyen así a mantener el statu quo del sistema educativo (Holmes et al, 2022), perdiendo su inmenso potencial para cambiar la educación y ampliar realmente las oportunidades de las personas. 5) La imagen del mundo y las concepciones sociales y políticas tácitas a las que responde la IA, que se trasladan al ámbito educativo. Esta tecnología no es inocua y “las clasificaciones que se eligen casualmente para darle forma a un sistema técnico pueden jugar un papel dinámico a la hora de delinear el mundo social y material” (Crawford, 2023, p. 195). 6) Cabe citar también la dimensión ética de algunas malas prácticas de los estudiantes sirviéndose de instrumentos de IA, que conllevan el engaño y el fraude, atentan contra la propiedad y comprometen la honestidad intelectual.
<bold>L<sc>a importancia de la ética</sc></bold>
Los aspectos positivos y los riesgos asociados a la IA están íntimamente relacionados y no es posible acceder a las enormes ventajas que ofrece sin enfrentarnos a sus consecuencias negativas. Se hace necesario analizar y comprender estas ambivalencias para (i) anticipar y calibrar los impactos de determinados desarrollos y (ii) seleccionar los valores y principios que debemos proteger. Por eso ha surgido una ética de la IA como área de investigación multidisciplinaria en cuestiones de ética aplicada relacionadas con los problemas normativos que plantea el desarrollo, despliegue y utilización de sistemas inteligentes. No es una ética para sistemas inteligentes, sino para personas que diseñan, desarrollan o usan esos sistemas inteligentes, que son quienes pueden causar, aunque sea de manera involuntaria, los problemas morales.
El análisis normativo de los impactos de la IA, presenta paralelismos con otros subdominios específicos en la ética de la tecnología (de internet, de datos, de robots…) conformados en torno a distintas innovaciones. Con frecuencia abordan las mismas cuestiones (privacidad, sesgos…) con planteamientos similares, pero se desarrollan sin interacción entre ellas y no llegan a conectar sus discusiones ni a ponerlas en relación con los enfoques históricos (Sætra & Danaher, 2022). Esto conduce a duplicar esfuerzos sin aumentar el conocimiento real e incluso a obviar ideas consolidadas en la tradición ética. Así, muchas veces, las dificultades para afrontar los desafíos éticos de la IA, proceden más del olvido de cuestiones fundamentales de la ética –y del conocimiento históricamente adquirido–, que de nuestra comprensión de la IA.
La ética de la IA ha recibido mucha atención por parte de los investigadores (Boddington, 2017; Coeckelberg, 2021; Floridi, 2022) y también de diversos organismos, instituciones y corporaciones. Actualmente, está centrada en la elaboración de códigos éticos para identificar los valores y principios que se deben poner en práctica. Son múltiples las iniciativas y propuestas que surgieron en los últimos años y distintos países han intentado también establecer sugerencias y regulaciones. Con frecuencia, la proliferación de códigos con sus pautas y principios es vista como un problema (Sætra & Danaher, 2022) ya que puede confundir (Floridi & Cowls, 2021). Sin embargo, muchos de estos códigos contemplan principios comunes, con ciertos énfasis y matices afectados por valores culturales y sociales diferentes.
El análisis comparativo de seis códigos de alto perfil para la IA –publicados entre 2017 y 20181–, ha permitido a Floridi & Cowls (2021) establecer un marco general con cinco principios básicos, cuatro de los cuales convergen con los utilizados en Bioética: beneficencia, no maleficencia, autonomía y justicia (Beauchamp & Childress 2019). No obstante, la transposición a los desafíos de la IA no es perfecta y requiere, en algunos casos, una traducción adecuada:
Beneficencia supone promover el bienestar, preservar la dignidad y el sostenimiento del planeta. No maleficencia remite a la privacidad, seguridad y precaución. Autonomía se entiende como el poder de decidir. Justicia implica promover la prosperidad, preservar la solidaridad y evitar la injusticia. Cuestiones derivadas del desarrollo mismo de la IA hacen necesaria la incorporación de un nuevo principio: la explicabilidad, que permite habilitar los otros principios a través de la inteligibilidad y la rendición de cuentas (Floridi & Cowls, 2021).
Este marco se presenta como la arquitectura dentro de la cual se puedan desarrollar las regulaciones, los estándares técnicos y las mejores prácticas para sectores específicos. Puede desempeñar tanto un papel habilitador (p. ej. el uso de la IA para alcanzar los Objetivos de Desarrollo Sostenible de las Naciones Unidas), como restrictivo (Floridi & Cowls, 2021, p. 14). Es un marco ético general y realista para el seguimiento y evaluación del diseño, desarrollo y uso de los SIA, porque dispone de un número manejable de principios compatibles con valores fundamentales universalizables e irrenunciables. Estos principios ofrecen una base para las regulaciones específicas que se propongan en una amplia variedad de contextos, para las leyes y acuerdos internacionales, las instancias de supervisión y evaluación que los estados establezcan e incluso los observatorios ciudadanos… Proporcionan, de ese modo, legitimidad moral, jurídica y política.
<bold>U<sc>n marco ético unificado para la inteligencia artificial en el contexto educativo</sc></bold>
Desde las ideas expuestas, se puede avanzar de lo general a lo particular. Esto requiere adoptar marcos éticos para el uso y desarrollo de la IA en la educación. Su importancia ha sido señalada en investigaciones anteriores (Holmes et al., 2022; Holmes y Porayska-Pomsta, 2023). Pero desde las Directrices para una Ética de la IA en Educación que Aiken y Epstein publicaron hace más de dos décadas (Aiken & Epstein 2000), ha habido una sorprendente escasez de trabajos publicados que se centren explícitamente en la ética (Holmes, et al., 2022, pp. 505-506). Recientemente, esta cuestión volvió a suscitar el interés de la comunidad investigadora en educación (Chu et al, 2022; Holmes y Porayska-Pomsta, 2023; Boddington, 2023; Nguyen et al., 2023) y, en los últimos años, surgieron también algunas iniciativas relevantes de organizaciones internacionales (Unesco, 2019; Unión Europea, 2022).
La Unión Europea, dentro de su Plan de Acción para la Educación Digital (2021-2027) -cuyo fin es apoyar una adaptación sostenible y eficaz de los sistemas de educación y formación de los Estados miembros a la era digital- estableció una serie de directrices éticas sobre el uso de la Inteligencia Artificial (IA) y los datos en la educación y formación para los educadores (Unión Europea, 2022). En esas directrices, basadas en los principios y requisitos para una IA fiable (Unión Europea, 2019), hay cuatro consideraciones clave que deben orientan a los agentes educativos en sus decisiones sobre el uso de la IA: la capacidad de acción humana, la equidad, la humanidad y la elección justificada.
Dentro de la comunidad académica, se han analizado de manera sistemática directrices e informes éticos de organizaciones internacionales y se han seleccionado principios aplicables para garantizar que los sistemas de IA desarrollados para la educación, sean esencialmente éticos por diseño: Principio de gobernanza y administración, Principio de transparencia y responsabilidad, Principio de sostenibilidad y proporcionalidad, Principio de privacidad, Principio de seguridad y protección, Principio de inclusión y Principio de AIED centrado en el ser humano (Nguyen et al. 2023).
Consideradas estas propuestas, hace falta contar con un marco unificado para una IA responsable, ética y confiable. Con ello se busca evitar la superposición de principios y recomendaciones para cada dominio específico. Existe un marco de prestigio, que ha desempeñado un importante papel en los debates del Grupo de expertos de alto nivel en IA de la Comisión Europea e influido en distintas recomendaciones (Floridi & Colws, 2021). Sus principios se adaptan sorprendentemente bien a una amplia gama de contextos (Linares Salgado, 2022). La cuestión es si pueden regular también problemas relativos al cuándo, cómo y con qué fin se utiliza en educación un sistema inteligente, para situar decisiones, acciones y prácticas pedagógicas concretas que aseguren un uso adecuado de la IA.
Esta cuestión llevó a un nuevo análisis en tres fases:
Revisión de guías y recomendaciones que contienen códigos éticos, relevantes por su impacto, publicados posteriormente a los examinados por Floridi & Cowls (2021). El objetivo es comprobar la vigencia y prevalencia de los principios éticos que proponen. En el muestro se buscó que estuvieran representadas las diversas perspectivas influyentes del sector: a) recomendaciones de Organizaciones internacionales: UE (2019), UNESCO (2022) y OCDE (2019); b) documentos de países implicados en la carrera por la IA: EE UU (Executive Office of the President, 2020), China (Ministerio de Ciencia y Tecnología de la República Popular China, 2017), UE (2019) y España (Gobierno de España, 2020); y c) iniciativas de varias empresas relevantes en el sector: Microsoft (2022), Google (2022) y Meta (Meta Platforms, 2021).
Comprobación de la convergencia, en el marco ético anterior, de: (i) los principios seleccionados por Nguyen et al. (2023) y (ii) las directrices éticas de la Comisión Europea para guiar el uso de la Inteligencia Artificial en educación.
Constatación de que los valores que orientan estos principios están alineados con los valores propios de la educación (Alonso, 2022 y 2023).
<italic>Resultados</italic>
El análisis comparativo, como puede verse en la Tabla 1, muestra un alto grado de superposición entre los principios de los nueve códigos, que convergen claramente en el marco general propuesto por Floridi & Cowls (2021). Aunque solo la explicabilidad aparece con idéntica formulación –o como transparencia– en la totalidad de los códigos, la “traducción” realizada para transponer los de la bioética a la IA, permite identificarlos.
V<sc>isión sinóptica</sc> 1
Beneficencia
No Maledicencia
Autonomía
Justicia
Explicabilidad
Promover el bienestar, preservar la Dignidad y el Sostenimiento del Planeta
Privacidad, Seguridad y ‘Precaución de Capacidad’
Poder de decidir (Decidir)
Promover la prosperidad, preservar la solidaridad, evitar la injusticia.
Habilitar los otros principios a través de la inteligibilidad y la rendición de cuentas
UNESCO
Sostenibilidad
Proporcionalidad y no hacer daño. Seguridad y protección
Supervisión y decisión humanas
Equidad y no discriminación
Transparencia y explicabilidad
OCDE
Crecimiento inclusivo, desarrollo sostenible y bienestar
Robustez, seguridad y protección
Respetar los valores humanos y la justicia (incluye la autonomía)
Respetar los valores humanos y la justicia
Transparencia y explicabilidad Responsabilidad
UE
Prevención del daño
Respeto por la autonomía humana
Equidad
Explicabilidad
EE. UU.
Seguridad y protección
Equidad y no discriminación
Divulgación y transparencia
CHINA
Armonía y amistad: promover el bienestar común
Privacidad: respetar y proteger la privacidad
Privacidad: respetar y proteger el derecho de las personas de conocer y elegir
Equidad y Justicia
Seguridad: transparencia, explicabilidad, trazabilidad, confiabilidad, auditabilidad y seguridad
ESPAÑA
Bienestar social Sostenibilidad
Gobierno de datos y sistemas: los datos no pueden usarse para perjudicar a las personas o violar sus derechos fundamentales
Bienestar social: no reducir, limitar o desviar la autonomía de las personas
Inclusión
Transparencia
GOOGLE
Beneficio a la sociedad
Garantizar la seguridad de los sistemas inteligentes Incorporar principios de diseño de privacidad
Ser responsables ante las personas: los sistemas deben estar sujetos a un adecuado control y dirección humana
Evitar crear y reforzar sesgos
Ser responsables ante las personas: proveer oportunidades adecuadas de respuesta, explicación y apelación
MICRO-SOFT
Privacidad y Seguridad
Equidad
Transparencia Responsabilidad
META
Solidez y seguridad
Equidad e inclusión
Transparencia y control
Fuente: elaboración propia
El principio de no-maledicencia (que remite al non-laedere del derecho romano)2 figura expresamente como prevención del daño en las directrices de la UE, como seguridad y protección en seis códigos y centrada en la protección de la privacidad en otros dos. En la Estrategia Nacional para la IA española, se asocia la prevención al principio de Gobierno de datos y sistemas: “los datos no pueden usarse para perjudicar a las personas o violar sus derechos fundamentales” (Gobierno de España, 2020, p. 67).
La justicia(suum cuique tribuere) se cita de forma explícita en uno de los códigos (China), siendo más frecuente la equidad como criterio de justicia (en siete de ellos). Es reconocible en la inclusión (España) y en la prevención de amenazas para la justicia como evitar crear y reforzar sesgos (Google) y la no discriminación.
El principio de autonomía está asociado a la toma de decisiones dirigida por humanos, que puede ponerse en riesgo a medida que aumenta la agencia de las máquinas. Es llamativo que este principio no esté recogido en la “Guía para la regulación de aplicaciones de IA” de los EEUU y en dos de las tres iniciativas de la industria privada (Microsoft y Meta). Aparece en los demás códigos bajo la formulación expresa de autonomía, como supervisión, control o dirección humanas o como derecho a decidir.
Los mismos códigos que no incluyen la autonomía entre sus principios, tampoco incorporan el de beneficencia, que limita la creación de SIA a aquellos que han de ser beneficiosos para la humanidad. Tampoco aparece expresamente en las directrices éticas de la UE, sin embargo, el bienestar social y medioambiental sí figura entre los requisitos que derivan del principio de equidad. En el resto de los códigos presenta formulaciones diversas, vinculado al bienestar y la sostenibilidad.
Cabe concluir que el marco presentado por Floridi & Cowls (2021) ofrece una relación suficiente y completa de los principios éticos clave para la IA. Puede resultar útil –como sugieren los autores– para orientar regulaciones y prácticas en dominios específicos. Debería recoger también los principios que se proponen en el ámbito educativo, encaminados en dos direcciones: (i) dirigir el desarrollo, despliegue y uso de las herramientas y (ii) orientar a los agentes educativos en sus prácticas profesionales.
Es claro el paralelismo entre los principios de no maleficencia y beneficencia y los “metaprincipios” que propusieron Aiken y Epstein como fundamento filosófico básico para cualquier discusión sobre los sistemas AIED. Según el meta-principio negativo“la tecnología AIED no debe disminuir al estudiante en ninguna de las dimensiones fundamentales del ser humano”. El meta-principio positivo establece que “la tecnología AIED debe potenciar al estudiante en al menos una de las dimensiones fundamentales del ser humano” (Aiken & Epstein, 2000, p. 170).
También, como se observa en la Tabla 2, la propuesta de Nguyen y colaboradores (2023) presenta un alto grado de coherencia con el marco unificado: (i) El principio de no maleficencia, implica privacidad, seguridad y precaución de capacidad. Incorpora, por lo tanto, los principios de privacidad y de seguridad y protección. (ii) Beneficencia supone promover el bienestar, preservar la dignidad y el sostenimiento del planeta, donde se reconoce el principio de sostenibilidad y proporcionalidad. (iii) Autonomía significa poder de decidir. Ligada al reconocimiento de la dignidad de las personas conduce al principio básico que debe presidir nuestra relación con la IA: la irremplazabilidad de lo humano, que exige el principio de IA educativa centrado en el ser humano. (iv) Justicia es promover la prosperidad, preservar la solidaridad, evitar la injusticia, lo que persigue el principio de inclusión. (v) La explicabilidad permite habilitar los otros principios a través de la inteligibilidad y la rendición de cuentas. La inteligibilidad requiere transparencia y la rendición de cuentas supone atribución de responsabilidades, que es lo que exige el principio de transparencia y responsabilidad.
V<sc>isión sinóptica</sc> 2
Floridi & Cowls, 2021
AIED
Nguyen et al., 2023
Valores de la Educación (UE, 2022)
Principios
Principios
Consideraciones éticas
Valores
No maleficencia:
Privacidad
Privacidad
Seguridad
Seguridad y protección
‘Precaución de Capacidad’
Beneficencia:
Promover el Bienestar
La humanidad (consideración para las personas, identidad y dignidad)
Bienestar
Seguridad
Preservar la Dignidad
Cohesión social
Contacto valioso
Sostenimiento del Planeta
Sostenibilidad y proporcionalidad
Conexión humana significativa
Autonomía:
Poder de decidir (decidir) (Conduce a la irreemplazabilidad de lo humano)
IA educativa centrada en el ser humano
La capacidad de acción humana
Autonomía
Autodeterminación
Responsabilidad
Justicia:
Promover la prosperidad
Principio de inclusión
La equidad (trato justo)
Igualdad de oportunidades
Inclusión
Preservar la solidaridad
No discriminación
Evitar la injusticia
Distribución justa de derechos y responsabilidades
Explicabilidad:
Inteligibilidad
Principio de transparencia y responsabilidad
La elección justificada
(uso de conocimientos, hechos y datos para justificar las elecciones de las distintas partes interesadas en el entorno escolar)
Transparencia
Rendición de cuentas
(La inteligibilidad requiere transparencia y la rendición de cuentas supone atribución de responsabilidad-des)
Explicabilidad
Fuente: elaboración propia
Asimismo, están en sintonía con estos principios las consideraciones éticas identificadas por la Unión Europea para orientar a los agentes educativos en sus decisiones sobre la IA (Unión Europea, 2022, p. 18). Se reconocen en ellas: (i) los valores que constituyen los fines de la Educación (autonomía, autodeterminación, responsabilidad, cohesión social, bienestar, etc.); (ii) los valores indispensables para su desarrollo (igualdad de oportunidades, no discriminación, transparencia, explicabilidad…); y (iii): los valores que sirven a la educación como criterio de juicio, entre ellos la inclusión, la distribución justa de derechos y responsabilidades, o una conexión humana significativa (Alonso, 2022 y 2023).
Los principios éticos de beneficencia, no maleficencia, autonomía, justicia y explicabilidad aplicados a los SIA, pueden prevenir los riesgos asociados a estos sistemas para usarlos en beneficio del Derecho a la Educación (ODS 4), como fin en sí mismo y medio para alcanzar todos los demás derechos. Los instrumentos que —en su diseño, despliegue y uso— pudieran conculcar alguno de estos principios, no serían legítimos al poner en peligro el respeto a la dignidad humana que los derechos humanos preservan.
No maleficencia. La IA debe diseñarse de modo que no agrave daños existentes ni cree otros nuevos. Así, no sería ético diseñar instrumentos que obstaculicen el desarrollo de alguna de las capacidades propias de la inteligencia humana en sus tres dominios principales: la percepción —conocimiento—, la volición y los valores (González, 2017b), limitando el uso de los sentidos, la imaginación, el pensamiento y el razonamiento de un modo “verdaderamente humano” (Nussbaum, 2012, p. 53).
Beneficencia. Además de no dañar, los SIA educativos deben diseñarse para que los estudiantes puedan desarrollar su potencial y usar todas sus capacidades para elegir la vida que desean vivir de forma plena y creativa, conforme a la dignidad humana.
Autonomía. En el ámbito de la ética se entiende por autonomía la capacidad de autolegislarse y autodeterminarse, que solo es aplicable a los seres humanos. Esto impone y justifica el control humano sobre la “máquina”. Por eso: (a) No pueden delegarse en máquinas inteligentes, sin supervisión humana, decisiones que afectan a la vida de las personas. En consecuencia, las decisiones educativas no pueden estar basadas únicamente en el proceso automático de datos. (b) Es exigible que un humano sepa siempre si está interactuando con otro humano o con una máquina. Así, cuando se usen instrumentos de IA, las precauciones especiales con personas vulnerables, como los niños, hacen necesario el consentimiento informado de los padres o tutores legales.
La educación constituye un ámbito de especial riesgo por su incidencia en el desarrollo de las personas, en la configuración del pensamiento y la acción a lo largo de la vida. Habría que enfatizar la precaución, que aparece ahora como exigencia de la no maleficencia, e incorporar el Principio Precautorio en aquellas intervenciones educativas donde la IA represente una amenaza para la autonomía y la dignidad humana (ampliando la Declaración de Wingspread).
<bold>C<sc>onclusión y discusión</sc></bold>
La perspectiva externa sobre IA y su uso en educación, atiende a la repercusión social y la responsabilidad en las prácticas mediadas por estos sistemas (Bearman et al., 2023) y destacan la importancia de la ética en el debate contemporáneo de la educación (Holmes et al., 2022). Aquí se ha buscado un marco unificado para este problema actual y con recorrido futuro, donde Ciencia, Tecnología y Sociedad se han tenido en cuenta.
Este marco constituye un punto de partida útil, ya que (i) puede orientar una regulación coherente y bien elaborada, (ii) permite ubicar las buenas prácticas, (iii) indica las competencias que necesitan desarrollar los docentes, y (iv) ofrece criterios a los estudiantes para interaccionar con la IA y aprovechar su potencial en los contextos formativos. Pero es preciso seguir avanzando. La investigación en este ámbito está experimentando un incremento notable y conviene, en futuros esfuerzos, poner estos consensos en relación con los resultados del metaanálisis de una muestra mucho mayor de documentos. A su vez:
Los principios representan los valores que se han de realizar a través de los fines (p. ej., no sería legítimo un fin que de ser alcanzado pueda dañar). Pero además de procurar fines éticos para la IA, es preciso determinar los medios para desarrollarla de manera ética, porque una cosa es hacer cosas éticas y otra hacerlas éticamente (Holmes et al., 2022, p. 504) y aunque lo que se busque sea algo beneficioso, no todo puede estar permitido para alcanzarlo (piénsese en el uso indebido de los datos).
Los valores a los que remiten los principios son valores “confiables” y constituyen algunas de nuestras certezas como garantía de la dignidad humana y la convivencia democrática. Pero (a) pueden conceptualizarse de maneras distintas, como se observa si se atiende a los distintos criterios de justicia que aparecen en los diferentes códigos y (b) son valores que surgieron dentro de la tradición occidental y, para garantizar un alcance global, es preciso incorporar la perspectiva de otras regiones y culturas. Esto nos sitúa de nuevo ante el viejo debate del multiculturalismo. Como señala Adela Cortina, “ante retos universales no cabe sino la respuesta de una actitud ética universal, que tiene como horizonte para la toma de decisiones el bien universal” (Cortina, 1997, p. 261).
Pocas veces se concretan los mecanismos efectivos para que todas las partes interesadas asuman esos principios o la responsabilidad de su transgresión. Esto atañe de modo especial a las empresas tecnológicas que desarrollan los productos de IA para la educación y que además controlan la investigación actual (Ahmed et al., 2023). Como sujetos sociales, pueden y tienen que asumir la responsabilidad de sus acciones en la medida que: a) muestran intencionalidad en la actividad que despliegan y b) la toma de decisiones es controlada por la propia organización (González, 2020).
Las preocupaciones suscitadas por la IA entroncan con cuestiones tradicionales de la ética. En general, no son novedosas. Cambia el grado de relevancia, puesto que la IA conforma en buena medida cómo interaccionamos con el mundo, modula las relaciones sociales e, incluso, incide en la configuración de nuestra propia identidad. Esto tiene consecuencias a la hora de considerar las nociones tradicionales de moralidad y responsabilidad individual, que quizá necesiten ser revisadas a la luz de las nuevas condiciones.
El debate ha de plantearse en dos direcciones principales: Primera, la fundamentación ética que dote a los principios de legitimidad moral. Conviene evitar simplificaciones excesivas de cuestiones especialmente complejas, como sucede cuando son abordadas por expertos en IA. Decidir qué es lo que no puede sacrificarse o qué se debe preferir, requiere poder ofrecer razones sólidas acerca de lo que se considera “bueno” o de lo que se “debe hacer”. Y esto es tarea de la ética.
Para que el desarrollo y uso de los SIA en educación se realice conforme a los principios, hace falta también una regulación jurídica y política. Pero las leyes han de conectar con los valores y estar en sintonía con la razón y los deseos de las personas. Porque una cosa es una ley (que puede ser impuesta o asumida en el proceso de socialización) y otra las razones que un ser humano tenga para tenerla por suya (Cortina, 1997). Entonces hay que considerar una educación en valores.
Segunda, la determinación del nuevo perfil profesional docente, que requiere precisar el conocimiento experto que ahora es necesario para el ejercicio de la profesión. Esto ha de incorporarse a los planes de formación inicial del profesorado. Sobre la base de lo aquí expuesto, deberá contemplar al menos: (a) formación investigadora científicamente sólida que combine el rigor con la resolución práctica de problemas; (b) formación ética para abordar los desafíos de la IA; y (c) formación en IA que permita a los educadores ajustar su enfoque y diseñar estrategias pedagógicas más efectivas para avanzar hacia el objetivo de una “educación inclusiva, equitativa y de calidad y promover las oportunidades de aprendizaje durante toda la vida para todos”.
Principios de Asilomar sobre IA (2017); Declaración de Montreal para una IA Responsable (2017); Segunda versión de Diseño Éticamente Alineado (2017); Declaración sobre Inteligencia Artificial, Robótica y Sistemas ‘Autónomos’, del Grupo Europeo de Ética en la Ciencia y las Nuevas Tecnologías de la Comisión Europea (2018); Informe del Comité de Inteligencia Artificial de la Cámara de los Lores del Reino Unido (2018); Asociación sobre IA de múltiples partes interesadas (2018).
“Iuris praecepta sunt haec: honeste vivere, alterum non laedere, suum cuique tribuere” (Ulpiano. Digesto 1, 1, 10, 1).
This article reflects on the use of Artificial Intelligence in education from an ethical perspective. It does so from an external perspective, considering its impact on educational contexts as a breeding ground for the ethical and political challenges that society faces. This allows us to measure their scope and depth and propose actions to address them.
The objectives of this article focus on the ethical bases of Artificial Intelligence related to educational activity, seeking to identify: a) the opportunities, associated risks and ethical impact on education; and b) the ethical principles that should guide the development, deployment and use of these intelligent systems.
To achieve these objectives, a qualitative study was carried out, supported by a literature review based on the following method: (i) academic works on the current uses and potential risks of Artificial Intelligence and (ii) a comparative analysis of different ethical codes, exploring the convergence of principles applicable to Artificial Intelligence Systems in educational contexts.
The results obtained, in the first instance, place the identified problems in the ethical tradition and question the proliferation of subdomains within the discipline. The possibility of a unified ethical framework that avoids the overlap of principles for each specific domain is then investigated. The findings confirm the usefulness of a widely recognized and influential framework with principles that adapt well to the ethical challenges of education.
It concludes by indicating potential lines of future research: (I) ethical foundation and normative regulation for the development and use of Artificial Intelligence in education in accordance with the selected principles; and (II) definition of a new professional teaching profile and its implications for initial teacher training.
RESUMEN
Este artículo reflexiona sobre el uso de la Inteligencia Artificial en educación desde una perspectiva ética. Lo hace desde un punto de vista externo, considerando su incidencia en los contextos educativos como vivero de los desafíos éticos y políticos que encara la sociedad. Esto permite dimensionar su alcance y profundidad y proponer medidas para afrontarlos.
Sus objetivos se enfocan hacia las bases éticas de la Inteligencia Artificial relacionada con la actividad educativa, buscando identificar: las oportunidades, riesgos asociados y su impacto ético en educación; y b) los principios éticos que puedan guiar el desarrollo, despliegue y uso de estos sistemas inteligentes.
Para ello se realizó un estudio cualitativo, apoyado en una metodología de revisión bibliográfica de: (i) trabajos académicos sobre sus usos actuales y riesgos potenciales de la Inteligencia Artificial; y (ii) un análisis comparativo de distintos códigos éticos, explorando la convergencia de principios aplicables a Sistemas de Inteligencia Artificial en los contextos educativos.
Los resultados obtenidos, en primer lugar, sitúan los problemas identificados en la tradición ética, cuestionando la proliferación de subdominios de la disciplina. Se indaga, después, la posibilidad de un marco ético unificado que evite la superposición de principios para cada dominio específico. Se constata la utilidad de un marco ampliamente reconocido e influyente, cuyos principios se adaptan bien a los desafíos de la educación.
Se concluye señalando las líneas en las que se debe avanzar en la investigación: (I) fundamentación ética y regulación normativa para el desarrollo y uso de la Inteligencia Artificial en educación conforme a los principios seleccionados; y (II) definición del nuevo perfil profesional docente y sus implicaciones para la formación inicial del profesorado.
The growing digitalisation of everyday tasks in different sectors of human activity has created informational changes that not only modulate our interaction with information and communication technology (ICT) but also how relationships and social processes are articulated. This drives a reontologization of the world rooted in the infosphere and places us in a new era known as hyperhistory (Floridi, 2014). In this era, information is the fundamental resource, meaning that we are vitally dependent on ICT.
Education is what makes this disruptive innovation possible and as such it has now become “lifelong”. In guaranteeing the transition to information as a resource, the 2030 Agenda establishes that one of the Sustainable Development Goals (SDG 4) is “to ensure inclusive and equitable quality education and promote lifelong learning opportunities for all” (United Nations, 2019). Artificial Intelligence (AI) can make an effective contribution to these goals as it already offers numerous opportunities in multiple areas of social activity (industry, communication, health, etc.).
Its incorporation in education, driven by e-learning, has been discreet, but its use is constantly growing even in the most traditional educational environments. Its potential to improve education is immense, but it is essential that we learn to manage the numerous social, ethical and deontological implications. Above all, because the normalisation of AI in different areas of social life entails an inevitable change to which education is obligated to respond.
According to this “discourse of imperative change” (Bearman et al., 2023), it is unrealistic to simply dispense with these tools because they entail certain risks. Furthermore, it would be contrary to the ultimate aims of education, which include preparing students to enter the world in which they will have to live – a world that is already shaped by digitalisation and AI. It is essential, therefore, to think about Artificial Intelligence for Education in the context of Education for Artificial Intelligence.
Generally speaking, the social impact of AI raises legitimate ethical concerns about its use in educational settings. Being an especially high-risk area—and an excellent testing ground for addressing these types of suitably focused problems—, it requires serious ethical reflection. This can be approached from an “internal” perspective, as done by the scientists who create AI, the technologists who implement it and the educators who use it. However, the aim in this study is to focus on an “external” approach, allowing us to consider the scientific/technological/social three-part dimension of the issues and to suggest criteria for assessing the potential solutions, expected results and potential consequences.
As such, the objectives of this study focus on the ethical bases of Artificial Intelligence linked to educational activity, seeking to: a) identify the opportunities, risks and ethical impact associated with its incorporation, which will help understand the need for ethical principles; and b) to specify these principles in order to create an ethical framework to regulate the development, deployment and use of intelligent systems. Other key points to consider include its use in making pedagogical decisions and to determine the skills needed by teachers and students when interacting with AI in order to prevent the associated risks.
To outline a proposal, a qualitative study was performed supported by a literature review based on two types of texts: (i) academic works on uses, risks and ethical guidelines in Artificial Intelligence—selected based on the specific topic, authority of the authors and impact of the work—that confirmed the need to link AI programs to ethical codes; and (ii) ethical codes for intelligent systems, identifying the convergence of certain principles. Given the amount and diversity of the published codes, an intentional sampling method was selected with the aim of comparing the perspectives of different stakeholders: international organisations, countries involved in the AI race and industries representative of the sector.
In this context, the research follows various steps that set the structure of this article. First, the problem is placed within the philosophical-methodological framework of design science. Second, the uses, opportunities and risks of AI tools in education are described. Third, serious ethical implications are confirmed. In this respect, after confirming continuity with problems in the tradition, the proliferation of subdomains within the discipline is questioned. Fourth, as a result of the analysis of different ethical codes, the convergence of principles that allow for the proposal of a unified framework for AI in education is confirmed. Fifth, the article concludes that future research is required along two different lines: (i) ethical foundation and normative regulation for the development and use of Artificial Intelligence Systems (AIS) in education; and (ii) outlining a new professional teaching profile to identify teacher training needs.
<bold>D<sc>esign science</sc>: <sc>goals</sc>, <sc>processes and results</sc></bold>
Artificial Intelligence in Education (AIED) is a scientific undertaking in the realm of the science of design (González, 2017a). Its aim is to create intelligent tools that allow for broader possibilities for different users in specific contexts of use in education. It arises from the confluence of Artificial Intelligence and Education, which are also disciplines of design science as they seek new goals to broaden human possibilities and are articulated in terms of objectives, processes and results.
In contrast to natural and social sciences, design science expressly focuses on predicting how things might be and on prescribing guidelines that help change how things are now to “how they should be” (Simon, 1996; González, 2007). As such, its main objective is to modulate the future according to a set of predefined aims.
On this scientific basis, interventions can be designed in different fields of human activity and, to put them into practice, they may include technological designs. This is the case with the use of AI to solve problems and improve possibilities in education in terms of achieving objectives. However, this all has serious ethical implications that need to be considered in relation to various aspects:
(i) The objectives, which can be debatable or lead to conflict between different stakeholders. This also includes the selection of problems that AI is used to solve. (ii) The processes: which processes we want to automate, accelerate, etc. and which AI technologies are most suitable for the intended purpose. (iii) The results, which can call into question the intervention itself (that is, the whole sequence of pedagogical activity improved with AI). (iv) The consequences that follow the implemented actions, which may not be as intended.
<bold>U<sc>ses and opportunities of ai in education</sc></bold>
AI has a broad range of uses in education (Flores Vivar y García Peñalvo, 2023; European Union, 2022; Jara y Ochoa, 2020; Ocaña Fernández et al., 2019; Moreno Padilla, 2019; Sánchez Vila y Lema Penín, 2007), including the following:
To facilitate management tasks, including timetabling, resource allocation, etc.
To automate daily tasks for teachers, including student tracking, sharing information about students with their families or guardians, marking exercises or tests, etc.
To support teaching through intelligent tutoring systems that offer students support depending on the difficulties that they may encounter. These systems can provide students with effective support, even outside the classroom, in the preparation of tasks. In contexts and cases where a human teacher is not available, they can be replaced by virtual facilitators (realistic virtual characters based on a combination of AI technology, 3D games and computer animation).
To personalise the learning experience, which is arguably AI’s main contribution. The so-called adaptive teaching systems are tools related to this objective. They genuinely place the student at the centre of the experience, adjusting the learning path to the individual profile, characteristics and behaviour of each student. By analysing information about each student’s progress, they can predict their future performance, allowing for the optimisation of resources and content and even anticipating corrective measures to improve performance.
Various AI-based solutions for special educational needs also contribute to a more personalised form of education; for example, live subtitling in the case of hearing impairment or audio description for blind or visually impaired students.
In addition, there are many other algorithmic applications from the world of informal education that are part of the learning ecosystem: through social media, online gaming platforms or mobile apps, among others.
However, although the use of AI in education is becoming the norm, there is still very little empirical research into its real impact. Some studies show that these tools, with a step-based approach to well-defined problems, are successful in supporting teaching and learning in the field of STEM (Humble & Mozelius, 2022). And it is precisely these disciplines that seek to develop the right type of skills, from a technological and scientific perspective, to face the challenges of the 21st century (Moreno Padilla, 2019). These AI tools also work well in the learning of foreign languages. In any case, it is important to maintain a critical and supervised attitude (European Union, 2022, p. 14).
<bold>P<sc>otential risks and ethical implications</sc></bold>
Limited teacher training in the use of AI is a key concern in terms of its proper implementation in education as this lack of training could lead to the incorrect use or even abuse of the technology. However, to understand the potential risks, it is important to look, above all, at the design of these tools and ask what is behind their introduction in the education “market”, who is driving it and why.
The development of AI in education can interfere with people’s autonomy and responsibility and obstruct universal rights (UN General Assembly, 1948) such as privacy (art. 12), equality (art. 1) and non-discrimination (art. 2). This has broad social and ethical implications (Crawford, 2023) that also arise in other areas (Linares Salgado, 2022) but which require special consideration in educational contexts.
Privacy: Machine learning systems are trained using large amounts of data. In education, this means: (i) personal information about students and their families; (ii) records of academic performance; and (iii) tracking data generated from online use and learning activities.
Data is key to the success of AI and forms the basis of personalised education. However, the logic of the technology sector, where everything is seen as data that can be taken and used (Crawford, 2023), poses a series of questions in the education sector about how this data is obtained (consent and privacy), how it is analysed (transparency and trust) and the risk of it being used beyond its approved purpose, where students and families end up as victims of consumer manipulation or other practices (Unesco, 2019).
There is a high risk of cyber-attacks when there are no security protocols. This is especially concerning when minors are involved. Education centres are required to have suitable procedures in place to ensure the protection and ethical use of personal data (EU, 2022, p. 11), but this is no easy task when the skills and knowledge to develop AIED systems are in the hands of for-profit organisations and not within the education sector (Humble & Mozelius, 2022).
Equality and non-discrimination: The data used to train machine learning algorithms is affected by biases from certain contexts and people. These systems then internalise partial or discriminatory criteria (about “race”, gender, age, etc.) from these sources and can even end up amplifying them.
Historically, different forms of inequality conditioned access to resources and opportunities, and this is now affecting the data used to train algorithms to classify and recognise patterns. As such, “under the guise of technical neutrality” (Crawford, 2023, p. 231), where groups of users about whom there is less available data often get left behind, AI systems end up perpetuating social inequality. The use of AI is also expanding the digital gap, socially, as the countries and groups of people with the most resources are those who benefit from the opportunities it provides. All this compromises educational fairness.
AI classification practices are also affected by inherent bias. It is the designers who have the final say in deciding what variables are used in the training data sets and which differences should be considered to correctly classify new observations (Crawford, 2023). This contributes to maintaining and amplifying stereotypes (with clear epistemological implications that go beyond the aims of this article).
Autonomy: Interactions with AIS can hinder students’ development of autonomy and affect their reasoning and decision-making abilities. This adds an additional complication in achieving the goal of creating independent learners (Humble & Mozelius, 2022). In addition, relinquishing freedom of choice and delegating decision-making undermines autonomy defined as the capacity for self-legislation and self-determination, linked to the recognition of human dignity.
Responsibility: AIS are agents –and might be replacing human agency–, but they are not moral agents. This creates ethical problems related to responsibility (and accountability) for their actions, including cases of legal liability that would need to be addressed in the event of negative consequences for other people. These problems are exacerbated because machine learning algorithms currently present unpredictable elements due to the opacity with which they function.
<italic>Ethical challenges specific to the field of education</italic>
Together with these general ethical questions, each of the domains in which AI is used has specific ethical challenges that need to be analysed in context. In education, some of the key considerations are: 1) The potential harm that could arise from educational diagnosis and the prediction of student results that could shape their future development. 2) Problems created by the decisions that an AI system might make due to their impact on the educational decisions of teachers, families and other stakeholders (including legislators). 3) The effect on people’s development and maturity, especially in the early years of education, due to a shift in roles that changes the relationship between teachers and students.
It is also important to consider: 4) The pedagogical methods that guide the design of AI systems. Generally speaking, they seek solutions that are most readily monetised, and they are not very innovative. They contribute, therefore, to maintaining the status quo of the education system (Holmes et al, 2022), losing their immense potential to change education and genuinely broaden people’s horizons. 5) The image of the world and the tacit social and political ideas to which AI responds that are transferred to the field of education. This technology is not innocuous and “the classifications that are casually chosen to shape a technical system can play a dynamic role in shaping the social and material world” (Crawford, 2023, p. 128). 6) It is also important to mention the ethical dimension of some bad practices engaged in by students when using AI tools, which involve fraud and scams, threaten or damage property and compromise intellectual honesty.
<bold>T<sc>he importance of ethics</sc></bold>
The positive aspects and risks associated with AI are very closely linked, and it is impossible to enjoy the huge benefits that it has to offer without facing its negative consequences. As such, these ambiguities need to be analysed and understood in order to (i) anticipate and calibrate the impacts of certain developments and (ii) select the values and principles that must be protected. This is why the ethics of AI have emerged as a multidisciplinary field of research in applied ethical issues related to the normative problems posed by the development, deployment and use of intelligent systems. These ethics are not for the intelligent systems per se but for the people who design, develop or use these systems as they are the ones who could potentially cause, albeit involuntarily, numerous moral problems.
A normative analysis of the impacts of AI reveals parallels with other specific subdomains in the ethics of technology (regarding the internet, data, robots, etc.) formed around different innovations. They often address the same issues (privacy, bias, etc.) with similar approaches, but they are developed in isolation and discussions about them are never connected nor positioned in relation to historical approaches (Sætra & Danaher, 2022). This leads to a duplication of work with no increase in actual knowledge and even to the omission of consolidated ideas in the ethics tradition. As such, the difficulties of addressing the ethical challenges of AI often have more to do with forgetting the fundamental questions of ethics –and acquired historical knowledge– than with our actual understanding of AI.
The ethics of AI have received a lot of attention from researchers (Boddington, 2017; Coeckelberg, 2021; Floridi, 2022) and from different bodies, institutions and corporations. The current focus is on drawing up codes of ethics to identify the values and principles that should be put into practice. Multiple initiatives and proposals have been put forward in recent years and different countries have also tried to establish suggestions and regulations. Often, the proliferation of codes with their guidelines and principles is seen as a problem (Sætra & Danaher, 2022) as it can be confusing (Floridi & Cowls, 2021). However, many of these codes have shared principles with certain emphases and nuances based on different cultural and social values.
A comparative analysis of six high-profile ethical codes for AI –published between 2017 and 20181– allowed Floridi & Cowls (2021) to establish a general framework with five core principles, four of which are also used in Bioethics: beneficence, non-maleficence, autonomy and justice (Beauchamp & Childress 2019). However, their transfer to the challenges of AI is not perfect and, in some cases, requires a degree of translation:
Beneficence refers to promoting wellbeing, preserving dignity and sustaining the planet. Non-maleficence refers to privacy, security and caution. Autonomy is understood as the power to decide. Justice entails promoting prosperity, preserving solidarity and avoiding unfairness. Issues arising from the development of AI itself call for the inclusion of a new principle: explicability, which enables other principles through intelligibility and accountability (Floridi & Cowls, 2021).
This framework could serve as the architecture within which regulations, technical standards and best practices for specific sectors can be developed. It can play both an enabling role (e.g., the use of AI to achieve the UN Sustainable Development Goals) and a restrictive role (Floridi & Cowls, 2021, p. 14). It is a general and realistic ethical framework for monitoring and assessing the design, development and use of AIS because it contains a manageable number of principles that are compatible with universal and irrefutable fundamental values. These principles offer a basis for specific regulations that could arise in a broad range of contexts, for international laws and agreements, the monitoring and assessment mechanisms set up by different countries and even citizen observatories, thereby providing moral, legal and political legitimacy.
<bold>A <sc>unified ethical framework for artificial intelligence in the context of education</sc></bold>
Based on the foregoing ideas, we can now move from the general to the specific. This requires adopting ethical frameworks for the use and development of AI in education. The importance of doing so has been highlighted in previous research (Holmes et al., 2022; Holmes & Porayska-Pomsta, 2023). However, since the Ethical guidelines for AI in education published by Aiken & Epstein over two decades ago (Aiken & Epstein 2000), there has been a surprising lack of published work that focuses specifically on ethics (Holmes, et al., 2022, pp. 505-506). Recently, it has once again become a topic of interest in the education research community (Chu et al, 2022; Holmes y Porayska-Pomsta, 2023; Boddington, 2023; Nguyen et al., 2023) and, in the past few years, a number of significant initiatives have been launched by international organisations (Unesco, 2019; European Union, 2022).
The European Union, in its Digital Education Action Plan (2021-2027) —which aims to support a sustainable and effective adaptation of the education and training systems of Member States to the digital age— established a series of ethical guidelines on the use of AI and data in teaching and learning for educators (European Union, 2022). These guidelines, based on the principles and requirements for trustworthy AI (European Commission, 2019), present four key considerations that should guide educators in their decisions about the use of AI: human agency, fairness, humanity and justified choice.
In the academic community, ethical reports and guidelines by international organisations have been systematically analysed and applicable principles selected to ensure that the AI systems developed for education are essentially ethical by design: Principle of governance and stewardship, principle of transparency and accountability, principle of sustainability and proportionality, principle of privacy, principle of security and safety, principle of inclusiveness and principle of human-centered AIED (Nguyen et al. 2023).
Considering these proposals, a unified framework is needed to ensure responsible, ethical and trustworthy AI. With this, the aim is to avoid the overlap of principles and recommendations for each specific domain. There is a prestigious framework that has played a key role in the discussions of the European Commission high-level expert group on AI and influenced various recommendations (Floridi & Cowls, 2021). Its principles are surprisingly adaptable to a broad range of contexts (Linares Salgado, 2022). The question is whether they can also be applied to issues regarding when, how and why an intelligent system is used in education in order to ensure that AI is used properly in specific teaching decisions, actions and practices.
This question led to a new three-phase analysis:
Review of guides and recommendations that contain ethical codes deemed relevant due to their impact and published after those analysed by Floridi & Cowls (2021). The aim is to verify the validity and prevalence of the proposed ethical principles. In the sample group, the aim was to ensure that the sector’s different influential perspectives were represented: a) recommendations from international organisations: EU (2019), UNESCO (2022) and OECD (2019); b) documents from countries involved in the AI race: USA (Executive Office of the President, 2020), China (China’s Ministry of Science and Technology, 2017), EU (EC, 2019) and Spain (Gobierno de España, 2020); and c) initiatives from various key companies in the sector: Microsoft (2022), Google (2022) and Meta (Meta Platforms, 2021).
Confirmation of the convergence, in the previous ethical framework, of the following aspects: (i) the principles selected by Nguyen et al. (2023) and (ii) the European Commission’s ethical guidelines for the use of AI in education.
Verification that the values behind these principles are aligned with the values of education (Alonso, 2022 y 2023).
<italic>Results</italic>
The comparative analysis, as seen in Table 1, shows a high degree of overlap among the principles of the nine codes, which clearly converge in the general framework proposed by Floridi & Cowls (2021). Although only explicability appears in identical form –or as transparency– in all the codes, the “translation” performed to transfer the principles of bioethics to AI allows for their identification.
S<sc>ynoptic overview</sc> 1
Beneficence
Non-maleficence
Autonomy
Justice
Explicability
Promoting wellbeing, preserving dignity and sustaining the planet
Privacy, security and ‘capability caution’
Power to decide (whether to decide)
Promoting prosperity, preserving solidarity and avoiding unfairness
Enabling the other principles through intelligibility and accountability
UNESCO
Sustainability
Proportionality and do no harm Safety and Security
Human oversight and determination
Fairness and non-discrimination
Transparency and explainability
OECD
Inclusive growth, sustainable development and wellbeing
Robustness, security and safety
Respecting human values and fairness (including autonomy)
Respecting human values and fairness
Transparency and explicability Accountability
EU
Prevention of harm
Respect for human autonomy
Fairness
Explicability
USA
Safety and Security
Fairness and non-discrimination
Disclosure and transparency
CHINA
Harmony and friendship: promoting the common good
Privacy: respecting and protecting privacy
Privacy: respecting and protecting people’s right to know and choose
Fairness and justice
Security: transparency, explainability, traceability, trustworthiness, auditability and safety
SPAIN
Social wellbeing Sustainability
Data and systems governance: data cannot be used to harm people or to violate their fundamental rights
Social wellbeing: not reducing, limiting or diverting people’s autonomy
Inclusion
Transparency
GOOGLE
Be socially beneficial
Be built and tested for safety Incorporate privacy design principles
Be accountable to people: the systems must be subject to appropriate human control and direction
Avoid creating or reinforcing unfair bias
Be accountable to people: providing appropriate opportunities for feedback, relevant explanations and appeal
MICROSOFT
Privacy and security
Fairness
Transparency Accountability
META
Robustness and safety
Fairness and inclusion
Transparency and control
Source: prepared by authors
The principle of non-maleficence (which refers back to the principle of non-laedere in Roman law)2 appears expressly as prevention of harm in the EU guidelines, as security and safety in six codes and is centred around the protection of privacy in two others. In Spain’s National AI Strategy, prevention is associated with the principle of data and systems governance: “data cannot be used to harm people or to violate their fundamental rights” (Gobierno de España, 2020, p. 67).
Justice(suum cuique tribuere) is referenced explicitly in one of the codes (China), while fairness appears more frequently as a criterion of justice (in seven codes). It can be seen in the principle of inclusion (Spain) and in the prevention of threats to justice like avoid creating or reinforcing unfair bias (Google) and non-discrimination.
The principle of autonomy is associated with human-led decision-making, which could be threatened as the agency of machines increases. Interestingly, this principle is not included in the US Guidance for the regulation of AI applications and in two of the three private sector incentives (Microsoft and Meta). It appears in the other codes in the form of autonomy, as human oversight, control or direction or as the right to choose.
The same codes that do not include the principle of autonomy also do not include the principle of beneficence, which limits the creation of AIS to systems that are of benefit to humankind. Nor does it appear explicitly in the ethical guidelines from the EU. However, social and environmental wellbeing does appear among the requirements derived from the principle of fairness. In the other codes, it appears in various forms linked to wellbeing and sustainability.
In conclusion, the framework presented by Floridi & Cowls (2021) offers an ample and complete list of the key ethical principles for AI. –As suggested by the authors–, it could be a useful guide for regulations and practices in specific domains. It should also include the principles proposed in the field of education, focusing on two different areas: (ii) directing the development, deployment and use of AI tools and (ii) guiding educators in their professional practices.
There are clear parallels between the principles of non-maleficence and beneficence and the meta-principles proposed by Aiken and Epstein as a core philosophical basis for any discussion about AIED systems. According to the negative meta-principle, “AIED technology should not diminish the student along any of the fundamental dimensions of human being”. The positive meta-principle establishes that “AIED technology should augment the student along at least one of the fundamental dimensions of human being” (Aiken & Epstein, 2000, p. 170).
Also, as seen in Table 2, there is a high degree of convergence between the proposal from Nguyen et al. (2023) and the unified framework: (i) The principle of non-maleficence implies privacy, safety and capability caution. Therefore, it also incorporates the principles of privacy and of security and safety (ii) Beneficence refers to promoting wellbeing, preserving dignity and sustaining the planet, which relates to the principle of sustainability and proportionality. (iii) Autonomy means the power to decide. Linked to the recognition of people’s dignity, it leads to the basic principle that should govern our relationship with AI: the irreplaceable human element, as required by the human-centered AIED principle. (iv) Justice is promoting prosperity, preserving solidarity and avoiding unfairness, which is the key aim of the principle of inclusiveness. (v) Explicability means enabling the other principles through intelligibility and accountability. Intelligibility requires transparency, and accountability implies the attribution of responsibilities, as required by the principle of transparency and accountability.
S<sc>ynoptic overview</sc> 2
Floridi & Cowls, 2021
AIED
Nguyen et al., 2023
Education values (EU, 2022)
Principles
Principles
Ethical considerations
Values
Non-maleficence:
Privacy
Privacy
Safety
Security and Safety
‘Capacity caution’
Beneficence:
Promoting wellbeing
Humanity (consideration for people, identity and dignity)
Wellbeing
Safety
Preserving dignity
Social cohesion
Sustaining the planet
Sustainability and proportionality
Meaningful human connection
Autonomy:
Power to decide (to decide) (leading to the irreplaceable human element)
Human-centered AIED
Human agency
Autonomy
Self-determination
Responsibility
Justice:
Promoting prosperity
Principle of inclusion
Fairness
Equal opportunities
Inclusion
Preserving solidarity
Non-discrimination
Avoiding unfairness
Fair distribution of rights and responsibilities
Explicability:
Intelligibility
Principle of transparency and accountability
Justified choice
(use of knowledge, facts and data to justify the choices of the various stakeholders in a school setting)
Transparency
Accountability
(Intelligibility requires transparency, and accountability implies the attribution of responsibilities)
Explicability
Source: prepared by authors
These principles are also aligned with the ethical considerations identified by the European Union to guide educators in their decisions about AI (European Union, 2022, p. 18). The following are recognised in these considerations: (i) the values that form the core aims of education (autonomy, self-determination, responsibility, social cohesion, wellbeing, etc.); (ii) the indispensable values for the development of education (equal opportunities, non-discrimination, transparency, explicability, etc.); and (iii) the values used to inform decision-making in education, including inclusion, fair distribution of rights and responsibilities or meaningful human connection (Alonso, 2022 y 2023).
The ethical principles of beneficence, non-maleficence, autonomy, justice and explicability applied to AIS can prevent the risks associated with these systems for them to be used to benefit the Right to Education (SDG 4) as an end in themselves and as a means to achieve the other rights. Any tools that —in their design, deployment and use— might violate any of these principles would not be legitimate as they would jeopardise the respect for human dignity that human rights seek to preserve.
Non-maleficence. AI should be designed to neither aggravate existing harm nor create new harm. As such, it would not be ethical to design tools that hinder the development of any of the inherent facets of human intelligence in its three core domains: perception —knowledge—, volition and values (González, 2017b), limiting the use of our senses, imagination, thinking and reasoning in a “truly human” way (Nussbaum, 2012, p. 33).
Beneficence. In addition to doing no harm, educational AIS should be designed so that students can develop their potential and use all their skills and abilities to choose the life that they want to live in a full and creative manner, in line with human dignity.
Autonomy. In ethics, autonomy is understood as the ability for self-legislation and self-determination, which is only applicable to human beings. This requires and justifies human control over “machines”. As such: (a) decisions that affect people’s lives cannot be delegated to intelligent machines without human supervision. As a result, educational decisions cannot be solely based on automatic data processing. (b) A human being should always know if they are interacting with human or with a machine. Therefore, when AI tools are used, the special precautions required for vulnerable people, such as children, require informed consent from the parents or legal guardians.
Education is an especially high-risk area due to its role in the development of human beings and in shaping how we think and act throughout our lives. It is essential to stress caution, which now appears as a requirement of non-maleficence, and to incorporate the Precautionary Principle in any educational intervention where AI might present a threat to autonomy and human dignity (expanding on the Wingspread Statement).
<bold>C<sc>onclusion and discussion</sc></bold>
The external perspective on AI and its use in education focuses on social repercussions and responsibility in practices that involved these systems (Bearman et al., 2023) and highlights the importance of ethics in the contemporary debate about education (Holmes et al., 2022). In this article, a unified framework has been sought for this current and future problem, where science, technology and society have all been taken into account.
This framework is a useful starting point as (i) it can guide and inform coherent and carefully planned regulation, (ii) it allows for the identification of good practices, (iii) it identifies the skills that educators need to develop and (iv) it offers students a set of criteria for interacting with AI and using it to its full potential in learning environments. But there is still a long way to go. There has been a notable increase in research in this field and, in future projects, it would be interesting to compare the parallels detected in this study with the results of a meta-analysis of a much larger group of documents. In turn:
The principles represent the values that should be achieved through the end goals (e.g., an end goal that, if achieved, could cause harm, would not be legitimate). However, in addition to ensuring ethical goals for AI, we must also determine how they can be achieved in an ethical way because it is one thing to do ethical things and another to do them ethically (Holmes et al., 2022, p. 504). As such, even if the end goal is ultimately beneficial, it does not justify the use of all means to achieve it (think about the misuse of data).
The values to which the principles refer are “trusted” values, representing some of our core certainties such as the guarantee of human dignity and democratic coexistence. However, (a) they can be conceptualised in different ways, as seen in the different criteria for justice used in the different codes and (b) the values are rooted in the Western tradition and, to ensure a true global reach, perspectives from other regions and cultures must be included. This brings us back to the age-old debate of multiculturalism. As argued by Adela Cortina, “there can be no response to universal challenges other than to adopt a universal ethical approach, where the end goal of decision-making is the universal good” (Cortina, 1997, p. 261).
The effective mechanisms to ensure that all stakeholders adopt these principles and accept responsibility for their transgression are often not specified. In particular, this refers to the technology companies that develop AI products for education and that also control the current research (Ahmed et al., 2023). As social subjects, they can and must take responsibility for their actions insofar as: a) they demonstrate intentionality in the deployed activities and b) decision-making is controlled by the organisation itself (González, 2020).
The concerns raised by AI are connected to traditional ethical issues. They are, in general, not new. The degree of significance is different as, to a large extent, AI shapes how we interact with the world, modulates social relationships and, even, affects the configuration of our own identity. The consequences of this affect how we view traditional ideas of morality and individual responsibility, which perhaps need to be reviewed in light of the new conditions.
The debate should develop in two main directions: Firstly, the ethical foundations that give the principles their moral legitimacy. The oversimplification of especially complex issues should be avoided, as can happen when they are addressed by AI experts. To decide what cannot be sacrificed or what must be preferred, we must be able to offer a solid justification of what is considered “good” and what “should be done”. And this is a job for ethics.
Ensuring that AIS is developed and used in education in accordance with ethical principles will also require legal and political regulation. However, such laws need to connect with the corresponding values and be in tune with people’s reasons and desires. Because having a law (that can be imposed or assumed in the process of socialisation) is one thing and a person’s reasons for making it their own is another (Cortina, 1997). As such, an education in values should be considered.
Secondly, the definition of a new professional teaching profile, which requires specifying the expert knowledge that is now needed to work in this profession. This should be included in initial teacher training plans. Based on the above, this should include, at least: (a) scientifically robust research training that combines scientific rigour with practical problem-solving; (b) ethical training to address the challenges of AI; and (c) training in AI that allows educators to adjust their approach and design more effective teaching strategies in order to progress towards the goal of “inclusive, fair, quality education and to promote opportunities for lifelong learning for all”.
Asilomar AI Principles (2017); Montreal Declaration for Responsible AI (2017); Version 2 of Ethically Aligned Design (2017); Statement on artificial intelligence, robotics and ‘autonomous’ systems, from the European Group on Ethics in Science and New Technologies (European Commission, 2018); UK House of Lords Select Committee on Artificial Intelligence Report (2018); Multi-Stakeholder AI Association (2018).
“Iuris praecepta sunt haec: honeste vivere, alterum non laedere, suum cuique tribuere” (Ulpiano. Digesto 1, 1, 10, 1).
<bold>R<sc>eferences</sc></bold>AhmedN.WahedM.ThompsonN. C.2023The growing influence of industry in AI researchScience3796635884886https://www.science.org/doi/10.1126/science.ade2420Ahmed, N., Wahed, M., & Thompson, N. C. (2023). The growing influence of industry in AI research. Science, 379 (6635), 884-886. https://www.science.org/doi/10.1126/ science.ade2420AikenR. M.EpsteinR. G.2000Ethical Guidelines for AI in Education: Starting a ConversationInternational Journal of Artificial Intelligence in Education11163176Aiken, R. M., & Epstein, R. G. (2000). Ethical Guidelines for AI in Education: Starting a Conversation. International Journal of Artificial Intelligence in Education, 11, 163-176.AlonsoA. M.2022Las Ciencias de Diseño como Ciencias Aplicadas y el papel de los valores: Análisis del caso de la EducaciónRevista de Investigación Filosófica9132710.26754/ojs_arif/arif.202216381Alonso, A. M. (2022). Las Ciencias de Diseño como Ciencias Aplicadas y el papel de los valores: Análisis del caso de la Educación. Revista de Investigación Filosófica, 9(1), 3-27. https://doi.org/10.26754/ojs_arif/arif.202216381AlonsoA. M.2023Filosofía de la Ciencia de la Educación: Análisis como Ciencia Aplicada de DiseñoTirant lo BlanchAlonso, A. M. (2023). Filosofía de la Ciencia de la Educación: Análisis como Ciencia Aplicada de Diseño. Tirant lo Blanch.Asamblea General de la ONU1948Declaración Universal de los Derechos HumanosParishttp://www.un.org/en/universal-declaration-human-rights/Asamblea General de la ONU. (1948). Declaración Universal de los Derechos Humanos. Paris. http://www.un.org/en/universal-declaration-human-rights/BearmanM.RyanJ.AjjawiR.2023Discourses of artificial intelligence in higher education: a critical literature reviewHigher Education8636938510.1007/s10734-022-00937-2Bearman, M., Ryan, J., & Ajjawi, R. (2023). Discourses of artificial intelligence in higher education: a critical literature review. Higher Education, 86, 369–385. https://doi.org/10.1007/s10734-022-00937-2BeauchampT. L.ChildressJ. F.2019Principles of biomedical ethicsOxford University PressBeauchamp, T. L., & Childress, J. F. (2019). Principles of biomedical ethics. Oxford University Press.BoddingtonP.2017Towards a code of ethics for artificial intelligenceSpringerBoddington, P. (2017). Towards a code of ethics for artificial intelligence. Springer.BoddingtonP.2023Introduction, Why AI Ethics?InBoddingtonP.AI Ethics. A Textbookpp.134SpringerBoddington, P. (2023). Introduction, Why AI Ethics? In P. Boddington, AI Ethics. A Textbook (pp. 1-34). Springer.ChuJ.XiL.ZhangQ.LinR.2022Research on Ethical Issues of Artificial Intelligence in EducationInYangJ.et al.Eds.Resilience and Future of Smart Learningpp.101108Springer10.1007/978-981-19-5967-7_12Chu, J., Xi, L., Zhang, Q., & Lin, R. (2022). Research on Ethical Issues of Artificial Intelligence in Education. In J. Yang, et al. (Eds.), Resilience and Future of Smart Learning (pp. 101-108). Springer. https://doi.org/10.1007/978-981-19-5967-7_12CoeckelbergM.2021Ética de la Inteligencia ArtificialCátedraCoeckelberg, M. (2021). Ética de la Inteligencia Artificial. Cátedra.Comisión Europea2019Grupo de Expertos de Alto Nivel sobre IADirectrices Éticas para una IA fiablehttps://op.europa.eu/es/publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1Comisión Europea. (2019). Grupo de Expertos de Alto Nivel sobre IA. Directrices Éticas para una IA fiable. https://op.europa.eu/es/publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1CortinaA.1997Ciudadanos del mundo. Hacia una teoría de la ciudadaníaAlianza editorialCortina, A. (1997). Ciudadanos del mundo. Hacia una teoría de la ciudadanía. Alianza editorial.CrawfordK.2023Atlas de I. Poder, Política y Costes Planetarios de la Inteligencia ArtificialNed edicionesCrawford, K. (2023). Atlas de I. Poder, Política y Costes Planetarios de la Inteligencia Artificial. Ned ediciones.Executive Office of the President2020Guidance for regulation of Artificial Intelligence applicationshttps://www.whitehouse.gov/wp-content/uploads/2020/11/M-21-06.pdfExecutive Office of the President. (2020). Guidance for regulation of Artificial Intelligence applications. https://www.whitehouse.gov/wp-content/uploads/2020/11/M-21-06.pdfFlores VivarJ. M.García-PeñalvoF. J.2023Reflexiones sobre la ética, potencialidades y retos de la Inteligencia Artificial en el marco de la Educación de calidad (ODS4)Comunicar3174374710.3916/C74-2023-03Flores Vivar, J. M. y García-Peñalvo, F. J. (2023). Reflexiones sobre la ética, potencialidades y retos de la Inteligencia Artificial en el marco de la Educación de calidad (ODS4). Comunicar, 31(74), 37-47. https://doi.org/10.3916/C74-2023-03FloridiL.2014The Fourth Revolution - How the Infosphere is Reshaping Human RealityOxford University PressFloridi, L. (2014). The Fourth Revolution - How the Infosphere is Reshaping Human Reality. Oxford University Press.FloridiL2022Etica dell’intelligenza artificiale. Sviluppi, opportunità, sfideRafaello CortinaFloridi, L (2022). Etica dell’intelligenza artificiale. Sviluppi, opportunità, sfide. Rafaello Cortina.FloridiL.CowlsJ.2021A Unified Framework of Five Principles for AI in SocietyInFloridiL.Ed.Ethics, Governance, and Policies in Artificial Intelligence517SpringerFloridi L., & Cowls, J. (2021). A Unified Framework of Five Principles for AI in Society. In L. Floridi (Ed.), Ethics, Governance, and Policies in Artificial Intelligence (5-17). Springer.Gobierno de España2020Estrategia Nacional de Inteligencia Artificialhttps://www.lamoncloa.gob.es/presidente/actividades/Documents/2020/021220-ENIA.pdfGobierno de España. (2020). Estrategia Nacional de Inteligencia Artificial. https://www.lamoncloa.gob.es/presidente/actividades/Documents/2020/021220-ENIA.pdfGonzálezW. J.2007Configuración de las Ciencias de Diseño como Ciencias de lo Artificial: Papel de la Inteligencia Artificial y de la racionalidad limitadaEnGonzálezW. J.Ed.Las Ciencias de Diseño: Racionalidad limitada, predicción y prescripción4169NetbibloGonzález, W. J. (2007). Configuración de las Ciencias de Diseño como Ciencias de lo Artificial: Papel de la Inteligencia Artificial y de la racionalidad limitada. En W. J. González (Ed.), Las Ciencias de Diseño: Racionalidad limitada, predicción y prescripción (41-69). Netbiblo.GonzálezW. J.2017aArtificial Intelligence in a New Context: “Internal” and “External” FactorsMinds & Machines27339339610.1007/s11023-017-9444-3González, W. J. (2017a). Artificial Intelligence in a New Context: “Internal” and “External” Factors. Minds & Machines, 27(3), 393–396. https://doi.org/10.1007/s11023-017-9444-3GonzálezW. J.2017bFrom Intelligence to Rationality of Minds and Machines in Contemporary Society: The Sciences of Design and the Role of InformationMinds & Machines27339742410.1007/s11023-017-9439-0González, W. J. (2017b). From Intelligence to Rationality of Minds and Machines in Contemporary Society: The Sciences of Design and the Role of Information. Minds & Machines, 27(3), 397-424. https://doi.org/10.1007/s11023-017-9439-0GonzálezW. J.2020The Internet at the Service of Society: Business Ethics, Rationality, and ResponsibilityÉndoxa4638341210.5944/endoxa.46.2020.28029González, W. J. (2020). The Internet at the Service of Society: Business Ethics, Rationality, and Responsibility. Éndoxa, 46, 383-412. https://doi.org/10.5944/endoxa.46.2020.28029Google LLC2022Artificial Intelligence at Google: Our Principleshttps://ai.google/principles/Google LLC. (2022). Artificial Intelligence at Google: Our Principles. https://ai.google/principles/HolmesW.Porayska-PomstaK.2023The Ethics of Artificial Intelligence in EducationRoutledge TaylorHolmes, W., & Porayska-Pomsta, K. (2023). The Ethics of Artificial Intelligence in Education. Routledge Taylor.HolmesW.Porayska-PomstaK.HolsteinK.et al.2022Ethics of AI in Education: Towards a Community-Wide FrameworkInternational Journal of Artificial Intelligence in Education3250452610.1007/s40593-021-00239-1Holmes, W., Porayska-Pomsta, K., Holstein, K. et al. (2022). Ethics of AI in Education: Towards a Community-Wide Framework. International Journal of Artificial Intelligence in Education, 32, 504–526. https://doi.org/10.1007/s40593-021-00239-1HumbleN.MozelliusP.2022The threat, hype, and promise of artificial intelligence in educationDiscover Artificial Intelligence22210.1007/s44163-022-00039-zHumble, N., & Mozellius, P. (2022). The threat, hype, and promise of artificial intelligence in education. Discover Artificial Intelligence, 2(22). https://doi.org/10.1007/s44163-022-00039-zJaraI.OchoaJ. M.2020Usos y efectos de la inteligencia artificial en educaciónBanco Interamericano de Desarrollo10.18235/0002380Jara, I., & Ochoa, J. M. (2020). Usos y efectos de la inteligencia artificial en educación. Banco Interamericano de Desarrollo. http://dx.doi.org/10.18235/0002380Linares SalgadoJ. E.2022Principios éticos para el desarrollo de la Inteligencia Artificial y su aplicación en los sistemas de saludArtefaCToS. Revista de Estudios de la Ciencia y la Tecnología112137161Linares Salgado, J. E. (2022). Principios éticos para el desarrollo de la Inteligencia Artificial y su aplicación en los sistemas de salud. ArtefaCToS. Revista de Estudios de la Ciencia y la Tecnología, 11(2), 137-161.Meta Platforms2021Facebook five pillars of responsible AIhttps://ai.facebook.com/blog/facebooks-five-pillars-of-responsible-ai/Meta Platforms. (2021). Facebook five pillars of responsible AI. https://ai.facebook.com/blog/facebooks-five-pillars-of-responsible-ai/Microsoft Corporation2022Responsible IAhttps://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6Microsoft Corporation (2022). Responsible IA. https://www.microsoft.com/en-us/ai/responsible-ai?activetab=pivot1%3aprimaryr6Ministerio de Ciencia y Tecnología de la República Popular China2017Principios de Gobernanza para una Nueva Generación de IA: Desarrollo Responsable de la Inteligencia Artificialhttps://www.newamerica.org/cybersecurity-initiative/digichina/blog/translation-chinese-expert-group-offers-governance-principles-responsible-ai/Ministerio de Ciencia y Tecnología de la República Popular China. (2017). Principios de Gobernanza para una Nueva Generación de IA: Desarrollo Responsable de la Inteligencia Artificial. https://www.newamerica.org/cybersecurity-initiative/digichina/blog/translation-chinese-expert-group-offers-governance-principles-responsible-ai/Moreno PadillaR.2019La llegada de la inteligencia artificial a la educaciónRITI Journal71426027010.36825/RITI.07.14.022Moreno Padilla, R. (2019). La llegada de la inteligencia artificial a la educación. RITI Journal, 7(14), 260-270. https://doi.org/10.36825/RITI.07.14.022NguyenANgoH. NHongY.DangB.NguyenB.T.2023Ethical principles for artificial intelligence in educationEduc Inf Technol2844221424110.1007/s10639-022-11316-wNguyen A, Ngo H. N, Hong, Y., Dang, B., & Nguyen, B.T. (2023). Ethical principles for artificial intelligence in education. Educ Inf Technol, 28(4), 4221-4241. https://doi.org/10.1007/s10639-022-11316-wNussbaumM.2012Crear capacidades. Propuesta para el desarrollo humanoPaidósNussbaum, M. (2012). Crear capacidades. Propuesta para el desarrollo humano. Paidós.Ocaña-FernandezY.Valenzuela-FernandezL.Garro-AburtoL.2019Inteligencia artificial y sus implicaciones en la educación superiorPropósitos y Representaciones7253655210.20511/pyr2019.v7n2.274Ocaña-Fernandez, Y., Valenzuela-Fernandez, L., & Garro-Aburto, L. (2019). Inteligencia artificial y sus implicaciones en la educación superior. Propósitos y Representaciones, 7(2), 536-552. http://dx.doi.org/10.20511/pyr2019.v7n2.274OECD2019Recommendation of the Council on Artificial IntelligenceOECD/LEGAL/0449https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449OECD (2019). Recommendation of the Council on Artificial Intelligence. OECD/LEGAL/0449. https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449SætraH.S.DanaherJ.2022To Each Technology Its Own Ethics: The Problem of Ethical ProliferationPhilosophy & Technology359310.1007/s13347-022-00591-7Sætra, H.S., & Danaher, J. (2022). To Each Technology Its Own Ethics: The Problem of Ethical Proliferation. Philosophy & Technology, 35, 93. https://doi.org/10.1007/s13347-022-00591-7Sánchez VilaE. M.Lama PenínM.2007Monografía: Técnicas de la Inteligencia Artificial Aplicadas a la EducaciónInteligencia Artificial. Revista Iberoamericana de Inteligencia Artificial1133712Sánchez Vila, E. M., & Lama Penín, M. (2007). Monografía: Técnicas de la Inteligencia Artificial Aplicadas a la Educación. Inteligencia Artificial. Revista Iberoamericana de Inteligencia Artificial, 11(33), 7-12.SimonH. A.1996The Sciences of the ArtificialThe MIT Press3ª ed.Simon, H. A. (1996). The Sciences of the Artificial. The MIT Press. 3ª ed.UlpianoE. D.1836DigestoEnAcademicun parisienseCorpus Iuris civilishttps://gallica.bnf.fr/ark:/12148/bpt6k65768518/f13.item.r=digestumUlpiano, E. D. (1836). Digesto. En Academicun parisiense, Corpus Iuris civilis. https://gallica.bnf.fr/ark:/12148/bpt6k65768518/f13.item.r=digestumUnesco2019Beijing consensus on artificial intelligence and educationhttps://unesdoc.unesco.org/ask:/48223/pf0000368303Unesco. (2019). Beijing consensus on artificial intelligence and education. https://unesdoc.unesco.org/ask:/48223/pf0000368303Unesco2022Recomendación sobre la ética de la inteligencia artificialhttps://unesdoc.unesco.org/ark:/48223/pf0000379920_spa.page=15Unesco. (2022). Recomendación sobre la ética de la inteligencia artificial. https://unesdoc.unesco.org/ark:/48223/pf0000379920_spa.page=15.Unión Europea2022Directrices éticas sobre el uso de la inteligencia artificial (IA) y los datos en la educación y formación para los educadoresPublications Office of the European Unionhttps://data.europa.eu/doi/10.2766/898Unión Europea. (2022). Directrices éticas sobre el uso de la inteligencia artificial (IA) y los datos en la educación y formación para los educadores. Publications Office of the European Union. https://data.europa.eu/doi/10.2766/898United Nations2019The Sustainable Development Goals Report2019https://bit.ly/34nbq60United Nations. (2019). The Sustainable Development Goals Report 2019. https://bit.ly/34nbq60Wingspread Statement on the Precautionary Principle1998http://www.sehn.org/sehn/the-precautionary-principle-march-1998Wingspread Statement on the Precautionary Principle (1998). http://www.sehn.org/sehn/the-precautionary-principle-march-1998