Education in the Knowledge Society (EKS)

Enviar artículo

¿Puede engañarnos una IA? Carencias del estudiantado universitario para detectar ChatGPT

Resumen

La evolución que ha sufrido en los últimos meses la inteligencia artificial (IA), especialmente en la capacidad de generar textos de alta calidad argumentativa ha supuesto un hecho disruptivo en ámbitos académicos y en espacios de educación superior. Uno de los mayores retos actuales y futuros a los que nos enfrentamos reside en la dificultad de identificar aquellos textos que simulan nuestra narrativa humana en un lenguaje natural y que sin embargo han sido elaborados por una IA. OBJETIVOS: En la presente investigación analizamos hasta qué punto el estudiantado universitario de los grados en Educación Primaria y en Educación Social (n=130) es capaz de realizar esta distinción. METODOLOGÍA: A través de la implementación de cuestionarios realizados ad hoc, comprobamos el grado de percepción, complejidad y autoría con respecto a distintos textos. Los textos a analizar fueron diversas definiciones del concepto de educación, la mitad realizadas por humanos y la mitad realizadas por una IA que emulaba el grado de complejidad y expresión de los distintos perfiles y tonos humanos. De manera paralela, los análisis estadísticos han sido realizados a través de la función “Advanced Data Analysis” (anteriormente “Code Interpreter”) del propio ChatGPT y replicados en SPSS, encontrando una gran similitud entre ambos, cualitativamente coincidentes en todos los realizados, excepto uno. Además, los gráficos que se incluyen también han sido realizados gracias a esta función. RESULTADOS: Los resultados señalan la dificultad que los estudiantes de la muestra han tenido en detectar las definiciones realizadas por la IA. CONCLUSIONES: Pese a que, a día de hoy, los límites de la IA con respecto al pensamiento y razonamiento humano son claros, la versátil capacidad creativa de estos modelos de lenguaje dificulta y enmascara su identificación.
  • Referencias
  • Cómo citar
  • Del mismo autor
  • Métricas

Alkaissi, H., & McFarlane, S. I. (2023). Alucinaciones artificiales en ChatGPT: implicaciones en la escritura científica. Cureus, 15(2). https://d66z.short.gy/uQM9Bb

Amir, O., Ariely, D., Cooke, A., Dunning, D., Epley, N., Gneezy, U., Koszegi, B., Lichtenstein, D., Mazar, N., Mullainathan, S., Prelec, D., Shafir, E., & Silva, J. (2005). Psychology, Behavioral Economics, and Public Policy. Marketing Letters 16, 443–454. https://doi.org/10.1007/s11002-005-5904-2

Bulatov, A., Kuratov, Y., Kapushev, Y., & Burtsev, M. S. (2024). Scaling Transformer to 1M tokens and beyond with RMT. arXiv, Article arXiv:2304.11062v2. https://doi.org/10.48550/arXiv.2304.11062

Carrasco, J. P., García, E., Sánchez, D. A., Porter, E., De La Puente, L., Navarro, J., & Cerame, A. (2023). ¿Es capaz “ChatGPT” de aprobar el examen MIR de 2022? Implicaciones de la inteligencia artificial en la educación médica en España. Revista Española de Educación Médica, 4(1). https://doi.org/10.6018/edumed.556511

Carrera Farran, X., & Pérez Garcias, A. (2023). Tecnologías digitales en educación: poniendo el foco en la ética. Edutec, Revista Electrónica De Tecnología Educativa, (83), 1–6. https://doi.org/10.21556/edutec.2023.83.2829

Crawford, J., Cowling, M., & Allen, K. A. (2023). Leadership is needed for ethical ChatGPT: Character, assessment, and learning using artificial intelligence (AI). Journal of University Teaching and Learning Practice, 20(3). https://doi.org/10.53761/1.20.3.02

Cortés-Osorio, J. A. (2023). Explorando el potencial de ChatGPT en la escritura científica: ventajas, desafíos y precauciones. Scientia et Technica, 28(01), 3-5. https://doi.org/10.22517/23447214.25303

Future of Life (2023). Pause Giant AI Experiments: An Open Letter. Future of Life Institute.

Gómez-Cano, C., Sánchez-Castillo, V., & Clavijo, T. A. (2023). Unveiling the Thematic Landscape of Generative Pre-trained Transformer (GPT) Through Bibliometric Analysis, Metaverse Basic and Applied Research, 2, 33. https://doi.org/10.56294/mr202333

González-Geraldo, J. L., & Ortega-López, L. (2023). Valid but not (too) reliable? discriminating the potential of ChatGPT within higher education. International Conference on Education and New Developments (END 2023). Lisboa, 24-26 de junio.

González-Geraldo, J. L., Buedo-Martínez, S., & Ortega-López, L. (2023). Los Micromachismos de ChatGPT: Evidencias sexistas a través de UNICODE, implicaciones socioeducativas. XXXV Congreso Internacional de la SIPS. Pedagogía Social en una sociedad digital e hiperconectada: desafíos y propuestas. Salamanca, 4-6 de octubre.

Gravel, J., D’Amours-Gravel, M., & Osmanlliu, E. (2023, 2023/09/01/). Learning to Fake It: Limited Responses and Fabricated References Provided by ChatGPT for Medical Questions. Mayo Clinic Proceedings: Digital Health, 1(3), 226-234. https://doi.org/10.1016/j.mcpdig.2023.05.004

Hernández-Sampieri, R., & Mendoza, C. (2018). Metodología de la investigación. Las rutas cuantitativa, cualitativa y mixta. McGraw-Hill.

Huang, Y., Wu, R., He, J., & Xiang, Y. (2024). Evaluating ChatGPT-4.0’s data analytic proficiency in epidemiological studies: A comparative analysis with SAS, SPSS, and R. Journal of Global Health, 14. https://doi.org/10.7189/jogh.14.04070

Jover, G., Carabantes, D., & González-Geraldo, J. L. (2023). Asomándonos a la ventana contextual de la Inteligencia Artificial: decálogo de ayuda para la identificación del uso de ChatGPT en textos académicos. Aula Magna 2.0 [Blog]. https://cuedespyd.hypotheses.org/13299

Romero-Rodríguez, J., Ramírez-Montoya, M., Buenestado-Fernández, M., & Lara-Lara, F. (2023). Use of ChatGPT at University as a Tool for Complex Thinking: Students' Perceived Usefulness. Journal of New Approaches in Educational Research, 12(2), 323-339. https://doi.org/10.7821/naer.2023.7.1458

Sabzalieva, E., & Valentini, A. (2023). ChatGPT e inteligencia artificial en la educación superior: Guía de inicio rápido (ED/HE/IESALC/IP/2023/12). UNESCO e Instituto Internacional de la UNESCO para la Educación Superior en América Latina y el Caribe. https://bit.ly/3oeYm2f

Srivastava, M. (2023). A Day in the Life of ChatGPT as a researcher: Sustainable and Efficient Machine Learning-A Review of Sparsity Techniques and Future Research Directions. OSF Preprints. https://doi.org/10.31219/osf.io/e9p3g

Suárez-Guerrero, C., Gutiérrez-Esteban, P., & Ayuso-Delpuerto, D. (2024). Pedagogía digital. Revisión sistemática del concepto [Digital Pedagogy. Systematic Review of the Concept]. Teoría de la Educación. Revista Interuniversitaria, 36(2), e31721. https://doi.org/10.14201/teri.31721

Taloni, A., Scorcia, V., & Giannaccare, G. (2023). Large Language Model Advanced Data Analysis Abuse to Create a Fake Data Set in Medical Research. JAMA Ophthalmol,141(12), 1174-1175. https://doi:10.1001/jamaophthalmol.2023.5162

Tayebi Arasteh, S., Han, T., Lotfinia, M., Kuhl, C., Kather, J. N., Truhn, D., & Nebelung, S. (2024). Large language models streamline automated machine learning for clinical studies. Nature Communications, 15(1), 1603. https://doi.org/10.1038/s41467-024-45879-8

Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gómez, A. N., Kaiser, L., & Polosukhin, I. (2017). Attention Is All You Need. Conference on Neural Information Processing Systems (NIPS). USA.

Wang, L., Ge, X., Liu, L., & Hu, G. (2024). Code Interpreter for Bioinformatics: Are We There Yet? Annals of Biomedical Engineering, 52(4), 754-756. https://doi.org/10.1007/s10439-023-03324-9

González-Geraldo, J. L., & Ortega-López, L. (2024). ¿Puede engañarnos una IA? Carencias del estudiantado universitario para detectar ChatGPT. Education in the Knowledge Society (EKS), 25, e31760. https://doi.org/10.14201/eks.31760
+ −