Efectividad del uso didáctico del Telegram en el microaprendizaje en Docencia Universitaria Online

1. Sesión de presentación de la asignatura.

2. Pretest. Esta actividad fue acompañada de un consentimiento para la utilización de los números de teléfono de los alumnos para crear el grupo de Telegram. Además, se presentó el consentimiento informado y se informó sobre el tratamiento de los datos, siguiendo los protocolos europeos en materia de confidencialidad, específicamente, en lo establecido en la Ley Orgánica 7/2021, de 26 de mayo, de protección de datos personales. En el cuestionario se administró la evaluación inicial de conocimiento, el cuestionario de engagement académico (EQ), la escala de satisfacción y el cuestionario de transferencia personal.

3. Intervención 1.1: Esta actividad estuvo conformada por un primer módulo de microLearning de dos semanas de duración administrado a través de la aplicación Telegram. En ella, se animó al estudiantado a documentarse sobre conceptos centrales de la asignatura y situaciones de actualidad, y a expresar sus reflexiones a través la comunicación oral, grabando sus intervenciones. Para su desarrollo, el profesor enviaba una grabación de audio cada dos días lectivos, con una duración de entre 30 segundos y 5 minutos. Estas grabaciones versaban sobre contenidos centrales de la asignatura, y se invitaba a los alumnos a ponerlas en relación con noticias y situaciones de actualidad.

4. Intervención 1.2. Esta segunda actividad siguió el mismo procedimiento que el utilizado en la intervención 1.1, aunque se utilizaron nuevos conceptos, procedentes de las unidades didácticas impartidas durante segunda mitad de la asignatura.

5. Post-test. En línea con el pre-test, esta actividad fue de carácter voluntario y evaluable. Se administró el cuestionario de engagement académico (EQ), la escala de satisfacción y el cuestionario de transferencia personal.

6. Examen final. El examen final constó de una parte tipo test, un caso práctico, y preguntas de desarrollo teórico.

3.4.2. Procedimientos para el grupo control

Se tomaron las mismas medidas que en el grupo cuasi experimental. Se administró una intervención estándar, consistente en dos buzones de entrega y unas instrucciones para realizar las actividades, en línea con las actividades tradicionales de la universidad. Este tipo de actividades utilizan la lectura, la documentación, el razonamiento y la comunicación escrita como habilidades básicas.

3.5. Análisis de Datos

Los datos fueron analizados con el programa SPSS 26 y en el módulo Amos. Para analizar la validez de los instrumentos se realizaron AFC del cuestionario de engagement académico (EQ), el cuestionario de satisfacción y el cuestionario de transferencia personal. Para evaluar la calidad de los constructos y determinar si se ajustaban de manera adecuada a los datos, se analizaron el índice de ajuste chi-cuadrado (x²) y otros índices de ajuste relativo (TLI>.90, CFI>.90, RMSEA con un límite superior del intervalo de confianza < .08 (Hair et al., 2014; Meyers et al., 2016). Se evaluó la consistencia interna de las escalas a través de los coeficientes de fiabilidad Alpha de Cronbach > .70 (Nunnally, 1978).

Se ha identificado que el índice RMSEA presenta problemas con modelos pequeños que presentan pocos grados de libertad, como es el caso de los modelos presentados en esta investigación. En estos casos, el índice puede indicar erróneamente un ajuste pobre, incluso cuando el modelo se ajusta bien a los datos (Kenny et al., 2015). En estas situaciones se recomienda especificar modelos alternativos que eliminen determinados parámetros, para determinar si esos parámetros adicionales son necesarios en el modelo (Kenny et al., 2015). Si el ajuste empeora, se retiene el modelo que mejor se ajuste a los datos.

Para examinar las diferencias en el engagement académico entre los grupos, la satisfacción y la transferencia personal, se examinaron las puntuaciones de los grupos, tanto en el pre-test como en el post-test. Debido a que la variable independiente era nominal y las variables dependientes engagement académico, satisfacción con la formación y transferencia personal eran ordinales, decidimos utilizar el estadístico no paramétrico U de Mann-Whitney (Campbell, 2021). Para evaluar las medidas post de las variables conocimiento adquirido y rendimiento académico, dado que se trataba de variables continuas, se realizó la prueba de normalidad de Shapiro-Wilk para identificar si era indicado utilizar la prueba paramétrica de t para muestras independientes en lugar de utilizar la prueba no paramétrica U de Mann-Whitney. La Tabla 2 muestra los resultados de la prueba de normalidad.

Dado que cuatro de las seis variables que medían conocimientos no cumplían con la asunción de normalidad, decidimos aplicar el estadístico no paramétrico U de Mann-Whitney (Campbell, 2021).

4. Resultados

A continuación, se muestran los resultados obtenidos.

4.1. Análisis de validez

Este subepígrafe contiene la validación de los instrumentos de medida. La Figura 1 muestra los modelos especificados y la Tabla 3 los resultados obtenidos en los AFC.

Figura 1. Modelos especificados en los AFC.

Nota. n=105.

4.2. Pruebas de diferencia de medias

A continuación, la Tabla 4 presenta las medianas, medias, desviaciones típicas de las variables estudiadas y el nivel de significación de la prueba U de Mann-Whitney.

Para comprobar que no existían diferencias en las variables entre los grupos en las medidas pre, se aplicó el estadístico no paramétrico U de Mann-Whitney, a través de cual no se encontraron diferencias entre los grupos en las variables engagement académico, satisfacción con la formación y transferencia personal cuando se midieron de forma previa a la intervención. Sin embargo, la prueba U de Mann-Whitney indicó que el conocimiento previo fue mayor en el grupo control (Mdn=5.00) que en el grupo experimental (Mdn=3.50), U=1209.000, p≤.05.

Para comprobar las posibles diferencias generadas en las variables dependientes en base a la intervención, se aplicó el estadístico no paramétrico U de Mann-Whitney. Este estadístico indicó que no existían diferencias en las medidas post de las variables engagement académico y satisfacción con la formación. Además, los resultados obtenidos en la AEC1 por los dos grupos fueron similares.

Sin embargo, el estadístico indicó que la transferencia personal fue mayor en el grupo control (Mdn=3.57) que en el grupo experimental (Mdn=3.14), U=1535.000, p≤.05, indicando que las actividades realizadas tradicionalmente en la universidad generarían un nivel mayor de transferencia personal. También indicó que el conocimiento adquirido fue mayor en el grupo experimental (Mdn=7.80) que en el grupo control (Mdn=7.50), U=2545.000, p≤.05. Además, los resultados del rendimiento académico también fueron superiores en el grupo experimental. La AEC2, el examen y los resultados finales en la asignatura fueron superiores en el grupo experimental (Mdn AEC2=7.00, Mdn examen final=7.30, Mdn calificación final=7.50) que en el grupo control (Mdn AEC2=7.50, Mdn examen final=6.70, Mdn calificación final=7.60), U AEC2=2108.000, p≤.05; U examen final=2459.500, p≤.001; U calificación final=2576.500, p≤.05. Estos resultados indican que la intervención generó diferencias en la transferencia personal, el conocimiento adquirido, y el rendimiento académico (medido a través de las AEC, el examen y la calificación final de la asignatura).

En base a los resultados obtenidos, se respondió de la siguiente forma a las preguntas de investigación. Primero, la intervención no produjo diferencias en el engagement académico (PI1) y la satisfacción con la formación (PI2). Por último, la intervención sí produjo diferencias en la transferencia personal (PI3), la adquisición de conocimientos (PI4) y el rendimiento académico (PI5).

5. Discusión

La investigación realizada cumple con el objetivo general del trabajo al analizar los efectos de una experiencia de microLearning a través de Telegram, en comparación con una tarea de eLearning tradicional. Para ello se analizaron los resultados obtenidos para las variables satisfacción con la actividad, engagement académico, adquisición de conocimientos y transferencia personal.

En primer lugar, los datos analizados respecto a las preguntas de investigación 1 y 2, que estudiaban las diferencias en el engagement académico y la satisfacción con la formación, mostraron que no existían diferencias entre los grupos en base a estas variables. Estos resultados implican que la participación en un programa formativo en el que se sigue el modelo pedagógico del microLearning (Alqurashi, 2017) no genera diferencias en engagement académico y en satisfacción con respecto a la participación en un sistema online tradicional, lo que sugiere que el microLearning impartido a través de Telegram generaría un engagement y un nivel de satisfacción similar al generado por la actividad online tradicional. Estos datos indican que ambos planteamientos pedagógicos serían igualmente válidos a la hora de generar ganas y motivación en los estudiantes y a la hora de predisponerles para que se encuentren satisfechos con las actividades realizadas. En segundo lugar, los datos analizados respecto a las preguntas de investigación 3, 4 y 5, que estudiaban las diferencias en la transferencia personal y el rendimiento académico respectivamente, mostraron que la intervención sí produjo diferencias en la transferencia personal, la adquisición de conocimientos y el rendimiento académico. Los resultados que indicaron que la transferencia personal fue mayor en el grupo control que en el experimental sugieren que las actividades realizadas tradicionalmente en la universidad generarían un nivel mayor de transferencia personal. Es decir, los estudiantes serían más propensos a aplicar en su vida personal los aprendizajes adquiridos a través las actividades tradicionales de la universidad que los adquiridos a través de microLearning. Este resultado implica que, dentro de la categoría de aprendizaje online, las actividades que venían realizando los estudiantes de la universidad generan más transferencia personal que las actividades que siguen el modelo pedagógico del microLearning impartido a través de Telegram. Recomendamos continuar la investigación para determinar si las diferencias se deben al modelo pedagógico del microaprendizaje (Alqurashi, 2017), o si pueden ser atribuidas al aprendizaje móvil (Grant, 2019).

Asimismo, el conocimiento adquirido fue mayor en el grupo experimental, sugiriendo que el conocimiento adquirido tras la aplicación de microLearning fue mayor que tras la aplicación de las actividades online tradicionales. Por otro lado, los resultados del rendimiento académico también fueron superiores en el grupo experimental, sugiriendo que el rendimiento académico también mejoraría tras la aplicación del microLearning en comparación con las actividades tradicionales. En resumen, los resultados presentados implican que la actividad de microLearning generaría menores niveles de transferencia personal y mayores niveles de conocimientos y rendimiento académico que las actividades online tradicionales. Los resultados se suman a estudios previos en los que se había mostrado la efectividad del aprendizaje móvil (Bai, 2019; Fox, 2019) y que habían indicado que favorecía la autorregulación del estudio (Hossain et al., 2019; Lim et al., 2019).

Dado que la transformación digital se ha extendido prácticamente por todos los sectores (Abad-Segura et al., 2020), recomendamos continuar profundizando en la investigación en esta línea con estudiantes procedentes de otras ramas de conocimiento, como pueden ser las ciencias de la salud y las ingenierías (Abad-Segura et al., 2020).

El presente estudio evalúa la formación impartida en base al modelo de los cuatro niveles de Kirkpatrick (2015), analizando tres de los cuatro niveles: satisfacción, conocimiento adquirido y transferencia del aprendizaje. Estos resultados se suman a los obtenidos al utilizar el modelo para analizar la efectividad del microLearning en educación sanitaria (De Gagne et al., 2019) y en banca (Fennelly-Atkinson & Dyer, 2021). Recomendamos continuar la investigación incluyendo el análisis del cuarto nivel (Reio et al., 2017) para obtener una visión completa de la evaluación del microLearning en base a este modelo.

Entre las limitaciones del estudio, cabe mencionar que, debido al diseño elegido, no fue posible diferenciar los efectos de la condición de microLearning (Alqurashi, 2017) de los efectos del aprendizaje móvil (Grant, 2019), recomendamos por tanto continuar la investigación a través de la aplicación de diseños experimentales que incluyan una tercera condición en la que se realice microLearning sin la necesidad de aplicarlo a través del dispositivo móvil. De esta manera, podremos determinar si la tecnología, en este formato, actúa como aliado del profesor en el proceso de enseñanza-aprendizaje (Mahlow & Hediger, 2019).

Recomendamos también ampliar el estudio con muestra procedente de otras ramas de conocimiento, para obtener una visión global del estudiantado, además de incluir muestra procedente de otros países hispanohablantes para comparar los resultados con los obtenidos en otros contextos y culturas.

Esta investigación presenta implicaciones claras a la hora de tomar decisiones respecto a la inclusión de actividades móviles presentadas siguiendo los modelos pedagógicos del microLearning. El profesorado y los agentes de decisión podrán utilizar los resultados para decidir en qué momentos y ante qué estudiantes convendrá incorporar este tipo de actividades, o, por el contrario, mantener el modelo virtual tradicional de efectividad ampliamente probada. En los casos en los que se prime aumentar la transferencia de los aprendizajes a la vida personal de los estudiantes, recomendaremos al profesorado optar por un modelo pedagógico virtual tradicional. No obstante, en los casos en los que el profesorado pretenda obtener una ventaja diferencial respecto a la adquisición de conocimientos y al rendimiento académico, recomendaremos optar un modelo basado en el MicroLearning que pueda ser impartido a través del dispositivo móvil.

Contribución de los autores:

Aitana González Ortiz de Zárate: Conceptualización, Análisis formal, Investigación, Metodología, Software, Supervisión, Validación, Visualización, Redacción - borrador original

Arina Gruia Anghel: Conceptualización, Curación de datos, Investigación, Metodología, Software, Supervisión, Validación, Visualización, Redacción - revisión y edición

Luis Manuel Fernández Martínez: Investigación, Metodología, Supervisión, Validación, Visualización, Redacción - revisión y edición

Referencias

Abad-Segura, E., González-Zamar, M. D., Infante-Moro, J. C., & Ruipérez García, G. (2020). Sustainable management of digital transformation in higher education: Global research trends. Sustainability, 12(5), 2107. https://doi.org/10.3390/su12052107

Aguilera-Hermida, A. P. (2020). College students’ use and acceptance of emergency online learning due to Covid-19. International Journal of Educational Research Open, 1, 100011. https://doi.org/10.1016/j.ijedro.2020.100011

Aguilera-Hermida, A. P., Quiroga-Garza, A., Gómez-Mendoza, S., Del Río Villanueva, C. A., Avolio Alecchi, B., & Avci, D. (2021). Comparison of students’ use and acceptance of emergency online learning due to COVID-19 in the USA, Mexico, Peru, and Turkey. Education and Information Technologies, 26(6), 6823-6845. https://doi.org/10.1007/s10639-021-10473-8

Al‐Shareffeen, K., & Al‐Kailani, K. (2007). Introduction to Research Method in Educational and Social Science. Dar Almessera Publication.

Almazova, A. U., Almazova, N., & Rogovaya, Y. (2018). Prospects of Introduction of Microlearning into the Process of Teaching Postgraduate Students a Foreign Language. 12th International Technology, Education and Development Conference (Valencia, Spain, 5-7 March, 2018) (pp. 3175-3182). IATED. https://doi.org/10.21125/inted.2018.0608

Alqurashi, E. (2017). Microlearning: A Pedagogical Approach for Technology Integration. Turkish Online Journal of Educational Technology, (Special Issue for IETC 2017), 942–947.

Alshaibani, M. H., & Qusti, E. S. (2021). The role of smartphone app “WhatsApp” on achievement motivation and social intelligence among female undergraduate students. Perspectives in Psychiatric Care, 57(2), 597-603. https://doi.org/10.1111/ppc.12582

Andrade, C. (2021). The inconvenient truth about convenience and purposive samples. Indian Journal of Psychological Medicine, 43(1), 86-88. https://doi.org/10.1177/0253717620977000

Bai, H. (2019). Pedagogical practices of mobile learning in K-12 and higher education settings. TechTrends, 63, 611–620. https://doi.org/10.1007/s11528-019-00419-w

Belando, N., Ferriz-Morell, R., & Moreno-Murcia, J.A. (2012). Propuesta de un modelo para la mejora personal y social a través de la promoción de la responsabilidad en la actividad físico-deportiva. RICYDE. Revista Internacional de Ciencias del Deporte, 29(8), 202-222. https://doi.org/10.5232/ricyde2012.02902

Bogun, M. M., Jelesoff, N. E., Nassar, C. M., Thacker, C. R., Rivera, J. C., Bourges, C. J., III, Sethi, K., Egbuonu-Davis, L., Beal, A. C., Greenwood, D. A., Chatha, H., Kataria, A., McNeill, D. B., Goland, R., & Magee, M. F. (2018). Innovative Tailored Microlearning Approach to Insulin Self-Management Education Shows High Engagement Levels among Diverse Adults. Diabetes, 67(Supplement_1), Article 249-OR. https://doi.org/10.2337/db18-249-OR

Boude, O. R. (2019). How teachers integrate mobile devices in the classroom. Espacios, 40(29), 2.

Cachón-Zagalaz, J., Lara-Sánchez, A., Zagalaz-Sánchez, M. L., López-Manrique, I., & González González de la Mesa, C. (2018). Propiedades psicométricas de la Utrecht Work Engagement Scale en estudiantes de educación. Suma Psicológica, 25(2), 113-121. https://doi.org/10.14349/sumapsi.2018.v25.n2.3

Cadime, I., Lima, S., Marques Pinto, A., & Ribeiro, I. (2016). Measurement invariance of the Utrecht Work Engagement Scale for Students: A study across secondary school pupils and university students. European Journal of Developmental Psychology, 13(2), 254-263. https://doi.org/10.1080/17405629.2016.1148595

Campbell, M. J. (Ed.). (2021). Statistics at Square One (12th ed.). Wiley Backwell.

De Gagne, J. C., Park, H. K., Hall, K., Woodward, A., Yamane, S., & Kim, S. S. (2019). Microlearning in health professions education: scoping review. JMIR Medical Education, 5(2), e13997. https://doi.org/10.2196/13997

Dias, L., & Victor, A. (2017). Teaching and learning with mobile devices in the 21st century digital world: Benefits and challenges. European Journal of Multidisciplinary Studies, 2(5), 339-344. https://doi.org/10.26417/ejms.v5i1.p339-344

Dolasinski, M. J., & Reynolds, J. (2021). Microlearning in the Higher Education Hospitality Classroom. Journal of Hospitality & Tourism Education, 35(2), 133–142. https://doi.org/10.1080/10963758.2021.1963748

Fennelly-Atkinson, R., & Dyer, R. (2021). Assessing the Learning in Microlearning. In J. R. Corbeil, B. H. Khan, & M. E. Corbeil (Eds.). Microlearning in the Digital Age: The Design and Delivery of Learning in Snippets (pp. 95-107). Routledge. https://doi.org/10.4324/9780367821623-8

Ford, J. K., Bhatia, S., & Yelon, S. L. (2019). Beyond Direct Application as an Indicator of Transfer: A Demonstration of Five Types of Use. Performance Improvement Quarterly, 32(2), 183–203. https://doi.org/10.1002/piq.21294

Fox, E. (2019). Mobile technology: a tool to increase global competency among higher education students. The International Review of Research in Open and Distributed Learning, 20(2), 242–259. https://doi.org/10.19173/irrodl.v20i2.3961

Gan, C. L., & Balakrishnan, V. (2017). Enhancing classroom interaction via IMMAP – An Interactive Mobile Messaging App. Telematics and Informatics, 34(1), 230-243. https://doi.org/10.1016/j.tele.2016.05.007

Garrison, D. R. (2016). E-Learning in the 21st century: A framework for research and practice (3rd ed.). Routledge. https://doi.org/10.4324/9781315667263

Gawlik, K., Guo, J., Tan, A., & Overcash, J. (2021). Incorporating a Microlearning Wellness Intervention into Nursing Student Curricula. Nurse Educator, 46(1), 49-53. https://doi.org/10.1097/NNE.0000000000000842

Global Industry Analysts. (2020). eLearning. Market Analysis, Trends and Forecasts. Industry Analysts, Inc. USA. https://d66z.short.gy/A756nw

González-Ortiz-de-Zárate, A., García, M. A. A., Quesada-Pallarès, C., Berrocal, F. B., & McLean, G. N. (2020). Validation of predicting transfer instruments in Spain. European Journal of Training and Development, 44(6/7), 695-715. https://doi.org/10.1108/EJTD-11-2019-0188

Gopalan, M., Rosinger, K., & Ahn, J. B. (2020). Use of quasi-experimental research designs in education research: Growth, promise, and challenges. Review of Research in Education, 44(1), 218-243. https://doi.org/10.3102/0091732X20903302

Grant, M. M. (2019). Difficulties in defining mobile learning: Analysis, design characteristics, and implications. Educational Technology Research and Development, 67(2), 361-388. https://doi.org/10.1007/s11423-018-09641-4

Hair, J. F., Black, W. C., Babin, B. J., & Anderson, R. E. (2014). Multivariate data analysis. Pearson Education Limited.

Hodges, C., Moore, S., Lockee, B., Trust, T., & Bond, A. (2020). The difference between emergency remote teaching and online learning. Educause Review. https://bit.ly/3b0Nzx7

Hossain, S., Abdou, B. O., Kettunen, J., & Gregory, S. (2019). A Phenomenographic Research Study of Students’ Conceptions of Mobile Learning: An Example From Higher Education. Sage Open, 9(3). https://doi.org/10.1177/2158244019861457

Hug, T. (2005). Micro Learning and Narration. Exploring possibilities of utilization of narrations and storytelling for the designing of micro units and didactical micro-learning arrangements. In Online Proceedings of the International Conference Media in Transition 4: The Work of Stories (p. 13). MIT.

Hurley, R. M., Wyatt, K., Johnson, R. F., O’Brien, M. W., Zenz, W. J., Anderson, S. R., Brugger, C. A., Ruddy, K. J., Boughey, J. C., & Pruthi, S. (2019). Previsit breast cancer educational microlearning videos: Impact on patient satisfaction and engagement. Journal of Clinical Oncology, 37(15_suppl), 6526-6526. https://doi.org/10.1200/JCO.2019.37.15_suppl.6526

Kenny, D. A., Kaniskan, B., & McCoach, D. B. (2015). The performance of RMSEA in models with small degrees of freedom. Sociological Methods & Research, 44(3), 486-507. https://doi.org/10.1177/0049124114543236

Kirkpatrick, J. (2015). An introduction to the new world Kirkpatrick model. Kirkpatrick Partners.

Lahti, M., Hätönen, H., & Välimäki, M. (2014). Impact of e-learning on nurses’ and student nurses knowledge, skills, and satisfaction: a systematic review and meta-analysis. International Journal of Nursing Studies, 51(1), 136-149. https://doi.org/10.1016/j.ijnurstu.2012.12.017

Lahti, M., Kontio, R., Pitkänen, A., & Välimäki, M. (2014). Knowledge transfer from an e-learning course to clinical practice. Nurse Education Today, 34(5), 842-847. https://doi.org/10.1016/j.nedt.2013.09.003

Lee, Y. M., Jahnke, I., & Austin, L. (2021). Mobile microlearning design and effects on learning efficacy and learner experience. Educational Technology Research and Development, 69(2), 885-915. https://doi.org/10.1007/s11423-020-09931-w

Lim, G., Shelley, A., & Heo, D. (2019). The regulation of learning and co-creation of new knowledge in mobile learning. Knowledge Management E-Learning, 11(4), 449–484. https://doi.org/10.34105/j.kmel.2019.11.024

Mahlow, C., & Hediger, A. (2019). Digital Transformation in Higher Education-Buzzword or Opportunity? eLearn Magazine, 2019(5), 13. https://doi.org/10.1145/3331171

Meng, L., & Jin, Y. (2017). A confirmatory factor analysis of the Utrecht Work Engagement Scale for students in a Chinese sample. Nurse Education Today, 49, 129-134. https://doi.org/10.1016/j.nedt.2016.11.017

Merino-Tejedor, E., Hontangas, P. M., & Boada-Grau, J. (2017). La evaluación del distanciamiento psicológico (detachment) en estudiantes universitarios: Validación del Cuestionario de Experiencia de Recuperación en contextos educativos. Anales de Psicología / Annals of Psychology, 33(2), 342–350. https://doi.org/10.6018/analesps.33.2.249811

Meyers, L. S., Gamst, G., & Guarino, A. J. (2016). Applied Multivariate Research: Design and Interpretation (3rd ed.). Sage.

Mills, M. J., Culbertson, S. S., & Fullagar, C. J. (2012). Conceptualizing and measuring engagement: An analysis of the Utrecht Work Engagement Scale. Journal of Happiness Studies: An Interdisciplinary Forum on Subjective Well-Being, 13(3), 519–545. https://doi.org/10.1007/s10902-011-9277-3

Nikou, S. A., & Economides, A. A. (2018). Mobile‐based micro‐learning and assessment: Impact on learning performance and motivation of high school students. Journal of Computer Assisted Learning, 34(3), 269-278. https://doi.org/10.1111/jcal.12240

Nunnally, J. C. (1978). Psychometric theory (2nd ed.). McGraw-Hill.

Orwoll, B., Diane, S., Henry, D., Tsang, L., Chu, K., Meer, C., Hartman, K., & Roy-Burman, A. (2018). Gamification and microlearning for engagement with quality improvement (GAMEQI): A bundled digital intervention for the prevention of central line–associated bloodstream infection. American Journal of Medical Quality, 33(1), 21-29. https://doi.org/10.1177/1062860617706542

Ozuorcun, N. C., & Tabak, F. (2012). Is m-learning versus e-learning or are they supporting each other? Procedia: Social and Behavioral Sciences, 46, 299–305. https://doi.org/10.1016/j.sbspro.2012.05.110

Polasek, R., & Javorcik, T. (2019). Results of Pilot Study into the Application of MicroLearning in Teaching the Subject Computer Architecture and Operating System Basics. In 2019 International Symposium on Educational Technology (ISET) (Hradec Kralove, Czech Republic, 2-4 July 2019) (pp. 196-201). IEEE. https://doi.org/10.1109/ISET.2019.00048

Reio, T. G., Rocco, T. S., Smith, D. H., & Chang, E. (2017). A critique of Kirkpatrick’s evaluation model. New Horizons in Adult Education and Human Resource Development, 29(2), 35-53. https://doi.org/10.1002/nha3.20178

Schaufeli, W. B., & Bakker, A. B. (2003). Original: UWES - Utrecht Work Engagement Scale preliminary manual. Occupational Health Psychology Unit. Utrecht University

Sinclair, P. M., Kable, A., Levett-Jones, T., & Booth, D. (2016). The effectiveness of Internet-based e-learning on clinician behaviour and patient outcomes: A systematic review. International Journal of Nursing Studies, 57, 70–81. https://doi.org/10.1016/j.ijnurstu.2016.01.011

Song, H. D., Hong, A. J., & Jo, Y. (2021). Psychometric Investigation of the Utrecht Work Engagement Scale-17 Using the Rasch Measurement Model. Psychological Reports, 124(3), 1384-1411. https://doi.org/10.1177/0033294120922494

Stewart, L. J., Palmer, S., Wilkin, H., & Kerrin, M. (2008). Towards a model of coaching transfer: Operationalising coaching success and the facilitators and barriers to transfer. International Coaching Psychology Review, 3(2). https://doi.org/10.53841/bpsicpr.2008.3.2.87

Stewart, L. J., Palmer, S., Wilkin, H., & Kerrin, M. (2020). Toward a Model of Coaching Transfer: Operationalizing Coaching Success and the Facilitators and Barriers to Transfer. In Passmore J., & Tee D. (Eds.), Coaching Researched: A Coaching Psychology Reader (pp. 379-407). John Wiley & Sons Ltd. https://doi.org/10.1002/9781119656913.ch20

Traxler, J. (2018). Distance learning—Predictions and possibilities. Education Sciences, 8(1), 35. https://doi.org/10.3390/educsci8010035

Tudor Car, L., Kyaw, B. M., & Atun, R. (2018). The role of eLearning in health management and leadership capacity building in health system: a systematic review. Human Resources for Health, 16(1), 1-9. https://doi.org/10.1186/s12960-018-0305-9

U. S. Department of Education. (2017). Standards handbook (Version 4.0). What Works Clearinghouse. https://d66z.short.gy/ZzINvq

Wang, C., Bakhet, M., Roberts, D., Gnani, S., & El-Osta, A. (2020). The efficacy of microlearning in improving self-care capability: a systematic literature review. Public Health, 186, 286-296. https://doi.org/10.1016/j.puhe.2020.07.007

Xie, X., & Siau, K. (2020). Online Education During and After COVID-19 Pandemic. AMCIS 2020 TREOs, (93). https://d66z.short.gy/pSUrKI

______________________________

(*) Autor de correspondencia / Corresponding author