Diseño y confiabilidad de una rúbrica para evaluar infografías didácticas

  • Yunuen Ixchel Guzmán-Cedillo
    Facultad de Psicología. Universidad Nacional Autónoma de México yunuenixchel[at]hotmail.com
  • Natalia Lima-Villeda
    Facultad de Psicología. Universidad Nacional Autónoma de México
  • José Manuel Meza-Cano
    Facultad de Estudios Superiores Iztacala. Universidad Nacional Autónoma de México

Resumen

El objetivo de esta investigación es describir el diseño, validación y medición de la confiabilidad de una rúbrica para evaluar la calidad de infografías didácticas. Los participantes fueron quince jueces relacionados con la elaboración de infografías didácticas. El diseño de la rúbrica se llevó a cabo en tres etapas: diseño, ajustes y determinación de la confiabilidad. La validez de contenido fue medida a través del porcentaje de acuerdo entre tres jueces por cada rubro. Así mismo se obtuvo un alpha de Krippendorff (a = .710) al evaluar previamente cinco infografías para evitar posibles contradicciones debidas a la redacción del rubro e indicador de desempeño. La consistencia interna fue determinada a través del coeficiente alpha de Cronbach (a = .806) al evaluar 22 infografías didácticas. A los datos de seis evaluadores se aplicó un coeficiente de correlación intraclase icc (a = .909) y un coeficiente de Krippendorff (a = .538), ambos para medidas ordinales. La rúbrica se compone de nueve elementos, tres niveles de desempeño, definiciones por cada rubro, así como instrucciones de uso. De acuerdo a los resultados, la rúbrica tiene validez de contenido y es confiable para discriminar la calidad de infografías didácticas. 
  • Referencias
  • Cómo citar
  • Del mismo autor
  • Métricas
Alaminos, A. y Costa, J. (2006). Elaboración, análisis e interpretación de encuestas, cuestionarios de escalas de opinión. Marfil. Ice/Vicerrectorado de Calidad y Armonización Europea Universidad de Alicante. Recuperado de: https://rua.ua.es/dspace/bitstream/10045/20331/1/Elaboraci%C3%B3n,%20an%C3%A1lisis%20e%20interpretaci%C3%B3n.pdf.

Angell, K. (2015). The application of reliability and validity measures to assess the effectiveness of an undergraduate citation rubric. Behavioral & Social Sciences Librarian, 34 (1), 2-15. doi: 10.1080/01639269.2015.996481.

Arcario, P.; Eynon, B.; Klages, M. y Polnariev, B. A. (2013). Closing the loop: how we better serve our students through a comprehensive assessment process. Metropolitan Universities Journal, 24 (2), 21-37. Recuperado de http://www.laguardia.edu/uploadedFiles/Main_Site/Content/Divisions/AA/Assessment/Docs/Arcario%20Eynon%20Klages%20%20Polnariev%20-Closing%20the%20Loop%20MUJ%20-%20fall%202013.pdf.

Bartolomé, A.; Martínez-Figueira, E. y Tellado-González, F. (2014). La evaluación del aprendizaje en red mediante blogs y rúbricas: ¿complementos o suplementos? redu. Rev. de Docencia Universitaria, 12 (1), 159-176. Recuperado http://red-u.net/redu/index.php/REDU/article/view/767.

Brigas, J.; Gonçalves, J. y Milheiro, S. (2013). Infographics in the education context. En C. Sousa, P. Tadeu y T. Paiva (Coords.). Proceedings Book for the Conference on Enabling Teachers for Entrepreneurship Education (pp. 51-56). Guarda: Polytechnic Institute. Recuperado de https://run.unl.pt/handle/10362/10687.

Burton, K. (2015). Continuing My Journey on Designing and Refining Criterion-Referenced Assessment Rubrics. Journal of Learning Design, 8 (3), 1-13. Recuperado de: http://files.eric.ed.gov/fulltext/EJ1083802.pdf.

Cabrera, I. M. (noviembre 2013). Elaboración de infografías digitales como apoyo didáctico para el aprendizaje en la licenciatura en Psicología. edutec. Recuperado de: http://edutec2013.ac.cr/memoria/ponencias/cabrera_119.pdf.

Centeno, A. y Cabrera, M. (2005). La infografía multimedia para la web como recurso periodístico. Tesis: Licenciatura. Universidad Central, Caracas.

D’Antoni, A. V.; Zipp, G. P. y Olson, V. G. (2009). Interrater reliability of the mind map assessment rubric in a cohort of medical students. bmc Medical Education, 9 (1), 1.doi: 10.1186/1472-6920-9-19.

Davidson, R. (2014). Three Investigations in Which Students Present their Results in Infographics. The Science Teacher, 34-39. Recuperado de: http://crisp.southernct.edu/images/8/82/Infographics_NSTA.pdf.

De la Serna, M. y Bergman, M. E. (2014). Evaluación formativa con e-rúbrica: aproximación al estado del arte. redu. Revista de Docencia Universitaria, 12 (1), 15-22. Recuperado de http://red-u.net/redu/index.php/REDU/article/view/807.

De Wever, B.; Van Keer, H.; Schellens, T. y Valcke, M. (2007). Applying multilevel modelling to content analysis data: Methodological issues in the study of role assignment in asynchronous discussion groups. Learning and Instruction, 17 (4), 436-447. Recuperado de: https://biblio.ugent.be/publication/386211/file/6798582.pdf.

Doolen, J. (2015). Psychometric Properties of the Simulation Thinking Rubric to Measure Higher Order Thinking in Undergraduate Nursing Students. Clinical Simulation in Nursing, 11 (1), 35-43. doihttp://dx.doi.org/10.1016/j.ecns.2014.10.007.

Etkina, E.; Van Heuvelen, A.; White-Brahmia, S.; Brookes, D. T.; Gentile, M.; Murthy, S. y Warren, A. (2006). Scientific abilities and their assessment. Physical Review special topics-physics education research, 2 (2). Recuperado de: http://journals.aps.org/prstper/abstract/10.1103/PhysRevSTPER.2.020103.

González-Pacanowski, T. y Medina, P. (2009). Valor comunicacional de la infografía. El Profesional de la Información, 4 (18), 413-420. Recuperado de http://www.elprofesionaldelainformacion.com/contenidos/2009/julio/08.pdf.

Guzmán-Cedillo, Y.; Flores, R. C. y Tirado, F. (2012). La evaluación de la competencia argumentativa en foros de discusión en línea a través de rúbricas. Innovación Educativa, 60 (12), 17-40. Recuperado de https://dialnet.unirioja.es/servlet/articulo?codigo = 4219776.

Guzmán-Cedillo, Y.; Flores, R. y Tirado, F. (2013). Desarrollo de la competencia argumentativa en foros de discusión en línea: una propuesta constructivista. Anales de Psicología, 29, 907-916. Recuperado de http://scielo.isciii.es/scielo.php?pid = S0212-97282013000300030yscript = sci_arttextytlng = en.

Guzmán-Cedillo, Y. I.; Lima-Villeda, N. y Ferreira-Rosa, S. (2015). La experiencia de elaborar infografías didácticas sobre diversidad sexual. Revista Latina de Comunicación Social, 70, 961-981. Recuperado de http://www.revistalatinacs.org/070/paper/1080/50es.html.

Gürsul, F. y Keser, H. (2009). The effects of online and face to face problem based learning environments in mathematics education on student’s academic achievement. Procedia-Social and Behavioral Sciences, 1 (1), 2817-2824. doi:10.1016/j.sbspro.2009.01.501.

Hayes, A. F. y Krippendorff, K. (2007). Answering the call for a standard reliability measure for coding data. Communication Methods and Measures, 1, 77-89. doi: 10.1080/19312450709336664.

Jonsson, A. y Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences school of teacher education. Educational Research Review, 2 (2), 130-144. Recuperado de https://www.pdx.edu/education/sites/www.pdx.edu.education/files/Scoring_Rubrics_(Reliability,Validity,Consequences).pdf.

Kibar, P. y Akkoyunlu, B. (2014). A New Approach to Equip Students with Visual Literacy Skills: Use of Infographics in Education. En S. Kurbano?lu, S. Špiranec, E. Grassian, D. Mizrachi y R. Catts (Eds.). Information Literacy. Lifelong Learning and Digital Citizenship in the 21st Century: Vol. 492 Communications in Computer and Information Science (pp. 456-465). doi: 10.1007/978-3-319-14136-7_48.

Krauss, J. (2012). More than words can say inphographics. Learning and leading with technology, 5 (39), 10-14. Recuperado de http://crossroadsnorthlibrary.pbworks.com/w/file/fetch/53867217/Learning%20and%20Leading%20-%20February%202012.pdf.

Kuh, G. D.; Jankowski, N.; Ikenberry, S. O. y Kinzie, J. (2014). Knowing what students know and can do: The current state of student learning outcomes assessment in us colleges and universities. Urbana, il: University of Illinois and Indiana University, National Institute for Learning Outcomes Assessment (niloa). Recuperado de: http://utsa.edu/students/sanews/2014/issue05/files/2013SurveyReportFinal.pdf.

Lee, C.-Y. y Cherner, T. S. (2015). A comprehensive evaluation rubric for assessing instructional apps. Journal of Information Technology Education: Research, 14, 21-53. Recuperado de: http://www.jite.org/documents/Vol14/JITEV14ResearchP021-053Yuan0700.pdf.

Matrix, S. y Hodson, J. (2014). Teaching with inphographics: practicing new digital competencies and visual literacies. Journal of pedagogic development, 4 (2), 17-27.

Mendenhall, S. y Summers, S. (2015). Designing Research: Using Infographics to Teach Design Thinking. Composition.Journal of Global Literacies. Technologies and Emerging Pedagogies, 3 (1), 359-371. Recuperado de http://joglep.com/files/4514/3899/1848/10._Article-Mendenhall_and_Summers-Designing_Research.pdf.

Minervini, M. A. (2005). La infografía como recurso didáctico. Revista Latina de Comunicación Social. Recuperado de: http://www.ull.es/publicaciones/latina/200506minervini.pdf.

Muñoz, G. (2014). Uso didáctico de las infografías. Espiral. Cuadernos del Profesorado, 7 (13), 37-43. Recuperado de: http://www.cepcuevasolula.es/espiral/articulos/ESPIRAL_VOL_7_N_14_ART_4.pdf.

Nicholson, P.; Griffin, P.; Gillis, S.; Wu, M. y Dunning, T. (2013). Measuring nursing competencies in the operating theatre: Instrument development and psychometric analysis using Item Response Theory. Nurse education today, 33 (9), 1088-1093. doi:10.1016/j.nedt.2012.04.008.

Niebaum, N.; Cunningham-Sabo, L.; Carroll, J. y Bellows, L. (2015). Infographics: An Innovative Tool to Capture Consumers Attention. Journal of Extension, 53 (6). Recuperado de http://www.joe.org/.

Nuho?lu, N. y Akkoyunlu, B. (2014). A New Approach to Equip Students with Visual Literacy Skills: Use of Infographics in Education. En Information Literacy. Lifelong Learning and Digital Citizenship in the 21st Century (pp. 456-465). Springer International Publishing.

Ortega, C.; Rincón, L. I.; Izquierdo, V.; Llanos, J.; Forero, Á.; Chacón, A.; Chavarro, J.; Rodríguez, G. R. y Carvajal, R. (2012). Ensayo e informe sobre la infografía. Bogotá: Corporacion Universitaria unitec. Recuperado de http://carlosmoreno.info/upn/2012/ensayo665BD.pdf.

Panadero, E. y Romero, M. (2012). Uso de las rúbricas evaluación para fomentar el aprendizaje autorregulado/autónomo. Revista del Congrés Internacional de Docència Universitària i Innovació (cidui), 1 (1). Recuperado de: http://cidui.org/revista-cidui12/index.php/cidui/article/view/458/448.

Peeters, M. J.; Schmude, K. A. y Steinmiller, C. L. (2014). Inter-rater reliability and false confidence in precision: Using standard error of measurement within PharmD admissions essay rubric development. Currents in Pharmacy Teaching and Learning, 6 (2), 298-303. Recuperado de: https://www.researchgate.net/profile/Michael_Peeters2/publication/259524983_Inter-Rater_Reliability_and_False_Confidence_in_Precision_using_standard_error_of_measurement_within_PharmD_admissions_essay_rubric_development/links/00b49530b80494b679000000.pdf.

Prieto, L.; Lamarca, R. y Casado, A. (1998). La evaluación de la fiabilidad en las observaciones clínicas: el coeficiente de correlación intraclase. Medicina Clínica, 110 (4), 142-145.Recuperado de: http://www.elsevier.es/en-revista-medicina-clinica-2-articulo-la-evaluacion-fiabilidad-las-observaciones-2202.

Pufpaff, L. A.; Clarke, L. y Jones, R. E. (2015). The Effects of Rater Training on Inter-Rater Agreement. Mid-Western Educational Researcher, 27 (2), 117. Recuperado de: http://www.mwera.org/MWER/volumes/v27/issue2/v27n2-Pufpaff-FEATURE-ARTICLE.pdf.

Reddy, M. y Melini, H. (2010). A review of rubric use in higher education. Assessment & Evaluation in Higher Education, 4 (35), 435-448. Recuperadode http://www.informaworld.com/openurl?genre = articleyid = doi:10.1080/02602930902862859.

Reinhardt, V. N. (2007). Infografía didáctica. Producción interdisciplinaria de infografías para la diversidad cultural. Tesis de doctorado. Universidad de Palermo. Recuperado de: http://www.palermo.edu/dyc/maestria_diseno/pdf/tesis.completas/10%20Reinhardt.pdf.

Reinhardt, V. N. (2010). Infografía didáctica. Cuadernos del Centro de Estudios en Diseño y Comunicación [Ensayos], 11 (31), 119-191. Recuperado de: http://www.scielo.org.ar/pdf/ccedce/n31/n31a03.pdf.

Rezaei, A. R. y Lovorn, M. (2010). Reliability and validity of rubrics for assessment through writing. Assessing writing, 15 (1), 18-39. doi:10.1016/j.asw.2010.01.003.

Roney, C.; Menjívar, E. y Morales, H. L. (2015). Elaboración de infografías: hacia el desarrollo de competencias del siglo xxi. Diálogos. Recuperado de: http://rd.udb.edu.sv:8080/xmlui/bitstream/handle/123456789/1456/2%20elaboraciondeinfografias.pdf?sequence = 1.

Rueda, A. (2015). Uso de la infografía en los entornos virtuales personalizados para el proceso de enseñanza-aprendizaje sobre el álgebra booleana. Vivat Academia, 130, 37-47. Recuperado de: http://www.vivatacademia.net/index.php/vivat/article/view/617/141.

Schrock, K. (2012). Inphographic rubric. Recuperado de: http://www.schrockguide.net/uploads/3/9/2/2/392267/schrock_infographic_rubric.pdf.

Soiferman, L. K. (2015). Understanding the Effectiveness of Rubrics from the Students’ Point of View. Online Submission. Recuperado de http://eric.ed.gov/?id = ED558553.

Tardif, J. (2006). L’évaluation des compétences: documenter le parcours de développement. Montréal: Chenelière-éducation.

Valero, J. L. (2008). La infografía digital en el ciberperiodismo. Revista Latina de Comunicación Social. Recuperado de: http://www.ull.es/publicaciones/latina/08/42_799_65_Bellaterra/Jose_Luis_Valero.html. 492-504.

Vallejo, C. (2013). Infografías y competencia digital. Recuperado de: http://recursostic.educacion.es/observatorio/web/es/cajon-de-sastre/38-cajon-de-sastre/1091-infografias-y-competencia-digital?format = pdf.

Valverde, J. (2014). El uso de e-rúbricas para la evaluación de competencias en estudiantes universitarios. Estudio sobre fiabilidad del instrumento. Revista de Docencia Universitaria, 12 (1), 49-79. Recuperado de: http://red-u.net/redu/index.php/REDU/article/view/724.

Yuan, M. y Recker, M. (2015). Not All Rubrics Are Equal: A Review of Rubrics for Evaluating the Quality of Open Educational Resources. The International Review of Research in Open and Distributed Learning, 16 (5). Recuperado de: http://files.eric.ed.gov/fulltext/EJ1077781.pdf.
Guzmán-Cedillo, Y. I., Lima-Villeda, N., & Meza-Cano, J. M. (2017). Diseño y confiabilidad de una rúbrica para evaluar infografías didácticas. Enseñanza & Teaching: Revista Interuniversitaria De Didáctica, 35(2), 17–36. https://doi.org/10.14201/et20173521736

Descargas

Los datos de descargas todavía no están disponibles.

Biografía del autor/a

Natalia Lima-Villeda

,
Facultad de Psicología. Universidad Nacional Autónoma de México
Universidad del Valle de México Dirección de Innovación Educativa Calzada de Tlalpan núm. 3058 Col. Santa Úrsula Coapa, Delegación Coyoacán, CP 14370, Ciudad de México, DF. México
+