One picture or a thousand words? Influence of question length and illustration support on the success and skip rates on online tests

Resumen

La creciente popularidad de las pruebas en línea evaluadas automáticamente, tanto como herramientas de evaluación cómo de auto-aprendizaje en la educación a distancia o semipresencial requiere una revisión de cómo estas preguntas se diseñan y presentan a sus receptores. Este artículo analiza los resultados de más de 20.000 exámenes simulados en línea diseñados para preparar el estudiantado para las pruebas de acceso a la universidad española (selectividad) en la materia de dibujo técnico, correspondientes a las convocatorias de junio y setiembre de 2009 y 2015. Se evalúa la influencia de dos aspectos clave en el número de preguntas respondidas correctamente o abandonadas: (a) la presencia o ausencia de una ilustración y (b) la extensión de la pregunta como indicador de la comprensión lectora. Los resultados apoyan que la presencia de una ilustración se traduce en menor número de preguntas abandonadas y mayor número de preguntas respondidas correctamente, mientras que la extensión de la pregunta tiene el efecto contrario. También se examinan los diferentes resultados durante el período de 6 años, que muestran un ligero empeoramiento de los resultados mientras que la tasa de abandono se mantiene estable. Comparando ambas convocatorias, correspondientes a los perfiles académicos de los estudiantes que aprobaron en junio y los que no lo hicieron, la tasa de éxito es comprensiblemente menor para los estudiantes la segunda. Estos hallazgos deberían permitir mejorar el diseño de las pruebas en línea, incluyendo más contenido visual y/o haciendo las preguntas más concisas, para ajustarse a los requerimientos de unos estudiantes educados en el entorno visual de las tecnologías multimedia.