TALLER: Presentación de ítems liberados de pruebas internacionales de evaluación Laura Alonso David Cervera Joaquín Vera @educainee INEE_MECD ¿Has visto que prueba han hecho? ¿A quién se le habrá ocurrido? Mira este ítem. ¡Qué barbaridad! EVALUACIONES EDUCATIVAS Competencias y habilidades para la vida Currículo Evaluación LO DESEABLE DE UN SISTEMA EDUCATIVO EVALUACIONES EDUCATIVAS Competencias y habilidades para la vida Currículo Evaluación LO OBSERVADO CON UNA PRUEBA DE EVALUACIÓN Matriz de especificaciones Niveles cognitivos (Niveles de complejidad en la resolución de la tarea) Procesos Proceso I Proceso II Proceso III Dominio 1 Descriptores Descriptores Descriptores % Dominio 2 Descriptores Descriptores Descriptores % Dominio 3 Descriptores Descriptores Descriptores % % % % Dimensiones/Dominios Ponderación Ponderación Descriptores: Formulaciones sintéticas de las competencias/capacidades que medirán los ítems EJEMPLO DE CONSTRUCCIÓN DE PRUEBAS BLOQUES DE CONTENIDOS • Números • Álgebra • Geometría • Funciones y Gráficas • Estadística y Probabilidad • Contenidos comunes Ejemplo: Contenidos y Procesos para Matemáticas 2º ESO DESCRIPTOR EJEMPLO DE CONSTRUCCIÓN DE PRUEBAS PROCESO DE CONSTRUCCIÓN DE PRUEBAS MATRIZ ESPECIFICACIONES Tipo respuesta: • Elección múltiple • Cerrada • Abierta construida • Abierta Pilotaje Ítem Estímulo Aplicación principal Explotación de datos EJEMPLO TIMSS CIENCIAS Recomendaciones para seleccionar estímulos • Buscar estímulos en los que el alumno pueda tener interés. • Seleccionar en función de las preguntas que se harán: Textos (continuos o discontinuos). Gráficos, imágenes, fotografías, dibujos, etc. Esquemas (sinópticos, eléctricos, planos, distribución, montaje). Comentarios, notas al pie, aportaciones laterales. Tiras cómicas. Mapas de metro, de autobús, de ciudad, de carreteras. Organigramas, tablas, listados, notas manuscritas, carteles, etc. • Deben ser correctos y respetuosos desde el punto de vista de la igualdad de los sexos, creencias religiosas, etc. PONGÁMONOS A PRUEBA http://www.youtube.com/watch?v=QHzpPflDiMY http://pisa‐sq.acer.edu.au/showQuestion.php?testId=2295&questionId=5 PONGÁMONOS A PRUEBA PONGÁMONOS A PRUEBA Presentación de ítems liberados de PISA, TIMSS y PIRLS: Marco teórico, elaboración y aprovechamiento didáctico Presentación de ítems liberados de PISA, TIMSS y PIRLS: Marco teórico, elaboración y aprovechamiento didáctico CRITERIOS DE CORRECCIÓN PREGUNTA A Presentación de ítems liberados de PISA, TIMSS y PIRLS: Marco teórico, elaboración y aprovechamiento didáctico Presentación de ítems liberados de PISA, TIMSS y PIRLS: Marco teórico, elaboración y aprovechamiento didáctico CRITERIOS DE CORRECCIÓN PREGUNTA B Presentación de ítems liberados de PISA, TIMSS y PIRLS: Marco teórico, elaboración y aprovechamiento didáctico CRITERIOS DE CORRECCIÓN PREGUNTA C Presentación de ítems liberados de PISA, TIMSS y PIRLS: Marco teórico, elaboración y aprovechamiento didáctico CRITERIOS DE CORRECCIÓN PREGUNTA D Recomendaciones para elaborar preguntas (ítems) • Si son de respuesta múltiple: Incluir un número par de respuestas. Se recomienda cuatro. Solo exista una respuesta inequívocamente correcta. Los distractores sean plausibles pero erróneos. Todas las opciones tengan una forma de redacción similar. Todas las opciones tengan una longitud similar. No emplear preguntas negativas o alternativas negativas. Recomendaciones para elaborar preguntas (ítems) • Si son de respuesta elaborada: No incluir expresiones del tipo “cita al menos tres …”. Ser preciso en lo que se pide ayuda a la codificación. Podríamos sustituir la expresión anterior por “Enumera tres …”. Evitar preguntar cuestionas vinculadas con el idioma de manera directa: “sustituye la palabra por un sinónimo”. Elaborada larga: plantearla para que la codificación sea posible => ejemplos de respuestas reales. Codificación • CUANDO ESTÁ “BIEN O MAL” Puntuación máxima Código 1: … (cuando es abierta se acompaña con ejemplos de lo que se considera que está correcto) Sin puntuación Código 0: otras respuestas … Código 9: sin respuesta Codificación • PUNTUACIÓN PARCIAL Puntuación máxima Código 2: … (ejemplos de lo que se considera que está correcto) Puntuación parcial Código 1: … (ejemplos de lo que se considera que está parcialmente correcto) Sin puntuación Código 0: otras respuestas … Código 9: sin respuesta Unidad 1: Finalidad de las pruebas externas. Unidad 2: Las pruebas externas en los medios. Unidad 3: Recursos para todos. Los ítems liberados. Unidad 4: Corrección de pruebas externas. Unidad 5: De la pregunta al informe: Datos. Del 3 de noviembre al 15 de diciembre de 2014 Inscripción abierta durante todo el proceso https://mooc.educalab.es Curso evaluaciones externas internacionales (próxima edición marzo 2015) Edición marzo 2015 http://www.mecd.gob.es/inee/ ¡¡Muchas gracias!! Síguenos en Twitter: @educaINEE @dcerverao En nuestro blog: http://blog.educalab.es/inee/ Y en slideshare: http://www.slideshare.net/INEE_MECD