Hacer prueba piloto

WBIEG: cómo hacer pruebas piloto con los ítems.doc
24 de mayo de 2004
Cómo hacer pruebas piloto de los ítems
(Para los expertos en el contenido del curso/gestores del examen con asistente)
1. Se recomienda hacer pruebas de los ítems antes de usarlos con los
participantes en el curso. Si los participantes de cursos anteriores tomaron el
examen (o parte del examen) sus respuestas se deben emplear como parte de
la prueba piloto. Además, se pueden organizar pruebas piloto con voluntarios
que deseen tomar el examen. Los voluntarios pueden hacer pruebas piloto del
examen en diferentes momentos y en diferentes circunstancias:
2. Los formularios de las pruebas piloto deben incluir:
¾ El nombre de quien toma la prueba (opcional)
¾ Una pregunta acerca de la persona que toma el examen en el terreno del
curso
¾ Los ítems del examen (o parte de ellos) sin las claves1
¾ Espacio abajo de cada ítem para indicar
a. qué en la redacción del ítem les dio el indicio de lo que creen
que es la clave (si hubo algo)
b. qué les hizo titubear (si hubo algo)
c. sugerencias para replantear el ítem
3. Pida a los voluntarios que indiquen qué creen que es la clave para cada ítem. Si
no saben, deben elegir la opción “no sé”. Deben escribir sus comentarios bajo
cada ítem.
4. Una vez que los voluntarios tomaron la prueba y ofrecieron sus comentarios
iniciales, déles las claves. Pídales que indiquen si opinan que la clave es
inexacta y por qué.
5. Recoja los formularios de prueba, revise los comentarios y califique las pruebas.
La interpretación de los resultados de la prueba piloto depende de quién
respondió, como se explica en el cuadro que sigue:
1
Puede dividir los ítems del examen entre voluntarios, a condición de que todos los ítems del examen
pasen por la prueba piloto. Pedir a las personas que respondan ambos ítems en cada par ayuda a ver si cada
ítem es tan difícil como el otro ítem que forma el par. Si ambos ítems que forman un par aparecen en el
mismo formulario de examen, no haga que uno siga a otro.
Quiénes pueden ser voluntarios para tomar la
prueba
Otros expertos en contenido: colegas,
compañeros, presentadores de otras sesiones
en el curso pueden responder ítems que no
escribieron ellos.
Ex-alumnos. Participantes en presentaciones
anteriores del curso. Se les puede reunir para
una sesión de seguimiento (por ejemplo para
implementar planes de acción) y tomar la
prueba (si no lo hicieron ya durante el curso).
Personas que se parecen a los
participantes: ¡No los participantes mismos!
Ni siquiera para un curso posterior, sino gente
que tenga más o menos el mismo nivel de
conocimiento relacionado con el curso como lo
tienen los participantes. Se les puede reunir en
un ambiente informal u otros y tomar la prueba
(o una pequeña parte de la prueba dividida
entre los participantes en esa reunión
informal).
Personas que no son expertos en el
contenido: asistentes novatos, asistentes,
compañeros expertos en otros terrenos.
Cómo interpretar sus resultados
De los expertos en contenido se espera que
califiquen alto y que elijan las mismas
respuestas. Si los expertos están en
desacuerdo sobre una clave, cambie o
reemplace el ítem.
Se espera que los ex-alumnos tengan una
calificación de más del 50%. Si no es así, tal
vez olvidaron el contenido o la prueba es
demasiado difícil. Comparar sus calificaciones
con otros grupos que hacen pruebas de campo
ayuda a determinar si el problema es su falta
de retención del contenido del curso que
tomaron, o el examen.
Se espera que sus calificaciones mejoren con
sus años de experiencia.
Se espera que las personas que no son
expertos en el contenido obtengan
calificaciones bajas. Si su calificación es de
más de 50%, haga que los ítems fáciles sean
más difíciles.