Conclusiones - Publicaciones del INEE

Acerca de la validación de los Exámenes de la Calidad y el Logro Educativos (Excale)
27
Conclusiones
En el contexto de los Excale, el concepto de validez se refiere al grado en que sus resultados comunican de forma adecuada y precisa la calidad del sistema educativo mexicano a
políticos, administradores, educadores, académicos y al público en general. Por ejemplo, si
el INEE con base en los resultados de los Excale, reporta que hay una brecha entre el nivel
de aprovechamiento esperado en Matemáticas y el encontrado en los estudiantes de sexto
grado de primaria, se pueden hacer muchas preguntas acerca del reporte, como son: ¿El
tipo de habilidades matemáticas evaluadas en el Excale representan lo que les fue enseñado a
los estudiantes?; ¿La manera en la que se evaluaron las habilidades matemáticas fue adecuada y precisa?; ¿La manera en la que se evaluaron las habilidades matemáticas fue justa para
todos, o algunos estudiantes se vieron más favorecidos que otros?; ¿Los resultados reportados
son representativos de la población del grado evaluado del país, así como de las entidades federativas y modalidades educativas?; ¿Los resultados reportados son lo suficientemente claros
y precisos de manera que se eliminen posibles interpretaciones erróneas? Estas constituyen
tan sólo una muestra del tipo de preguntas que pueden hacerse con respecto a la validez
de los Excale.
En este documento se han definido una serie de consideraciones conceptuales acerca
de la validez de los Excale y se ha propuesto un marco de referencia para el diseño de estudios de validez que abarcan todas las etapas del desarrollo de estas pruebas. Sin embargo,
es claro que existe una brecha entre la teoría de la validez y la práctica de su investigación
(Cronbach, 1988; Messick, 1989; Moss, 1995; Shepard, 1993). El caso de los Excale, como el
de muchas otras pruebas a gran escala en otros países, no es la excepción. Los requerimientos para una validación más o menos completa de una prueba son altos y difíciles de alcanzar. Por ejemplo, en este documento se ha reiterado la idea de que un buen plan de investigación de validez requiere no solamente de colectar evidencia confirmatoria, sino también
no confirmatoria. Por desgracia, la mayoría de los reportes de validez son confirmatorios
(Cronbach, 1989) y difícilmente se encuentra evidencia de estudios no confirmatorios que
prueben la plausibilidad de hipótesis rivales. Más aún, un plan más o menos completo de
investigación de la validez de una prueba es costoso y la limitación de recursos económicos, humanos y materiales afectan las decisiones de los estudios a realizar.
Creemos que el marco de referencia propuesto en este documento puede ayudar a decidir las prioridades de los estudios que han de realizarse para garantizar la validez de los
Excale. Aunque aquí se han presentado ciertos estudios de validez, es claro que la agenda
puede ampliarse considerablemente, si los recursos lo permiten. Por ejemplo, se puede
pensar en estudios de validez para evaluar las siguientes premisas: para contestar los reactivos de la prueba se requieren competencias escolares que están incluidas en el currículum; las competencias evaluadas en los Excale representan de alguna manera a las no evaColección Cuadernos de Investigación
28
luadas; hay un alineamiento de las características cognoscitivas de las tareas involucradas
en el currículum y en los Excale. Estudios para confirmar y refutar las dos primeras premisas
requerirían de diseños experimentales que no se consideraron en los estudios propuestos.
La tercera premisa requeriría de estudios de laboratorio donde se evaluara la validez cognoscitiva de las tareas de los Excale (Ruiz-Primo, Shavelson, Li, & Schultz, 2001).
Si esta agenda llegara a desarrollarse (ver Ruiz-Primo & Jornet, 2004), el establecimiento
de las prioridades deberá tomar en cuenta el posible daño que pueda resultar, si cierto estudio de validez no se lleva a cabo, así como la probabilidad de ocurrencia (amenaza hipotética) de eventos que afecten la validez. El detrimento en la validez de los Excale sería serio
si se descubre posteriormente que una amenaza hipotética a la validez fue real. Sugerimos,
entonces, que el INEE decida las prioridades de los estudios que han de realizarse para establecer la validez de los Excale. Por ejemplo, siguiendo las recomendaciones hechas para el
National Assessment for Educational Progress (NAEP) en los Estados Unidos, se podría pensar
en los siguientes tipos de estudios:
• Esenciales. Estudios que si no se llevan a cabo permitirían que los Excale estuvieran sujetos a una crítica severa.
• De alta prioridad. Estudios que si no se realizan podrían conducir a críticas, algunas de
ellas muy severas.
• De mediana prioridad. Estudios que si no se realizan podrían conducir a críticas no muy
severas.
• De baja prioridad. Estudios enfocados a las amenazas de validez de baja probabilidad de
ocurrencia, que el INEE puede justificar de manera contundente.
Creemos que hay tres preguntas que debieran guiar el establecimiento de la jerarquía
de los estudios de validez sean las propuestas por Shepard (1993): ¿Qué es lo que los Excale pretenden evaluar?; ¿Cuáles son los argumentos a favor y en contra de las interpretaciones
esperadas de los Excale?; ¿Qué hacen los Excale en el sistema educativo, para bien o para mal,
además de lo que pretenden evaluar?. Responder a estas preguntas requiere, necesariamente considerar los criterios propuestos por los Estándares de Medición Educativa y Psicológica
(AERA, APA, NCME, 1999) y una larga agenda de estudios que se realicen en el contexto de
un marco conceptual que explique claramente el argumento interpretativo de la prueba,
que proponga claramente las premisas o suposiciones en los que se basa este argumento,
y que proporcione evidencia a cada una de estas premisas, incluyendo la identificación y
refutación de posible contra argumentos o hipótesis rivales (Kane, 1992).
Hasta ahora es claro que la validación de los Excale comenzó desde su diseño, desarrollando un modelo en el que se han tenido en cuenta diversos elementos dirigidos a asegurar
su validez. No obstante, esta tarea de validación es una tarea compleja, que deberá llevarse
a cabo durante toda la vida útil de los Excale en el sistema de evaluación que realiza el INEE,
sustentada en un plan completo de investigación evaluativa, como el que aquí se sugiere.
Colección Cuadernos de Investigación