Cómo Establecer Puntos de Corte o Selección para Estandares? Eugenio J. Gonzalez ¿Que es un Estandard? • Un nivel deseado de desempeno • Pueder ser definido de manera conceptual o empirica • Se refiere a niveles de desempeno definido por expertos , individuos, o desempeno grupal • Un estandard es generalmente algo bueno, que vale la pena alcanzar • Estandares tienen distintos significados para distintas personas 1 ¿Que es un Estandard? • “Es la respuesta a la pregunta: ¿Que tanto bueno es suficiente? Esta pregunta solo puede ser respondida a juicio de alguien.” (Livingston & Zieki) Definiendo Estandares: 3 Aspectos • ¿Que tipo de conocimientos o habilidades deben ser aprendidas? • ¿Que tanto conocimiento o habilidades deben ser aprendidos ? • ¿Como determinamos que la cantidad y calidad necesaria de conocimiento y habilidades han sido alcanzadas? 2 ¿Como Establecer Estandares? • Persona con educación ideal • Requerimientos del empleo • Puestos disponibles • Utilización de distribución de rendimiento • Sistema de cuota ¿Como Establecer Estandares? • Niveles alcanzables • Progreso Individual • Combinación de Factores • Intuición Imprecisa 3 ¿Como Seleccionar un Tipo de Estandard? • Modelo Importado • Modelo de Acreditacion • Practica Tradicional • Presiones Politicas Estandares de Desempeno • Se usa evidencia para identificar un nivel aceptable de aprendizaje • Este nivel se establece con sensibilidad politica a consecuencias sociales • Los estandares de desempeno se deciden a traves de procesos politicos informados con datos, preferiblemente empiricos 4 Estandares de Contenidos vs. Desempeno • Estandares de Contenido: Especifica lo que los alumnos deben saber y hacer • Estandares de Desempeno: especifica el nivel de competencia que debe demostrar el alumno • Establecer Estandares generalmente se refiera a estandares de desempeno Metodos Para Estanblecer Estandares • Basados en la Prueba • Basados en los Alumnos • Juicio Directo 5 El Metodo de Angoff • Determinar la probabilidad que una persona con competencia minima pueda responder correctamente a una pregunta • La suma de estas probabilidades da el puntaje minimo o puntaje para pasar El Metodo de Ebel • Se clasifican las preguntas por dificultad y relevancia • Los jueces se les pide estimar la proporción de preguntas en cada grupo que una persona de competencia minima respondera correctamente • El puntaje de paso se calcula como el promedio ponderado de las proporciones de cada celda 6 El Metodo de Nedelski • Solo funciona para preguntas de selección multiple • Se le pide a los jueces estimar cuales opciones pueder ser eliminadas por los alumnos con minima competencia • Una persona con competencia minima escogera aleatoreamente entre las opciones restantes El Metodo de Jaeger • Evaluar cada pregunta y tomar una decision acerca de si una persona competente debiera responder correctamente a la pregunta 7 Estableciendo Estandares • Metodo de Frontera – Se clasifican los alunos en tres grupos – La mediana del grupo del medio se usa como el estandard de la prueba • Metodo de Grupos Contrastados – Se utiliza los puntajes que separan grupos extremos • Niveles de Referencia (Benchmarking) – Utilizar ejemplos de buena practica o alto desempeno Standard Setting Procedures • Anclaje Conductual • Guias de Calificacion 8 ¿Cual Escoger? • Escoge mas de uno • Valida los resultados • Se consistente • Asegurarse de poder explicar y validar los resultados • Establecer estandares es un proceso arbitrario, pero no caprichoso Recomendaciones • Proveer definición clara de los conocimientos y destrezas requeridas • Asegurarse que se mide lo que se pretende • Determinar quienes seran los jueces • Entrenar a los jueces que entiendan lo que se espera • Proveer información en base a resultados • Permitir a los jueces revisar sus criterios de clasificacion 9 Recomendaciones • Realizar pruebas piloto con los procedimientos • Permitir que los “afectados” examinen los resultados • Utilizar mas de un metodo para verificar resultados • Obtener una medida de consistencia • Proveer evidencia de condiabilidad • Proveer evidencia de validez • Proveer evidencia de equidad a los grupos afectados Puntos de Corte • Puntos a lo largo de la distribución usados para clasificar a las personas en grupos que reflejan distintos niveles de desempeno respecto a un objetivo particular • Pueden ser usados para describir o seleccionar 10 Suposiciones de los Puntos de Corte • Medible: Lo que se quiere medir se puede medir • Validez: Lo que se mide es pertinente • Confiabilidad: El error es conocido y aceptable • Consistencia: en distintos grupos • Unidimensional • Interpretable • La decision basada en puntos de corte no puede ser mas precisa que la medida usada 11