Año 2, N°5 Boletín Septiembre-Octubre 2014 DEPARTAMENTO DE EVALUACIÓN - DiNIECE - Carta a los lectores Contenidos: Estimados lectores: Nos comunicamos nuevamente con ustedes, convencidos de que tiene Carta a los lectores que ser la comunidad educativa la que debe crear los mecanismos de mejora del Los instrumentos de eva- sistema. luación de los ONE En breve se estarán publicando Proyecto de uso de infor- los resultados del Operativo Nacional de Evaluación (ONE) 2013, lo que significa mación 2014 un insumo más para un diagnóstico actualizado de la calidad de los aprendizajes de Las Jurisdicciones y el la educación argentina y un recurso más ONE: Entre Ríos para el diseño de políticas educativas más precisas. A continuación, informaremos sobre una nueva Convocatoria para que las jurisdicciones presenten sus propuestas respecto del uso de la información de los resultados alcanzados en el último ONE. Nos estamos refiriendo a los Proyectos de Uso de la Información. Finalmente, queremos acercarles la diversidad de voces de las diferentes jurisdicciones de nuestro país, en este caso, de la coordinadora de evaluación de Entre Ríos. Para cerrar, recordamos a Nelson Mandela (1918-2013) cuando nos advertía que “La Educación es el arma más poEsta instancia de la comunicación derosa que podemos usar para camde los desempeños de los estudiantes y biar el mundo”. su posterior uso, es la que da real sentido a los esfuerzos realizados, tanto en la Departamento de Evaluación de la construcción y procesamiento de los insCalidad Educativa de la DiNIECE trumentos, como en el trabajo realizado en cada una de las jurisdicciones, en cada una de las escuelas y por cada uno de los actores de la comunidad educativa. En este Boletín encontrarán un artículo sobre la diferencia entre la Evaluación referida a normas y la Evaluación referida a criterios como una forma de preparación para entender mejor los resultados que próximamente podremos analizar. “Onduleante” María Martorell ,1968 Los instrumentos de evaluación de los ONE En los estudios de evaluación a gran escala, como son en nuestro caso los Operativos Nacionales, el desarrollo de los instrumentos que se utilizan conlleva una alta complejidad, tanto en la instancia de elaboración y diseño, como también en el proceso de validación. En la construcción de estos instrumentos existen diversos enfoques conceptuales y metodológicos que enfatizan determinados sentidos de la evaluación y, en consecuencia, atribuyen diferentes posibilidades de uso de la misma. Entre los años 2004 y 2005, los estudios nacionales dieron un giro metodológico muy importante. Hasta ese momento se realizaban desde el enfoque de Pruebas referidas a las normas (PRN). La evaluación referida a las normas es la comparación de los resultados de un estudiante o grupo de estudiantes con respecto a los demás estudiantes o grupos de estudiantes que responden la misma prueba (o responden al mismo instrumento). Luego, se procuró, sin perder la posibilidad de realizar determinados seguimientos de los resultados anteriormente alcanzados, desarrollar una evaluación desde el enfoque de Pruebas referidas al criterio (PRC). El enfoque criterial traspasa el foco de la comparación entre alumnos o grupos de alumnos, hacia la descripción de lo que los estudiantes saben, y son capaces de hacer. El factor principal que sustenta este cambio es la necesidad de que las evaluaciones se puedan interpretar y comunicar en función de criterios de calidad del aprendizaje, dado que las decisiones que se toman a partir de ellas así lo requieren. Este cambio fundamental y trascendente sobre el sentido de las evaluaciones está claramente desarrollado en un documento titulado “Recorrido político y técnicopedagógico en el proceso de elaboración, justificación y validación de los criterios de evaluación” *, que se encuen- tra en la página web de la DiNIECE. El cambio de Evaluación por Norma a Evaluación por Criterio resultó sumamente valioso en la manera de reportar los resultados, ya que brinda mayores posibilidades de análisis, tanto en lo político como en lo pedagógico. También permite opciones más ricas en el uso de la información, al utilizar otras metodologías, tales como la teoría de respuesta al ítem**, y la descripción de los niveles de desempeño. En los procesos de construcción de pruebas criteriales se han dado procesos que diferencian claramente a éstas respecto de las tradicionales. En especial, hay que resaltar el énfasis que se ha ido poniendo sobre la participación de expertos en los análisis psicométricos, en el diseño, revisión y selección de ítems. También la participación de docentes de todo el país en la definición de los niveles de desempeño, tomando como principal referencia los Núcleos Prioritarios de Aprendizaje (NAP). Una característica adicional a resaltar, es que todo el proceso de elaboración de la prueba está integrado con un pilotaje de los ejercicios en distintas jurisdicciones, que garantiza la construcción de la prueba definitiva. Recomendamos la lectura del documento antes citado, ya que detalla con precisión todas las cuestiones a las que nos estamos refiriendo de manera sucinta en este artículo y funciona como referente conceptual de los instrumentos de evaluación que se utilizan en el ONE. *Página web DiNIECE: http://portales.educacion.gov.ar/diniece/2014/01/22/documentosgenerales-de-evaluacion/ **Método basado en la vinculación de ítems con la escala de habilidad total (R. Martinez Arías, 1995). Se trata de identificar los ítems característicos de cada nivel de habilidad, basándose en un nivel de probabilidad de respuesta. Asignados los ítems, se analizan los puntos de inflexión en la escala, de forma que se establece para un rango determinado de habilidad cuáles son los ítems que responden adecuadamente los sujetos de ese rango de manera diferencial respecto a los clasificables en los rangos adyacentes. Proyecto de uso de información 2014 En el marco de la presentación de resultados, el Departamento de Evaluación de la DiNIECE realizará una nueva convocatoria para que los equipos jurisdiccionales de evaluación presenten Proyectos de uso de información del ONE 2013. Estas convocatorias se vienen realizando desde el año 2002 y es una de las acciones de uso de la información más importante que se realizan a partir de los resultados obtenidos de los Operativos Nacionales de Evaluación. Cada equipo presenta un proyecto que propone el uso de la información en su jurisdicción, considerando las posibilidades técnicas instaladas, la realidad educativa provincial y la estrategia más eficaz para que los resultados lleguen a las escuelas y sean utilizados. Esta modalidad respeta las realidades de cada Jurisdicción y reconoce a los Coordinadores Jurisdiccionales de Evaluación como los referentes, tanto por cuestiones técnicas como por conocimiento e interacción con las instituciones educativas provinciales. Son ellos los que están en mejores condiciones para diseñar e implementar la modalidad de uso de la información de los ONE. Desde el Departamento de Evaluación de la DiNIECE se les brinda el apoyo necesario y se insiste en que estos Proyectos tengan como objetivo que la información pueda llegar y ser aprovechada por aquellas mismas instituciones, en las cuales ha sido generada: las escuelas. Las Jurisdicciones y el ONE: Entre Ríos Continuando con esta sección, iniciada en anteriores boletines, compartimos con ustedes una entrevista sobre el Operativo Nacional de Evaluación realizada a la Coordinadora Jurisdiccional del Área Calidad Educativa de la Provincia de Entre Ríos, Lic. Alicia Mondino. ¿Cómo evalúa su experiencia como Coordinadora Jurisdiccional del ONE hasta el momento? El trabajo sostenido en la Coordinación desde diferentes lugares ha permitido acompañar a la DiNIECE en su política de evaluación. En Entre Ríos, dada sus características se ha hecho foco en la implementación de los ONE y en estrategias previas que permitan motivar y alentar la participación responsable en la administración de estas pruebas, considerando que la información y la comunicación aportan conocimiento y seguridad. “Egloba” de Roberto ¿Ha contribuido el ONE al desarrollo de la evaluación educativa en su jurisdicción? Cascarini, 1986. La provincia reconoce la calidad como una filosofía que involucra a toda la comunidad educativa, implica y compromete a todos en un proyecto común en el que se deposita toda expectativa de mejora y progreso. Las devoluciones de los operativos de evaluación son fundamentales para el La provincia sistema educativo, sobre la base de ellos se trabaja para que mejoren las prácticas docentes en función de las dificultades detectadas en las diferentes áreas o disciplinas. Es por eso que se han reali- reconoce la calidad zado distintas propuestas de trabajo; acompañando con formación y difusión a través de publicacio- como una filosofía nes como: “Documento Nro 4 Evaluación”; “Evaluación externa. Conceptos y desafíos”; “Docentes que (…) implica y Estudiando” y “Transformación de las Prácticas de enseñanza. Algunas Recomendaciones Metodo- compromete a todos lógicas”. en un proyecto ¿Cuál es en la actualidad el estado de situación de la Educación en su jurisdicción? común en el que se La Educación es fundamental para disminuir brechas y permitir la movilidad social. El trabadeposita toda jo situado que se viene realizando en este sentido aporta a la mejora del sistema. Esto se focalizan expectativa de en las políticas educativas concretas como las transformaciones curriculares e institucionales; asegurar el acceso, permanencia, reingreso y egreso en todos los niveles de la educación obligatoria, mejora y progreso. atendiendo las trayectorias escolares; la formación inicial y permanente de los docentes; y la gestión y administración de la información educativa, para que las instituciones puedan utilizar el sistema de comunicación on line y articular en redes para una oportuna toma de decisiones. ¿Cuál es el mayor desafío en términos de la Educación? El mayor desafío en la educación entrerriana es la inclusión y calidad en el sistema educativo obligatorio, contribuir a la igualdad de oportunidades y ampliar el acceso a la educación superior. Para ello se crearon dispositivos de atención a la diversidad: Formación complementaria, Tutorías disciplinares, Prácticas educativas y se fomenta el uso de las nuevas tecnologías. ¿Cómo piensa usted que el ONE 2013 puede contribuir a la mejora de la calidad educativa en nuestro país? Se considera un reto pedagógico y ético más que un mero hecho técnico, sólo si la evaluación genera información que sea utilizada en un ida y vuelta en términos de mejora educativa. Estamos en la Web: http://portales.educacion.gov.ar/diniece/evaluacion-de-la-calidad-educativa/ “Flores” de Roberto Cascarini, 1969.