TALLER USO DE LA INFORMACIÓN USO PEDAGÓGICO EJEMPLOS DE PREGUNTAS PRUEBAS INTERNACIONALES IMPORTANTE En el presente documento se utilizan de manera inclusiva términos como “el docente”, “el estudiante” y sus respectivos plurales (así como otros equivalentes en el contexto educativo) para referirse a hombres y mujeres. Esta opción se basa en la convención idiomática de nuestra lengua y tiene por objetivo evitar las fórmulas para aludir a ambos géneros en el idioma español (“o/a”, “los/las” y otras similares), debido a que implican una saturación gráfica que puede dificultar la comprensión de lectura. Talleres Uso de la Información Edición actualizada Agencia de Calidad de la Educación www.agenciaeducacion.cl contacto@agenciaeducacion.cl Morandé 360, piso 9 Santiago de Chile 2015 Índice TALLER USO PEDAGÓGICO EJEMPLOS DE PREGUNTAS PRUEBAS INTERNACIONALES Programación de actividades 4 6 Actividad 1 Elaboración de cuadernillo 8 Actividad 2 Aplicación de cuadernillo 9 Actividad 3 Corrección y análisis de resultados obtenidos 10 Actividad 4 Análisis de resultados con los estudiantes 15 Actividad de cierre Conclusiones, compromisos y acciones finales 17 Material de apoyo para el taller 19 TALLER USO PEDAGÓGICO EJEMPLOS DE PREGUNTAS PRUEBAS INTERNACIONALES Acerca de las pruebas internacionales Históricamente Chile ha participado en varios estudios internacionales que buscan evaluar el sistema escolar y conocer cuáles son los elementos clave de una educación de calidad. Estos estudios, desarrollados por la Agencia de Calidad de la Educación, utilizan como herramienta principal pruebas estandarizadas aplicadas a una muestra representativa de alumnos chilenos, que permiten entender sus logros de aprendizaje, entregando información sobre la calidad de la educación, los factores, los antecedentes que contribuyen al proceso de aprendizaje y situarlos en un contexto internacional. Entre estos estudios se encuentran las pruebas PISA y las pruebas TIMSS. PISA evalúa competencias en lectura, matemática y resolución de problemas en estudiantes de 15 años, y TIMSS evalúa los aprendizajes de estudiantes de 4.° y 8.° básico en matemática y ciencias. Para ambas pruebas, la Agencia pone a disposición de la comunidad educativa libros con ejemplos de preguntas1, los que pueden ser utilizados como apoyo en las prácticas evaluativas de los docentes de los establecimientos. Los documentos disponibles con ejemplos de preguntas son los siguientes: • PISA Evaluación de las competencias lectoras para el siglo XXI. Marco de evaluación y preguntas de las pruebas. • PISA Competencias Matemáticas: Un requisito para la sociedad de la información. • TIMSS Marco de evaluación de preguntas y ejemplos de respuestas de la prueba. Volumen I-Matemática. • TIMSS Marco de evaluación, preguntas y ejemplos de respuestas de la prueba. Volumen IICiencias. 1 Disponibles en http://www.agenciaeducacion.cl/biblioteca-digital/material-consulta-educadores/ 4 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN ¿Cuál es el objetivo de este taller? El presente taller contribuye al mejoramiento del proceso de aprendizaje de los estudiantes a través de orientaciones para el uso pedagógico de ejemplos de preguntas de las pruebas internacionales TIMSS y PISA. El objetivo es que pueda ser utilizado como herramienta de trabajo para analizar las prácticas pedagógicas, y así también, apoyar el diagnóstico y evaluación de los aprendizajes logrados por los estudiantes. ¿Por qué es importante realizar este taller? Realizar este taller representa un apoyo para la labor educativa, ya que entrega orientaciones en el análisis y la reflexión de resultados tanto de docentes y equipo directivo como de estudiantes. Además, permite generar compromisos y acciones finales a incorporar en el Plan de Mejoramiento Educativo del establecimiento. TALLER ANÁLISIS Y PRESENTACIÓN DE RESU 5 TALLER USO PEDAGÓGICO EJEMPLOS DE PREGUNTAS PRUEBAS INTERNACIONALES PROGRAMACIÓN DE ACTIVIDADES Los tiempos pueden ser modificados a partir de las necesidades y posibilidades internas de cada establecimiento. Se recomienda que las actividades a realizar en este taller, se realicen de manera independiente, para asegurar así, un trabajo significativo en el desarrollo de cada una. Actividad 1 Elaboración de cuadernillo Objetivo: Realizar una selección de preguntas de las pruebas PISA o TIMSS y elaborar un cuadernillo con ejemplos,considerando habilidades y grados de dificultad. Tema ¿Cómo puedo seleccionar las preguntas? Materiales requeridos a. Ejemplos de preguntas de los siguientes documentos: • PISA Evaluación de las competencias lectoras para el siglo XXI. Marco de evaluación y preguntas de la prueba. • PISA Competencias Matemáticas: Un requisito para la sociedad de la información. • TIMSS Marco de evaluación, preguntas y ejemplos de respuestas de la prueba. Volumen I- Matemática. • TIMSS Marco de evaluación, preguntas y ejemplos de respuestas de la prueba. Volumen II- Ciencias. Responsables Jefe de Unidad Técnico Pedagógica (UTP) y docentes a cargo enseñanza básica (Lenguaje, Matemática y Ciencias) Tiempo aprox. 30 minutos b. Material de apoyo para el taller: Guía para la selección de preguntas. Actividad 2 Aplicación de cuadernillo Objetivo: Aplicar a los estudiantes el cuadernillo con la selección de preguntas de pruebas internacionales. Tema ¿Cómo desarrollar el proceso de aplicación? Materiales requeridos Selección de ejemplos de preguntas realizada por los docentes a cargo. 6 Responsables Docentes a cargo. Tiempo aprox. 45 minutos mínimo / 90 minutos máximo. GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN Actividad 3 Corrección y análisis de resultados obtenidos Objetivo: Corregir las respuestas de los estudiantes, para luego reflexionar en base a los resultados obtenidos y, posteriormente: • identificar las habilidades y conocimientos logrados por los estudiantes, aquellos que aún no han consolidado y los patrones recurrentes de error. • identificar posibles factores que explican los resultados obtenidos por los estudiantes en los ejemplos de preguntas de pruebas internacionales. • realizar una reflexión con los docentes en torno a sus prácticas de evaluación. Tema ¿Cómo corregir las respuestas y analizar los resultados? Materiales requeridos Tablas 3 y 4, Material de apoyo para el taller (página 20). Habilidades y conocimientos evaluados del Marco de Evaluación PISA o TIMSS. ¿Cómo identificar conocimientos y habilidades consolidados y por consolidar en los estudiantes? Bases Curriculares Educación básica 2012. Planificaciones de aula y evaluaciones internas. Marco de Evaluación de PISA o TIMSS. ¿Cómo identificar causas y factores que expliquen los resultados de aprendizaje de los estudiantes en los ejemplos de preguntas? Ficha 1, 2 y 3. Marco para la Buena Enseñanza. Actividad 4 Responsables Jefe de UTP y docentes a cargo. Tiempo aprox. 45 minutos. Análisis de resultados con los estudiantes Objetivo: Reflexionar y establecer compromisos con los estudiantes, sobre los resultados de aprendizaje obtenidos en el trabajo con ejemplos de preguntas de pruebas internacionales. Mis resultados Tema Actividad de cierre Ficha 4. Materiales requeridos Responsables Jefe de UTP y docentes a cargo. Tiempo aprox. 45 minutos Conclusiones, compromisos y acciones finales Objetivo: Jefe de UTP y docentes, establecen conclusiones, compromisos y acciones finales para la mejora de los aprendizajes de los estudiantes. Tema ¿Cómo generar compromisos? Definición de principales conclusiones, compromisos y acciones finales. Tabla 1 Materiales requeridos Ficha 5 7 Responsables Jefe de UTP y docentes. Tiempo aprox. 30 minutos TALLER USO PEDAGÓGICO EJEMPLOS DE PREGUNTAS PRUEBAS INTERNACIONALES Actividad 1. Elaboración de cuadernillo Objetivo: Realizar una selección de preguntas de las pruebas PISA o TIMSS y elaborar un cuadernillo con ejemplos,considerando habilidades y grados de dificultad. Modo de trabajo: Grupal (5 integrantes de diversas asignaturas asesorados por un docente de Matemática - Lenguaje - Ciencias). Responsables: Jefe de Unidad Técnico Pedagógica (UTP) y docentes a cargo enseñanza básica (Lenguaje, Matemática y Ciencias). Tiempo aprox.: 30 minutos. ¿Qué se propone hacer en esta actividad? Los docentes seleccionen preguntas de las pruebas PISA y TIMSS con el propósito de construir un cuadernillo, utilizando la información contenida en los documentos PISA Evaluación de las competencias lectoras para el siglo XXI, TIMSS Marco de evaluación de preguntas y ejemplos de respuestas de la prueba (Volumen I Matemática y II Ciencias) y, la Guía para la sección de preguntas del Material de apoyo para el taller. ¿Cómo puedo seleccionar las preguntas? Para la selección de las preguntas se recomienda a los docentes y al Jefe de UTP: • Considerar los diferentes dominios cognitivos y de contenido, de manera de identificar las habilidades y conocimientos en que los estudiantes presentan mayores fortalezas y debilidades. Por ejemplo, para construir el cuadernillo de Matemática se puede seleccionar una pregunta con dominio cognitivo “Aplicación” del dominio de contenido “Números”, y área temática “Fracciones y decimales”. • Combinar preguntas de selección múltiple y de desarrollo. • Considerar los contenidos en que los estudiantes presentan mayor dificultad y por tanto están en proceso de ser logrados como aquellos que ya están consolidados, de acuerdo a la experiencia en aula y evaluaciones internas del establecimiento. • Tener en cuenta el nivel de desempeño de la pregunta para su elección. Es importante que el docente seleccione las preguntas en función de las habilidades que quiera reforzar o las que considere apropiadas por la edad de sus estudiantes. 8 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN Actividad 2. Aplicación de cuadernillo Objetivo: Aplicar a los estudiantes el cuadernillo con la selección de preguntas de pruebas internacionales. .Modo de trabajo: Individual. Responsables: Docentes a cargo. Tiempo aprox.: 45 minutos mínimo - 90 minutos máximo. ¿Qué se propone hacer en esta actividad? Que los estudiantes respondan las preguntas seleccionadas del cuadernillo, trabajando individualmente durante el tiempo previsto y siguiendo un proceso correcto de aplicación. ¿Cómo desarrollar el proceso de aplicación? Con el objetivo de involucrar a los estudiantes en su proceso de aprendizaje, se sugiere que al iniciar el proceso de aplicación se les comente que responderán algunas preguntas, para conocer cómo han evolucionado en los conocimientos, aprendizajes y qué aspectos se deben desarrollar para mejorar. Es importante que lean muy bien cada pregunta y que las respondan seriamente, tal y como sucede en una evaluación de las que se aplican habitualmente en el establecimiento. Comprobar que todos hayan comprendido el objetivo de esta guía y las instrucciones. Recomendaciones para la aplicación: • Recorrer la sala para asegurarse que los estudiantes estén contestando de acuerdo a las instrucciones. • La guía de trabajo tiene una duración mínima de 45 minutos y máxima de 1 hora y 30 minutos. • Recomendar a los estudiantes revisar las respuestas antes de entregarla. • Disponer de una actividad complementaria para aquellos estudiantes que terminen antes. 9 TALLER USO PEDAGÓGICO EJEMPLOS DE PREGUNTAS PRUEBAS INTERNACIONALES Actividad 3. Corrección y análisis de resultados obtenidos Objetivo: Corregir las respuestas de los estudiantes, para luego reflexionar en base a los resultados obtenidos y, posteriormente: • identificar las habilidades y conocimientos logrados por los estudiantes, aquellos que aún no han consolidado y los patrones recurrentes de error. • identificar posibles factores que explican los resultados obtenidos por los estudiantes en los ejemplos de preguntas de pruebas internacionales. • realizar una reflexión con los docentes en torno a sus prácticas de evaluación. Modo de trabajo: Grupal (5 integrantes de diversas asignaturas asesorados por un docente de Matemática - Lenguaje - Ciencias). Responsables: Docentes y equipo de UTP. Tiempo aprox.: 45 minutos. ¿Qué se propone hacer en esta actividad? Se propone que los docentes, corrijan las respuestas de los estudiantes y luego usando las fichas 1, 2 y 3, analicen los resultados obtenidos desde la identificación de errores frecuentes, los conocimientos y habilidades logrados y, los que no han sido consolidados. Finalmente, se propone una reflexión en cuanto a sus prácticas de evaluación. ¿Cómo corregir las respuestas y analizar los resultados? Para la corrección de las respuestas, se recomienda utilizar las tablas 3 y 4 del Material de apoyo para el taller; además se sugiere la lectura del Marco de Evaluación de los documentos mencionados con ejemplos de preguntas. Una vez que se han corregido los cuadernillos con ejemplos de preguntas, se sugiere tabular la información de acuerdo a las respuestas correctas e incorrectas de los estudiantes. A partir de esto, se recomienda comenzar el análisis de los resultados, identificando los aprendizajes que los estudiantes han consolidado y aquellos que aún no han logrado. Es importante complementar la reflexión de estos resultados con los de las evaluaciones que los docentes realizan al interior del establecimiento. Por ejemplo, buscar aspectos similares (habilidades evaluadas, contenidos y resultados) que permitan proporcionar información, para la toma de decisiones que favorezcan el progreso del aprendizaje de los estudiantes. 10 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN El análisis de los resultados de las preguntas aplicadas puede abordarse desde dos perspectivas: 1. Análisis del rendimiento general o individual de los estudiantes Para calcular el rendimiento general, se sugiere utilizar las pautas de corrección ubicadas a continuación de cada ejemplo de pregunta en los documentos de trabajo ya señalados. En esta pauta, se otorga un puntaje para cada respuesta correcta o parcialmente correcta en el caso de los estímulos de desarrollo. Una vez calculados los puntajes para cada estudiante, es posible identificar los aprendizajes logrados. Así mismo, será importante reconocer el grupo de estudiantes que requieren mayor apoyo. 2. Análisis del rendimiento por pregunta o por grupo de preguntas Para caracterizar los aprendizajes demostrados por los estudiantes en el desarrollo de la guía de apoyo, es importante analizar sus respuestas, considerando la cantidad de correctas e incorrectas, utilizando la tabla 6 del Material de apoyo para el taller. Corregir y analizar los resultados permite realizar un análisis de los distintos aprendizajes alcanzados por los estudiantes, validando metodologías frente a respuestas bien evaluadas o altos porcentajes de respuestas correctas. Así también, los patrones recurrentes de error permiten establecer conclusiones que promueven nuevas estrategias pedagógicas, ya que el análisis que se realiza de ellos provee información sobre cómo se construyen las habilidades y conocimientos, siendo una herramienta que permite retroalimentar el proceso de enseñanza y aprendizaje. Es importante considerar los logros alcanzados por los estudiantes, para junto a ellos, establecer nuevos desafíos en el establecimiento. 11 TALLER USO PEDAGÓGICO EJEMPLOS DE PREGUNTAS PRUEBAS INTERNACIONALES ¿Cómo identificar conocimientos y habilidades consolidados y por consolidar en los estudiantes? A partir de las Bases Curriculares, del Marco de Evaluación para las pruebas TIMSS y PISA, de las planificaciones de aula y las evaluaciones internas, responder en grupo: Ficha 1. Análisis de los resultados obtenidos 1. ¿Qué habilidades y conocimientos demuestran los estudiantes? 2. ¿Qué habilidades y conocimientos aún no han consolidado los estudiantes? 3. ¿Qué tipo de errores cometen con más frecuencia los estudiantes? 4. ¿Es posible observar problemas similares en otras asignaturas y otros cursos del establecimiento? 12 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN ¿Cómo identificar causas y factores que expliquen los resultados de aprendizaje de los estudiantes en los ejemplos de preguntas? A partir del trabajo grupal, ponen en común experiencias y responden: Ficha 2. Causas o factores que pueden explicar los resultados de los ejemplos de preguntas 1. ¿Qué causas o factores externos podrían explicar que los estudiantes no demuestren determinados aprendizajes al responder estos ejemplos de preguntas? 2. ¿Qué causas o factores internos o aquellos que el establecimiento puede modificar, podrían explicar que los estudiantes no demuestren determinados aprendizajes al responder estos ejemplos de preguntas? 3. ¿Qué aprendizajes demuestran los estudiantes? Menciona lo que se ha hecho para lograr esto. Conocer los factores que podrían explicar los resultados obtenidos y que a la vez son modificables por el establecimiento, es un paso fundamental para definir estrategias para el mejoramiento de los aprendizajes de los estudiantes. Para esto, es importante tener en cuenta la mirada de los docentes de las distintas asignaturas, ya que enriquecen el análisis, incorporando distintos aspectos que explican los resultados de aprendizaje. 13 TALLER USO PEDAGÓGICO EJEMPLOS DE PREGUNTAS PRUEBAS INTERNACIONALES Ficha 3. Reflexión sobre las prácticas evaluativas Considerando el sistema de evaluación de su establecimiento: 1. ¿Los estudiantes trabajan con estímulos o evaluaciones similares a los que se presentan en los ejemplos de preguntas? Mencione similitudes y diferencias. 2. En las evaluaciones internas que se aplican en el establecimiento, ¿se abordan conocimientos o habilidades como las presentadas en los ejemplos de preguntas? Mencione similitudes y diferencias. 3. ¿Existen criterios de evaluación compartidos al interior del establecimiento? Descríbalos. 4. ¿Los estudiantes reciben retroalimentación sobre sus resultados? Describa cómo se efectúa. 14 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN Actividad 4. Análisis de resultados con los estudiantes Objetivo: Reflexionar y establecer compromisos con los estudiantes, sobre los resultados de aprendizaje obtenidos en el trabajo con ejemplos de preguntas de pruebas internacionales. Modo de trabajo: Actividad individual del alumno y reflexión grupal, a partir de sus respuestas. Responsables: Jefe de UTP y docentes. Tiempo aprox.: 45 minutos. ¿Qué se propone hacer en esta actividad? Se propone que los estudiantes analicen individualmente sus resultados, con el objetivo de identificar factores o causas que pueden explicarlos y generar compromisos (individuales y grupales) para superar las dificultades detectadas. Para esta actividad, se recomienda a los docentes utilizar la ficha 4 con cada uno de sus estudiantes, para el análisis de resultados, reflexión y compromisos. Además, se sugiere introducir la actividad, leyendo el encabezado. 15 TALLER USO PEDAGÓGICO EJEMPLOS DE PREGUNTAS PRUEBAS INTERNACIONALES Análisis de resultados con los estudiantes La actividad que realizarás a continuación, consiste en una invitación a analizar de forma individual los factores o las causas que podrían explicar los resultados que obtuviste en el desarrollo de la Guía de apoyo ejemplos de preguntas de pruebas internacionales. Para esto, te pedimos que respondas cada una de las siguientes preguntas, lo más completamente posible. Luego, expongas tus respuestas en una reflexión grupal. Y, finalmente, llegues a acuerdos y establezcas compromisos para superar estas dificultades. ¡Desde ya, agradecemos tu trabajo y disposición! Ficha 4. Mis resultados 1. ¿Cuáles son las principales dificultades que encontraste al responder las preguntas? Menciona ejemplos. 2. ¿Cómo podrías superar estas dificultades? Describe lo que realizarías. 3. ¿Es frecuente en tu establecimiento que los profesores realicen una corrección por pregunta de las pruebas? Describe cómo se realiza. 4. ¿Cómo puedes superar las dificultades detectadas? Describe tu compromiso a realizar en el establecimiento y en tu hogar. 5. Tras la reflexión con tus profesores, ¿cuáles son los acuerdos a los que te comprometes de forma grupal para superar las dificultades? 16 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN Actividad de cierre: Conclusiones, compromisos y acciones finales Objetivo: Jefe de UTP y docentes, establecen conclusiones, compromisos y acciones finales para la mejora de los aprendizajes de los estudiantes. Modo de trabajo: Grupal (5 integrantes de diversas asignaturas asesorados por un docente de Matemática - Lenguaje - Ciencias). Responsables: Jefe de la Unidad Técnico Pedagógica (UTP) y docentes. Tiempo aprox.: 30 minutos. ¿Qué se propone hacer en esta actividad? En esta actividad los docentes y el Jefe de UTP, definen conclusiones y compromisos, considerando las principales reflexiones de las actividades anteriores y también las mencionadas por los estudiantes. A partir de ello, se recomienda delinear acciones para ser integradas en el Plan de Mejoramiento Educativo (PME). ¿Cómo generar compromisos? Considerando los análisis anteriores (estudiantes y docentes), se espera que cada grupo de trabajo pueda realizar una síntesis del taller, identificando las principales conclusiones, para definir acuerdos, compromisos y acciones que puedan incorporar dentro del Plan de Mejoramiento Educativo del establecimiento. La siguiente tabla tiene el propósito resumir las principales conclusiones en relación a los factores o causas que explicarían los resultados, tanto para los docentes como para los estudiantes. Tabla 1. Factores o causas que explicarían los resultados en los Ejemplos de preguntas. Docentes Estudiantes Factores o causas que explicarían los resultados en los Ejemplos de preguntas. 17 TALLER USO PEDAGÓGICO EJEMPLOS DE PREGUNTAS PRUEBAS INTERNACIONALES Ficha 5. Definición de principales conclusiones, compromisos y acciones finales 1. ¿Cuáles son las principales conclusiones obtenidas a partir de las actividades realizadas? 2. ¿Cuáles son los principales acuerdos y compromisos a los que han llegado? 3. A partir de las conclusiones identificadas, ¿qué acciones se pueden llevar a cabo? 4. ¿Cómo se pueden incorporar estas acciones dentro del PME del establecimiento? Realizar esta actividad entre el jefe de UTP, los docentes y asistentes de la educación es una estrategia que promueve su compromiso y contribuye en el desarrollo de las acciones de mejora que se realizan en el establecimiento. 18 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN MATERIAL DE APOYO PARA EL TALLER Guía para la selección de preguntas Para la selección de preguntas de las pruebas TIMSS y PISA y posterior construcción del cuadernillo, es importante considerar ejemplos de preguntas que evalúen habilidades o competencias, capaces de reflejar contenidos que el docente desee diagnosticar, monitorear o reforzar y, de esta manera, sean de utilidad para el logro de aprendizajes en sus estudiantes. Por ejemplo en PISA Lenguaje (Competencia Lectora), la construcción de preguntas está guiada por tres grandes “tareas o habilidades”: a. acceder y obtener, b. integrar e interpretar y, c. reflexionar y evaluar. De acuerdo a este Marco de Evaluación, se recomienda seleccionar una cantidad determinada de preguntas para diagnosticar cada habilidad. En la Tabla 2, se presenta a modo de ejemplo una Tabla de especificación para una prueba de 30 preguntas, extraída del texto PISA Competencias Lectoras. Tabla 2. Guía para la selección de preguntas según distribución de tareas PISA Competencias Lectoras. Tarea PISA Competencias lectoras Porcentaje de preguntas Cantidad de Preguntas Acceder y obtener 25% 8 Integrar e interpretar 50% 14 Reflexionar y evaluar 25% 8 100% 30 En la tabla anterior, se presenta la distribución de preguntas según habilidades o tareas dentro de una prueba PISA Competencias Lectoras, otorgándole igual número a las habilidades de acceder y obtener/ reflexionar y evaluar y, mayor porcentaje y cantidad de preguntas a las de integrar e interpretar. 19 TALLER USO PEDAGÓGICO EJEMPLOS DE PREGUNTAS PRUEBAS INTERNACIONALES Por su parte, en el Marco de Evaluación de TIMSS 2011, se describen las dimensiones de contenidos y de habilidades cognitivas evaluadas en la prueba. Las tablas 2 y 3, presentan las dimensiones evaluadas según nivel y asignatura. Tabla 3. Dimensiones evaluadas 4º Básico TIMSS 2011 4° Básico Matemática Tabla 4. Dimensiones evaluadas 8º Básico TIMSS 2011 8° Básico Matemática 4° Básico Ciencias Dominio de contenido 8° Básico Ciencias Dominio de contenido Dominio de contenido Dominio de contenido Números 50% Ciencias de la vida 45% Números 30% Biología 35% Formas geométricas y medidas 35% Ciencias físicas y químicas 35% Álgebra 30% Química 20% Representaciones de datos 15% Ciencias de la Tierra y el Universo 20% Geometría 20% Física 25% Datos y Azar 20% Ciencias de la Tierra y el Universo 20% Dominio Cognitivo Dominio Cognitivo Conocimiento 40% Conocimiento 40% Dominio Cognitivo Aplicación 40% Aplicación 40% Conocimiento 35% Conocimiento Dominio Cognitivo 35% Razonamiento 20% Razonamiento 20% Aplicación 40% Aplicación 35% Razonamiento 25% Razonamiento 30% En la Tabla 5, se ilustra un ejemplo de Tabla de especificación de la prueba TIMSS Matemática 4.° básico 2011. En este caso, los porcentajes presentados corresponde a la cantidad de preguntas de la prueba a asignar por dominio cognitivo. Tabla 5. Cantidad de preguntas para cada dominio cognitivo, en prueba de 4.° básico Matemática TIMSS 2011 Tarea PISA Competencias lectoras Porcentaje de preguntas Cantidad de Preguntas Conocimiento 40% 12 Aplicación 40% 12 Razonamiento 20% 6 Total 100% 28 20 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN Guía para la corrección de respuestas En la Tabla 6, se presenta una modelo de tabulación para las respuestas, el que se sugiere como apoyo para un adecuado análisis. N.° de Pregunta Tabla 6. Tabulación de respuestas correctas e incorrectas % Respuestas correctas N.° de Alumnos 1 2 3 4 5 6 7 8 9 10 11 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 21 12 13 14 15... % Respuestas parcialmente correctas % Respuestas incorrectas TALLER USO PEDAGÓGICO EJEMPLOS DE PREGUNTAS PRUEBAS INTERNACIONALES Análisis del rendimiento por pregunta o grupos de preguntas Para calcular los resultados en porcentaje por pregunta es necesario: • Conocer el número de estudiantes que respondió cada pregunta o grupo de preguntas correctamente, parcialmente correcta o incorrectamente. • Calcular el porcentaje de estudiantes que respondió en forma correcta. Para esto se utiliza la siguiente fórmula: Ejemplo Porcentaje de respuestas correctas: N° de estudiantes que respondió correctamente una pregunta x 100 = % respuestas correctas N° Total de estudiantes que rindió la prueba 22 GUÍA PRÁCTICA PARA EL USO DE LA INFORMACIÓN Análisis por tipo de error Una vez calculado el porcentaje de respuestas correctas de cada pregunta o grupo de preguntas, es posible determinar las habilidades o conocimientos que presentan mayores logros o dificultades para los estudiantes. Para realizar este análisis se recomienda utilizar el Marco de evaluación de los textos PISA y TIMSS ya mencionados y las nuevas Bases Curriculares. Es así que, los errores sistemáticos revelan procesos cognitivos que han llevado al alumno a una comprensión incorrecta de un concepto. Para evitar esto, se recomienda identificar los principales tipos de error observados a partir de la evaluación realizada. En la Tabla 7, es posible encontrar algunos ejemplos que sirven para detectar el tipo de error y cómo estos se presentan en el proceso de aprendizaje de los estudiantes. Tabla 7. Ejemplos de tipos de error Tipos de error debido a Cantidad DIFICULTADES EN EL LENGUAJE: se presentan en la utilización de conceptos, símbolos y vocabulario matemático, y al efectuar el pasaje del lenguaje corriente al lenguaje matemático. DIFICULTADES PARA OBTENER INFORMACIÓN ESPACIAL: aparecen en la representación espacial de una situación matemática o de un problema geométrico. UN APRENDIZAJE DEFICIENTE DE HECHOS, DESTREZAS Y CONCEPTOS PREVIOS: son los cometidos por deficiencias en el manejo de algoritmos, hechos básicos, procedimientos, símbolos y conceptos matemáticos. ASOCIACIONES INCORRECTAS O A RIGIDEZ DEL PENSAMIENTO: son causados por la falta de flexibilidad en el pensamiento para adaptarse a situaciones nuevas; comprenden los errores por perseverancia, los errores de asociación, los errores de interferencia, los errores de asimilación. LA APLICACIÓN DE REGLAS O ESTRATEGIAS IRRELEVANTES: son producidos por aplicación de reglas o estrategias similares en contenidos diferentes. Detectar los errores de los estudiantes de forma permanente, permite mejorar los procesos de aprendizaje, además de generar acuerdos y compromisos para la Actividad de cierre (página 17-18). 23 TALLER USO PEDAGÓGICO EJEMPLOS DE PREGUNTAS PRUEBAS INTERNACIONALES REFERENCIAS Agencia de Calidad de la Educación. (2013). TIMSS Estudio Internacional de Tendencias en Matemática y Ciencias. Marco de evaluación, preguntas y ejemplos de respuestas de la prueba. Santiago. Volumen I y II: Agencia de Calidad de la Educación. Agencia de Calidad de la Educación. (2011). PISA Evaluación de las competencias lectoras para el siglo XXI. Marco de evaluación y preguntas de la prueba. Santiago: Ministerio de educación, Unidad de Currículum y Evaluación, SIMCE. Agencia de Calidad de la Educación. (2011). PISA 2012. Programa Internacional de Evaluación de Estudiantes. [Folleto informativo en línea]. Recuperado de https://s3-us-west2amazonaws.com/documentosweb/ Estudios+Internacionales/PISA/PISA+/Pisa+2012/PISA+2012+Folleto+informativo.pdj [enero 2014]. Santiago: Ministerio de educación, Unidad de Currículum y Evaluación, SIMCE. Del Puerto, Silvia; Minnaard, Claudia; Seminara, Silvia. 2005). Análisis de los errores: una valiosa fuente de información acerca del aprendizaje de las Matemáticas. Revista Iberoamericana de Educación ISSN 1681. Argentina. Recuperado de http://www.rieoei.org/deloslectores/1285Puerto.pdf Flotts, Paulina.(2013). Importancia de la Evaluación para la gestión escolar con foco en el mejoramiento de los aprendizajes. Centro de Extensión UC. Recuperado de http://mideuc.cl/wp-content/uploads/2013/08/PPTPFlotts_20_8_2013.pdf Ministerio de Educación. (2008). Marco para la Buena Enseñanza. Centro de Perfeccionamiento, Experimentación e Investigaciones Pedagógicas (CPEIP). Chile. Recuperado de http://www.docentemas.cl/docs/MBE2008.pdf En las siguientes páginas web, podrá encontrar información de apoyo para trabajar este taller: -http://www.agenciaeducacion.cl -http://www.curriculumenlineamineduc.cl -http://www.ayudamineduc.cl -http://www.mineduc.cl/index5_int.php?id_portal=47&id_contenido=17116&id_seccion=3264&c=7027 -http://www.docentemas.cl/docs/MBE2008.pdf 24