Presentación de PowerPoint
Anuncio
Investigación Evaluativa en Educación Metodología de Evaluación de Programas Tema 2. El proceso de evaluación Mª José Rodríguez Conde Profesora Titular de MIDE Objetivos de la sesión Diferenciar “Investigación” y “Evaluación” en educación Exponer las “Fases” en las que desarrollar un plan de evaluación en educación (enfoque cuantitativo) Identificar distintos estándares en un proceso de evaluación (metaevaluación) Contenidos Tema 2.­ El proceso de evaluación de programas 3. 4. Fases del proceso Estándares de la evaluación Bibliografía y direcciones en Internet FERNANDEZ­BALLESTEROS, R. (1995): El proceso de evaluación de programas, en R. FERNANDEZ­BALLESTEROS, (edt.), Evaluación de Programas. Una guía práctica en ámbitos sociales, educativos y de salud Madrid, Síntesis. 75­113. ALVIRA, F. (1991): Fases en el desarrollo de una evaluación, en F. ALVIRA, Metodología de la evaluación de programas, Madrid, Centro de Investigaciones Sociológicas, Cuadernos metodológicos, nº 2. 21­32. MATEO, J. (2000): La evaluación educativa, en J. MATEO, La evaluación educativa, su práctica y otras metáforas (pp. 21­55), Barcelona, ICE de la Universidad de Barcelona. LIZASOAIN, L. y otros (2004). Establecimiento de estándares y puntos de corte en pruebas de rendimiento. Una aplicación en el área de Matemáticas de 2º y 4º de la ESO, Bordón, 56 (2), 237­252. LUKAS, J.F. y SANTIAGO, K. (2004): Cap. 3. Concepto, componentes y fases de la evaluación, en J.F. LUKAS y K. SANTIAGO, Evaluación educativa (pp. 79­117). Madrid: Alianza Editorial. Proceso de Investigación Proceso de Evaluación Juicios de valor Se limitan a los implícitos en el planteamiento del problema por el equipo de investigación Hipótesis Se formulan y guían toda la investigación Replicación Posible Se extienden también al desarrollo y aplicación de los procedimientos de estudio Es difícil formular hipótesis y en ocasiones inadecuado No posible Recogida de datos Determinada por el objetivo de la investigación y las hipótesis Condicionada por la utilidad del proceso Manipulación/contr ol de variables Posible Superficial, cuando es posible Interpretación de los datos Adaptado a la comunidad científica Valoración por los responsables del programa Decisión La aceptación/rechazo de las hipótesis se resuelve el análisis de datos La decisión sobre el programa depende del cliente de la evaluación Informe Adaptado a las normas de la comunidad científica Adaptado a las audiencias a las que se dirige la evaluación ó n ­ Evaluaci Busca nuevos conocimientos Ofrece información para tomar decisiones sobre un objeto Papel del investigador / evaluador El investigador establece y selecciona el problema o las cuestiones a investigar. Autónomo El evaluador está a expensas a las demandas de los otros. Depende del cliente Temporalidad Medio y largo plazo Inmediato, corto, medio Medio y alto Bajo y medio Finalidad Costo ó n Investigaci Aspectos Generalización Posible Metodología Diversas Diversas Diseño Preestablecido Preestablecido, pero flexible Aleatorización Básica No procede Criterios de validez Interna, externa y de constructo Limitada Utilidad, credibilidad Proceso de Evaluación: FASES 1. Planteamiento de la evaluación 2. Selección de las operaciones a observar 3. Selección del diseño de evaluación 4. Recogida de información 5. Análisis de datos 6. Informe R. Fernández Ballesteros (1995) Proceso general en Evaluación de Programas •Planificación del Modelo de Evaluación •Qué se evalúa. El objeto de evaluación •Para qué se evalúa. La finalidad de la evaluación •Qué audiencias están implicadas •Qué información se requiere •A quién se demanda información. Las fuentes de información •Con qué instrumentos y cuándo se recoge información •Cómo se analiza la información •Los informes de evaluación •Planificación del Modelo de Evaluación Adecuación al contexto donde se realizará la evaluación Modelos de evaluación y objeto Diseño de evaluación e Implicados Análisis de necesidades Proceso general en Evaluación de Programas Garantizar la validez del proceso y, con ello, su utilidad •Qué se evalúa. El objeto de evaluación Enfoques Calidad del Proceso Educativo Objetivo de análisis Bondad estructural y funcional del programa de enseñanza Calidad del Impacto del Programa Grado en que se consiguen los objetivos del programa Indicador Adecuación de los diferentes elementos curriculares (diseño, metodologías, medios personales, …) Nivel de competencia adquirido en diferentes cortes temporales (corto, medio y largo plazo) Dificultad técnica Operativizar el concepto de calidad del proceso educativo Seguimiento del alumno Diseños cuasiexperimentales Proceso general en Evaluación de Programas •Para qué se evalúa. La finalidad de la evaluación Enfoques Calidad del Proceso Educativo Calidad del Impacto del Programa Evaluación formativa: Mejorar el proceso Evaluación sumativa: Contrastar la eficacia del programa Proceso general en Evaluación de Programas •Qué audiencias están implicadas Identificar a todos los implicados en el programa y en su evaluación: • Cliente (quien encarga el proceso de evaluación) • Comunidad educativa: alumnos, padres, profesores, coordinadores, directivos, etc. • Políticos, responsables del programa, etc… Finalidad de la identificación de audiencias: conocer expectativas, motivaciones, solicitar información, recibir los informes… Proceso general en Evaluación de Programas •Qué información se requiere Condiciones: pertinencia /relevancia y evaluabilidad Modelo teórico más usual: CIPP de Stufflebeam Contexto Entrada Medios personales (competencias iniciales): Alumnos y Profesores Medios materiales: Recursos, … Expectativas… Proceso Organización interna del programa Adecuación metodológica Clima del centro (relaciones)… Proceso general en Evaluación de Programas Tipo de centro, ubicación, nivel socioeconómico… Producto Nivel de competencias alcanzadas por los alumnos Satisfacción de la comunidad educativa • A quién se demanda información. Las fuentes de información • Con qué instrumentos y cuándo se recoge información Momento Antes Durante Al final Fuente de información Estrategia de recogida de información Alumnos Profesores Padres Directivos,… Pruebas específicas de aptitud Entrevistas Cuestionarios,escalas, sociogramas… Alumnos Profesores Padres Observación sistemática Listas de control, escalas de estimación, … Alumnos Profesores Padres Directivos, … Pruebas específicas de aptitud Entrevistas Cuestionarios,escalas, sociogramas… Proceso general en Evaluación de Programas • Cómo se analiza la información Depende de… • Los objetivos de la evaluación • El tipo de datos recogidos (cuantitativos, cualitativos) • El diseño de la evaluación (diseño experimental, …) • El formato de transmisión de los resultados Proceso de análisis… Informatización de datos (bases de datos, SPSS…) Depuración de archivos Proceso general en Evaluación de Programas Análisis estadisticos descriptivos (inferenciales…) Análisis de contenido, para datos cualitativos • Los informes de evaluación Alumnos, Padres, Profesores Depende de: a quién van dirigidos… Directivos, Políticos Evaluadores Sociedad … Algunas recomendaciones para un informe global (componentes técnico­ metodológicos y relación de resultados): • Lenguaje y recursos de presentación: rigor científico + claridad • Contextualizar todos los resultados • Apoyarse en recursos gráficos de fácil comprensión • Presentar síntesis de resultados (puntos fuertes y débiles) y recomendaciones de mejora •… Proceso general en Evaluación de Programas EVALUACIÓN DE PROGRAMAS: PLANTEAMIENTO GENERAL Concepto de EVALUACIÓN Modalidades de Evaluación Proceso general de Evaluación de Programas Metaevaluación: estándares internacionales Metaevaluación: estándares internacionales (Reflexión sobre la calidad del propio proceso de evaluación) Categorías básicas: (Joint Committe on Standards for Educational, 1988) • UTILIDAD • FACTIBILIDAD • LEGITIMIDAD • PRECISIÓN
