Interpretación, Enjuiciamiento y Recomendaciones

Módulo 10
Interpretación, enjuiciamiento y
recomendaciones.
Iván Touza Montero
Evaluador
Zaragoza, 2 de Junio de 2010
1
Fases de la evaluación (proceso sistemático)
1º. Motivaciones para
evaluar y enfoques
13º. Comunicación de
resultados
2º. Definición de unidad y
análisis contexto evaluativo
3º. Necesidades
informativas
12º. Recomendaciones
4º. Criterios de valor y
preguntas relevantes
11º. Juicios y
conclusiones
5º. Operacionalizar
criterios e indicadores
6º. Diseño
metodológico
7º. Búsqueda de fuentes y
diseño de técnicas
10º.
INTERPRETACIONES
9º. Datos
8º. Trabajo de campo
2
Definición de interpretación
Debe integrar los datos provenientes de diferentes
indicadores y facilitar la comprensión de la
“realidad” del programa. Es un ejercicio de
explicación y de dotación de sentido de toda la
información extraída y que resuelva las aparentes
contradicciones o problemas detectados.
3
Otra definición de interpretación
No es narrar sino explicar qué es lo que está
pasando. Dotarle de sentido, dar una explicación
a todos los datos.
Interpretar es hipotizar y alejarse de la segura
confianza de los datos.
4
Otra definición de interpretación
9. DATOS
Interpretar es, en un primer momento, una
formulación de hipótesis; es un ejercicio que se aleja
de la segura confianza que despiertan los datos.
10.
INTERPRETACIONES
5
Interpretación sustentada
“Lo que hoy tengo que contar, mi querido Felipe, es algo inaudito, alto tan
sorprendente, que jamás se le podría haber ocurrido al más ocurrente novelista.
Lo que te probará cuánta razón tenía aquel nuestro amigo a quién llamábamos
Pepe el Gallego, que cuando estaba traduciendo cierto libro de sociología, nos
dijo: “No puedo resistir estos libros sociológicos de ahora; estoy traduciendo
uno sobre el matrimonio primitivo, y todo se le vuelve al autor que si los
algonquinos se casan de tal manera, los chipenais de tal otra, los cafres de este
modo, y así lo demás… Antes llenaban los libros de palabras, ahora los llenan de
esto que llaman hechos o documentos; lo que no veo por ninguna parte son
ideas… Yo, por mi parte, si se me ocurriera inventar una teoría sociológica, la
apoyaría en hechos de mi invención, seguro como estoy de todo lo que un
hombre puede inventar ha sucedido, sucede o sucederá alguna vez”. ¡Qué razón
tenía nuestro buen Pepe!
(UNAMUNO de, MIGUEL: “La novela de Don Sandalio, jugador de ajedrez” en San Manuel buen, mártir, y tres
historias más. Espasa – Calpe, Madrid, 1981, p 78).
6
La interpretación más plausible
Pueden existir múltiples interpretaciones de los mismos
datos, pero habrá que buscar aquella que sea la más
plausible y veraz, para ello se pueden utilizar los
siguientes sistemas de contraste:
 Desechar posibles explicaciones “Pepe el Gallego”.
 Probar otras hipótesis alternativas.
 Revisar la interpretación en función del contexto del
programa.
 Contrastarla / consultarla con diferentes stakeholders
7
¿Qué puede estar ocurriendo?
En un pueblo del cono sur se detecta que los niños tienen un
grave riesgo de desnutrición. Se identifica y formula un
proyecto de nutrición infantil a través de las escuelas. Los
indicadores dan una información positiva sobre el logro de
todos los resultados, el alimento llega a todos los colegios,
los niños lo toman y está aceptado popularmente. Sin
embargo, no se está consiguiendo el objetivo específico,
cada vez los niños están más desnutridos.
8
CLASIFICACIÓN DE MODELOS DE EVALUACIÓN
(Fuente: Juan Andrés Ligero Lasa, jligero@polsoc.uc3m.es)
METODOLOGÍAS AFINES
 Seguimiento
 Cuadro de mando
integral / Sistemas de
gestión
 Normas ISO, auditorias.
NO EVALUACIONES
 Estudios inspirados en
las relaciones públicas.
 Estudios controlados
políticamente.
PSEUDOEVALUACIONES
 Juicios de expertos
(Eisner)
 Evaluación rápida
(Wholey)
ÉNFASIS EN LA COMPRENSIÓN
ÉNFASIS ENJUICIAMIENTO
Evaluación orientada por los modelos
lógicos de los programas y
perspectiva sistémica de la evaluanda
Evaluación por criterios,
estándares y comparación

Test estandarizados

Evaluaciones de valor
añadido

Evaluaciones por objetivos
(Tyler)

Cartas de servicio. /contrato
programa.

Estándares (JCSE)
(Stufflebeam)

Análisis Coste – Beneficio,
Coste – Efectividad

Ratios comparados



Evaluación orientada por la teoría del
cambio o modelo lógico (Chen, Weiss,
Rossi y Petrosino, Rogers, Heubner y
Hasci)
Modelos sistémicos: CIPP (Stufflebeam),
“Countenance Model” (Stake),
Donabeidan, Alvira, Cohen y Franco,…
Modelo EFQM, CAF
Evaluación con enfoques constructivista
(Guba y lincoln; Schawndt)





Evaluación Pluralista (Monnier)
Evaluación Democrática (House)
“Responsive evaluation” (Stake)
Evaluación participativa o empoderadora,
(Fetterman).
Evaluación centrada en el uso (Patton)
9
OBJETIVO
ESPECÍFICO
RESULTADOS
ACTIVIDADES
OBJETIVO
GENERAL
FACTORES ECONOMICO-FINANCIEROS
FACTORES SOCIOCULTUR.
FACTORES MEDIOAMBIENTALES
FACTORES INSTITUCIONALES
FACTORES TECNOLÓGICOS
FACTORES MEDIOAMBIENTALES
POLÍTICAS
DE
APOYO
FACTORES
INSTITUCIONALES
FACTORES
TECNOLÓGICOS
EFICIENCIA
EFICIENCIA
EFICACIA
EFICACIA
IMPACTO
IMPACTO
PERTINENCIA
PERTINENCI
VIABILIDAD
5.
POLÍTICAS DE APOYO
LÓGICA DE
INTERVENCIÓN
VIABILIDAD
CRITERIOS DE EVALUACIÓN Y
ELEMENTOS DE LA MATRIZ
Los criterios de valor
CRITERIOS
CRITERIOS
FACTORES DE
DESARROLLO
RECURSOS
10
La matriz de planificación (Marco Lógico)

La evaluación contenida en la Matriz de Planificación (EML)  La
lógica horizontal: resultado u objetivo  al menos un indicador 
una fuente de verificación específica.

Expresa cómo se van a medir y verificar los cambios
Lógica de la
intervención
Indicadores
Fuentes
Supuestos
Objetivo Global
Objetivo Específico
Resultados
11
Identificación y diseño de indicadores de evaluación

Lo que no hagas hoy… Los conceptos no operacionalizados en el
paso de Resultados a Indicadores, lo tendrán que ser en el acceso a
fuentes informativas o elaboración de técnicas.
Resultado
Indicador
Acceso a una
educación de
calidad
 El 80% de participantes reconoce la calidad de
Reducida la
vulnerabilidad
socioeconómica
(Dimensión “autoabastecimiento”)
 El 65% de los alimentos de consumo familiar son
de cultivo propio.
los procesos de enseñanza
Fuente informativa
Encuest. Alumnado
(preguntas 1, 2, 5, 9)
Encuest. Familias
(preguntas 1, 2, 5, 9)
Encuesta familiar
(ítems 8 y 12)
 El 40% de familias reporta una dieta balanceada
(x nutrientes estándar)
(Dimensión “hábitat”)
 El 10% familias tiene piso encementado y el 30%
techo de zinc o tejas.
(Dimensión “educación”)
 Reducido el analfabetismo de adultos en 10
puntos.
Encuesta familiar +
Observación equipo
Prueba lectoescritura y
matemática
12
4.

La matriz de evaluación
Base lógica que justifica las perspectivas de valoración
utilizadas para interpretar y valorar los resultados.
Matriz de evaluación
Criterios de valor
Preguntas
Indicadores
Fuentes /
informantes
Fuente: Ligero, J.A. Maletín pedagógico del “Master de Evaluación de Programas y Políticas Públicas”. CSEGAE (UCM) [mimeo]
13
Técnicas de recogida de información
Fuente: Fundación Entreculturas, Fe y Alegría Bolivia. “Modelo educativo Casas del Saber.
Sistema de Evaluación Continua (SEC). Manual de aplicación”. (feb. 2008, inédito)
14
Interpretación
Proceso lógico para el enjuiciamiento sistemático

No sólo hay que procurar que la información recopilada sea de
calidad, sino que se proporcione y clarifique una base lógica
que justifique las perspectivas de valoración utilizadas para
interpretar y valorar los resultados.
Dinámica del enjuiciamiento sistemático
Criterios de valor
Preguntas
Indicadores
Fuentes /
informantes
Fuente: Ligero, J.A. Maletín pedagógico del “Master de Evaluación de Programas y Políticas Públicas”. CSEGAE (UCM) [mimeo]
15
Interpretación
Secuencia de enjuiciamiento en un supuesto positivo

Si la información obtenida es viable y fiable,

y los indicadores positivos,

eso indica que las preguntas son contestadas afirmativamente

y, por consiguiente en este criterio el juicio sobre el programa debe ser
positivo. El programa es eficaz, eficiente, pertinente, viable,....
Criterios de valor
+
Preguntas
Indicadores
+
+
+
+
+
+
Fuentes /
informantes
Fuente: Ligero, J.A. Maletín pedagógico del “Master de Evaluación de Programas y Políticas Públicas”. CSEGAE (UCM) [mimeo]
16
TEORÍA DE UN PROGRAMA DE PREVENCIÓN
OBJETIVOS
DEFINICIÓN
TEMAS
RESPETO POR UNO
MISMO
AUTOESTIMA
Percepción de sí mismo como persona
singular, eficaz, valiosa y merecedora de
felicidad
HABILIDADES
PARA LA VIDA
Habilidades emocionales que promueven
su autonomía y les ayudan a enfrentar
situaciones de dificultad, a encontrar
equilibrios entre el mundo individual y el
colectivo
MANEJAR LA TENSIÓN
(Estrés)
Conceptos claros, sencillos y veraces, y
actitudes firmes ante las drogas más
corrientes y accesibles en el entorno
sociofamiliar
MEDICAMENTOS
DROGAS
HÁBITOS
SALUDABLES
Hábitos saludables relacionados con
funciones y necesidades físicas, psíquicas
y fisiológicas; muy ligados al aquí y ahora
del alumnado
CAPACIDAD PARA
AFRONTAR LOS
DESAFÍOS
RELACIONARSE
TOMAR DECISIONES
ALCOHOL
TABACO
ACTIVIDAD Y DESCANSO
ALIMENTACIÓN
SEGURIDAD
HIGIENE
17
DIFERENCIA ENTRE OUTCOMES Y OUTPUTS
(ejemplo)
Reducción de la prevalencia de
consumo entre dicha población
Autoestima
Habilidades para
la vida
Hábitos
saludables
18
ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN
(I de 5)
Al menos un objetivo intermedio (output) negativo
+
-
+ +
19
ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN
(2 de 5)
Objetivo final (outcome) negativo y
objetivos intermedios (outputs) positivos
+ + +
20
ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN
(3 de 5)
Objetivo final (outcome) positivo y
objetivos intermedios (outputs) negativos
+
-
-
21
ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN
(4 de 5)
Todos los objetivos (outcome y outputs) positivos
+
+ + +
22
ESQUEMA SINTÉTICO DE EFECTOS DE UNA INTERVENCIÓN
(5 de 5)
Todos los objetivos (outcome y outputs) negativos
-
-
23
A. Fundamentos básicos sobre evaluación
2. ¿Evaluación de resultados?
Calificación
Estudiante al final del
curso
Calificación
al inicio del
curso
Ratio de nº
estudiantes
por docente
A
7
6
40
B
6
3
25
La perspectiva solo de los resultados no aporta mucha información.
Algunos autores la califican como cuasi-evaluación.
Fuente: Adaptado de Ligero, J.A., Maletín pedagógico,“Master de Evaluación de Programas y Políticas Públicas”. CSEGAE (UCM)
24
NECESIDAD DE EVALUAR PROCESOS (C. Weiss)
Procesos: secuencia de actividades (talleres, atención,
cursos,…) que produce los resultados
+
CAJA NEGRA
?
-
+ +
25
LOS PROCESOS PRODUCEN RESULTADOS
Procesos
-
Secuencia de actividades que
produce resultados
Resultados
26
LOS PROCESOS PRODUCEN RESULTADOS
Resultados
Procesos
+
+
27
A. Fundamentos básicos sobre evaluación
2. Perspectiva SISTÉMICA: estructura / diseño / procesos y resultados
La intervención es un sistema interdependiente con su contexto,
existe una estructura que permite el funcionamiento de una
secuencia procesal que acaba generando unas “salidas” o
resultados.
El enfoque sistémico entiende que cada uno de los elementos
que forman el programa o servicio influye o es influido por el resto
de los componentes.
Fuente: Ligero, J.A., Maletín pedagógico. “Master de Evaluación de Programas y Políticas Públicas”. CSEGAE (UCM)
28
PERSPECTIVA SISTÉMICA DE LOS PROGRAMAS
(ref. en varios autores, p.ej.: Stake)
Evaluación de la estructura
La estructura es la organización relativamente
estable de distintos tipos de recursos para alcanzar
los fines del proyecto. En ella se distinguen los
recursos y la organización.
Evaluación de
resultados e impacto
Este apartado se centra en cómo se está aplicando el programa.
Este análisis se centra en
medir los efectos
previstos o no previstos.
Evaluación del proceso
29
PERSPECTIVA SISTÉMICA DE LOS PROGRAMAS
NECESIDADES SOCIALES
ESTRUCTURA:
Recursos, personas, medios,
misión, organización,…
IMPACTO: outcomes,
logro de objetivos finales
PROCESOS: Esta dimensión se
centra en cómo se está
aplicando el programa
EFICACIA: outputs,
objetivos intermedios,
logros que el programa
puede garantizar.
30
CONCLUSIONES y RECOMENDACIONES
Comité de Seguimiento: calidad y fronteras de negociación
mandatarios, gestores, equipo evaluación, destinatarios,…
DISEÑO
DESARROLLO DEL ESTUDIO
COMUNICACIÓN + LECCIONES
Motivaciones y
finalidad/función
Objeto (evaluando),
Contexto y
evaluabilidad
Necesidades
informativas y
objetivos
Juicios,
valoraciones y
CONCLUSIONES
RECOMENDACIONES
y Comunicación de
resultados
Análisis e
Criterios de valor y
interpretación
preguntas relevantes
Operacionalizar
indicadores
Diseño metodológico y
técnicas informativas
POLÍTICO - GERENCIAL
METODOLÓGICO - TÉCNICO
POLÍTICO - GERENCIAL
Fuente: Adaptado de Touza I., “Respuestas válidas a preguntas útiles: consecuencias de un diseño de evaluación orientado a las necesidades de los usuarios”. Por los pasos de la evaluación,
“Master en evaluación de programas y políticas públicas” (CSEGAE-UCM), y “Manual de gestión de evaluaciones de cooperación internacional (MAEC – IDR).
31
OBJETIVOS

Definición de interpretación

La interpretación y los modelos de evaluación

Procedimientos para llegar a la interpretación
32
Muchas gracias por
vuestra participación
33