índice PRESENTACIÓN 7 Luis E Aguilar 13 INTRODUCCIÓN GENERAL Primera parte EVALUACIÓN DE POLÍTICAS Y PROGRAMAS PÚBLICOS Capítulo 1 PAPEL DE LA EVALUACIÓN EN EL CONTEXTO DE LA ADMINISTRACIÓN PÚBLICA . . . Introducción o . . . . . . . . . . . . . La administración pública tradicional El estudio de las políticas públicas El New Public Management Aportes sociológicos . Enfoques emergentes Comentario final 23 23 23 24 30 36 39 41 Capítulo 2 LA EVALUACIÓN DESDE EL PUNTO DE VISTA TEÓRICO Introducción o . . . . . . . . Concepto de evaluación Justificación de la evaluación Tipos de evaluación o.... Actitudes y enfoques . . . . . Contexto político-organizativo de la evaluación Comentario final . . . . . . . . . . . . . . . . . o •• 43 43 43 45 47 51 58 60 370 íNDICE Capítulo 3 61 61 61 63 70 76 MÉTODOS y Tf:CNICAS DE EVALUACIÓN Introducción o . . . . . . . . . . . . . . Debate sobre el método o. . . . . . • . Experimentación y métodos cuantitativos Métodos cualitativos Comentario final Capítulo 4 EXPERIENCIAS DE EVALUACIÓN EN ORGANISMOS INTERNACIONALES Y PAÍSES DESARROLLADOS . . . . . . . Introducción o . . . . . . . . . . . . . . . . . . . . . . . . Ámbito internacional: ¿controlo evaluación participativa? Países desarrollados o . . . . . . . . . . . . . . . . . . . EUA: los dilemas de la experimentación . . . . . . . Reino Unido: un efectivo trabajo de convencimiento y capacitación . . . . . . . . . . . . . . . . . . . . . . . . . . Canadá: ¿evaluación real o mero ritual? o . . . . . . . . . . . . Francia: en búsqueda de un modelo adaptado a su idiosincrasia Comentarios finales o . . . . . . . . . . . . . . . . . . . . . . . . . 79 79 79 83 85 88 91 94 103 Capítulo 5 DESARROLLOS EMPÍRICOS DE LA EVALUACIÓN EN AMÉRICA LATINA . . . . . . . . . . . . . . Introducción o . . . . . . . . . . . . . . . . . América Latina: ejemplos escasos y parciales México: una sistematización largamente postergada Comentarios finales o . . . . . . . . . . . . . . . . 105 105 105 115 125 Capítulo 6 METAEVALUACIÓN DE LAS EVALUACIONES . . . . . Introducción o . . . . . . . . . . . . . . . . . . . . Dificultades para implantar procesos de evaluación Conceptos e instrumentos de metaevaluación Criterios de metaevaluación . . Tipos de metaevaluación Experiencias de metaevaluación Propuesta de metaevaluación a aplicar en México Comentarios finales o . . . . . . . . . . . . . . . 129 129 129 132 139 140 141 146 148 íNDICE 371 Segunda parte LA EVALUACIÓN DE POLÍTICAS Y PROGRAMAS MEXICANOS DE DESARROLLO SOCIAL Capítulo 7 POLÍTICAS y PROGRAI\1AS DE DESARROLLO SOCIAL Introducción . Política social y pobreza . Programas aplicados en sexenios previos Plan Nacional de Desarrollo 2001-2006 Programa Nacional de Desarrollo Social 2001-2006 Estrategias Contigo y Microrregiones Desarrollo de capacidades . . Desarrollo del patrimonio . . Generación de oportunidades Otros programas .. Comentarios finales 153 153 153 156 159 164 165 168 171 172 174 175 Capítulo 8 PRIMEROS ESFUERZOS DE EVALUACIÓN DE PROGRAMAS [ntroducción . Particularidades de la evaluación de políticas sociales Evaluaciones de Pronasol . Evaluaciones de Progresa 1998-2000 . . . . . . . Auditorías de desempeño de Progresa 1999-2000 Evaluación y auditoría de desempeño de Progresa 2001 . . Comentarios finales . 177 177 177 179 184 188 189 193 Capítulo 9 MARCO JURíDICO DE LA EVALUACIÓN DE PROGRAMAS Introducción . Control y evaluación al interior de la administración pública federal . Planeación y organización de la evaluación en Sedesol Papel del Congreso . . . . . . . . . . . . . . . . . . . . Regulación de la contratación de evaluaciones externas Disposiciones generales . . . . Bases y términos de referencia . . . . . . . . . . . 195 195 195 199 202 208 208 215 372 i íNDICE Ley Federal de Transparencia y Acceso a la Información Pública Gubernamental Ley General de Desarrollo Social Comentarios finales o •••••• 216 218 219 Capítulo 10 ORGANIZACIÓN y GESTIÓN DEL SISTEMA DE EVALUACIONES EXTERNAS Introducción . Contexto político y cultural . Tipos de evaluación planeados Decisión de realizar evaluaciones externas Organización y gestión del sistema . Organización y gestión formal . 1<uncionamiento real del sistema . Recursos para la realización de evaluaciones externas Recursos financieros Recursos humanos Otros recursos . Comentarios finales 221 221 221 223 226 227 228 229 239 239 243 249 249 Capítulo 11 MÉTODOS, CALIDAD Y COSTOS DE LAS EVALUACIONES EXTERNAS . . . . . . . . Introducción . Métodos y procesos de las evaluaciones externas Fuentes de información y análisis de datos Pertinencia y diseño del programa Recursos utilizados Análisis de procesos . . Medición de cobertura Resultados alcanzados . Impactos provocados Participación y satisfacción social Escenarios prospectivos . . . . . Valoración global del programa . Utilización de resultados y recomendaciones de evaluaciones previas Informes finales o . . . . . . . . . . . . . . . 251 251 252 252 258 262 265 269 272 274 277 280 281 281 283 íNDICE I 373 Costo/calidad de los resultados de las evaluaciones externas Juicio valorativo de la metaevaluación transversal Evolución de algunas evaluaciones seleccionadas Comentario finales . . . . . . . . . . . . . . . . . 283 286 288 291 Capítulo 12 IMPACTOS y PERSPECTIVAS DE LA EVALUACIÓN DE PROGRAMAS DE DESARROLLO SOCIAL ., . . Introducción Caracterización de las evaluaciones externas analizadas Impacto de las evaluaciones . . . . . . . . . . Análisis FODA del sistema de evaluación .. . Árbol de variables y problemas identificados Propuestas Escenarios prospectivos Conclusiones . . . . . . 295 295 295 298 299 302 312 318 321 CONSIDERACIONES FINALES 325 Las tendencias en el debate teórico sobre evaluación de programas . . . . . . . . . . . . . . . . . . . . . . . . . . 325 El reciente informe del Banco Mundial sobre la pobreza y las estrategias del gobierno mexicano 326 Expectativas de contribución al debate actual 328 Anexo 1 Normas para la evaluación de programas del Joint Committee on Standards for Educational Evaluation Segunda edición, 1994 . . . . . . Normas de utilidad N ormas de factibilidad/viabilidad Normas de corrección/legitimidad Normas de precisión . . . . . . . . 337 331 332 332 333 Anexo 2 Principales funciones de las secretarías de Estado vinculadas a los procesos de evaluación . . . . . Secretaría de Hacienda y Crédito Público (SHCP) Secretaría de la Función Pública (SFP) 335 335 335 374 íNDICE SIGLAS y ACRÓNIMOS 339 BIBLIOGRAFÍA . . . . . . . . . . . . . . . . 343 343 Libros y revistas . . . . . . . . . . . Documentos, ponencias, periódicos, tesis y consulta a Int~rnet . . . . . . . . . . . . 356