Evaluaciones Ejecutivas (EE) 4a Conferencia Anual de la Red de Monitoreo y Evaluación de America Latina 24-25 Noviembre 2008 Gladys López Acevedo Gita Beker Busjeet Reflexiones con base en las mesas de Innovaciones en Desempeño de Programas Banco Mundial Estructura de la Presentación EE • Antecedentes • Objetivos • EE y su relación con otras metodologías de evaluación • Características Generales • Modelos • Avances y Retos Antecedentes • Necesidad de expandir el menú de evaluación – Responder a los requerimientos de información del ciclo de proyectos Evaluación Diagnostico y Formulación Seguimiento Discusión y aprobación Ejecución • Resultado de aprendizaje global (USA y Chile) – Innovaciones para medir el desempeño de los programas de forma sistemática Objetivos de las Evaluaciones Ejecutivas • Objetivos generales – Fortalecer la transparencia y rendición de cuentas – Mejorar la planeación – Retroalimentar el presupuesto • Objetivos específicos – Base de datos comparable con distintas dimensiones del desempeño de los programas – Meta análisis con resultados comparables entre programas – Fotografía del desempeño de los programas EE y otras Evaluaciones Evaluaciones Ejecutivas Evaluación deImpac to Diseño Insumo Actividad Produc s es tos Evaluación Proce de sos Efect os Impac to EE Características Generales • Áreas de evaluación que cubren: – Diseño, Operación, y Resultados • Metodología – – – – – Plan predeterminado con prioridades de la evaluación TDRs Cuestionario y manual para evaluador Evaluadores externos o Internos Principalmente con información secundaria-registros administrativos, revisión de planes, etc • Implementación – Tiempo de implementación varía (max 12 meses) – Costo varia pero es bajo – Planes de mejoramiento de los programas Modelos que dan Origen a EE • Métrica acotada -> Estados Unidos: Program Rating Assessment Tool (PART) • Análisis mas abierto -> Chile: Evaluación de Programas Gubernamentales (EPG) PART-USA CYR-México EE-Colombia EPG-Chile Program Rating Assessment Tool (PART)-USA • Oficina de Gestión y Presupuesto OMB – – • Desde 2002 Más de 1,000 programas han sido evaluados Características específicas – – – – – – Colaboración intensa entre OMB y programas, Panel de Apelación. Colaboración entre OMB y GAO Seguimiento: Plan de Mejoramiento, monitoreado por el OMB TDR: Modelo estándar, Evaluador: Interno Tiempos: Aprox. 7 meses, Productos: PART final, Plan de Mejoramiento, Solicitudes de Presupuesto Usuarios Principales: Oficina de Gestión y Presupuesto, Congreso, Gerentes de Programas • Metodologí Metodología con estrictas métricas 4 categorías con preguntas especificas 25 en total – Propósito del Programa y Diseño (20%) – Planeación Estratégica (10%) – Gestión (20%) – Desempeño (50%) • Calificación global del programa Eficiente (85-100 %) Eficiencia Moderado (70-84%) Adecuado (50-69%) Inefectiva (>50%) Falta de mostrar Desempeño Salida de Web: www. ExpectMore.gov Salida de Web: www. ExpectMore.gov Salida de Web: www. ExpectMore.gov Chile: Evaluación de Programas Gubernamentales (EPG) • Liderado por Hacienda: Dirección de Presupuesto – – – • desde 1997 entre 1997 y 2007, 199 evaluaciones se realizaron. Caracteristicas Especificas: – – – – – – Proceso para defnir programas a evaluar cada año (Hacienda, Comité Inter-Ministerial y Congreso) Seguimiento: Informe de Seguimiento y Compromisos TDR: Modelo estandar, Tipo de Consultor: Externo, paneles de tres profesionales Tiempos: Aprox. 6-12 meses Productos: EPG Informe Final, Informe de Seguimiento y Compromisos Usuarios Principales: Hacienda, Congreso, Gerentes de Programas, Publico • Metodología: evaluación en las siguientes dimensiones 1. Diseño. 2. Organización y Gestión. 3. Eficacia y Calidad. 4. Eficiencia/Economia Impactos EPG (2000-2008) IMPACTOS % PROG. 1. Modificaciones Menores 23% 2. Modificaciones en el Diseño y Operación 37% 3. Reformulaciones Mayores 27% 4. Cambio de Institución 6% 5. Programa Cancelado o Reformulado Completamente 7% TOTAL 174 Programas 100% Seguimiento al cumplimiento de Compromisos Ventajas EE • Metodología estándar – Ayuda a impulsar estandarización de conceptos de desempeño en la administración publica • Recolección de datos comparables que permite meta-análisis de políticas • Impulsa transparencia de la administración publica – todas las evaluaciones están disponible en un sitio web Ventajas EE • Promueve la institucionalización de la evaluación – parte de un menú de evaluación – es generalmente parte de un plan plurianual de implementación • Impulso a contratar otras evaluaciones para retroalimentar las evaluaciones ejecutivas – Se impulsa contratación de evaluaciones de impacto estratégicas • Contribución a la planeación – Evaluaciones miden la alineación de metas e indicadores al nivel de programa, con la del sector y con las metas nacionales Desafíos EE • Continuar impulsando el uso de las evaluaciones ejecutivas – En USA y Chile la demanda esta definida – En otros países donde se esta impulsando este modelo falta orientarlo más hacia los usuarios potenciales (Congreso, Hacienda, Ministerios) • Trabajo conjunto para instrumentar los planes de mejora y que los programas se apropien de las recomendaciones • Continuar incrementando las capacidades en evaluación de gerentes de programas, evaluadores, congreso, otras autoridades Desafíos EE • EE efectivo para capturar la atención global pero.. – calificación global de desempeño de un programa puede ser erróneo • • Presentar las calificaciones de una manera desagregada, por ejemplo destacar evaluación de resultados, con evaluación de operación y diseño Continuar refinando los instrumentos – – por ejemplo en algunos países hay espacio para refinar cuestionarios para programas, mejorar manual para el evaluador, continuar mejorando la metodología Validez Externa (difícil generalizar los resultados del programa para toda la población o el rubro de gasto) Conclusiones • Importancia de continuar intercambiando conocimiento y las oportunidades de aprendizaje global • Reconocer complementariedades (límites y alcances) con otros instrumentos de evaluación en el marco de los planes de evaluación de los gobiernos – Útil para comunicar resultados a alto nivel (Presidente, Congreso) – Es un foro donde distintos niveles de gobierno interactuan ( Ministerios, Hacienda, Comites Intersectoriales de evaluación) – Meta análisis de programas – Metodología en proceso de mejora GRACIAS