Evaluación de Programas: Eficacia ‐ Eficiencia Lucy Winchester ILPES/CEPAL 18 noviembre 2010 Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre Evaluación y programas públicos. Un repaso La evaluación corresponde a estudios o revisiones técnicas que haciendo uso de un conjunto de información ordenada y relacionada según un marco metodológico, tienen por finalidad construir valoraciones de aspectos concretos de un ámbito del quehacer de políticas públicas, como un programa, y encontrar factores explicativos a estos juicios evaluativos (Guzmán, 2007). Y hacer recomendaciones respecto a los hallazgos significativos. La evaluación apunta al mejoramiento del diseño e implementación de los programas públicos. • Dos papeles: – retroalimentación permanente, en fases de diseño o de ejecución (aporta al proceso de aprendizaje institucional, y mejoramiento del desempeño del PP). – informar, a partir de criterios técnicos, el proceso de toma de decisión sobre la asignación de recursos públicos. Se defiere del monitoreo en que éste suele ser parte de procesos internos de gestión programática, más regulares, y que utilizan mediciones a través de indicadores, principalmente de procesos y productos. Los focos o ámbitos de una evaluación de PP ¿qué se va a analizar? • Justificación. Diagnóstico o problema abordado. • Diseño. Ordenamiento y consistencia de objetivos, y componentes y actividades para responder a cada uno; y en relación a la evolución del diagnóstico (lógica horizontal y vertical MML, análisis de supuestos e indicadores). • Organización y Gestión. Principales aspectos institucionales dentro de los cuales opera el programa, y los principales procesos, instancias de coordinación e instrumentos de que éste dispone. • Resultados. Eficacia (y calidad, sustentabilidad de R.) desde la perspectiva de los procesos, productos, y resultados intermedios y finales, y eficiencia (y economía). • Sostenibilidad Institucional. Soporte institucional (dependencia administrativa, rel. autoridad / programa, recursos institucionales). • Continuidad. Necesidad de existencia (relacionar diagnóstico y resultados alcanzados). Relación Causa‐Efecto / Resultados esperados • Los resultados esperados de un programa corresponden a los efectos que se supone tendrán los bienes y servicios en la población beneficiaria. • Se basan en la teoría y la evidencia empírica en la materia, y en análisis y discusión en relación al inicio del programa (forman parte de la justificación del PP). • Explicitar las hipótesis de causa – efecto que están expresados genéricamente en los resultados esperados de un programa permite delimitar el objeto de la evaluación, y a la vez, precisar los hallazgos. • Forman parte del marco metodológico de la evaluación, en conjunto con otros aspectos como las dimensiones a medir, criterios de valoración, métodos cuantitativos y cualitativos, entre otros. (Se fundamenta en la Teoría del Cambio.) Relación Causa‐Efecto y Hipótesis. Ejemplos Caso: Programa de empleo que entrega servicios de capacitación al interior de la empresa. Hipótesis: Servicios de capacitación al interior de la empresa (causa) logran aprendizajes más relevantes que mejoran las competencias de los trabajadores (efecto). Caso: Programa de innovación tecnológica que incluye el financiamiento de actividades de selección de socios estratégicos y de prospección asociativa (por parte de estos). Hipótesis: Las actividades de prospección asociativas (causa) facilitan la formulación, evaluación y el desarrollo de proyectos de inversión (efecto). Caso: Programa de bibliotecas en el aula en establecimientos de educación primaria. Hipótesis: La disponibilidad de textos en un espacio físico cercano y familiar (causa) facilita su incorporación en las prácticas pedagógicas (efecto). Marco Metodológico • • • • • • Garantizar independencia y confiabilidad, relevancia o pertinencia y oportunidad. Tipo de evaluación en función de lo que se desea averiguar: evaluaciones rápidas o de escritorio (MML; otros) ; evaluaciones de impacto; evaluaciones ex ante (costo – beneficio, costo – efectividad) Marco de evaluación: – ámbitos de control (procesos, productos, resultados) – focos a analizar – hipótesis a testear – criterios técnicos (eficacia, calidad, eficiencia, economía, sostenibilidad) – dimensiones a medir Mediciones de desempeño a través de indicadores (temporalidad y fuentes de información) Métodos de análisis Métodos de recolección de información Monitoreo (durante la ejecución del programa) y su uso en la evaluación • Recopilar datos para el cálculo de los indicadores. • Validar los datos. • Calcular los indicadores. • Interpretar la información. • Preparar recomendaciones. Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre Recopilación de datos Detalle para medios de verificación • • • • • • • Fuentes de información Test de 10 preguntas sobre las materias tratadas en la capacitación. Método de recopilación Selección de muestra aleatoria de 45 personas capacitadas, encuesta en persona. Responsable de la recopilación Juanita Pérez Frecuencia de recopilación Por una vez, a los tres meses de concluido el último evento de capacitación. Método de análisis Cada respuesta correcta da un punto, aprobación con siete puntos. Se calculará porcentaje de aprobación, media y desviación estándar. Modo de distribución Correo electrónico Usuarios Unidad de planificación y evaluación, gerente del proyecto, entidades cooperantes, junta de vecinos. Validación de los datos • Identificar “outliers” – Comparar con datos históricos – Comparar con otros datos del período • Verificar validez de datos “disparados” • Corregir errores • Eliminar aquellos datos en que no existe justificación para la desviación. Cálculo de los indicadores Poner cuidado en: • Utilizar una misma moneda para indicadores relacionados con costos. • Utilizar base actualizada para el cálculo de indicadores de eficacia (aumento de la población objetivo). • Considerar el costo total, no sólo el directo. • Comparar con situación sin programa. Con versus sin Programa Impacto real Impacto? Linea base Actual Interpretando la información • Comparar valor del indicador con la meta. • Analizar evolución histórica del indicador. • Identificar causas de las desviaciones Evaluación de Gestión y Resultados Objetivos de la Ejecución Objetivos de la Operación Fin Fin Propósito Propósito Componente Componente Actividad Evaluación de la gestión del programa Actividad Evaluación de resultados e impactos Evaluación • Evaluación de la MI – Lógica vertical (estructura del programa) – Lógica horizontal • Evaluación de gestión y de resultados – Eficacia ‐ Calidad – Eficiencia – Economía – Justificación de la continuidad Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre Indicadores utilizados Eficacia Fin Indicadores de impactos Propósito Indicadores de resultados Componentes Indicadores de servicios Actividades Indicadores de gestión Eficacia – Economía (Eficiencia) Eficacia – Eficiencia ‐ Calidad (Economía) Eficacia – Eficiencia (C4) Eficacia del Programa La eficacia se relaciona con el logro del Propósito y el Fin después de terminado el proyecto o al cabo de algún tiempo de operación del programa. Se ocupa del grado hasta el cual: • El programa produjo los Componentes en la cantidad y con la calidad previstos. • Los Componentes han sido los adecuados para atender la necesidad y conducen al logro del Propósito. • El logro del Propósito ha contribuido al Fin. Fin Propósito Componente Actividad Area de análisis de la Eficacia Población: conceptos importantes para el diseño y la evaluación de la eficacia • • • • Población de referencia Población potencial Población objetivo Focalización de la población objetivo Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre Análisis de Población POBLACION SIN PROBLEMA POBLACIÓN POTENCIAL (Población con problema) POBLACION POTENCIAL POSTERGADA POBLACION OBJETIVO Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre Población de Referencia • Corresponde a la población global (con y sin problema), que se toma como referencia para el cálculo, comparación y análisis de la población objetivo. • La importancia de definir la población de referencia, está en que para esta suele conocerse con mayor precisión. Datos estadísticos, tasa de crecimiento, y otros suelen estar asociados a áreas geográficas y grupos etareos, étnicos, laborales, etc.. Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre Población Potencial • Es el aquella parte de la población de referencia, que es afectada por el problema (o será afectada por el), y que por lo tanto requiere de los servicios o bienes que proveerá el programa. • Indica la magnitud total de la población en riesgo. Dicha estimación permitirá proyectar a largo plazo el aumento de dicha población, si no se interviene adecuadamente. Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre Población Objetivo • Es el número de beneficiarios potenciales del programa (personas, familias, empresas, instituciones). • Es aquella parte de la población potencial a la que el programa (una vez analizados algunos criterios y restricciones), estará en condiciones reales de atender. • La población objetivo será la “meta” del programa, y constituirá la base de su dimensionamiento. Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre Descripción de la Población Objetivo • En la medida que se conozcan mejor las particularidades de la población o los afectados, mayor serán las posibilidades de logro de los objetivos de la intervención. • Por ello, la presentación de la población objetivo debe incluir una acabada caracterización, que describa el grupo afectado y sus particularidades, de acuerdo al tipo de problema a resolver. Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre Focalización de la Población Objetivo • La focalización es la selección de la población a atender con el programa (población objetivo). • La focalización, se puede realizar mediante diferentes criterios, por ejemplo: • • • • • • • • Lineamientos de política Ubicación espacial Grupos etarios Género Nivel de ingreso Grupos vulnerables Límites administrativos Limitaciones técnicas Demanda – Se denomina Demanda a los requerimientos, que realiza la población potencial sobre el conjunto de acciones, bienes y/o servicios necesarios para satisfacer una necesidad determinada. – La estimación de la demanda se puede realizar a partir de: registros históricos, registros de solicitudes, encuesta a usuarios, entre otros. – Por lo general se calcula a partir de la población potencial y un parámetro de consumo: D=PxC Oferta – Se denomina Oferta al conjunto de acciones, bienes y/o servicios que se entregan a la población potencial para resolver una determinada necesidad. – Debe diferenciarse la Oferta Actual de la Oferta Potencial. 20 km/h Déficit • Se denomina Déficit a la diferencia existente entre la oferta de acciones, bienes y/o servicios y la demanda de los mismos, referidos a una población específica. • El propósito principal de analizar la demanda y la oferta, es el de cuantificar el déficit. Es decir dimensionar la magnitud de la población o afectados que no tiene acceso actualmente a los bienes y servicios existentes y cuánto de estos es necesario proveer con el programa para atender el déficit. Preguntas sobre la Población Objetivo • • • La población que presenta el problema y/o necesidad (población potencial), así como la población objetivo están claramente definidas? ¿El programa ha cuantificado y caracterizado ambas poblaciones, según los atributos que considere pertinentes? ¿Cuál es la justificación de que los beneficios que otorga el programa se dirijan específicamente a dicha población objetivo? Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre Preguntas sobre la Población Objetivo • • ¿Los criterios y mecanismos que utiliza el programa para determinar las unidades de atención (regiones, municipios, localidades, hogares y/o individuos, en su caso) son los adecuados? ¿Existe información sistematizada y actualizada que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios), cuáles son las características socio‐económicas de la población incluida en el padrón de beneficiarios y con qué frecuencia se levanta la información? Preguntas sobre la Población Objetivo • • • • • ¿El programa cuenta con algún método para cuantificar y determinar la población potencial y objetivo? ¿El avance de la cobertura, que a la fecha presenta el programa, es el adecuado considerando su Fin y Propósito? ¿El programa cuenta con una estrategia de cobertura de corto, mediano y largo plazo? ¿Esta estrategia es la adecuada? ¿Se ha llegado a la población que se desea atender? Preguntas sobre Eficacia • ¿El avance de los indicadores a nivel de Componente del programa es el adecuado para el logro del Propósito? • ¿Se identifica algún Componente o Actividad que no es producido en la actualidad y que podría mejorar la eficacia del programa? • ¿Se identifican Componentes, Actividades o procesos que se llevan a cabo en la actualidad y que podrían ser prescindibles o posibles de sustituir por otros más eficaces? Preguntas sobre Calidad • ¿ Los bienes y servicios se entregaron oportunamente? • ¿Las características del bien o el servicio entregado son las especificadas? • ¿Los beneficiarios del programa están satisfechos con la oportunidad y calidad del bien o servicio recibido? • ¿Existió continuidad en la prestación del servicio? Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre Eficiencia del Programa • • • • La eficiencia hace referencia a la manera como se realizaron las actividades para la entrega de los componentes y se entregaron los componentes para el logro del propósito. Verifica el grado en que: Los insumos se proveyeron de manera organizada, oportuna y al mínimo costo posible. Las Actividades se ejecutaron al menor costo en los plazos establecidos. Los productos (Componentes) se obtuvieron al menor costo. Los costos administrativos fueron lo mas bajo posible. Fin Propósito Componente Actividad Area de análisis de la eficiencia Preguntas sobre Eficiencia • ¿El programa ha identificado y cuantificado costos de operación y costos unitarios dependiendo del Propósito y de sus Componentes? Si fuera el caso, presentar dichos costos. • ¿El programa tiene procedimientos para medir costo‐ efectividad en su ejecución? • ¿Se identifica algún componente, actividad o proceso que no se esté llevando a cabo en la actualidad y que podría mejorar la eficiencia del programa? Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre Preguntas sobre Eficiencia • ¿Se identifican Componentes, Actividades o procesos que se llevan a cabo en la actualidad y que podrían ser prescindibles o posibles de sustituir por mecanismos de menor costo? • ¿Existen indicadores de eficiencia en la operación del programa? Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre Economía del Programa La economía se refiere a la capacidad de la gerencia del programa para administrar adecuadamente los recursos financieros. Analiza cómo: • Se utilizó el presupuesto asignado. • Se captaron recursos adicionales a los presupuestarios. • Se recuperaron recursos en caso existir créditos. Fin Propósito Area de análisis de la economía Componente Actividad Preguntas sobre Economía • Cuantificar el presupuesto ejercido al término del presente ejercicio fiscal en relación al presupuesto asignado. ¿Cuáles son las razones de la situación que se observa? • ¿Cuál es el monto o porcentaje de aportaciones de terceros (otras instituciones, otros niveles de gobierno, beneficiarios, etc.) en relación al presupuesto ejercido? • En función de los objetivos del programa, ¿se han aplicado instrumentos de recuperación de costos (gasto que le genera al Estado la producción/entrega de servicios del programa)? Preguntas sobre Economía • ¿Existe evidencia de que el programa utiliza prácticas de administración financiera que proporcionen información oportuna y confiable para la toma de decisiones de los responsables de la administración política y administrativa? • ¿Existe una integración entre los distintos sistemas de información que conforman la administración financiera? Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre Impactos del Programa • Dos tipos de impactos: – Contribución al logro del Fin – Influencia en otros ámbitos • Impactos planificados e imprevistos Fin Area de análisis de los impactos Propósito Componente Actividad Continuidad de la Justificación Dos preguntas fundamentales: • ¿Continúa el programa siendo compatible con las prioridades de desarrollo del país o del estado? • ¿Se alcanzarán(on) los objetivos a nivel de Propósito y Fin una vez generados los Componentes del programa? Fin Propósito Componente Actividad Area de análisis de la justificación Preparando recomendaciones • Las recomendaciones deben estar fundamentadas en el análisis. • Proponer acciones para materializar las recomendaciones. • Analizar beneficios y costos de implementar las recomendaciones. • Proponer una estrategia de implantación y seguimiento. • Ser claro, preciso y conciso en la redacción. Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre MML y presupuesto de proyectos • A nivel de actividades se detalla el costo estimado de cada actividad. • El costo de un componente se puede obtener sumando el costo de sus actividades • El costo del proyecto es la suma del costo de los componentes • Durante la ejecución se comparan costos incurridos con presupuestados Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre Indicadores relacionados con los costos • Indicadores de eficiencia – Costo por unidad de bien o servicio provisto (Componente) – Porcentaje de costos de administración – Costos por “unidad de resultado” (Propósito) • Indicadores de economía – Porcentaje de ejecución del presupuesto (Propósito o Componente) Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre Problemas en programas • El costo total del programa no se conoce con certeza. – El financiamiento puede provenir de varias fuentes o ítem presupuestarios. – No se identifican costos de oportunidad de bienes propios. – No se estiman costos de administración – No se consideran costos de entidades colaboradoras • Consecuencia: Indicadores mentirosos Costo de un programa y MML Fin + costos de administración Propósito del programa + costos de oportunidad de recursos utilizados en la Σ administración } Componente A Componente B Actividad A1 Actividad A2 Actividad A3 Costo A1 Costo A2 Costo A3 Actividad B1 Actividad B2 Costo B1 Costo B2 } } + costos de administración Σ del componente + costos de otras entidades participantes en el componente + costos de oportunidad de recursos empleados POBLACIÓN OBJETIVO Población objetivo: POBLACIÓN POTENCIAL Personaso afectados hacia las cuales se dirige el accionar del programa. POBLACIÓN OBJETIVO Es la población potencial focalizada con diferentes criterios. META DEL PROGRAMA Pamela Vera S. Consultora ILPES LOCALIZACIÓN • Corresponde al área geográfica, en la que se ubica la población potencial. La definición y caracterización de la localización, permite comprender con mayor profundidad las particularidades del problema central • Se refiere a la descripción del área geográfica en la cual se presenta el problema a resolver • A partir de la localización de la población objetivo, se deriva la determinación del área de influencia para la futura intervención Pamela Vera S. Consultora ILPES Estimación del Déficit • Uso de parámetros o estándares : este procedimiento consiste en estandarizar la manifestación del problema según los parámetros establecidos (hipotéticas o comprobadas) sobre el mismo fenómeno y/o características, ya elaboradas por instituciones especializadas en la temática a intervenir. Así las diferencias entre el "estándar" y lo"observado" permitirá determinar la magnitud del déficit. Pamela Vera S. Consultora ILPES Línea Base • La línea de Base, es el valor que tienen las variables objetivos, en la situación sin programa. • Es la situación inicial que servirá de base para la comparación ex post. Permite conocer resultados, incidencias e impactos mediante la comparación entre dos momentos diferentes en el tiempo. Pamela Vera S. Consultora ILPES Ejercicio Eficacia y Eficiencia Analizar críticamente los antecedentes respecto a la eficacia y la eficiencia del programa, y emitir juicios evaluativos al respecto. Formular recomendaciones respecto a estos ámbitos de control. Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre EFICACIA Y CALIDAD DEL PROGRAMA Desempeño del Programa en cuanto a la Producción de Componentes • Evaluar el desempeño de los componentes en cuanto a: niveles de producción, oportunidad de producción y entrega del servicio, calidad de los componentes, logro de metas. ¿Es la producción de los componentes suficiente para el logro del propósito? Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre EFICACIA Y CALIDAD DEL PROGRAMA Desempeño del Programa a nivel de Propósito Análisis de Cumplimiento del Propósito. Evaluar si se ha cumplido el objetivo a nivel de propósito. Realizar el análisis en base a los indicadores definidos en la Matriz de Evaluación. • Beneficiarios Efectivos del Programa. Caracterizar y analizar los beneficiarios efectivos • Análisis de Cobertura. Realizar un análisis de cobertura considerando las particularidades y objetivos del Programa. Considerar la cobertura en relación a la población total que presenta el problema (población potencial) y en relación a la población objetivo (programada). Lo anterior, para todas las categorías de análisis relevantes. (por ejemplo, edad; nivel socio‐económico; sexo; región; residencia (rural/urbana); entre otros). Este análisis debe considerar la construcción de indicadores que permitan medir dicha cobertura. • Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre EFICACIA Y CALIDAD DEL PROGRAMA Desempeño del Programa a nivel de Propósito • Focalización del Programa (en caso que corresponda). En caso que el Programa tenga definidos criterios de focalización, realizar un análisis y evaluación de los resultados de la focalización sobre la base de los indicadores y/o información disponible. ¿Se ha llegado a la población que se deseaba atender?, ¿si no ha sido así, qué explicación existe?. • Grado de satisfacción de los beneficiarios efectivos. ¿Existe alguna evaluación que mida el grado de satisfacción de los beneficiarios del Programa? ¿Cuál es el grado de satisfacción que éstos presentan? Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre EFICACIA Y CALIDAD DEL PROGRAMA Desempeño del Programa a nivel de Fin • ¿El Programa ha contribuido al logro del fin?, ¿de qué forma?. Fundamentar. • ¿Se ha producido algún efecto no planeado del Programa o cambios en grupos de población diferentes a la población objetivo?. Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre Eficiencia del Programa • Análisis de eficiencia actividades y/o componentes. Analizar, comparar y emitir juicios evaluativos sobre los indicadores de costos disponibles. • Análisis de Otros Indicadores de Eficiencia. Se debe evaluar la productividad media de los recursos humanos y otros factores de producción relevantes que utilice el Programa. Lo anterior implica construir y analizar indicadores tales como: promedio de fiscalizaciones por fiscalizador; usuarios atendidos por unidad de tiempo; número de docentes por alumnos. Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre Economía del Programa • Ejecución presupuestaria del Programa Analizar y emitir juicios evaluativos a partir del porcentaje de gasto efectivo en relación al presupuesto y razones que fundamentan esta relación. • Aportes de Terceros. En los casos que corresponda, evaluar la capacidad del Programa para allegar recursos de terceros, sean estos aportes de otras instituciones (públicas o privadas) o de los beneficiarios. – Analizar, cuando corresponda, los aportes de terceros en relación al total del gasto. – Analizar, cuando corresponda, los aportes de beneficiarios en relación al total del gasto. Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre Economía del Programa • Recuperación de Costos Evaluar la política de recuperación de costos y presentar un análisis de las tarifas aplicadas y su relación con los costos. ¿Se ha aplicado la política de recuperación de costos adecuadamente, en función de los objetivos del Programa? ¿Cómo se han desempeñado los mecanismos de recuperación de costos? Si el Programa no contempla estos mecanismos, ¿existen condiciones para una eventual recuperación de costos por los servicios prestados?. En los casos que corresponda, indicar qué mecanismos podrían utilizarse (tarifas, derechos, etc.). En caso que corresponda, calcular el porcentaje de recuperación de costos del Programa y emitir un juicio evaluativo al respecto. Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre !Muchas gracias! Lucy Winchester ILPES lucy.winchester@cepal.org Curso “Gestión Pública para Resultados y Evaluación de Programas Públicos” Asunción, Paraguay. Noviembre