Documento Técnico Información a tomar en cuenta para la Realización de la Consultoría sobre Diseño Metodológico para la Evaluación de Impacto FONDOEMPLEO Lima, Febrero del 2013 1. ANTECEDENTES Actualmente FONDOEMPLEO realiza Estudios de Evaluación Final a la totalidad de proyectos, que incluyen el levantamiento de una Línea Base, son comparables entre sí y permiten medir los resultados obtenidos por los proyectos además de analizar la pertinencia, eficacia, sostenibilidad y efectos de los mismos. Estos estudios son elaborados por una Institución Evaluadora externa a FONDOEMPLEO con la finalidad de buscar la imparcialidad en el análisis. La Evaluación Final mide los cambios en los beneficiarios entre la situación pre-proyecto y al cierre de proyecto. Sin embargo, esta evaluación no determina una relación de causalidad entre la intervención del proyecto y los cambios alcanzados. Para ello es necesaria una Evaluación de Impacto. 2. EVALUACIONES DE IMPACTO FONDOEMPLEO tiene el interés de realizar la evaluación de impacto de su intervención, por línea de proyectos: Línea 1: Capacitación Laboral e Inserción Laboral. Línea 2: Certificación de Competencias Laborales. Línea 3: Promoción y Fortalecimiento de Emprendimientos. Línea 4: Proyectos Productivos Sostenibles. Es decir desea determinar si una determinada línea de intervención produjo los efectos deseados en los beneficiarios, y si esos efectos son atribuibles a la intervención de los proyectos de dicha línea. Dadas las características de los proyectos de FONDOEMPLEO, aún de una misma línea, que son ejecutados por distintas instituciones en distintas regiones del país, con distinta duración y financiamiento, FONDOEMPLEO es consciente de que lo óptimo sería realizar Evaluación de impacto a cada uno de los proyectos. Sin embargo en términos de costo beneficio es demasiado costoso realizar evaluaciones de impacto a proyectos relativamente pequeños (por número de beneficiarios y monto de financiamiento). En este sentido es que se convoca a consultores con amplia experiencia en evaluación de Impacto para que diseñen la metodología que permita medir el impacto de cada línea de intervención de FONDOEMPLEO sin realizar evaluaciones a todos los proyectos y con una inversión acorde con los montos que financia anualmente. Algunos expertos previamente consultados opinan al respecto que lo mencionado en el párrafo precedente no es posible dadas las características de los proyectos de FONDOEMPLEO. El consultor que realice el diseño metodológico deberá determinar, con justificaciones técnicas y prácticas, si es factible o no medir el impacto de cada línea y en el segundo caso que alternativas tiene FONDOEMPLEO para llegar a algunas conclusiones sobre el impacto de sus intervenciones por línea, en base a estudios de impacto a realizarse anualmente. FONDOEMPLEO busca medir impacto en: Desarrollo de capacidades Empleabilidad Generación de empleo Generación/incremento de Ingresos Según corresponda a la línea a evaluar. Para mayor información sobre las líneas de proyectos de FONDOEMPLEO se puede consultar las Bases del 13° Concurso de Proyectos. Sobre los Proyectos de los últimos concursos puede consultar las Fichas técnicas en la web institucional (Proyectos/Fichas de Proyectos). Para la elaboración de los TDR de la consultoría y el presente documento técnico se ha consultado especialistas de reconocido prestigio. A continuación un resumen de las principales concusiones. a) Retos/Dificultades La Diversidad y tamaño de los proyectos. Para proyectos pequeños es caro y poco práctico hacer evaluaciones de impacto. Hay dificultades para evaluar, al manejarse muchos proyectos muy pequeños y no pocos proyectos más grandes. Las Evaluaciones de Impacto funcionan mejor con muestras grandes. Las evaluaciones de impacto cuestan muchos recursos de tiempo y dinero por lo que es necesario que priorizar. b) Diseño deseable Se explicó a los especialistas que FONDOEMPLEO ha previsto medir su impacto desde el 13° Concurso de proyectos. Estos proyectos se convocaron en el 2013 y se inician en el primer semestre del 2014, es decir, antes de que se inicien las Evaluaciones de Impacto, cuya convocaría se realizaría luego de concluir la consultoría metodológica. FONDOEMPLEO también tiene previsto medir su impacto en los siguientes Concursos de Proyectos como el 14° que se convocará en abril del 2014 aproximadamente. La mayoría de los especialistas concuerda en que lo óptimo es realizar un diseño experimental. Sin embargo no se ha diseñado los proyectos del 13° concurso de tal manera que se pueda emplear este diseño. Incluso en los proyectos que se financie en el concurso 14 en adelante puede haber limitaciones para la aleatorización porque muchos de los proyectos son pequeños y en muchos proyectos no hay excedente de interesados sobre los beneficiarios que finalmente se seleccionán. En ese sentido se consultó cual podría ser la metodología para este 13° concurso o en general cuando no se pueda realizar diseño experimental. Algunos especialistas indicaron que una alternativa al diseño experimental sería evaluar proyectos en que sea viable identificar adecuados grupos control luego de iniciado el proyecto, tomando el doble o el triple de control por cada beneficiario. Otros opinaron que la evaluación seleccionando grupo de control ex post es débil y que se invertiría recursos en vano porque la evaluación no es robusta. Sugieren que para próximos concursos se incluya en las bases del concurso que se debe hacer selección de beneficiarios de manera aleatoria cuando sea posible a fin de poder realizar un diseño experimental en la evaluación de impacto. Para la consultoría Metodológica que se está convocando, FONDOEMPLEO espera que el consultor plantee el mejor diseño posible para los proyectos del 13° concurso y en general cuando no se pueda realizar aleatorización, aclarando todas las posibles limitaciones.