Análisis de la Demanda de Servicios de Seguimiento y Evaluación en América Latina País: Chile Investigadora Responsable: Andrea Peroni Co-investigadora: Claudia Olavarría Asistente de Investigación: Felipe Hernández Inviernos, 2010 Red de Evaluadores de Políticas Públicas de Chile Núcleo de Evaluación de Políticas Públicas, Universidad de Chile Red de Seguimiento, Evaluación y Sistematización de Latinoamérica y el Caribe ( ReLAC) INDICE RESUMEN EJECUTIVO .................................................................................................... 4 INTRODUCCIÓN............................................................................................................. 6 CAPÍTULO 1: ANTECEDENTES ......................................................................................... 9 1. El Seguimiento y Evaluación en Chile. .............................................................................. 9 1.1 El Sistema de Seguimiento de la Programación Gubernamental: ................................... 9 1.2 El Sistema de Evaluación y Control de Gestión del Gobierno Central. .......................... 11 1.3 Iniciativas de Evaluación del Ministerio de Planificación y Cooperación ....................... 16 CAPITULO 2 : METODOLOGÍA DEL ESTUDIO ................................................................. 20 2.1 Equipo......................................................................................................................... 20 2.2 Coordinación de Tareas............................................................................................... 20 2.3 Plazos.......................................................................................................................... 20 2.4 Muestra ...................................................................................................................... 21 2.5 Contacto a entrevistados............................................................................................. 21 2.6 Instrumento ................................................................................................................ 21 CAPÍTULO 3: ANÁLISIS DE LAS ENTREVISTAS ................................................................ 22 3.1 Perfil de los entrevistados. .......................................................................................... 22 3.2 Perfil de las Instituciones............................................................................................. 23 3.3 Caracterización de la Demanda de Servicios de Seguimiento y Evaluación del Estado Chileno 26 3.4 Calidad de los servicios de SyE disponibles y problemas técnico-metodológicos frecuentes................................................................................................................................ 31 3.5 La oferta de servicios de Seguimiento y Evaluación disponible. ................................... 32 3.6 La Organización e institucionalización del Seguimiento y Evaluación en el Sistema Político administrativo del Estado chileno ................................................................................ 34 3.6.1 El Seguimiento y Evaluación en Chile: Una estrategia impulsada desde la administración del Estado ................................................................................................................................ 37 3.7 Demanda de evaluación desde la sociedad civil........................................................... 38 2 CAPITULO 4 : CONCLUSIONES ...................................................................................... 40 ANEXOS ...................................................................................................................... 42 ANEXO 1: PAUTA DEL INSTRUMENTO APLICADO ..................................................................... 42 ANEXO 2: CARACTERIZACIÓN DE LA MUESTRA ........................................................................ 42 ANEXO 3: OBSERVACIONES METODOLÓGICAS ......................................................................... 42 ANEXO 4: BASE DE DATOS........................................................................................................ 42 ANEXO 5: TRANSCRIPCIONES ENTREVISTAS.............................................................................. 42 ANEXO 6: BIBLIOGRAFIA EVALUACION ..................................................................................... 42 3 RESUMEN EJECUTIVO El estudio que se presenta a continuación ha sido realizado por la Red de Seguimiento, Evaluación y Sistematización de Latinoamérica y el Caribe (ReLAC), por encargo del Programa de Implementación del Pilar Externo de Acción a Mediano Plazo para la Efectividad en el Desarrollo (PRODEV) para contribuir al diseño de una estrategia adecuada para la iniciativa “Regional Centers for learning on evaluation and results.”(CLEAR). El objetivo del estudio ha sido identificar las características de la demanda de servicios de Seguimiento y Evaluación (SyE) en el sector público, a fin de contribuir con información que permita diseñar una estrategia de fortalecimiento de las capacidades institucionales de los países involucrados en estas áreas. El estudio se realizó en base a entrevistas a informantes clave de distintas instituciones, además de expertos en los sistemas de SyE que operan en Chile en la actualidad. El estudio realizado para Chile revela que existe una demanda periódica y sistemática por servicios de SyE, desde el Estado, la que se caracteriza por tener presentar una serie de prácticas, procedimientos e instrumentos instalados en el quehacer cotidiano tanto de las instituciones del Estado como en los proveedores externos de dichos servicios. La instalación de los mecanismos de SyE requeridos por el Estado chileno deriva de la experiencia obtenida durante más de una década de funcionamiento y perfeccionamiento de los distintos sistemas, principalmente el Sistema de Control de Gestión, el sistema de Programación Gubernamental y el Sistema Nacional de Inversiones. El objetivo primordial que guía las principales iniciativas de institucionalización de SyE en el Estado chileno ha sido la rendición de cuentas y la generación de un gasto público eficiente. En la actualidad la demanda de servicios de SyE desde el Estado es dirigida, casi en su totalidad, a organismos o personas externas al mismo, esto ha derivado en la generación de un “mercado de evaluadores” que a juicio de los entrevistados, es un mercado amplio y competente, para los requerimientos actuales. Sin embargo, existen algunas excepciones en aquellos casos donde se requiere la prestación de servicios de mayor complejidad, siendo la oferta de servicios de calidad más reducida. Este mercado es altamente competitivo lo que dificulta el intercambio de experiencias y la generación de aprendizajes más allá de la interacción de cada empresa con su contraparte estatal. Si bien existen prácticas, procedimientos y capacidades instaladas para la provisión de servicios de asistencia técnica a los Ministerios y Servicios dentro del mismo Estado, ésta es complementada por las capacidades externas, lo cual complementa a la demanda de servicios de 4 SyE. Esta demanda ”interna” se asocia principalmente a requerimientos de asistencia técnica para la planificación, Seguimiento y Evaluación de programas y metas de desempeño de la institución y es satisfecha en parte por personal interno de los Ministerios, específicamente del Departamento de control de Gestión (o similar), y en parte por personal de la Dirección de Presupuestos del Ministerio de Hacienda. La Dirección de Presupuestos (DIPRES) presta asistencia técnica, capacitación y /o personal experto para el desempeño de actividades de planificación, Seguimiento y Evaluación de las metas de las instituciones gubernamentales en el marco del Programa de Control de Gestión y de la evaluación de programas. En temas de formación de capital humano es consenso que existe en Chile una oferta reducida, de formación de posgrados, de buena calidad. Se plantea que existen en el país los expertos con capacidades para la formación de nuevos profesionales y posgraduados, que obtengan las competencias requeridas para desempeñarse en los sistemas de SyE del país. En síntesis, el estudio revela que existen avances significativos en la instalación e institucionalización de sistemas de SyE en el quehacer del Estado, en vinculación con el gasto y la inversión pública, promovido principalmente por el trabajo impulsado desde la Dirección de Presupuesto. Estos avances han permitido la generación de capacidades de gestión de los sistemas de SyE y de competencias para la prestación de servicios tanto desde el ámbito público como privado. Se observa que existen avances en la instalación del SyE como herramienta para el mejoramiento continuo de las políticas y programas, sin embargo aún quedan desafíos pendientes para la institucionalización del SyE en las distintas dimensiones del quehacer estatal, sobre todo en el contexto del cambio de gobierno actual. Finalmente, cabe agradecer a las instituciones que permitieron que el estudio se realizara, destacar el apoyo del BID, a través del PRODEV, y a la Universidad de Chile a través del Departamento de Sociología, quien financio parte de la investigación siendo ésta una expresión de su política de apoyo a la investigación sobre temas de carácter público, a través del Núcleo de Evaluación en Políticas Públicas. Asimismo agradecerles a los colegas de la ReLaC Chile, que participaron en la realización de las entrevistas: Carolina Guerra y Felipe de la Vega. 5 INTRODUCCIÓN El presente trabajo titulado: Análisis de la Demanda de Seguimiento y Evaluación en América Latina se orienta a levantar un diagnóstico de la Demanda de servicios de Seguimiento y Evaluación desde el Estado en Chile, ahondando en los avances en las prácticas, las capacidades instaladas, los aprendizajes y los desafíos que se plantean para los Sistemas de Seguimiento y Evaluación tanto en Chile como en los otros países de la región. Este estudio es realizado por la Red de Seguimiento, Evaluación y Sistematización de Latinoamérica y el Caribe (ReLAC), por encargo del Programa de Implementación del Pilar Externo de Acción a Mediano Plazo para la Efectividad en el Desarrollo (PRODEV) para contribuir al diseño de una estrategia adecuada para la iniciativa “Regional Centers for learning on evaluation and results.”(CLEAR). El objetivo del estudio es identificar las características de la demanda de servicios de Seguimiento y Evaluación en el sector público, a fin de contribuir con información que permitan diseñar una estrategia de fortalecimiento de las capacidades institucionales de los países involucrados, en estas áreas El siguiente documento se divide en dos secciones principales, la primera llamada Antecedentes contiene una descripción sobre el estado del arte de las Evaluación y Seguimiento en Chile en las últimas dos décadas. La segunda etapa llamada Análisis contiene el resultado de las entrevistas realizadas a informantes claves, expertos en evaluación y seguimiento, que han sido seleccionados de una muestra de instituciones estatales y privadas, construida en base a los requerimientos realizados.1 A partir de 1990, con el retorno de la democracia en Chile se inicia una nueva etapa en la concepción de las políticas públicas. Esta nueva etapa se caracterizó, durante los primeros gobiernos de la Concertación, por el actuar de un Estado Subsidiario en materia de políticas, programas y proyectos, poniendo el énfasis en una política de crecimiento económico con equidad social. Durante las últimas dos décadas “se ha profundizado y perfeccionado la apertura de la economía al exterior, preservando un ambiente de estabilidad económica para el proceso de promoción de exportaciones y de control de los desequilibrios internos y externos. Se ha pasado, en consecuencia, a una etapa de crecimiento estable en que los principales desafíos son mantener la inserción y competitividad en los mercados internacionales, junto con mejorar la calidad de vida de 1 Se entrevistó a expertos de las siguientes instituciones: Ministerio de Vivienda y Urbanismo, Ministerio de Salud, Ministerio de Educación, Ministerio Secretaría General de la Presidencia, Ministerio de Planificación y Cooperación, Instituto Latinoamericano y del Caribe de Planificación Económica y Social de la Comisión Económica para América Latina, Programa de Naciones Unidas para el Desarrollo y dos consultoras privadas. Para conocer más en detalle a muestra ver anexo Muestra de entrevistados. 6 la población, reduciendo la pobreza y las desigualdades sociales 2”. En este nuevo escenario el rol del Estado en el ámbito social se ha enfatizado y a la vez reforzado. La evaluación de programas, proyectos y políticas públicas es hoy una herramienta insustituible en el debate, diseño, implementación y juicio, respecto de si las intervenciones del Estado alcanzan las finalidades previstas, de si su implementación es efectiva o si sus resultados e impactos satisfacen las aspiraciones ciudadanas.3 La evaluación de las políticas públicas adquirió a partir de los años noventa, en Chile, importancia como una actividad demandada e impulsada desde el Estado. En la gestión pública se incorporó el concepto desde las nociones de responsabilización y rendición de cuentas y con la necesidad de mejorar la eficacia, eficiencia y calidad de la administración y de las intervenciones estatales. Respecto a las políticas públicas, a partir de los cambios en sus formulaciones, modos de gestión y orientaciones y de los actores relevantes con capacidad de incidir en ellas, la práctica evaluativa se extendió principalmente en las políticas focalizadas, determinando que en la actualidad casi todos los programas incorporen instancias de evaluación, haciendo de la práctica evaluativa una actividad sistemática en la gestión pública La relevancia de la evaluación radica en identificar las debilidades, con el propósito de mejorar la gestión e intervención pública, optimizando los recursos y ampliando los beneficios que éstas generan en la población. A pesar que la evaluación por sí misma no soluciona las dificultades de diseño e implementación de las políticas públicas, es un instrumento que contribuye a revisar y repensar cuestiones vinculadas con la decisión, formulación, ejecución e impactos de las acciones público- estatales. De acuerdo a registros del Banco Mundial desde mediados de la década de los noventa existía un pequeño grupo de países, entre ellos Chile, Colombia, Brasil, India y Malasia que desarrollaban actividades de evaluación de programas para su propio control de proyectos, planificación financiera y análisis de política pública. En Chile, hasta 1989 existía la Oficina Nacional de Planificación (ODEPLAN), quien realizaba la función de evaluación socioeconómica de la inversión pública, pero fue el establecimiento de una Unidad de Evaluación de Programas Gubernamentales en el Ministerio de Hacienda, en la década de 1990, la que ha extendido e intensificado la evaluación de programas como práctica regular de la gestión del Estado.4 El desarrollo de esa función requiere de capacidades técnico-administrativas, definición de procedimientos, objetivos y usos de los resultados. Estas capacidades requeridas constituyen parte fundamental de la demanda de servicios de Seguimiento y Evaluación en el sector público, la que será analizada en este trabajo, a fin de contribuir, como se ha dicho, con elementos que permitan diseñar una 2 Schkolnik, Mariana y Bonnefoy, Josiane; “Una Propuesta de Tipología de las Políticas Sociales en Chile”; Documento de Trabajo; UNICEF. 1994, Santiago de Chile. 3 Olavarría, Mauricio; “Nociones de Evaluación de Programas, Documento de Apoyo Docente”. INAP 2007. Universidad de Chile, Santiago, Chile. 4 Ibid. 7 estrategia de fortalecimiento de las capacidades institucionales de Chile y de los países de la región. 8 CAPÍTULO 1: ANTECEDENTES 1. El Seguimiento y Evaluación en Chile. En el diagnóstico realizado, el año 2007, por el Centro Latinoamericano para la Administración del Desarrollo, CLAD, y el Banco Interamericano de Desarrollo, BID, se plantea que Chile, apoyándose en experiencias de países como Inglaterra, Irlanda, Australia y Nueva Zelanda ha logrado instalar quizás la experiencia más avanzada en términos de sistemas de Monitoreo y Seguimiento en Latinoamérica, afianzada durante la última década. Chile ha incorporado instrumentos de gestión por resultados de forma sistemática y metódica, habiendo probado y mejorado durante esta experiencia diversos instrumentos5. En el país existen actualmente tres sistemas de Seguimiento y Evaluación de alto nivel que cubren en forma conjunta la acción del gobierno6: i. El Sistema de Seguimiento de la Programación Gubernamental, de la División de Coordinación Interministerial (DCI) del Ministerio Secretaría General de la Presidencia. ii. i. El Sistema de Evaluación y control de Gestión, de la Dirección de Presupuestos del Ministerio de Hacienda (DIPRES): este sistema aborda las áreas de: gestión presupuestaria, mejoramiento de la gestión de las instituciones y gobernanza. iii. Iniciativas de Evaluación del Ministerio de Planificación y Cooperación 1.1 El Sistema de Seguimiento de la Programación Gubernamental: El Sistema de Programación Gubernamental es una herramienta de gestión diseñada e implementada para apoyar el cumplimiento de los objetivos estratégicos del Gobierno. Este Sistema es implementado desde el Departamento de Coordinación Interministerial del Ministerio Secretaría General de la Presidencia para el seguimiento del Programa de Gobierno. El sistema de Seguimiento de la Programación Gubernamental aborda el área de Planificación y control de la Agenda Programática de los Ministerios. Esta agenda Programática de los Ministerios deriva del 5 Ilustrativo de esto es el Sistema de Control de Gestión que trabaja con Definiciones estratégicas, Programa de mejoramiento de la gestión, indicadores de desempeño, Balance de Gestión Integral y fondos concursables, entre otros. 6 Ríos, Salvador; “Fortalecimiento de los Sistemas de Monitoreo y Evaluación en América Latina, Diagnostico de los Sistemas de monitoreo y Evaluación e Chile”, CLAD-BID 2007 9 Programa de Gobierno y es asumida por las autoridades y funcionarios de cada Ministerio. Este sistema entrega informes trimestrales a los Ministerios y Servicios orientados a gestionar los potenciales problemas y redireccionar la acción estatal, optimizando los resultados anuales. El Sistema de Programación Gubernamental expresa sus resultados anualmente en la Cuenta Pública Anual realizada por el Presidente de la República en el Discurso del día 21 de mayo y estos resultados son además entregados al Congreso Nacional a través de reportes especiales del Balance de Gestión Integral. El objetivo del sistema es “efectuar seguimiento al cumplimiento de los objetivos estratégicos del Gobierno, configurando una visión panorámica de las políticas públicas desarrolladas por los distintos servicios y Ministerios. Esta visión panorámica es monitoreada trimestralmente, realizándose una evaluación de cumplimiento de los compromisos establecidos para el respectivo trimestre y para el año”7. La primera etapa del funcionamiento de este Sistema es cuando el Presidente de la República hace un conjunto de peticiones a los Ministerios y Servicios, derivados de los compromisos asumidos con la población en el Programa de gobierno, discursos, etc. La segunda etapa es la negociación de las condiciones presupuestarias, legislativas y de coordinación requerida para la ejecución de estos mandatos. En esta etapa se establece una Matriz de Compromisos, donde se expresan los objetivos estratégicos, productos e hitos, cumpliendo con los criterios de relevancia y coherencia. La tercera etapa la constituye el Seguimiento de la Agenda Programática, a través de la integración de las matrices de Compromisos al Sistema de Programación Gubernamental al aprobarse la ley de presupuesto, constituyendo el punto de partida del seguimiento de estos compromisos. El sistema monitorea e informa trimestralmente los avances en los compromisos a los Ministros. Estos informes contienen los objetivos estratégicos, productos e hitos programados y aquellos ejecutados efectivamente, alertando sobre atrasos e incumplimientos. El sistema de Programación Gubernamental es de origen privado y tienen acceso a él, a través de internet, exclusivamente los funcionarios públicos. La cuarta y última etapa corresponde a la evaluación final donde se asegura la ejecución de la Agenda programática. Durante esta etapa el Departamento de Coordinación Interministerial del Ministerio de la Secretaria General de la Presidencia lidera un proceso de ajustes de aquellas actividades que hayan sido detectadas como problemáticas o atrasadas por el Sistema. Este trabajo es realizado en mesas de trabajo intersectoriales en las cuales se busca abordar las causas de atrasos e incumplimientos y discutir medidas de corrección. 7 Contreras, Víctor; “MINSEGPRES: Presentación realizada en Seminario Internacional Evaluación y Contraloría Social: un imperativo democrático”, FLACSO-Relac-Chile, Santiago 18 de noviembre de 2009 10 En el siguiente cuadro se muestra de forma ilustrativa y simplificada el funcionamiento del Sistema de Programación Gubernamental Fuente: presentación realizada por Víctor Contreras, MINSEGPRES en Seminario Internacional Evaluación y Contraloría Social: un imperativo democrático, FLACSO-Relac-ChileSantiago 18 de noviembre de 2009 1.2 El Sistema de Evaluación y Control de Gestión del Gobierno Central. El Sistema de Control de Gestión, implementado por la Dirección de Presupuestos del Ministerio de Hacienda ha contribuido significativamente a cumplir con el desafío de realizar y mantener un gasto público de calidad en Chile. Este sistema permite contar con información de desempeño de las instituciones públicas para apoyar la toma de decisiones durante las distintas etapas del proceso presupuestario, incorporando el concepto de “presupuesto por resultados” Lo anterior permite mejorar la eficiencia en la asignación y uso de los recursos públicos al conocer en qué áreas se requiere realizar ajustes en pos del mejoramiento de la gestión pública y, por tanto, llegar de mejor manera a los ciudadanos con las distintas políticas y programas. Este sistema incorpora distintos instrumentos, que han sido desarrollados gradualmente, conformando el Sistema de Evaluación y Control de Gestión del Gobierno Central8. 8 Los indicadores de desempeño se iniciaron en 1993, con un proyecto piloto que incorporó a cinco instituciones públicas; la evaluación de programas públicos partió en 1997; el mecanismo de incentivos de remuneraciones institucional, Programa de Mejoramiento de la Gestión (PMG), comenzó en 1998, mismo año en que se elaboraron por primera vez los documentos de cuenta pública denominados Balance de Gestión Integral (BGI). A partir de 2000 estos instrumentos, a los que se les agregan las definiciones estratégicas presentadas por cada institución en el Presupuesto, junto a sus indicadores de desempeño y metas; la presentación de programas nuevos al Presupuesto en formato estándar; el rediseño del PMG, incorporando el desarrollo de sistemas de gestión en 2001 y la certificación bajo norma ISO de dichos sistemas en 2005; y la implementación de nuevas líneas de evaluación, como las evaluaciones de impacto de programas en 2001 y la evaluación comprehensiva del gasto de instituciones en 2002.(Presupuestos por Resultados y 11 Durante la década de los noventa el Ministerio de Hacienda implementó en forma piloto inicialmente y luego en forma extendida un plan para el mejoramiento de la gestión en servicios públicos, en el marco de un proceso de modernización del Estado. La finalidad fue implementar instrumentos y mecanismos de seguimiento que permitieran generar información de desempeño, introducir nuevas prácticas para mejorar la calidad del gasto y avanzar en materia de transparencia en la cuenta pública de los resultados. Se desarrolló un proceso de planificación estratégica en los distintos servicios, planteando definiciones estratégicas que contribuyeron a generar proyectos de modernización institucional e implementar sistemas de información para la gestión, que permitieran la medición de indicadores de desempeño, enriqueciendo el análisis en la formulación del Presupuesto y su discusión en el Congreso Nacional. Durante la misma década se incrementó paulatinamente el número de servicios en el sistema y adquirió mayor relevancia el papel del Congreso Nacional en la discusión del Proyecto de Ley de Presupuestos, pues a través de la Comisión de Hacienda comenzó a solicitar al Ejecutivo información acerca del desempeño de las instituciones públicas9. En 1997 el Ministerio de Hacienda inició la elaboración de balances anuales de gestión, con el objeto de fortalecer la rendición de cuentas de los servicios públicos, permitiendo que los jefes de servicio informen al Congreso, y por tanto a la ciudadanía, del cumplimiento de sus compromisos y metas, así como también los desafíos que se plantean en su gestión. En 1998 el Ministerio de Hacienda inició la implementación de un mecanismo de incentivo institucional de remuneraciones, vinculando el cumplimiento de objetivos de gestión a un bono de remuneraciones para todos los funcionarios de una institución. El principal mecanismo de incentivo con que cuenta la administración pública es el Programa de Mejoramiento de la Gestión (PMG)10. En un comienzo se establecieron objetivos de gestión basados en indicadores y metas propuestos por cada servicio público, cuyo cumplimiento fue evaluado por las mismas instituciones. Este mecanismo no funcionó apropiadamente en tanto no cumplía con los principios básicos que debía poseer un mecanismo de incentivo de remuneraciones institucional11 razón por la cual a partir de 2000 se rediseñó. El la Consolidación del Sistema de Evaluación y Control de Gestión del Gobierno Central. División de Control de Gestión DIPRES, 2010). 9 En 1996 se firmó el primer Protocolo de Acuerdo entre el Congreso y el Ejecutivo con motivo de la tramitación del Proyecto de Ley de Presupuestos de 1997, que estableció una serie de compromisos tendientes a una mayor evaluación y transparencia de la gestión pública Entre las iniciativas surgidas en este Protocolo destacan el compromiso de evaluar programas gubernamentales del área social, de fomento productivo y de desarrollo institucional y la obligación de que las instituciones públicas presenten anualmente balances financieros y de gestión (que más tarde se transformarían en los Balances de Gestión Integral-BGI). Es así como en 1997 se inició al Programa de Evaluación de Programas Gubernamentales (EPG), que en su fase piloto contempló la evaluación de 20 programas públicos. Desde ese año y hasta la fecha los programas e instituciones evaluados anualmente se establecen en el Protocolo de Acuerdo 10 Artículo 6° de la Ley N° 19.553 de 1998 y su reglamento. 11 Ser pertinente a áreas relevantes de gestión, simple y comprensible, participativo, flexible a las particularidades de cada institución, y con cumplimiento verificable. 12 nuevo sistema incorporó cambios en el diseño de algunos de los instrumentos existentes en esa época, particularmente en el PMG y en el BGI, así como instaló adecuadamente las definiciones estratégicas y los indicadores de desempeño como parte de la información que acompaña al envío del proyecto de Ley de Presupuestos al Congreso.12 En el año 2000 se incorporaron nuevos instrumentos como las definiciones estratégicas; el formato estándar de presentación al Presupuesto de nuevos programas o ampliaciones y reformulaciones de programas existentes; y el establecimiento de compromisos entre la Dirección de Presupuestos y el Ministerio responsable del programa evaluado, que permitieran recoger las recomendaciones surgidas en el proceso de evaluación de los programas. Estos compromisos consideran acciones específicas y con plazos acotados, a los que la DIPRES (Dirección de Presupuestos) hace seguimiento a su cumplimiento, solicitando información para evaluar dicho cumplimiento a través del BGI y de uno de los formularios del proceso de formulación del Presupuesto. El rediseño del PMG permitió comenzar la implementación en las instituciones públicas de sistemas de gestión, proporcionando información que ha facilitado el Seguimiento y Evaluación de la gestión de éstas, complementándose con el resto de los instrumentos del Sistema de Evaluación y Control de Gestión. En particular, uno de los sistemas del PMG es el de Planificación y Control de Gestión, cuya implementación ha permitido que las instituciones públicas diseñen sistemas de información de gestión, cuantificando y realizando seguimiento a un conjunto de indicadores que les permite conocer objetivamente el desempeño de sus productos estratégicos o bienes y servicios proporcionados a sus beneficiarios, clientes o usuarios; y mejorar la información que apoya los procesos de toma de decisiones de sus autoridades.13 La Dirección de Presupuestos ha ejecutado durante sus años de funcionamiento la evaluación de programas e instituciones a través de las distintas líneas de evaluación, lo que ha permitido generar información relevante para mejorar la gestión de los programas públicos y la asignación y uso de recursos. Estas múltiples líneas de evaluación buscan entregar de forma gradual información trascendente para mejorar la asignación y uso de recursos, contribuyendo así a mejorar la calidad del gasto público. Los tipos de evaluación son:14 -Evaluaciones de Programas Gubernamentales (EPG) (implementado desde el año 1997): A grandes rasgos se pretende identificar los objetivos de los programas y verificar la consistencia de estos objetivos con su diseño y resultado. Este programa realiza evaluaciones de diseño y gestión 12 Arenas de Mesa, Alberto y Berner Herrera, Heidi; “Presupuestos por Resultados y la Consolidación del Sistema de Evaluación y Control de Gestión del Gobierno Central. División de Control de Gestión”, DIPRES, 2010 13 Arenas de Mesa, Alberto y Berner Herrera, Heidi; La evolución histórica de los instrumentos que contemplan el Sistema de Control de Gestión aquí presentada ha sido obtenida del libro “Presupuestos por Resultados y la Consolidación del Sistema de Evaluación y Control de Gestión del Gobierno Central. División de Control de Gestión”, DIPRES, 2010 14 Rogers F., Roy; “Sistema de Evaluación y Control de Gestión del Gobierno Central”, División Control de Gestión. DIPRES, en Seminario Internacional Evaluación y Contraloría Social: un imperativo democrático, FLACSO-Relac-Chile Santiago 18 de noviembre de 2009 13 de los programas, y de sus resultados a nivel de producto (cobertura, focalización, eficiencia, eficacia, entre otros), utilizando la metodología de marco lógico. Inicialmente se realizaban exclusivamente evaluación basadas en fuentes secundarias, agregando luego Evaluaciones de Impacto y en profundidad. La evaluación de programas es realizada por un panel de evaluadores externos. Los resultados de las evaluaciones realizadas en el marco de este programa están completamente conectados al ciclo presupuestario. El año 2003 se promulgaron una serie de leyes que contribuyeron a la consolidación y fortalecimiento del Programa.15 Evaluaciones de Impacto (EI) (implementadas desde el año 2001): Además de lo anterior, permiten evaluar resultados intermedios y finales en los beneficiarios, utilizando metodologías cuasiexperimentales, construyendo grupos de control y líneas de base. Estas evaluaciones son realizadas por una entidad evaluadora externa especializada, y tienen una duración aproximada de 18 meses. -Evaluaciones Comprehensivas del Gasto (ECG) (implementadas desde el año 2002): Evalúa una o más instituciones, abarcando aspectos de su diseño institucional, consistencia con las definiciones estratégicas, aspectos de gestión organizacional y resultados. Estas evaluaciones son realizadas por una entidad evaluadora externa, y tiene una duración aproximada de 14 meses. -Evaluación de Programas Nuevos (EPN) (implementados desde el año 2009): Esta línea de evaluación incorpora la evaluación desde el diseño o planificación de un nuevo programa público, generando líneas base y utilizando preferentemente diseños experimentales. Este tipo de evaluaciones son realizadas con apoyo de un panel Internacional asesor, que otorga asesoría técnica especializada y tiene una duración aproximada de 24 a 36 meses. Dentro de los instrumentos que constituyen el Sistema de Control de Gestión y Presupuestos de la DIPRES se encuentra el Programa de Evaluación (PE)16. El PE se constituye de cinco actores relevantes que están llamados a cumplir el objetivo primordial de este programa que es “la eficiencia en la asignación de recursos, el mejoramiento de las políticas y de la gestión de los 15 La ley 19.875 hace permanente a la Comisión Mixta de Presupuestos. Desde el año 2003, el Comité del Presupuestos ha sido institucionalizado como uno de los comités permanentes del Congreso y por consiguiente opera durante todo el año. Asimismo, desde las primeras iniciativas de evaluación, con motivo de la aprobación de la Ley Anual de Presupuestos se firma un acuerdo entre el Congreso Nacional y el Ministerio de Hacienda. Este acuerdo fue institucionalizado a partir del 2004, con la Ley 19.896 que enmienda un Decreto anterior de la Gestión Financiera (1.263) estableciendo la obligación del Ministerio de Hacienda de evaluar los programas incluidos en el presupuesto de los Servicios Públicos. La institucionalización de todo el Programa de Evaluación fue también reforzada con la promulgación del Decreto 1.177 de diciembre del 2003 que contiene el Reglamento del Programa de Evaluación. (Documento del Banco Mundial: Chile, Estudio de Evaluación de Impacto del Programa de Evaluación de Programas: Evaluaciones de Impacto y Evaluaciones de los Programas de Gobierno. Diciembre 2005.) 16 Los otros instrumentos son Las Definiciones Estratégicas, El Programa de Mejoramiento de la Gestión, Los Indicadores de Desempeño y El Balance de Gestión Integral 14 programas y la rendición de cuenta pública”17. Estos actores son el Comité Interministerial, preocupado de asegurar la continuidad de las evaluaciones gubernamentales, la DIPRES, llamada a ejecutar todas las líneas de evaluación y visibilizar en el PE la realidad sectorial de todas las instituciones, por otro lado se encuentran los Evaluadores, consultores o entidades especializados, cuyo rol técnico y experto les permite realizar las evaluaciones (ejecución monitoreada por la DIPRES), el cuarto actor son las Contrapartes Institucionales, quienes aportan los insumos necesarios para llevar a cabo las evaluaciones en su diseño y resultados, y por ultimo los Congresistas y sus equipos técnicos, quienes orientan a los encargados gubernamentales sobre cuales programas podrían ser llamados a evaluación, además de ser los receptores de los resultados, como parte de su información al momento de discutir decisiones programáticas y presupuestarias. De acuerdo al balance cualitativo del PE, realizado por el Banco Mundial el año 200518, es posible apreciar el cumplimiento de todos los objetivos para los cuales éste se genera19. Por un lado, engrosa las bases de información de las decisiones presupuestarias, pues estos son tomados en cuenta durante todo el proceso de preparación de un programa o política pública. Además el PE mejora la gestión de los programas toda vez que los Compromisos Institucionales así lo establezcan, junto con visibilizar los resultados de los procesos de forma digital, facilitando el acceso a ellos de la ciudadanía en general20. La disciplina, centralización y estrictos términos de referencia con que el PE funciona entrega un campo acotado de enfoque a los evaluadores, esta rigidez asegurara un nivel de calidad, cantidad, costos y tiempos para el efectivo desempeño de las evaluaciones. Además, asegura una calidad estandarizada de las evaluaciones, los evaluadores y sus resultados lo que se grafica en la calidad del diseño de evaluación, la información a la que se tiene acceso en la Evaluación de Impacto, la dedicación de los evaluadores y la aplicación de técnicas, metodologías y métodos específicos de Seguimiento y Evaluación. 17 Guzmán, Marcela; “Sistema de Control de Gestión y Presupuestos por Resultados. La Experiencia Chilena”. DIPRES. Santiago, Chile. 2005. 18 “Chile: Estudio de Evaluación de Impacto del Programa de Evaluación de Programas – Evaluaciones de Impacto y Evaluaciones de los Programas del Gobierno”, Banco Mundial, Santiago, Chile. 2005 19 “ Balance cualitativo de los objetivos del PE. El PE cumple con cada uno de los objetivos para los cuales fue creado. En primer lugar, enriquece la información para las decisiones presupuestarias. Si bien los resultados de la evaluación no se traducen necesariamente en una variación en los recursos destinados por el presupuesto al programa evaluado, ni orientan forzosamente el presupuesto hacia un aumento o una reducción de las asignaciones al programa con un desempeño positivo o negativo, lo que está claro es que los reportes de evaluación y los Compromisos Institucionales son tenidos en cuenta en todas las etapas del proceso de preparación y asignación presupuestaria, tanto dentro del Ejecutivo como en los análisis del Congreso y en las discusiones entre el Ejecutivo y el Legislativo.” Ibidem, p. 10 20 Es posible revisar las evaluaciones anuales de DIPRES en http://www.dipres.cl/572/propertyvalue-2131.html 15 A modo de resumen a continuación se muestra un grafico explicativo del sistema integrado de Evaluación de DIPRES de su periodo 2006 a 2009: 1.3 Iniciativas de Evaluación del Ministerio de Planificación y Cooperación Por otro lado el Ministerio de Planificación y Cooperación, MIDEPLAN, ejecuta el Sistema Nacional de Inversiones, SNI, entidad que norma y rige el proceso de inversión pública de Chile. El Sistema Nacional de Inversiones contiene “los principios, metodologías, normas, instrucciones y procedimientos que orientan la formulación, ejecución y evaluación de los estudios básicos, los programas y proyectos de inversión que postulan a fondos públicos, con el objeto de impulsar aquellos más rentables para la sociedad y que respondan a las estrategias y políticas de crecimiento y desarrollo económico y social de la nación.”21 21 Fuente: http://www.mideplan.cl/index.php?option=com_content&view=article&id=14&Itemid=18, 10/06/10. 16 accedido el Los objetivos22 del Sistema Nacional de Inversiones son: • • • • Apoyar la toma de decisiones sobre inversión pública. Velar por una eficiente asignación de recursos públicos. Contribuir a aumentar el bienestar general de la comunidad. Transparentar el proceso de inversión pública. Una de las preocupaciones del Sistema Nacional de Inversiones es la evaluación previa de los programas sociales para el desarrollo de una acción evaluativa integrada, completa y coherente. MIDEPLAN, en el marco del SNI evalúa las propuestas de Inversión ex ante. De esta manera el Sistema Nacional de Inversiones incorpora la realización de evaluaciones ex ante además de las evaluaciones ex post, siendo MIDEPLAN un asesor al cual “le corresponde la coordinación y compatibilización de las decisiones de inversión, entre los niveles de gobierno y administración. Debe realizar la revisión técnica de los estudios y proyectos de los organismos públicos que postulan a financiamiento público, y emitir la correspondiente recomendación técnicoeconómica23.” En el área de competencia de MIDEPLAN, el SNI, contempla como funciones principales las siguientes: la revisión de las iniciativas de inversión postuladas por las instituciones a financiamiento con recursos públicos, la preparación y actualización de metodologías específicas de evaluación de proyectos, el cálculo de los precios sociales que se imputarán a los proyectos, y un sistema de actualización permanente del inventario de proyectos. Para ello, ordena y reglamenta el proceso de preparación, formulación y evaluación económica social de iniciativas de inversión, orientando eficientemente la asignación de los recursos que el país destina a inversión El SNI implementa la evaluación ex ante como una forma de mejorar la inversión pública en programas y políticas sociales. Por otro lado MIDEPLAN realiza evaluaciones ex post de las Inversiones con el objetivo de determinar la eficiencia y eficacia del uso de los recursos públicos y verificar si las iniciativas de inversión una vez ejecutadas, cumplen con los objetivos y rentabilidades sociales estimadas en la evaluación ex ante. La implementación de estas evaluaciones contribuye a la generación de información relevante sobre el ciclo del proyecto contribuyendo a la retroalimentación del Sistema Nacional de Inversiones, implementar acciones para el mejoramiento del sistema y mejorar la metodologías y criterios utilizados en las evaluaciones ex ante. MIDEPLAN realiza evaluaciones ex post simples y en profundidad. 22 Ibid. 23 Del texto “Inversión Pública, Eficiencia y Eficacia. División de Planificación, Estudios e Inversión”, MIDEPLAN, Santiago, 1992, obtenido en “Metodología de evaluación ex ante de Programas Sociales”, MIDEPLAN, División Social, Departamento Social, Santiago, 2000. 17 El Ministerio de Planificación y Cooperación, en su área social, lidera la articulación de un Sistema de Protección Social basado en el programa Chile Solidario, que focaliza la protección social en las familias de menores recursos. Este programa se apoya en un sistema de monitoreo y evaluación cuyos objetivos son: Identificar a la población más vulnerable y apoyar la entrega de beneficios estatales a este grupo. Este sistema de Monitoreo está compuesto por la Encuesta de Caracterización Socioeconómica Nacional24 (CASEN) y un sistema integrado de instrumentos de producción de información social orientados, como se ha dicho a identificar la población de menores recursos y apoyar la entrega de los beneficios25. El Ministerio de Planificación y Cooperación, a través de la aplicación de la encuesta CASEN elabora diagnósticos de la realidad socioeconómica del país y evalúa los programas sociales, así como sus resultados cumpliendo con las funciones de diseño, coordinación y evaluación de la política social. Esta encuesta constituye además la principal herramienta para la evaluación del impacto de la política social en los ingresos de los hogares considerando la ejecución de programas sociales que representan un alto componente del gasto social.26 2. Sistemas de Seguimiento y Evaluación y los Presupuestos por Resultados Los datos generados por los sistemas de Seguimiento y Evaluación mencionados están directamente relacionados con la formulación presupuestara en Chile, la ejecución de presupuestos por resultados ha tenido avances significativos en dos áreas27: primero los datos producidos por el Sistema de Programación Gubernamental y por el Sistema de Control de Gestión son utilizados como input en las partidas de proyecto de presupuesto y son consideradas en las 24 Los objetivos de la aplicación de la encuesta CASEN son: “- Conocer periódicamente la situación de los hogares y de la población, especialmente de aquella en situación de pobreza y de aquellos grupos definidos como prioritarios por la política social, con relación a aspectos demográficos, de educación, salud, vivienda, ocupación e ingresos. -Evaluar la cobertura y la distribución del gasto fiscal de los principales programas sociales de alcance nacional entre los hogares según su nivel de ingreso, así como el impacto de este gasto en el ingreso de los hogares y en la distribución del mismo. - Medir la magnitud e incidencia de la pobreza en los hogares y en la población, permitiendo además la caracterización de los hogares y población en situación de pobreza utilizando otras dimensiones incluidas en la encuesta en sus distintos módulos. - Evaluar los programas sociales en curso, determinar las líneas de acción a seguir y las correcciones y ajustes a implementar para lograr que el gasto social llegue a los segmentos poblacionales identificados como focos prioritarios de las políticas sociales y de cada uno de los programas.” Fuente: http://www.mideplan.cl/casen/descripcion_obj.html, accedido el 10/06/10 25 Ríos, Salvador “Fortalecimiento de los Sistemas de Monitoreo y Evaluación en América Latina, Diagnostico de los Sistemas de monitoreo y Evaluación en Chile”, CLAD-BID 2007 26 http://www.mideplan.cl/casen/descripcion_obj.html accedido el 10/06/10 27 Ríos, Salvador; “Fortalecimiento de los Sistemas de Monitoreo y Evaluación en América Latina, Diagnostico de los Sistemas de monitoreo y Evaluación en Chile”, CLAD-BID 2007. 18 diferentes etapas del proceso presupuestario28. Y segundo, el proceso presupuestario considera una expresión cuantitativa del beneficio social de los programas a financiar, simultáneamente con la incidencia de estos en el presupuesto. El producto generado por el trabajo conjunto de estos sistemas de Seguimiento y Evaluación es el Proyecto de Ley de Presupuesto que se envía a la Comisión Especial Mixta de Presupuesto del Congreso Nacional. Este proyecto ley contiene los Indicadores de Desempeño comprometidos por los servicios, los Compromisos Ministeriales, los Compromisos de Gestión, además del Balance de Gestión Integral de todos los organismos, el cual contiene los resultados del año anterior. En base a estos antecedentes se decide sobre el presupuesto en el Congreso Nacional, asociando la disponibilidad de recursos a las metas comprometidas y a los resultados evidenciados. 28 Indicadores de desempeño, evaluación de los programas y los reportes de ejecución de los programas son revisados en la etapa de evaluación presupuestaria del ejercicio fiscal anterior. Luego se da la discusión de los proyectos presupuestarios en Comisiones Mixtas, formadas por DIPRES y los organismos sectoriales, comprometiendo metas a través de indicadores, compromisos de mejoramiento y compromisos PMG, estas metas constituyen parte integral de los recaudos de presupuestos y una vez aprobado el proyecto de ley de presupuesto, estas metas son ingresadas a ambos sistemas (SPG-MINSEGPRES y SCG DIPRES) para su seguimiento. La Comisión Especial Mixta de Presupuesto del Congreso Nacional recibe los Proyectos de ley de Presupuesto y los reportes de Balance de Gestión integral de todos los Servicios. 19 CAPITULO 2 : METODOLOGÍA DEL ESTUDIO 2.1 Equipo Para la realización del presente estudio, se conformó un equipo de 2 sociólogas, Andrea Peroni y Claudia Olavarría y Felipe Hernández, quien está realizando su trabajo de titulación en Seguimiento y Evaluación de políticas, planes y programas en Chile Para el adecuado desarrollo del estudio se contó con el auspicio del departamento de Sociología, de la Facultad de Ciencias Sociales, de la Universidad de Chile, institución donde funciona el Núcleo de Evaluación de Políticas Públicas y donde se aloja la ReLAC -Chile. 2.2 Coordinación de Tareas Este equipo ha sido el encargado de realizar la búsqueda y revisión bibliográfica, además de seleccionar, contactar y entrevistar a los informantes clave, transcribir y analizar las entrevistas y elaborar el informe final29. En el desarrollo del estudio el equipo de trabajo ha contado con el apoyo constante de los profesionales de la RELAC Chile, en el contacto de informantes clave y la realización de entrevistas principalmente. El trabajo ha sido coordinado mediante reuniones y contacto constante vía coreo electrónico, lo que ha permitido la realización de un trabajo expedito y con mucha retroalimentación, cuestión que ha sido fundamental para alcanzar los objetivos, dado la premura de los plazos. 2.3 Plazos El presente estudio ha sido elaborado en un periodo de 30 días, de los cuales durante la primera mitad se realizó la investigación bibliográfica y se coordinaron y realizaron las entrevistas, y durante la segunda mitad se ha realizado el análisis y redacción de los informes. A continuación se presentan los principales aspectos metodológicos del estudio. 29 Las tareas fueron divididas de la siguiente manera: Dirección: Andrea Peroni Coordinación: Claudia Olavarría Búsqueda y revisión bibliográfica: Andrea Peroni y Felipe Hernández Contacto y coordinación de entrevistas: Claudia Olavarría Realización de entrevistas: Andrea Peroni, Claudia Olavarría, Felipe de la Vega y Carolina Guerra Transcripción de las entrevistas: Felipe Hernández Análisis de las entrevistas: Claudia Olavarría y Felipe Hernández Elaboración de informe final: Claudia Olavarría y Andrea Peroni. 20 2.4 Muestra Se seleccionó una muestra según los criterios solicitados en los términos de referencia de estudio (ver anexo). Los informantes clave son expertos en Seguimiento y Evaluación de Instituciones gubernamentales, organismos internacionales, consultoras privadas y universidades. 2.5 Contacto a entrevistados Para realizar el acercamiento se envió una carta de solicitud de participación en el estudio a cada contacto en cada institución seleccionada de la muestra. Los mismos o bien accedieron a ser entrevistados o bien recomendaron a otra persona de esta institución, según su nivel de conocimiento de la demanda de Seguimiento y Evaluación en Chile. 2.6 Instrumento Se realizó una entrevista semi estructurada, según el instrumento contenido en el anexo 1, en los lugares de trabajo de cada contacto. Para cada entrevista se registró una grabación del audio la que fue fielmente transcrita y que son incorporadas en el anexo número 3 del presente trabajo. 21 CAPÍTULO 3: ANÁLISIS DE LAS ENTREVISTAS 3.1 Perfil de los entrevistados. Los entrevistados que conformaron la muestra fueron en su mayoría personas de entre 35 y 60 años. El 60% de la muestra fueron mujeres y 40 % hombres, de los cuales la gran mayoría posee amplia experiencia en distintos ámbitos de la Evaluación y Seguimiento en las instituciones en las cuales se desempeñan. Las excepciones son funcionarios de los Ministerios Secretaría General de la Presidencia y del Ministerio de Educación que, dada la coyuntura de cambio de Gobierno en Chile, han asumido sus cargos recientemente, arribando desde otras instituciones. Las profesiones de origen de los entrevistados son en su mayoría economista (4 entrevistados) e ingenieros (2 entrevistados) habiendo además, dos sociólogas, una administradora pública y una arquitecta. El 50 % de los entrevistados ha alcanzado el grado académico de Master, 30 % la licenciatura y 20% Phd. El 80 % de los entrevistados que componen la muestra desempeña cargos directivos o de jefatura en las instituciones donde trabajan. Profesión de los Entrevistados 0 10% Sociologos 20% 10% Economistas Ingenieros 20% Administrador público 40% - Arquitecto En las instituciones Gubernamentales se entrevistó a cuatro mujeres y un hombre de los cuales 3 tenían grado académico de Master y dos grado de licenciadas. Excepto un caso el 80% de los entrevistados han sido nombrados en sus cargos en los últimos meses debido a la instalación de nuevas autoridades luego del cambio de gobierno y a las reestructuraciones en los equipos de trabajo. Sin embargo los entrevistados de DIPRES y Ministerios de Salud (MINSAL) eran funcionarias que se desempeñaba en el mismo 22 - - - Departamento del Ministerio con anterioridad, y el entrevistado de Ministerio Secretaria General de la Presidencia (MINSEGPRES) se desempeñaba con anterioridad en el Ministerio de Economía. En los Organismos Internacionales, Programa de Naciones Unidas para el Desarrollo (PNUD) e Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES) ambos entrevistados fueron hombres, de más de 45 años y con más de 20 años de experiencia en el campo del Seguimiento y Evaluación. Estos expertos habían alcanzado grado académico de doctor (PNUD) y Master (ILPES). Ambos entrevistados tiene amplia experiencia en la prestación de asistencia técnica y capacitación a los gobiernos de América Latina y el Caribe, conociendo muy cercanamente la realidad de los sistemas de SyE en la región. En las Empresas Consultoras los entrevistados fueron un hombre y una mujer ambos directores y fundadores de las Empresas en que se desempeñan, con altos niveles educativos y experiencias en temas de evaluación y seguimiento desde el comienzo de la implementación de los actuales sistemas de SyE en Chile, es decir más de una década. Por otro lado en el Ámbito académico se entrevistó a la académica Heidi Berner, quien a pesar de llevar poco tiempo en su cargo en la Universidad, tiene amplia experiencia y conocimiento sobre la Demanda de Servicios de Seguimiento y Evaluación en el Estado ya que se desempeño durante 8 años como jefa del Departamento de Control de gestión de la DIPRES, en el Ministerio de Hacienda. 3.2 Perfil de las Instituciones La muestra se compuso de informantes claves provenientes de 10 instituciones públicas y privadas, distribuyéndose de la siguiente manera: - - - El 50% de las instituciones fueron estatales: Dirección de Presupuestos del Ministerio de Hacienda (DIPRES) , Ministerio Secretaría General de la Presidencia (MINSEGPRES), Ministerio de Salud (MINSAL), Ministerio de Educación (MINEDUC) y Ministerio de Vivienda y Urbanismo (MINVU). 20 % de Organismos Internacionales: Programa de Naciones Unidas para el Desarrollo (UNDP) e Instituto Latinoamericano y del Caribe de Planificación Económica y Social (ILPES) 20% de empresas consultoras: Asesorías para el Desarrollo y EMG consultores, ambas con amplia trayectoria en prestación de Servicios de Seguimiento y Evaluación. 10% Universidades: Facultad de Economía y Negocios, Universidad de Chile. 23 Porcentaje de Entrevistados según tipo de Instituciones en las que se desempeñan Estado Central 10% 20% Organismos Internacionales 20% Empresas consultoras 30% 20% Universidades A continuación se presenta un cuadro esquemático sobre la demanda de servicios de SyE en las distintas instituciones. Caracterización de las Instituciones estudiadas y su relación con el SyE. Institución Vinculación con SyE Demanda de SyE DIPRES La Dirección de Presupuesto del Ministerio de Hacienda es quien administra el Sistema de Control de Gestión (SCG) del Gobierno Central, Este sistema es el encargado del SyE del desempeño de las instituciones y de los programas, con miras a tener un gasto público de calidad. Es la base del desarrollo de presupuestos por resultados en Chile. Los resultados del SyE del SCG son un insumo para la ley de presupuesto de la nación y son enviados al Congreso Nacional para su revisión. -Demanda sistemática de realización de evaluaciones institucionales y de programas. Coordina demanda de evaluación para Instituciones gubernamentales del SCG. - Presta asistencia Técnica en temas de SyE a las instituciones del Estado. - Capacita a funcionarios de otras instituciones públicas en herramientas del SCG. MINSEGPRES El Ministerio Secretaría General de la Presidencia administra el Sistema de Programación Gubernamental (SPG) encargado del SyE de los compromisos Ministeriales, asumidos por el programa de Gobierno. -A juicio del entrevistado. No existe una demanda ni oferta de Servicios de SyE en la actualidad pero si existiría a futuro, en el marco de un proyecto de Agencia de Calidad de las Políticas Públicas. 24 MINEDUC -El Ministerio de Educación realiza evaluaciones de sus metas institucionales, de sus programas y de sus Compromisos Ministeriales en el marco del SPG y el SCG. Por otro lado en el Ministerio demanda asistencia técnica para evaluación de sus programas, que se realiza ocasionalmente. - Demanda Asistencia Técnica y personal experto periódicamente para el Seguimiento y Evaluación de algunos programas (demanda complementaria a evaluaciones coordinadas por DIPRES) MINSAL El Ministerio de Salud realiza seguimiento evaluaciones de sus metas institucionales, de sus programas y de sus compromisos Ministeriales en el marco del SPG y el SCG. Por otro lado el MINSAL realiza evaluaciones de sus programas esporádicamente MINVU El Ministerio de Vivienda y Urbanismo realiza seguimiento y evaluaciones de sus metas institucionales, de sus programas y de sus compromisos Ministeriales en el marco del SPG y el SCG. Por otro lado el MINVU realiza evaluaciones, seguimiento , encuestas de satisfacción de usuarios, y sistematización de experiencias de sus programas esporádicamente -Demanda ocasional de evaluación de programas (complementaria a evaluaciones coordinadas por DIPRES) - Existe una demanda interna por asistencia técnica hacia el Departamento de Control de Gestión desde otros departamentos del Ministerio y desde otros Servicio del Ministerio. Demanda sistemática de realización de evaluaciones, estudios de satisfacción, sistematización de experiencias, etc. -Requiere asistencia técnica internacional para SyE de programas, en el marco de convenios de cooperación internacionales. ILPES- CEPAL El Instituto Latinoamericano y del Caribe de Planificación Económica y Social de la Comisión Económica para América Latina es un Organismo Internacional, de la Organización de Naciones Unidas que provee de asistencia técnica y capacitación a los gobiernos de los países de América Latina y El Caribe. -Ocasionalmente requiere servicios profesionales de consultoría ( a través de contrato directo) PNUD El Programa de Naciones Unidas para el Desarrollo es un Organismo Internacional, de la Organización de Naciones Unidas que provee de asistencia técnica a los gobiernos de los países de América Latina y El Caribe. -Ocasionalmente requiere servicios profesionales de consultoría (a través de contrato directo). Asesorías para el Desarrollo Empresa Consultora prestadora de servicios en Seguimiento y Evaluación Ocasionalmente demanda apoyo en áreas de la Evaluación que ellos no coordinan (Bases de Datos, Encuestas, Apoyo Logístico) EMG Consultores Es una empresa consultora que provee servicios de Seguimiento y Evaluación a instituciones gubernamentales principalmente. Ocasionalmente demanda personal experto de otras disciplinas especializadas, según requerimientos de los proyectos a los que 25 Universidad de Chile Universidad prestadora de Servicios de capacitación y asistencia técnica en Seguimiento y Evaluación. postulan. Ocasionalmente demanda apoyo profesional para gestión de Bases de Datos, Encuestas, Apoyo Logístico 3.3 Caracterización de la Demanda de Servicios de Seguimiento y Evaluación del Estado Chileno Frecuencia de La Demanda La demanda de Servicios de Seguimiento y Evaluación desde el Estado en Chile contempla la contratación de personas y empresas para: provisión de personal experto, asesoría técnica y capacitación, entre otros. A continuación se da cuenta de la frecuencia con que se demandan los servicios de SyE en las instituciones que componen la muestra, en la percepción de los funcionarios entrevistados: - La Dirección de Presupuestos del Ministerio de Hacienda (DIPRES) demanda asistencia técnica ocasionalmente, la que es requerida al Banco Mundial y al Banco Interamericano de Desarrollo principalmente, en el marco de acuerdos de cooperación para el desarrollo y mejoramiento de distintos programas y proyectos. La demanda de capacitación de la DIPRES para los funcionarios de su equipo es ocasional, debido a que esta demanda es por capacitaciones como diplomados u otros cursos relativamente extensos y que por lo tanto se realizan esporádicamente, dependiendo de las necesidades de perfeccionamiento. Por otro lado, las capacitaciones cortas que se han realizado para el perfeccionamiento en determinadas técnicas no se han implementado de manera sistemática sino ocasionalmente Asimismo, se plantea que existen ciertas restricciones presupuestarias para la realización de diplomados o magíster, lo que respalda el carácter ocasional de esta demanda. La contratación de personal experto para evaluación de programas es sistemática, se realiza una vez al año por concurso público, donde se evalúan entre 30 y 35 programas públicos, definidos previamente en acuerdo con el Congreso Nacional. La DIPRES contrata ocasionalmente otro tipo de servicios, como el desarrollo de Sistemas informáticos que constituyan la plataforma para la administración de la información que se genera en distintos programas y asesorías, para el mejor desarrollo de su labor. Luego de la asesoría inicial estos sistemas pueden ser administrados por el Departamento de Informática de la DIPRES. 26 - En los Ministerios sectoriales el discurso de las entrevistadas relata que existe una demanda que varía entre semestral y ocasional, por asistencia técnica y de profesionales expertos para la realización de estudios que permitan sistematizar experiencias, evaluar impacto de programas, evaluar satisfacción de los usuarios, entre otros. Estos estudios demandados directamente por las instituciones en el marco de la ejecución de determinados programas, son complementarios a las actividades de SyE implementadas en el marco del Sistema de Control de Gestión. Existen convenios internacionales para el desarrollo de determinados programas, los que contemplan asistencia técnica en temas como SyE, ejemplo de esto es el Programa de Recuperación de Barrios del MINVU (con el apoyo GTZ de Alemania). Por otro lado, existe en los Ministerios una demanda por capacitación en temas de Seguimiento y Evaluación que varía desde una frecuencia trimestral en el Ministerio de Salud, MINSAL hacia una frecuencia anual en el MINVU. Esta demanda por capacitación en temas de SyE, entre otros está estrechamente ligada en muchas ocasiones al cumplimiento de metas de desempeño institucional. En el discurso de las entrevistadas sobre la demanda de SyE surge además una demanda por diseño de sistemas informáticos para el almacenamiento y gestión de datos que acopian los Ministerios. Es recurrente en el discurso sobre la frecuencia de la demanda, la existencia de una demanda interna en los Ministerios hacia los departamentos de Control de Gestión (o similares), por asistencia técnica y personal experto que apoye la planificación, Seguimiento y Evaluación de las metas, cuya frecuencia fluctúa entre mensual y trimestralmente, dado que es un apoyo continuo. Lo anterior evidencia la existencia de capacidades instaladas dentro de los Ministerios en determinadas metodologías y técnicas de planificación y de SyE, como la metodología de Marco Lógico. - Para el caso de los Organismos internacionales (PNUD e ILPES-CEPAL) se plantea que estos mayoritariamente entregan servicios de asistencia técnica y capacitación a los gobiernos, a través de acuerdos de cooperación. Sin embargo, de igual forma existe una demanda ocasional de estos organismos públicos por: asistencia técnica, personal experto, capacitación, y producción de datos para investigaciones en temas de Seguimiento y Evaluación. - Las Empresas consultoras entregan servicios de Seguimiento y Evaluación a las instituciones del sector público, sistemáticamente e incipientemente a empresas privadas. Esta prestación de servicios se realiza en distintas áreas, de manera transversal a los distintos Ministerios y consiste principalmente en la realización de evaluaciones en el marco de los requerimientos del Sistema de Control de Gestión y del Sistema Nacional de Inversiones. Las empresas postulan mediante las distintas licitaciones públicas difundidas periódicamente en el sistema Chile Compra. Consultadas ante la demanda de las empresas consultoras por estos servicios plantean que ocasionalmente se requiere la contratación de expertos provenientes de otras 27 disciplinas o de servicios de capacitación, dependiendo de los requerimientos de los proyectos en los que estén trabajando, pero que ésta demanda es esporádica. Además se plantea que un servicio que se demanda habitualmente, dependiendo de los requerimientos de los proyectos es la producción de datos, como la realización de encuestas y grupos focales, entre otros. Forma de Contratación: Desde fines de los años 90, la demanda por servicios de Evaluación y Seguimiento del Estado chileno, en cuanto a realización de evaluaciones propiamente tal, se ejecuta a través de la contratación de terceros, ya sea personas naturales o jurídicas (de acuerdo a la normativa del programa estatal). Esta externalización de la evaluación obedece a la voluntad de “garantizar la independencia de los juicios evaluativos que se emiten (…) se debe asegurar y garantizar que esta evaluación sea lo más objetiva posible y para eso la decisión fue hacer evaluaciones que sean siempre con externos”30 Ésta contratación se realiza en todas las instituciones gubernamentales a través de Licitaciones públicas en el caso de personas jurídicas y de concursos públicos en el caso de personas naturales. La convocatoria para la provisión de servicios de SyE, que demanda el Estado chileno se realizan mediante procedimientos estándar a través del Portal Chile Compra y de los canales institucionales para llamado a concursos públicos, resguardando la transparencia de la selección y la contratación. Las empresas consultoras realizan las contrataciones de asistencia técnica, personal experto y capacitación que se requieran mediante contrato directo. Los Organismos Internacionales contratan los servicios mediante la metodología estipulada por la Organización de Naciones Unidas. Facilidad/ dificultad para contratación de servicios de Seguimiento y Evaluación. Es consenso entre los entrevistados que existen suficientes profesionales capacitados para proveer los servicios de Seguimiento y Evaluación demandados por el Estado en Chile. Se plantea que ha surgido un “mercado de evaluadores” durante la última década en respuesta a una demanda gubernamental por servicios de Seguimiento y Evaluación, el cual se ha ido desarrollando a la par con los requerimientos que surgen desde el Estado, en un proceso de aprendizaje conjunto sobre las prácticas, metodologías, experiencias, etc. 30 Entrevista a María Teresa Hamuy, DIPRES 28 No obstante, se plantea en el discurso de quienes prestan servicios de SyE como empresas externas que existe un ambiente de competencia entre las distintas organizaciones que laboran en éste mercado (Universidades, empresas, ONG, etc.) nocivo para el desarrollo de la disciplina ya que dificulta el trabajo conjunto, la cooperación y el aprendizaje, entre los distintos proveedores de servicios. Este ambiente dificulta la contratación de personal experto y de asistencia técnica ya que muchos de los profesionales expertos trabajan en empresas u organizaciones que compiten entre sí. “Creo que estamos capturados, yo trabajo aquí, y no prestaría servicios a nadie a menos que contraten a la empresa o a mi, y lo mismo ocurre con todos, entonces no existe una universidad que te preste servicios de asesoría técnica, no existe eso, porque ellos también compiten, son consultores también, (…), hay algunos que son sin fines de lucro, pero tienen una cosa parecida, que emula a las prácticas del lucro, entonces no es fácil(..) y todos son competidores31 ” Se debe señalar que al ser Chile un país pequeño, el mercado de evaluadores es acotado y existe una cantidad limitada de instituciones que postulan recurrentemente a las licitaciones públicas para provisión de servicios de SyE. Se plantea que la demanda por servicios de Seguimiento y Evaluación ha crecido más rápidamente que la oferta de profesionales con las competencias requeridas, existiendo determinados periodos donde el personal capacitado para los nuevos requerimientos más complejos parece insuficiente, dada la gran demanda y el tiempo que toma la formación de capacidades técnicas en los profesionales. Sin embargo, es consenso en el discurso de los entrevistados que existe en Chile una amplia experiencia acumulada, en los distintos actores involucrados, en cuanto a las prácticas e instrumentos de SyE dado lo sistemático de la demanda y el tiempo que ésta lleva implementándose. Lo anterior se condice con la opinión general de los entrevistados frente a la contratación de personal experto, asistencia técnica y servicios de capacitación, que suele realizarse fácilmente en Chile. No obstante, el consenso general, existen 2 salvedades recurrentes - Ha surgido recurrentemente en el discurso de los funcionarios de organismos internacionales, académicos y encargados de la gestión del Sistema de Control de Gestión de DIPRES, la implementación de evaluaciones de impacto y la mayor dificultad que estás implican para conseguir personal con las competencias requeridas, dada la mayor complejidad de este tipo de valoraciones. El “punto es que quizás la demanda ha ido creciendo más rápido que la oferta de buenos evaluadores, sobre todo si el tema es evaluación de impacto no son tantas las Universidades en Chile que les enseñan a sus alumnos a hacer una buena evaluación de impacto, en general está concentrado en las Facultades de Economía(…) entonces al final del día es bien restringido el mercado de personas que son capaces de hacer buenas evaluaciones de impacto, yo te diría que en las otras cosas no, en las otras líneas de evaluación o seguimiento hay mucha más oferta.”32 Asimismo la formación provista desde la economía enfatiza en la rigurosidad de los 31 Víctor Zúñiga, EMG Consultores 32 Heidi Berner, Universidad de Chile 29 enfoques cuantitativos, pero se deja de lado la evaluación de impacto cualitativa y/o integrada. - Sobre la oferta de capacitación, se debe señalar que ésta está inmersa en las metas de gestión de las instituciones gubernamentales, por lo que existe una demanda sistemática por este servicio, lo que ha permitido crear un mercado en las Universidades y otras instituciones académicas (o empresas consultoras) que ofrecen estos servicios. Sin embargo, y a pesar de que se plantea que existe amplia oferta, desde la DIPRES y desde empresas consultoras con amplia experiencia, se afirma que muchas veces las capacitaciones en temas metodológicos relacionados a SyE son más bien generales, sin profundizar en lo requerido en determinadas técnicas y que la contratación de capacitaciones para el desarrollo de competencias más especificas presenta grados de dificultad significativos. Los Servicios más demandados de Seguimiento y Evaluación, desde el Estado chileno son: - En la DIPRES todas las demandas de servicios de SyE tiene grados altos de importancia para el quehacer de la institución, sin embargo no todas estas tareas constituyen parte integral de la demanda de SyE que es externalizada en la institución, para la evaluación de el desempeño institucional y de los programas. Lo anterior se debe a que, como se ha dicho, existen capacidades de gestión de SyE instaladas en los Ministerios y Servicios. Así por ejemplo la formulación de indicadores de desempeño es llevada a cabo por funcionarios de los servicios y Ministerios, y no forma parte de la demanda a terceros. El uso de la información de SyE en el proceso presupuestario es tarea del equipo de expertos de la DIPRES en conjunto con personal de los Ministerios y en sintonía con el Congreso Nacional y tampoco es externalizado. Por lo tanto estos son temas prioritarios pero no necesariamente forman parte integral de la demanda de servicios a externos, siendo esta demanda constituida principalmente por la realización de los distintos tipos de monitoreo y evaluaciones de programas, además de metas de desempeño institucional, con el objetivo de asegurar la independencia y objetividad del juicio evaluativo. - En las Instituciones gubernamentales consultadas se le otorga importancia al tema de la definición de los indicadores de desempeño de manera diferencial (debido en gran medida a que el tema tiene gran relevancia para el quehacer de la institución pero es una tarea que se realiza internamente) Otro punto que aparece con alto grado de importancia en todas las instituciones gubernamentales consultadas son las evaluaciones intermedias (evaluación ex dure) y en menor medida las evaluaciones ex ante y ex post a los programas. - Los Organismos Internacionales consultados demandan muy escasamente servicios de Seguimiento y Evaluación, entre estos: personal experto para evaluar sus servicios, personal experto para apoyar asesorías y producción de datos. Sobre los servicios que 30 prestan a los gobiernos se cuentan entre la mayor importancia en PNUD las evaluaciones ex dure y las evaluaciones ex post; luego las capacitaciones en evaluación y posteriormente las capacitaciones sobre seguimiento y monitoreo y los indicadores de desempeño, finalmente con el menor grado de importancia están las evaluaciones ex ante. En ILPES el mayor grado de importancia lo tiene las capacitaciones en evaluación ex ante y en seguimiento y monitoreo, y luego de esto la realización de evaluaciones de impacto. Es decir el énfasis de la asistencia técnica prestada por ILPES es puesto en la formación de capacidades al interior de las instituciones gubernamentales en América Latina y el Caribe. - Las Empresas Consultoras y Universidad donde se desempeñan los expertos consultados demandan escasos servicios de SyE, de los cuales los más importantes son: la contratación de expertos de otras disciplinas para apoyar los equipos de trabajo y la producción y levantamiento de datos para proyectos encomendados por instituciones gubernamentales 3.4 Calidad de los servicios de SyE disponibles y problemas técnicometodológicos frecuentes Es consenso entre los entrevistados que el personal experto y la asistencia técnica en Chile son de buena calidad, en el sentido de que existe una cantidad significativa de profesionales con las competencias técnico-metodológicas requerida para desempeñarse adecuadamente en este campo. Se plantea que, dado que ha habido una década de instalación y funcionamiento de las prácticas evaluativas, se ha generado un considerable nivel de experiencia en tres ámbitos: dentro de las instituciones del Estado, en las empresas e instituciones proveedoras de servicios y en el ámbito académico incorporando esta experiencia a la formación de nuevos profesionales. No obstante, existen determinadas demandas, como la evaluación de impacto, surgida recurrentemente en el discurso de los entrevistados con mayores niveles de experiencia, en las que si bien existe un grupo de profesionales que posee la experiencia y competencias requeridas, ésta es aún insuficiente. Lo anterior dificulta la realización de este tipo de evaluaciones que actualmente son demandadas sistemáticamente y evidencia un espacio de mejoramiento, sobre todo en la formación metodológica de los profesionales. Dificultades metodológico-técnicas del Seguimiento y Evaluación en Chile En términos generales no se detectaron déficits metodológico-técnicos recurrentes en los encargados de hacer evaluaciones en Chile, de acuerdo a los formatos y orientaciones estatales para tal efecto. En el discurso de los entrevistados de los Ministerios surge en dos ocasiones (MINVU Y MINSAL) la existencia de problemas recurrentes en la comunicación entre los evaluadores y la contraparte en los Ministerios. Estos problemas de “ comunicación” se detectan en dos momentos: primero en la comprensión cabal del requerimiento que hacen las instituciones para la prestación de los servicios y segundo en la comunicación de los resultados . Esto se observa 31 en conflictos que surgen a la luz de los resultados de las evaluaciones, donde en ocasiones no hay acuerdo entre ambas partes. Este tema ha surgido también en las entrevistas realizadas a consultores privados donde se plantea que las contrapartes en los Ministerios y Servicios son quienes definen las metodologías y aprueban los resultados, cuestionando muchas veces las conclusiones de las evaluaciones cuando éstas no arrojan los resultados “ esperados”. Este tema será retomado más adelante en las barreras para el SyE en Chile. Surge además en la entrevista del experto de PNUD y de los expertos de las empresas consultoras el tema de las capacidades de diseño de los grupos de control. Debido a la complejidad intrínseca de esta técnica, existe una escasez de profesionales con las capacidades y la experiencia requerida para diseñar un grupo de control que efectivamente, represente de manera lo más fiel posible a la población de origen. Lo anterior hace que muchas veces las evaluaciones que utilizan esta metodología pierdan valor. Este tema del diseño de grupos de control está relacionado con un déficit en los sistemas de información que proveen los datos para la realización del Seguimiento y Evaluación de planes, políticas y programas, tema que ha surgido en la mayoría de las entrevistas, particularmente en las entrevistas a personas con mayor experiencia en temas de SyE. El primer problema metodológico recurrente es la inexistencia, en la mayoría de los programas, de líneas base que permitan tener un punto de comparación sobre el impacto de estos en el grupo objetivo. Esta deficiencia tiene relación con la escasa incorporación de criterios de evaluación en la etapa de diseño de los programas, lo que dificulta el levantamiento de información de calidad para evaluar posteriormente el impacto de estos. Se debe destacar que este déficit no dice relación con las capacidades técnico metodológicas de los evaluadores en Chile, sino con deficiencias en los sistemas de información y en el diseño de políticas, planes y programas, asimismo con la escasa claridad –en algunos casos- sobre los objetivos buscados, tanto en sus impactos cualitativos como cuantitativos, en la población beneficiaria. De esta forma, considerando el déficit de los sistemas de información mencionados, los evaluadores deben afrontar esta falta de información, generando diseños metodológicos alternativos que muchas veces restan representatividad y validez a los resultados. 3.5 La oferta de servicios de Seguimiento y Evaluación disponible. Los proveedores más frecuente de Servicios de SyE reconocidos por los entrevistados son Universidades y Empresas consultoras, esta apreciación es transversal e independiente de las instituciones en las que se desempeñan los entrevistados. Sin embargo, también son nombrados Organismos Internacionales y consultores individuales. Se desprende del análisis de las entrevistas que existe una diversificación de la percepción sobre los proveedores más frecuentes según el servicio demandado. De esta forma para servicios de capacitación, los proveedores más 32 frecuentes son las Universidades. Para servicios de asistencia técnica, Empresas consultoras y Universidades y en menor medida Organismos Internacionales. Finalmente, sobre provisión de personal experto, además de Universidades y Empresas se mencionan los consultores individuales, contratados para realizar evaluaciones para las instituciones gubernamentales. Oferta académica de posgrado En este punto existe consenso entre los entrevistados que respondieron la pregunta sobre la existencia en Chile de oferta de calidad en la formación de posgrado sobre temas relacionados al SyE. La oferta reconocida por los expertos es principalmente de las Facultades de Economía e Ingeniería de Universidades tradicionales de la ciudad de Santiago, específicamente la Universidad de Chile y en menor medida la Pontificia Universidad Católica. Lo anterior refleja un tema relevante y que ha surgido en el discurso de los entrevistados; especialmente de las empresas consultoras, que tiene que ver con la mirada economicista o econométrica preponderante en la demanda y también en la oferta de evaluación. Este punto será retomado en el capítulo sobre las barreras para el desarrollo del SyE en Chile y los desafíos pendientes. Igualmente se hace mención, en dos ocasiones, a la formación de posgrado en evaluación que realiza la Facultad Latinoamericana de Ciencias Sociales (FLACSO CHILE, en conjunto con la ReLAC) Los posgrados más frecuentemente nombrados como la mejor oferta académica disponible en Chile son: Universidad de Chile, Facultad de Economía y Negocios Universidad de Chile, Facultad de Ciencias Físicas y Matemáticas Pontificia Universidad Católica de Chile Magíster en Gestión Pública Magíster en Gestión y Políticas Públicas Posgrado en Evaluación de proyectos Se debe señalar que en el discurso de los entrevistados no se hace ninguna mención a Universidades regionales ni a Universidades privadas (excepto en el caso del entrevistado de MINSEGPRES, quien plantea que en la Universidad Adolfo Ibáñez podría haber algún programa y en el Departamento de Sociología de la Universidad de Chile) Productos que contribuirían al fortalecimiento de los servicios de SyE Esta pregunta presenta dificultades de interpretación ya que la tabla contenida en el instrumento fue contestada de diversas maneras por los entrevistados, dificultando la interpretación y comparación de los resultados. Sin embargo, del análisis global de la entrevista y 33 de aquellas respuestas claras a esta pregunta se desprende que los productos señalados como aquellos que contribuirían mayormente al fortalecimiento de los sistemas de SyE, son aquellos cursos cortos de posgrado, asistencia técnica y de formación en el ámbito nacional. Lo anterior deriva de la amplia experiencia, que a juicio de gran parte de los entrevistados (aquellos con mayor trayectoria) existe en el país. De ésta forma se le resta importancia a la formación que pudiese realizarse en el extranjero. Por otro lado, frecuentemente se disminuye la importancia asignada a los cursos y diplomas virtuales en temas de SyE, cuestionando su efectividad. En Chile las Universidades han ido abordando crecientemente el tema de formación de profesionales y de postgraduados con las competencias técnico metodológicas cuantitativas necesarias para desempeñarse en el marco de los Sistemas de Seguimiento y Evaluación de la gestión pública. A juicio de los entrevistados, la formación de profesionales y postgraduados, está estrechamente ligada a herramientas de análisis cuantitativos, condicionado por los requerimientos de la demanda de servicios de S y E desde el Estado. Lo anterior evidencia la necesidad de incorporar de manera significativa en la demanda y también en la oferta de servicios de S y E los aspectos cualitativos inherentes a una evaluación integral y de calidad de la acción estatal y sus resultados. A juicio de los entrevistados la formación de posgrado de calidad en temas de Seguimiento y Evaluación está ligada, como se ha dicho casi exclusivamente33 a Universidades tradicionales de Santiago (no así en regiones del país). Es consenso entre los entrevistados que existen en Chile las capacidades y experiencia necesarias para la formación y especialización de profesionales en Seguimiento y Evaluación, restando importancia al impacto de maestrías y otros cursos internacionales para el fortalecimiento del Sistema chileno. 3.6 La Organización e institucionalización del Seguimiento y Evaluación en el Sistema Político administrativo del Estado chileno El discurso de los entrevistados sobre la institucionalización del SyE en el sistema político administrativo es disímil, si bien se reconoce que existen avances significativos en la incorporación del SyE en el proceso presupuestario, no es extendida la opinión que los Ministerios incorporen sistemáticamente estas prácticas en el diseño ni en el mejoramiento de sus programas. Es consenso en el discurso de los entrevistados que en el quehacer de las instituciones del Estado chileno están instaladas las prácticas y procedimientos requeridos para el SyE de las metas institucionales que ha instaurado el sistema de Control de Gestión. Lo anterior deviene de un trabajo sistemático de generación e instalación de capacidades de gestión de estos sistemas al 33 Los programas de posgrado mencionados más recurrentemente por los entrevistados son: Magíster en Control de Gestión y Magíster en Políticas Públicas de la Facultad de Economía y Negocios de la Universidad de Chile, Magíster en Gestión y Políticas públicas de la Facultad de Ciencias físicas y Matemáticas de esta misma casa de estudio. Y programas realizados en la Universidad Católica de Chile en el marco de los programa JPAL y CIAPEP. 34 interior de los Ministerios, y de un trabajo sistemático de monitoreo y evaluación realizado por el conjunto del Estado para rendición de cuentas y optimización del gasto público, con el apoyo de DIPRES durante la última década. Existe en Chile una instalación del SyE de programas en cuanto a sus instrumentos, procedimientos, financiamiento, alcances y uso, en tanto insumo para mejorar la calidad del gasto. Por otro lado, existe además un respaldo legal para la Evaluación realizada por la DIPRES, en el artículo 52 de la ley de administración financiera del Estado. En este sentido se evidencia un avance sustancial en la institucionalización de la evaluación y seguimiento vinculado al tema del gasto y la inversión, en el sistema político administrativo “hay una institucionalidad legal y hay una institucionalidad de cómo se han hecho las cosas los últimos diez años, hay un protocolo de acuerdo anualmente en el Congreso que se establece los programas que se van a evaluar”. 34 No obstante, estas prácticas que aparecen instaladas en el quehacer del Estado responden a la mirada y a las exigencias de la DIPRES y su visión con respecto a la evaluación vinculada a la ejecución de presupuestos por resultados, y no responden necesariamente a la institucionalización de una cultura que incorpore la Evaluación y el Seguimiento de políticas, planes y programas como una herramienta de mejoramiento del impacto que la acción del Estado tiene en los beneficiarios. A nivel de Ministerios aún no se incorpora sistemáticamente el tema del SyE en la etapa de diseño de las políticas, lo que impide afirmar que el quehacer evaluativo está institucionalizado en el sistema político-administrativo. Queda pendiente el desafío de fortalecer la evaluación de los programas que implementan los Ministerios, no tan sólo ligado al tema de inversión, sino con una orientación hacia el mejoramiento de éstos. Existe un déficit en el desarrollo de SyE para la retroalimentación y el mejoramiento continuo de las políticas, planes y programas, que debe ser llevado a cabo por los mismos Ministerios que diseñan e implementan los programas. “ DIPRES hace una evaluación con fines de rendición de cuentas(…), eso es una parte de lo que hay que hacer, pero la otra parte corresponde más bien a evaluaciones internas que tienen que tener los ministerios en el proceso de retroalimentación de los resultados de las evaluaciones, (…), eso no se hace35.” “hay- que- reforzar la evaluación de la política en los distintos Ministerios y servicios, y hacer los puentes para que se retro alimente y converjan lo que hace la DIPRES con lo que quisieran hacer los Ministerios” 36 A continuación se presentan las principales barreras detectadas para el desarrollo de la función evaluativa en Chile. 34 Entrevista Heidi Berner, Universidad de Chile 35 Entrevista a Osvaldo Larrañaga, PNUD 36 Entrevista a Dagmar Raczynski, Asesorías para el Desarrollo 35 Barreras para el Seguimiento y Evaluación en el Estado chileno Las principales trabas para la plena institucionalización del Seguimiento y Evaluación son de carácter político, institucional y cultural. -Barreras políticas: La labor de evaluación requiere del respaldo político para su óptimo desarrollo. Se debe garantizar objetividad e independencia en la realización de esta labor, sin embargo muchas veces existen presiones por mostrar buenos resultados y buenos desempeños, en plazos lo más cortos posibles, esta presión obstaculiza y dificulta la labor de evaluación. Este punto adquiere especial relevancia con las políticas prioritarias de los gobiernos, en las que existe una coacción mediática por los resultados. -Barreras institucionales: En el Sistema actual de Evaluación de Programas, los Ministerios evaluados son quienes demandan las evaluaciones, lo que produce problemas en determinadas ocasiones con los resultados de éstas, cuando no están en sintonía con lo que esperaba el mandante-evaluado. Este doble rol de mandante y evaluado produce un conflicto cuando la contraparte tiene la facultad de cuestionar la validez de los resultados. En este sentido se plantea que para institucionalizar el SyE en el quehacer del Estado es indispensable generar una institución autónoma, ajena a los sujetos de evaluación que sea la encargada de velar por la calidad, objetividad y representatividad de la información generada en las evaluaciones. “(…)si la evaluación sale mal, sale mal en el sentido de que no tiene impacto, y el mandante dice no, no aceptamos ese resultado, (..), quién valida eso, quien es el que dice si sabes que esa evaluación está bien hecha, o que está mal hecha, quien, no hay institucionalidad para eso en Chile, hay una falla dramática en eso, no hay nadie que sea responsable”37 En esta línea la entrevista del MINSEGPRES entrega luces sobre la voluntad política para la instauración de una Agencia de Calidad de las Políticas Públicas que sea un organismo independiente que monitoree y evalúe las políticas implementadas en Chile. Si bien este proyecto es aún una aspiración, muestra que se están buscando formas para solucionar estos déficits. Otro tema relevante en las barreras institucionales es, a decir de los entrevistados de empresas consultoras, que entre los criterios de selección más relevantes en los llamados a licitación se encuentra el criterio económico , donde aquellas propuestas con menores costos tiene mayores probabilidades de ser seleccionadas. En este sentido el discurso de los entrevistados de empresas consultoras plantea que esta restricción económica, aunque es indirecta, merma la calidad de las propuestas. Ya que la tendencia es a realizar propuestas con los menores costos posible, en vez de priorizar por la calidad y representatividad de los resultados generados. - Es importante señalar como traba político – institucional muy relevante para la institucionalización de los sistemas de SyE el que su continuidad y la de quienes se desempeñan 37 Entrevista a Víctor Zúñiga EMG Consultores. 36 en sus cargos estratégicos sea susceptible a los cambios de gobierno y de autoridades Ministeriales. En este sentido se hace indispensable resguardar la continuidad de todos estos sistemas, mediante mecanismos institucionales y legales, para continuar avanzando en el proceso de modernización del Estado sin retrocesos derivados de cambios político coyunturales. - Por otro lado las barreras culturales detectadas tienen que ver con resistencias persistentes de los funcionarios a la evaluación, considerando que está significa una amenaza ya que cuestiona la calidad de su trabajo y lo pone en riesgo. Se debe avanzar hacia la construcción de una cultura donde la evaluación surja como una herramienta de mejoramiento continuo de la acción del Estado, y no como una amenaza para los funcionarios. Este tránsito cultural es indispensable para la incorporación paulatina del SyE en la planificación, diseño y rediseño de las iniciativas de políticas, planes y programas. A juicio del entrevistado del PNUD existe una circulación en la cultura del sector público desde un foco hacia adentro, centrado en la oferta, a una cultura con un foco hacia afuera centrado en los usuarios donde se está incorporando paulatinamente el tema de la Evaluación.” La principal dificultad es que se está transitando a una cultura que está muy focalizada hacia dentro hacia una cultura que está centrada en los usuarios y esta segunda viene asociada al tema de la evaluación.”38 3.6.1 El Seguimiento y Evaluación en Chile: Una estrategia impulsada desde la administración del Estado La instalación del Seguimiento y Evaluación de políticas, planes y programas en el quehacer del Estado chileno ha sido paulatina y ha estado estrechamente vinculada al objetivo de proveer información para el presupuesto de la nación en orientación a generar un gasto público de calidad. La evaluación del desempeño de la acción del Estado a través de sus Instituciones ha surgido desde la administración de este último, en un afán de rendir cuentas sobre el uso de los recursos públicos y de mejorar la inversión y asegurar la calidad del gasto. En este sentido la mayor demanda por información sobre el funcionamiento de las instituciones y de las acciones que en ellas se llevan a cabo viene del Congreso Nacional en el marco de la elaboración del proyecto de la Ley de Presupuesto. Las opiniones vertidas en las entrevistas realizadas en las instituciones gubernamentales evidencian que durante las últimas dos décadas se ha logrado probar e instalar en Chile sistemas de Seguimiento y Evaluación del quehacer de las instituciones gubernamentales que contienen multiplicidad de instrumentos y procedimientos estandarizados. El sistema más reconocido en su quehacer evaluativo, por quienes fueron entrevistados en todas las organizaciones, es el Sistema de Control de Gestión que coordina la Dirección de Presupuesto, del Ministerio de Hacienda. 38 Entrevista a Osvaldo Larrañaga, PNUD 37 La información recolectada muestra que la implementación e instalación de éste sistema, así como del resto de las demandas sistemáticas de evaluación en Chile, ha constituido un proceso de aprendizaje conjunto entre los Ministerios encargados de ejecutar sistemas de SyE, los Ministerios Sectoriales y quienes proveen asistencia técnica en S y E. Este proceso, que como se ha dicho ha surgido desde una demanda del Estado, lleva aproximadamente una década en la que se han generado tres fenómenos relevantes, en cuanto a la formación de capacidades y competencias técnicas para SyE en Chile: - Primero: Se ha instalado en el quehacer y las prácticas de las instituciones Estatales los instrumentos y procedimientos para la evaluación y el Seguimiento del desempeño institucional y de las políticas y programas. - Segundo: Se ha capacitado durante la última década a numerosos funcionarios de los distintos Ministerios y Servicios en metodologías de Marco lógico y otras competencias para la Evaluación y Seguimiento de políticas, planes, y programas. Lo anterior ha permitido que en la actualidad capacidades de gestión de los sistemas de Seguimiento instaladas en los Ministerios sectoriales y en la planificación, Seguimiento y Evaluación de proyectos. Si bien esta apreciación es de personas de la Dirección de Presupuestos, es compartida por los otros entrevistados. - Tercero, a partir de la demanda por evaluación externa de las instituciones gubernamentales, coordinada por DIPRES, se ha generado en respuesta un “mercado de evaluadores” formado por empresas consultoras y universidades principalmente, quienes se dedican a evaluar como entidades externas aquello que es solicitado por los organismos del Estado. Esta impresión es compartida por los entrevistados de Empresas consultoras y de la Dirección de Presupuestos del Gobierno Central. 3.7 Demanda de evaluación desde la sociedad civil La implementación del SyE en el quehacer del Estado chileno surge, como se ha dicho, en un afán de transparentar y mejorar el gasto público, y desde allí se han mejorado los diseños programáticos y la implementación de los mismos. En esta línea se utiliza en un afán de rendición de cuentas al Congreso Nacional y mediante éste a la nación. En este sentido se puede señalar que la implementación de los principales sistemas de SyE han surgido como respuesta a una demanda ciudadana (indirecta) de transparencia, originada en el proceso de Modernización del Estado. Sin embargo es consenso que no existe una demanda de evaluación por parte de los beneficiarios de los programas. El discurso de los expertos entrevistados plantea que existe una incipiente demanda desde la sociedad civil organizada por evaluación de la acción gubernamental, en tanto esta transparenta el actuar gubernamental. Esta demanda incipiente surge de instituciones 38 académicas, ONG, asociaciones gremiales, etc. y no surge de los usuarios o beneficiarios de los programas39. Si bien existen canales expeditos de comunicación entre la ciudadanía y los ministerios y servicios implementados en el marco de estrategias de participación ciudadana, como las Oficinas de Información, Reclamos y Sugerencias y las Cuentas Públicas de las instituciones estatales, ninguno de los actores entrevistados reconoce la existencia de este tipo de demanda. No obstante, se debe señalar que en Chile hoy existe una publicación periódica en las páginas web de las instituciones públicas, de las evaluaciones, estudios, cuentas públicas, etc. realizados en los Servicios y desde la DIPRES. 39 Las demandas de los usuarios que se manifiestan tienen, en general, un carácter más directo sobre los beneficios que les atañen directamente, en el marco de los distintos programas. 39 CAPITULO 4 : CONCLUSIONES Existe en Chile una demanda sistemática de Servicios en el tema de Seguimiento y Evaluación, con procedimientos e instrumentos instalados en el quehacer de las instituciones públicas mediante sistemas complejos que sostiene esta demanda. Estos procedimientos forman parte del funcionamiento del Sistema de Control de Gestión, del Sistema de Programación Gubernamental y del Sistema Nacional de Inversiones, principalmente. Estos procedimientos e instrumentos son estipulados por las instituciones encargadas del control de los Sistemas (DIPRES, MINSEGPRES y MIDEPLAN) quienes, en conjunto con los Ministerios sectoriales generan las bases técnicas para la postulación a concurso de quienes deseen realizar la evaluación. No obstante la externalización de las evaluaciones para garantizar su objetividad, en el caso de los Ministerios Sectoriales, existe un Departamento de control de gestión o similar el cual presta asesoría internamente a la Institución. Esta demanda interna es satisfecha en la medida de los recursos disponibles con el personal del Departamento de control de gestión, o similar en cada Ministerio. Esta demanda está asociada principalmente a requerimientos de asistencia técnica para la planificación, Seguimiento y Evaluación interna de programas y metas de desempeño de la institución. Por otro lado la Dirección de Presupuestos presta asistencia técnica, capacitación y /o personal experto para el desempeño de actividades de planificación, Seguimiento y Evaluación de las metas de las instituciones en el marco del Programa de Control de Gestión y de la evaluación de programas. De esta forma se evidencia que internamente en la administración del Estado existen prácticas, procedimientos y capacidades instaladas para la provisión de servicios de asistencia técnica a los Ministerios y Servicios. Con el objetivo de resguardar la independencia del juicio evaluativo todas las evaluaciones encargadas por el estado Chileno son realizadas por terceros, personas jurídicas o naturales que son seleccionados vía licitación pública y/o concurso público. A partir de la demanda sistemática por evaluación externa de las instituciones gubernamentales, coordinada por DIPRES, en la última década se ha generado en respuesta un “mercado de evaluadores” formado por empresas consultoras y universidades principalmente, quienes se dedican a evaluar como entidades externas aquello que es solicitado por los organismos del Estado. Este mercado de evaluadores es lo suficientemente amplio para responder a la demanda del Estado, en términos de calidad es un mercado heterogéneo donde existen profesionales y empresas con mucha experiencia y capacidad. Este mercado es altamente competitivo lo que dificulta el intercambio de experiencias y la generación de aprendizajes más allá de la interacción de cada empresa con su contraparte Estatal. En temas de formación es consenso entre los entrevistados que existe en Chile una oferta amplia de formación de posgrado de buena calidad. Se plantea que existen en el país los expertos 40 con capacidades para la formación de nuevos profesionales y posgraduados, que obtengan las competencias requeridas para desempeñarse en los sistemas de SyE del país. Los desafíos pendientes para el fortalecimiento de los sistemas de SyE en Chile, detectados en este estudio, son: 1. Fortalecer la evaluación de programas en pos del mejoramiento continuo de las políticas y programas, en los servicios y Ministerios. Vincular este objetivo con el tema presupuestario promovido por DIPRES. 2. Asegurar la continuidad de los Sistemas de SyE que se encuentran hoy instalados en el quehacer estatal, entregando apoyo y respaldo político a la labor de evaluación. 3. Formar de capital humano avanzado en metodologías de SyE de mayor complejidad, como evaluación de impacto, diseño de grupos de control, levantamiento de líneas base, perspectivas cualitativas, participativas, etc. 4. Incorporación del SyE en la etapa de diseño y formulación de políticas con el objetivo de incorporar el levantamiento de líneas base de información de calidad que serán un insumo fundamental para la posterior evaluación y monitoreo. 5. Promover la creación de una entidad independiente, al interior del Estado, encargada de: - Velar por la calidad y validez de las evaluaciones que se realizan en las instituciones, - velar por la neutralidad de los juicios evaluativos emitidos (control de potenciales presiones institucionales, políticas o culturales) - velar por la adecuada asignación de recursos a la prestación de servicios de S y E, asegurando la óptima calidad de los resultados. - entre otros. 6. Promover la generación de un centro académico, o similar, que promueva la discusión y la generación de conocimiento en torno a los sistemas de SyE existentes en Chile, con el objetivo de generar redes de colaboración y fortalecer las capacidades existentes en el país, y desde allí compartir el aprendizaje con los especialistas de la región. 41 ANEXOS40 ANEXO 1: PAUTA DEL INSTRUMENTO APLICADO ANEXO 2: CARACTERIZACIÓN DE LA MUESTRA ANEXO 3: OBSERVACIONES METODOLÓGICAS ANEXO 4: BASE DE DATOS ANEXO 5: TRANSCRIPCIONES ENTREVISTAS ANEXO 6: BIBLIOGRAFIA EVALUACION 40 Los Anexos se encuentra en archivos comprimidos adjuntos al presente documento 42