Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina El caso de Costa Rica Mario Mora Quirós El equipo CLAD-Banco Mundial a cargo del Proyecto revisó, junto con la profesora Sonia Ospina, la primera versión del informe. El documento que aquí se presenta fue sometido a la consideración de Hannia Vega Barrantes, Viceministra de Planificación Nacional y Política Económica. Banco Mundial CLAD Centro Latinoamericano de Administración para el Desarrollo Banco Mundial CLAD Centro Latinoamericano de Administración para el Desarrollo Diciembre 2007 © Banco Mundial 1818 H St. NW Washington, D.C. 20433 - Estados Unidos Tel.: (1202) 4771000 Fax: (1202) 4776391 E-mail: feedback@worldbank.org http://www.worldbank.org © Centro Latinoamericano de Administración para el Desarrollo (CLAD) Apartado 4181, Caracas 1010-A, Venezuela Tel.: (58212) 9922395/3297/5953/4064/9937277 Fax: (58212) 9918427 E-mail: cedai@clad.org.ve http://www.clad.org.ve ISBN: 978-980-6125-54-4 Depósito Legal: lf86020073323639 Las ideas y pensamientos contenidos en el documento no representan necesariamente los criterios del Banco Mundial ni del CLAD. No se permite la reproducción total o parcial de este documento, ni su almacenamiento en un sistema informático, ni su transmisión en cualquier forma o por cualquier medio, electrónico, mecánico, fotocopia u otros métodos, sin el permiso previo del Banco Mundial y del CLAD. Documentos Estudios de Casos del CLAD, No. 3 2 PREFACIO En 1998, el Consejo Directivo del CLAD alertó en el documento “Una Nueva Gestión Pública para América Latina”, que la administración pública en la región estaba sufriendo los males de una rutinización extrema. Por ello, el documento proclama de manera fehaciente que un nuevo modelo administrativo que permita el aumento de la eficacia, la eficiencia y la efectividad de la administración pública, además de crear nuevas condiciones que posibiliten una relación más democrática entre el Estado y la sociedad, debe estar orientado por el control de los resultados, entre otros aspectos. La consolidación de ese nuevo modelo de gestión pública requiere una modificación de la cultura administrativa que admita una definición clara de los objetivos de la organización, focalizados en sus aspectos sustanciales y no como procesos administrativos formales, de manera que la evaluación de la gestión pública se realice a través del cumplimiento de metas más que a partir del respeto a reglas que, en muchas ocasiones, son auto-referidas por la burocracia. Así, se fortalecerá la capacidad de la administración pública para aprender de su desempeño y mejorar continuamente la prestación de servicios públicos. Desde aquella oportunidad, el CLAD se ha abocado a desarrollar actividades que impulsen condiciones favorables a una “gestión por resultados”, en especial, aquellas que promuevan la construcción de sólidos sistemas gubernamentales de evaluación. Gracias a la coincidencia de objetivos, se produjo una alianza entre el CLAD y el Banco Mundial que impulsó en el 2006 un proyecto conjunto cuya finalidad es la de fortalecer los sistemas de monitoreo y evaluación de los gobiernos de América Latina y el Caribe, por medio del intercambio de conocimientos y el aprendizaje Sur-Sur. Por su parte, el Banco Mundial no solamente se encuentra dedicado al monitoreo y evaluación (M&E) de los proyectos y programas que financia, sino que también apoya a sus países miembros en el desarrollo e implementación de metodologías apropiadas de M&E en los distintos niveles del gobierno central y local, bajo un enfoque orientado a mejorar la gestión de todas las etapas del ciclo presupuestal y a motivar la participación y supervisión ciudadana durante todo ese ciclo. Bajo el primer aspecto, el Banco continuamente se encuentra mejorando los mecanismos de M&E, en lo que respecta al diseño e implementación de sus operaciones de inversión y los Préstamos para Políticas de Desarrollo (DPL, por sus siglas en inglés), a través de auto evaluaciones realizadas por las entidades ejecutoras, evaluaciones realizadas por el personal del Banco, evaluaciones independientes incorporadas en el diseño de los proyectos, y las actividades de su Grupo de Evaluación Independiente (IEG, por sus siglas en inglés) que reporta directamente al Directorio Ejecutivo del Banco. En lo referido al segundo aspecto, por solicitud de los gobiernos, el Banco apoya los esfuerzos del país por fortalecer sus sistemas de M&E. Actualmente, el Banco se encuentra trabajando con alrededor de 30 gobiernos, entre ellos, siete de la región de Latinoamérica y el Caribe, para brindarles apoyo en el fortalecimiento de dichos sistemas, incluyendo componentes específicos de créditos y donaciones. Normalmente, las unidades de Gerencia del Sector Público y el IEG proporcionan la asistencia técnica requerida por los gobiernos en materia de M&E. Para el Banco Mundial, M&E va mucho más allá de la evaluación ex post tradicional. Cuando se incluye en el ciclo del presupuesto global, M&E constituye una herramienta clave para diseñar programas y asignar presupuestos para lograr mejores resultados y mejorar los servicios prestados a la población. Al realizar un seguimiento efectivo del gasto público, es posible identificar las políticas más adecuadas para aliviar la pobreza, así como estructurar las reformas pendientes más urgentes, y asegurar que los beneficios de tales reformas efectivamente alcancen a los grupos objetivo. En general, el M&E es un insumo valioso para los congresos y gobiernos que necesitan de información confiable para la toma de decisiones sobre políticas públicas, y resulta esencial para definir un Marco de Referencia del Gasto Público a mediano plazo. 3 A partir de esta iniciativa conjunta de CLAD-Banco Mundial, se han logrado importantes avances que van desde innovaciones conceptuales sobre el objeto de estudio, que nos ofrece el término más preciso de “gestión para resultados”, hasta la obtención de los primeros productos constituidos por los Informes Nacionales que hoy publicamos. Por ello, el CLAD y el Banco Mundial agradecen el trabajo intenso de los coordinadores e investigadores de este proyecto, y el apoyo solidario de los gobiernos de América Latina y el Caribe. Julio César Fernández Toro Secretario General Centro Latinoamericano de Administración para el Desarrollo (CLAD) Nicholas P. Manning Gerente Sectorial Reforma del Sector Público Banco Mundial 4 PRESENTACIÓN En el marco de una estrategia que aspira a orientar la gestión pública a resultados relevantes para el desarrollo, las dos últimas décadas han sido testigos de múltiples esfuerzos por institucionalizar el Monitoreo y la Evaluación (M&E) como una función clave de gobierno. Ante este panorama, diversos organismos, entre los cuales se cuentan el Banco Mundial y el CLAD, han realizado esfuerzos sistemáticos por apoyar el fortalecimiento de los sistemas gubernamentales de M&E, promoviendo el aprendizaje y el intercambio de conocimientos Sur-Sur. Un paso más en esta dirección lo constituye el proyecto "Fortalecimiento de los sistemas de monitoreo y evaluación (M&E) en América Latina y el Caribe", iniciado por ambas instituciones en diciembre del 2006, y del que forma parte el informe que acá se presenta. La atención, en una primera etapa, se ha focalizado en el estudio de los sistemas nacionales de M&E en Costa Rica y en otros once países, a saber: Argentina, Bolivia, Brasil, Chile, Colombia, Honduras, México, Nicaragua, Paraguay, Perú y Uruguay. Con base en las especificidades nacionales, el objetivo básico es ofrecer una comprensión más profunda acerca de los factores que pueden incidir en la institucionalización de los sistemas. El avance en la teoría que enriquezca la práctica es, pues, el norte de esta fase del Proyecto. Teniendo en consideración tales propósitos, dos rasgos básicos caracterizan estos estudios diagnósticos. Primero, una perspectiva integral que busca identificar los principales sistemas nacionales de M&E que operan en cada país, y conocer sus eventuales conexiones. Segundo, una base teórico-metodológica común a todos los estudios, que aspira a enriquecer un conjunto de hipótesis, enraizadas a su vez en el estado del arte acerca de la institucionalización del M&E. Han sido fundamentales, a estos efectos, las contribuciones de la profesora Sonia Ospina, integrada al equipo de dirección del Proyecto en esta primera etapa. El Proyecto ha contado, además, con el apoyo de reconocidos especialistas, que se han encargado de los diagnósticos nacionales y que intervinieron en dos encuentros colectivos para aportar a la construcción de una perspectiva común. También se ha beneficiado de la generosa colaboración de las autoridades gubernamentales con responsabilidades en los sistemas. Todo ello hace posible aspirar a que los resultados que se entregan puedan contribuir, en alguna medida, al fortalecimiento del M&E con miras a enriquecer las decisiones estratégicas de los países en pos del desarrollo. Este nuevo producto de la alianza CLAD-Banco Mundial es la continuación de una larga relación de colaboración e intercambio de experiencias entre ambas instituciones durante más de diez años, que se ha materializado en contribuciones específicas de expertos del Banco a las publicaciones del CLAD y su participación frecuente en eventos organizados por la institución y principalmente en su Congreso Anual. Cada uno de los estudios de país será presentado por un experto del Banco Mundial que ha trabajado en temas de M&E en dicho país, a fin de contextualizar el análisis del autor del estudio con las actividades del Banco en materia de M&E desde cualquiera de las dos perspectivas mencionadas en el Prefacio (como parte de la supervisión de los programas o proyectos que el Banco financia, o como parte de la asistencia técnica prestada a los países que lo solicitan en el marco general de su ciclo presupuestal). 5 Además de la publicación del estudio comparativo en el que se presenta una visión de conjunto de los hallazgos y conclusiones de los estudios de país, se espera continuar este ejercicio de investigación y difusión de conocimientos con una serie de conferencias y talleres regionales, y con el desarrollo de materiales didácticos en materia de M&E en áreas como taxonomía de sistemas de M&E, marco conceptual de indicadores, e indicadores normalizados y selectivos en áreas críticas. En esas tareas, además de prestigiosos consultores internacionales, colaborarán expertos del IEG y del Instituto del Banco Mundial (WBI, por sus siglas en inglés). David Fernando Varela S. Banco Mundial Nuria Cunill Grau Centro Latinoamericano de Administración para el Desarrollo (CLAD) 6 ÍNDICE Prólogo Ana Lucia Armijos, Banco Mundial 9 Resumen Ejecutivo 11 Introducción 15 I. 21 21 21 23 25 32 II. Antecedentes y panorámica global del sistema 1.1 Descripción general 1.1.1 Contexto 1.1.2 Objetivos 1.1.3 Estructura 1.2 Línea cronológica 1.2.1 Administración Figueres Olsen (1994-1998): diseño conceptual y experimentación 1.2.2 Administración Rodríguez Echeverría (1998-2002): extensión y desarrollo de capacidades institucionales 1.2.3 Administración Pacheco de la Espriella (2002-2006): debilitamiento gradual del SINE 1.2.4 Administración Arias Sánchez (2006-2010): rediseño y renovación del SINE 1.3 Normativa 1.3.1 Constitución Política 1.3.2 Ley de Planificación Nacional 1.3.3 Ley de Administración Financiera de la República y Presupuestos Públicos 1.3.4 Ley Orgánica de la Contraloría General de la República 1.4 Financiamiento y sostenibilidad Orientación funcional del sistema y naturaleza de sus herramientas 2.1 Orientación funcional 2.2 Instrumentos de evaluación y monitoreo 2.3 Capacidad del sistema para diversificar los instrumentos de M&E 34 37 39 41 47 47 50 50 53 53 56 56 59 64 III. Coherencia institucional 3.1 Capacidad de integración al interior del sistema 3.2 Capacidad de integración con otros sistemas 65 65 66 IV. Uso de la información 4.1 Credibilidad de la información 4.2 Acceso a la información 4.3 Consumo de la información 4.4 Impacto de la información 71 71 72 73 74 V. 75 Institucionalización del SINE Bibliografía 79 Personas entrevistadas 80 Glosario de siglas utilizadas 81 7 8 PRÓLOGO Costa Rica es un modelo de desarrollo en muchos aspectos. Es un país que ha considerado como prioridad el logro de un consenso socio-político con respecto a políticas de carácter fundamental. Una de las políticas, en torno al Plan Nacional de Desarrollo (PND), ha sido la de modernizar el sector público, aumentando la transparencia de su gestión y permitiendo una mayor competencia en áreas económicas fundamentales, al mismo tiempo que preservando el amplio nivel de bienestar social que ha sido su sello distintivo durante muchas décadas. Con el fin de mejorar la administración pública y dotarla de instrumentos que le permitan impulsar un modelo de gestión pública moderno basado en la planificación estratégica, la evaluación de los resultados y la rendición de cuentas, en 1994 se creó el Sistema Nacional de Evaluación (SINE), el cual desde su implementación ha ido incorporando cambios fundamentales tendientes a fortalecer el proceso de monitoreo y evaluación, así como el de discusión de los resultados de la gestión pública. Simultáneamente, consciente de que la modernización de la gestión de las finanzas públicas reviste una importancia significativa para mantener una buena gestión económica y mayor gobernabilidad, desde principios de los 2000 Costa Rica ha puesto en vigencia leyes y reglamentaciones vinculadas a la Ley de Presupuesto Público y a la Ley de Administración Financiera. A pesar de que Costa Rica ha sentado sólidas bases para un sistema de gestión de finanzas públicas que funcione bien, y que la actual Administración tiene una clara visión para continuar la modernización y mejora de sus sistemas, prácticas y arreglos de responsabilidad financiera, las encuestas sobre percepción y transparencia sugieren que los indicadores de gobernabilidad todavía tienen margen para mejorar. En este campo, el Banco Mundial, conjuntamente con otras agencias de cooperación internacional, ha dado apoyo a estas iniciativas a través de cooperación no financiera, tales como los Estudios sobre Gestión de las Finanzas Públicas (CFA) y Evaluación del Gasto Público (PER) que están estrechamente relacionados con la agenda gubernamental, y cuyos análisis y opciones de política pueden ayudar a fortalecer la disciplina fiscal, aumentar la eficiencia operacional y mejorar el entorno de gobernabilidad del país. Es en este contexto en el que se realiza la presente investigación del CLAD, la cual, basada en el análisis comparado de los sistemas de monitoreo y evaluación en América Latina, logra identificar las áreas críticas y las fortalezas del sistema de evaluación en Costa Rica, constituyendo un aporte valioso para apoyar el fortalecimiento y mejoramiento del mismo y asegurar el cumplimiento de los objetivos de crecimiento económico y reducción de la pobreza. Ana Lucia Armijos Economista Senior - Política Económica Banco Mundial 9 10 RESUMEN EJECUTIVO El Sistema Nacional de Evaluación (SINE), desarrollado e implementado bajo la rectoría del Ministerio de Planificación Nacional y Política Económica (MIDEPLAN), constituye la unidad de análisis en el caso de Costa Rica. El SINE fue creado por MIDEPLAN en el año 1994, al amparo de las facultades y atribuciones que le otorga la Ley de Planificación Nacional, con el propósito de dotar a la administración pública de un instrumento que le permita mantener la visión de conjunto del accionar gubernamental, promover el uso estratégico de los recursos públicos, articular el quehacer de las entidades públicas alrededor de las prioridades del Plan Nacional de Desarrollo (PND), así como impulsar un modelo de gestión pública moderno, basado en la planificación estratégica, la ejecución con dirección, la evaluación de los resultados y la rendición de cuentas. Es decir, un instrumento para promover una cultura pública orientada hacia la satisfacción de los usuarios de los bienes y servicios públicos. El SINE fue diseñado, específicamente, para dar seguimiento y evaluar las acciones estratégicas del PND, documento oficial cuya elaboración y evaluación es competencia exclusiva de MIDEPLAN. Además, fue concebido como un instrumento para uso interno del Poder Ejecutivo, cuyo principal usuario es la Presidencia de la República. En el marco del SINE, el seguimiento y la evaluación de las acciones estratégicas del PND constituye un medio para promover la rendición de cuentas en dos sentidos complementarios: por un lado, la rendición de cuentas de los jerarcas ante la Presidencia de la República, en función de los resultados asociados a la ejecución de los programas y proyectos estratégicos bajo su responsabilidad; y por otro lado, la rendición de cuentas de la Presidencia de la República ante la Asamblea Legislativa y la sociedad costarricense, con base en los resultados de su propia gestión gubernamental. La etapa de implementación del SINE se llevó a cabo en el año 1996, con la ejecución de un plan piloto que involucró a ocho entidades públicas. Esta fase de experimentación se sustentó en la firma de acuerdos de desempeño anual, denominados Compromisos de Resultados (CDR), suscritos entre el Presidente de la República y el máximo jerarca de la institución, sea el ministro en el caso de los ministerios o el presidente ejecutivo en el caso de las instituciones descentralizadas. En lo esencial, cada CDR se construye a partir de una Matriz de Desempeño Institucional (MDI), en la cual se especifican las acciones estratégicas que serán monitoreadas y evaluadas durante el año, así como los compromisos específicos adquiridos por cada jerarca y los criterios establecidos para evaluar los resultados. En el caso de Costa Rica, si bien el estudio se realizó siguiendo la metodología sugerida por el CLAD, hay que señalar que por tratarse de un instrumento para uso interno del Poder Ejecutivo, no se cumplen todos los supuestos que sugiere el protocolo de investigación, particularmente en lo que respecta a la coherencia institucional y el uso de la información. Asimismo, actualmente el SINE se encuentra en una etapa de transición y cambio, en sus aspectos conceptuales, metodológicos y administrativos. En este contexto, aunque el monitoreo y la evaluación de las acciones estratégicas del PND se mantiene como el objetivo central del SINE, se identifican dos hechos que han modificado su dinámica interna y su funcionamiento a partir del año 2002. En primer lugar, la aprobación de la Ley de Administración Financiera de la República y Presupuestos Públicos, Ley Nº 8131 del 4 de septiembre de 2001, la cual introdujo una serie de disposiciones para vincular la elaboración del plan operativo institucional con la formulación presupuestaria, así como la sujeción de ambos procesos a las prioridades establecidas en el Plan Nacional de Desarrollo vigente. 11 Esta reforma, desafortunadamente, si bien legitima la intencionalidad que da sustento al SINE, abordó el tema de la evaluación por resultados de manera parcial, toda vez que centra su atención en la evaluación de la ejecución presupuestaria. Consecuentemente, a partir del año 2002, MIDEPLAN se involucró en un proceso de evaluación que fue debilitando, de manera gradual, la identidad y dinámica propia del SINE. Desde el año 2002, el accionar del SINE comenzó a gravitar alrededor de los informes que, de acuerdo con la ley, deben ser elaborados por MIDEPLAN para ser presentados ante la Contraloría General de la República para su valoración, dictamen y envío a la Asamblea Legislativa. En términos de la dinámica del SINE, a partir de 2002 se registran dos cambios fundamentales: primero, que el Plan Anual Operativo (PAO) desplaza el uso de los Compromisos de Resultados (CDR) como instrumento de evaluación del PND, y segundo, que la Matriz de Desempeño Institucional (MDI), utilizada para evaluar sólo las acciones estratégicas incluidas en el CDR, ahora se utiliza para evaluar todas las acciones institucionales vinculadas al PND. Como consecuencia, se debilita el proceso de evaluación estratégica y el SINE comienza a monitorear y dar seguimiento a un número creciente e inmanejable de acciones vinculadas al PND, con niveles de desagregación y detalle propios de un proceso de autoevaluación institucional. El segundo hecho que es necesario destacar se relaciona con la organización de la actual administración del presidente Oscar Arias Sánchez (2006-2010). En efecto, a partir de la promulgación del Decreto Ejecutivo Nº 33151-MP, firmado el 8 de mayo de 2006, denominado Reglamento Orgánico del Poder Ejecutivo, MIDEPLAN introdujo cambios en la formulación del PND, favoreciendo un enfoque de planificación basado en el fortalecimiento de las rectorías sectoriales y la coordinación interinstitucional. Como parte integral del PND 2006-2010, el Presidente de la República y los ministros rectores de cada sector suscriben los denominados Contratos con la Ciudadanía, documento en el cual se precisan las prioridades, compromisos y metas sectoriales adquiridas por el gobierno. En cada sector, el Contrato con la Ciudadanía refleja un compromiso al más alto nivel político e incorpora acciones estratégicas que son responsabilidad exclusiva del gobierno. Unido a lo anterior, las nuevas autoridades de MIDEPLAN asumieron desde el inicio del gobierno, en mayo de 2006, una posición crítica sobre el funcionamiento y la utilidad práctica del SINE durante los últimos años. Por ello, sin abandonar las obligaciones establecidas en la Ley de Administración Financiera de la República y Presupuestos Públicos, se plantearon el desafío de rediseñar y fortalecer el SINE. En este contexto, se toma la decisión de mantener la metodología de seguimiento y evaluación propuesta por el SINE, pero se introducen cambios sustantivos en los instrumentos utilizados. Se modificó la metodología de evaluación, cambiando la estructura interna de la Matriz de Desempeño Institucional (MDI), simplificando su elaboración y transformándola en lo que actualmente se denomina Matriz Anual de Programación Institucional (MAPI), la cual se incorpora a los PAO. En esta etapa de transición, las nuevas autoridades proponen que el SINE debe estar en capacidad de monitorear y evaluar acciones estratégicas a nivel nacional, sectorial e institucional. Asimismo, se establece de forma expresa la necesidad de contar con mecanismos de verificación que garanticen la confiabilidad de la información que remiten las instituciones y la urgencia de que el SINE disponga de distintos instrumentos de evaluación. De igual manera, se advierte que en esta nueva etapa del SINE, la evaluación de productos debe dar paso y servir de sustento a la evaluación de impacto. Sin embargo, este proceso de rediseño del SINE en sus aspectos conceptuales, metodológicos y operativos, se encuentra apenas en su fase de gestación. En lo que respecta a la valoración del SINE, de acuerdo con el análisis empírico realizado, resulta evidente que los problemas relacionados con la coherencia institucional y el uso de la información constituyen dos aspectos críticos para su institucionalización en el largo plazo. Paradójicamente, desde su creación en el año 1994, el SINE previó el desarrollo de un módulo de información y un módulo de 12 incentivos, por medio de los cuales se pretendía abordar muchos de los problemas que arrastra el sistema en estos campos. Igualmente, de acuerdo con las entrevistas realizadas, se advierte que aunque no existe claridad sobre la orientación funcional del SINE, sí existe un nivel de consenso amplio en que su contribución ha sido marginal en lo que respecta al mejoramiento de la capacidad de gestión institucional. En general, se reconoce que el SINE, en el caso de Costa Rica, ha favorecido las funciones relacionadas con la asignación del gasto y el fortalecimiento del proceso de planificación institucional. Por último, aunque el SINE se quedó estancado en lo que respecta al proceso de institucionalización, conviene destacar a continuación algunos aspectos positivos que podrían contribuir a que el SINE retome el camino que lo lleve a su institucionalización. · El respaldo político brindado por los sucesivos gobiernos. El SINE ya superó cuatro gobiernos. En Costa Rica, la evaluación por resultados y la rendición de cuentas están posicionados dentro de la agenda política nacional. · El marco legal vigente, aunque requiere de algunos pequeños ajustes para precisar las competencias de MIDEPLAN, del Ministerio de Hacienda y la Contraloría, resulta suficiente para promover ambos procesos. Sin pretender minimizar los cambios que requiere la legislación, por la vía reglamentaria se podrían subsanar las deficiencias identificadas, muchas de ellas relacionadas con la coherencia institucional y el uso de la información. · Las nuevas autoridades de MIDEPLAN han formulado una propuesta que busca rediseñar el SINE y enfrentar algunas de las deficiencias relacionadas con temas críticos para su institucionalización, como es el caso del uso de la información. En lo que respecta a la estimación del grado de institucionalidad del SINE, el índice estimado en el caso de Costa Rica refleja de manera cercana las áreas críticas y las fortalezas identificadas. En este sentido, aunque se trata de una aproximación, sustentada en una metodología factible de ser mejorada, se perfila como un indicador de utilidad para el análisis comparado de los sistemas de monitoreo y evaluación en América Latina. Finalmente, cabe señalar que la etapa de transición que vive actualmente el SINE constituye en realidad una oportunidad para introducir cambios sustantivos en sus aspectos conceptuales, metodológicos y operativos. En consulta realizada a las autoridades y al personal técnico de MIDEPLAN, el presente estudio constituye un insumo valioso para apoyar el proceso de toma de decisiones sobre el desarrollo futuro del mismo, incorporando no sólo la valoración del SINE sino también las lecciones aprendidas sobre las experiencias regionales. 13 14 INTRODUCCIÓN El Sistema Nacional de Evaluación (SINE), desarrollado e implementado bajo la rectoría del Ministerio de Planificación Nacional y Política Económica (MIDEPLAN), constituye la unidad de análisis en el caso de Costa Rica. El SINE fue creado por MIDEPLAN en el año 1994, al amparo de las facultades y atribuciones que le otorga la Ley de Planificación Nacional, con el propósito de dotar a la administración pública de un instrumento que le permita mantener la visión de conjunto del accionar gubernamental, promover el uso estratégico de los recursos públicos, articular el quehacer de las entidades públicas alrededor de las prioridades del Plan Nacional de Desarrollo (PND), así como impulsar un modelo de gestión pública moderno, basado en la planificación estratégica, la ejecución con dirección, la evaluación de los resultados y la rendición de cuentas. Es decir, un instrumento para promover una cultura pública orientada hacia la satisfacción de los usuarios de los bienes y servicios públicos. El SINE fue diseñado, específicamente, para dar seguimiento y evaluar las acciones estratégicas del PND documento oficial cuya elaboración y evaluación es competencia exclusiva de MIDEPLAN 1 . Además, fue concebido como un instrumento para uso interno del Poder Ejecutivo, cuyo principal usuario es la Presidencia de la República. En el marco del SINE, el seguimiento y la evaluación de las acciones estratégicas del PND constituye un medio para promover la rendición de cuentas en dos sentidos complementarios: por un lado, la rendición de cuentas de los jerarcas ante la Presidencia de la República, en función de los resultados asociados a la ejecución de los programas y proyectos estratégicos bajo su responsabilidad; y por otro lado, la rendición de cuentas de la Presidencia de la República ante la Asamblea Legislativa y la sociedad costarricense, con base en los resultados de su propia gestión gubernamental. El desarrollo del marco conceptual del Sistema Nacional de Evaluación, así como la metodología para el seguimiento y evaluación de las acciones estratégicas del PND, se concretó durante la administración Figueres Olsen (1994-1998). Este proceso contó con el apoyo y asistencia técnica del Banco Interamericano de Desarrollo (BID), por medio de su Oficina de Evaluación (EVO), destacada en Washington. A este esfuerzo se sumó posteriormente el Banco Interamericano de Reconstrucción y Fomento (BIRF) o Banco Mundial. La etapa de implementación del SINE se llevó cabo en el año 1996, con la ejecución de un plan piloto que involucró a ocho entidades públicas, tanto del gobierno central como de la administración descentralizada. Esta fase de experimentación se sustentó en la firma de acuerdos de desempeño anual, denominados Compromisos de Resultados (CDR), suscritos entre el Presidente de la República y el máximo jerarca de la institución, sea el ministro en el caso de los ministerios, o el presidente ejecutivo en el caso de las instituciones descentralizadas. En lo esencial, cada Compromiso de Resultado (CDR) se construye a partir de una Matriz de Desempeño Institucional (MDI), en la cual se especifican las acciones estratégicas que serán monitoreadas y evaluadas durante el año, así como los compromisos específicos adquiridos por cada jerarca y los criterios o indicadores para monitorear y evaluar su propia gestión institucional. Al igual que el resto de las experiencias latinoamericanas que se registran durante la década de los noventa, el SINE fue diseñado para transformar la gestión pública tradicional bajo la premisa de que los sistemas de monitoreo y evaluación, por la dinámica que generan dentro de la organización, contribuyen a fortalecer los procesos de planificación gubernamental (nacional, sectorial e 1 La Ley de Planificación Nacional, promulgada en el año 1974, establece la responsabilidad de MIDEPLAN de evaluar el PND. Sin embargo, es a partir del año 1994, en el marco del Sistema Nacional de Evaluación (SINE), que se registran en Costa Rica las primeras experiencias documentadas en este campo. 15 institucional), la asignación del gasto, el mejoramiento continuo en la prestación de los servicios (aprendizaje) y la rendición de cuentas (responsabilización). La presente valoración del SINE, según lo previsto, se realizó utilizando como guía el protocolo propuesto, para tales efectos, por el Centro Latinoamericano de Administración para el Desarrollo (CLAD). No obstante lo anterior, hay que aclarar que en el caso de Costa Rica, por tratarse de un instrumento para uso interno del Poder Ejecutivo, no se cumplen todos los supuestos que sugiere este protocolo, particularmente en lo que respecta a la coherencia institucional y el uso de la información. Unido a lo anterior, teniendo en consideración que el objetivo último de la investigación es disponer de un estudio comparado sobre los Sistemas de Monitoreo y Evaluación en el Sector Público Latinoamericano, que sirva de referencia para detectar patrones comunes y sistematizar las lecciones aprendidas, es necesario advertir que el Sistema Nacional de Evaluación de Costa Rica se encuentra actualmente en una etapa de transición y cambio, en sus aspectos conceptuales, metodológicos y operativos. Por ello, de acuerdo con la consulta realizada a las autoridades superiores y al personal técnico de MIDEPLAN, la presente investigación constituye un insumo valioso para retroalimentar el proceso de toma de decisiones sobre el desarrollo futuro del SINE, tomando como referencia no sólo su propio diagnóstico sino también las experiencias regionales que son objeto de estudio. En este contexto, aunque en la actualidad el monitoreo y la evaluación de las acciones estratégicas del PND se mantiene como el objetivo central del SINE, se identifican dos hechos que han modificado su dinámica interna y su funcionamiento a partir del año 2002. En primer lugar, la aprobación de la Ley de Administración Financiera de la República y Presupuestos Públicos, Ley Nº 8131 del 4 de septiembre de 2001, la cual introdujo una serie de disposiciones para vincular la elaboración del plan operativo institucional con la formulación presupuestaria, así como la sujeción de ambos procesos a las prioridades establecidas en el Plan Nacional de Desarrollo vigente. Esta reforma, desafortunadamente, si bien legitima la intencionalidad que da sustento al SINE, abordó el tema de la evaluación por resultados de manera parcial, toda vez que centra su atención en la evaluación de la ejecución presupuestaria. Consecuentemente, a partir del año 2002, MIDEPLAN se involucra en un proceso de evaluación que fue debilitando, de manera gradual, la identidad y dinámica propia del SINE. En efecto, al analizar el contenido de la Ley y los reglamentos promulgados para su implementación, se advierte que el modelo propuesto enfatiza en la evaluación de la ejecución presupuestaria, favoreciendo las actividades de planificación institucional con fines presupuestarios, a pesar de los vínculos que se establecen respecto a las prioridades del PND. Este sesgo, quizás desapercibido en su momento, desvió la atención original del SINE, principalmente en lo que respecta al uso de la evaluación como instrumento para mejorar la capacidad de gestión institucional (aprendizaje) y promover la rendición de cuentas. Adicionalmente, en materia de evaluación de la gestión pública, la Ley de Administración Financiera de la República y Presupuestos Públicos no logró precisar con claridad las competencias del Ministerio de Hacienda, del Ministerio de Planificación y Política Económica (MIDEPLAN) y de la Contraloría General de la República (CGR). Al contrario, la Ley propició el traslape de funciones y dio origen a un proceso de programación y planificación engorroso y complejo, sustentado en la suma horizontal de los requerimientos de estas tres entidades. En función de lo anterior, se puede afirmar que esta Ley debilitó y desvirtuó la identidad del SINE, así como el papel protagónico de MIDEPLAN como rector y conductor del proceso de evaluación de la gestión pública por resultados. Como consecuencia directa de esta reforma, la dinámica interna del SINE comenzó a gravitar alrededor de los informes, que de acuerdo con la ley, deben ser elaborados por MIDEPLAN y el Ministerio de Hacienda para ser presentados ante la Contraloría General de la República para su valoración, dictamen y envío a la Asamblea Legislativa. 16 A partir de 2002, todo el esfuerzo de evaluación del PND realizado por MIDEPLAN responde a la obligación legal de preparar informes para ser enviados a la Contraloría General de la República, y, de manera sutil, la Presidencia de la República fue desplazada como principal usuario del SINE. Ante esta realidad, MIDEPLAN toma la decisión de no continuar con la aplicación de los Compromisos de Resultados (CDR), y el Plan Anual Operativo (PAO) se convierte en el principal instrumento para vincular el presupuesto con las prioridades del PND. Además, se establece que las instituciones públicas deben incorporar en su Plan Anual Operativo (PAO) la Matriz de Desempeño Institucional (MDI), que hasta entonces era utilizada exclusivamente para dar seguimiento y evaluar las acciones estratégicas incluidas en los CDR. Así, en el año 2002 se advierte un giro en el funcionamiento del SINE, toda vez que el Plan Anual Operativo (PAO) se consolida como el marco de referencia para el monitoreo y la evaluación del PND. En términos de la dinámica del SINE, se registran dos cambios fundamentales: primero, que el Plan Anual Operativo (PAO) desplazó el uso de los Compromisos de Resultados (CDR) como instrumento de referencia para el monitoreo y evaluación del PND, y segundo, que la Matriz de Desempeño Institucional (MDI), utilizada para evaluar sólo las acciones estratégicas incluidas en el CDR, ahora se utiliza para evaluar todas las acciones institucionales vinculadas al PND. Lo anterior condujo al debilitamiento del proceso de monitoreo y evaluación estratégica que realizaba MIDEPLAN por medio de los CDR. De manera gradual, el SINE comienza a monitorear y dar seguimiento a un número creciente e inmanejable de acciones vinculadas al PND, con niveles de desagregación y detalle propios de un proceso de autoevaluación institucional, en donde se mezcla las actividades operativas y rutinarias con las acciones estratégicas. De igual manera, los informes y reportes asociados al SINE se convirtieron en documentos enormes y poco prácticos para efectos de fortalecer la toma de decisiones. El segundo hecho que es necesario destacar, aunque mucho más reciente, se relaciona con la organización de la actual administración del presidente Oscar Arias Sánchez (2006-2010), que inició labores el 8 de mayo de 2006. Al respecto, el actual gobierno estableció por decreto un modelo de organización basado en la coordinación y planificación sectorial, situación que condujo a un cambio metodológico en la formulación del Plan Nacional de Desarrollo 2006-2010. En efecto, a partir de la promulgación del Decreto Ejecutivo Nº 33151-MP, firmado el 8 de mayo de 2006, denominado Reglamento Orgánico del Poder Ejecutivo, MIDEPLAN introdujo cambios en la formulación del PND, favoreciendo un enfoque de planificación basado en el fortalecimiento de las rectorías sectoriales y la coordinación interinstitucional. En lo fundamental, el Reglamento Orgánico del Poder Ejecutivo organiza la acción gubernamental en función de cinco ejes estratégicos: Política Social, Política Productiva, Política Ambiental, Reforma Institucional y Política Exterior. Además, alrededor de estos cinco ejes estratégicos se establecieron las metas nacionales y se agruparon los sectores de acción gubernamental, con el fin de propiciar el trabajo conjunto entre el Poder Ejecutivo y las entidades descentralizadas, bajo un modelo en el cual el primero diseña y formula las políticas públicas y las segundas las ejecutan 2 . En este contexto, como parte integral del PND 2006-2010, el Presidente de la República y los ministros rectores de cada sector suscriben los denominados Contratos con la Ciudadanía, concebidos 2 Esta división de funciones no se cumple para todos los sectores en que se organiza el actual gobierno. Se identifican varios sectores en donde el ministerio rector, responsable de la formulación de las políticas públicas, simultáneamente es el principal ejecutor de las mismas. Desde esta perspectiva, se trata en realidad de un modelo de organización que fortalece la coordinación interinstitucional al interior de cada uno de los sectores establecidos. 17 como un medio para mejorar la gestión pública. En cada caso se precisan las prioridades, compromisos y metas sectoriales adquiridas por el gobierno. Por su naturaleza, los Contratos con la Ciudadanía constituyen en realidad un mecanismo de control ciudadano, dado que las organizaciones sociales, económicas, ambientales y políticas, así como la sociedad en general, disponen ahora de un instrumento para dar seguimiento a la gestión gubernamental y valorar, por sí mismos, el grado de cumplimiento de los compromisos adquiridos. En cada sector, el Contrato con la Ciudadanía refleja un compromiso al más alto nivel político e incorpora acciones estratégicas que son responsabilidad exclusiva del gobierno. Es decir, se trata de compromisos cuyo cumplimiento no depende de reformas legales o de la intervención de otros actores públicos o privados, cuyo accionar escapa al control del gobierno. En otras palabras, se trata de metas cuyo cumplimiento está en las manos del gobierno, en el sentido de que dependen de su propia iniciativa, voluntad política y capacidad de gestión. En alguna medida, la introducción de los Contratos con la Ciudadanía, aunque ahora bajo un enfoque sectorial, restituye la visión estratégica que había perdido el SINE en el momento en que se eliminó la aplicación de los Compromisos de Resultados (CDR). Unido a lo anterior, las nuevas autoridades de MIDEPLAN asumieron desde el inicio del gobierno, en mayo de 2006, una posición crítica sobre el funcionamiento y la utilidad práctica del SINE durante los últimos años. Por ello, sin abandonar las obligaciones establecidas en la Ley de Administración Financiera de la República y Presupuestos Públicos, se plantearon el desafío de rediseñar y fortalecer el Sistema Nacional de Evaluación (SINE). Por ello, aunque se mantiene el PAO -establecido por ley- como el instrumento para orientar la programación estratégica y la formulación presupuestaria de las instituciones y, consecuentemente, el monitoreo y evaluación del PND, al mismo tiempo MIDEPLAN valida la metodología de monitoreo y evaluación pero introduce cambios sustantivos en los instrumentos utilizados para realizar ese proceso de monitoreo y evaluación del PND. En efecto, además de la introducción de los Contratos con la Ciudadanía definidos al nivel sectorial, MIDEPLAN modificó también la estructura interna de la Matriz de Desempeño Institucional (MDI), simplificando su elaboración y transformándola en lo que actualmente se denomina Matriz Anual de Programación Institucional (MAPI). Estos cambios le plantean a MIDEPLAN, en lo que respecta al monitoreo y evaluación del PND, dos desafíos aún no resueltos. Por un lado, la vinculación y articulación dinámica entre los Contratos con la Ciudadanía (que contienen las prioridades sectoriales) y la Matriz Anual de Programación Institucional (MAPI) que traduce la programación institucional y presupuestaria de las acciones estratégicas institucionales vinculadas a las prioridades del PND. Por otro lado, el desarrollo de instrumentos para promover un modelo de monitoreo y evaluación sectorial, a pesar de que la planificación estratégica y la formulación presupuestaria, en lo fundamental, continúan siendo procesos que se realizan al nivel institucional. En esta etapa de transición, las nuevas autoridades proponen que el SINE debe estar en capacidad de monitorear y evaluar acciones estratégicas a nivel nacional, sectorial e institucional. Asimismo, se establece de forma expresa la necesidad de contar con mecanismos de verificación que garanticen la confiabilidad de la información que remiten las instituciones, y la urgencia de que el SINE disponga de distintos instrumentos de evaluación. De igual manera, se advierte que en esta nueva etapa del SINE, la evaluación de productos debe dar paso y servir de sustento a la evaluación de impacto. Sin embargo, este proceso de rediseño del SINE en sus aspectos conceptuales, metodológicos y operativos, se encuentra apenas en su fase de gestación. Por tanto, la lectura del presente informe debe partir del reconocimiento de que el Sistema Nacional de Evaluación de Costa Rica se encuentra actualmente en una etapa de transición y cambio. Asimismo, 18 tener presente que las actuales autoridades de MIDEPLAN han formulado una propuesta amplia para rediseñar y fortalecer el SINE, tanto que el PND 2006-2010 incluye un capítulo específico referido a las condiciones bajo las cuales se promoverá su evaluación. Por último, dado que cada administración imprimió al SINE su propio ritmo y dinámica, en medio de un contexto socioeconómico y político particular, esta investigación revela cómo un mismo tema cobra o pierde relevancia, dependiendo del énfasis y la importancia estratégica que cada gobierno le otorga al SINE y, en general, a la evaluación por resultados y a la rendición de cuentas. De igual manera, en este período de transición es necesario advertir que mientras MIDEPLAN impulsa el redimensionamiento del SINE, promoviendo un modelo que centra su atención en el monitoreo y evaluación de las acciones estratégicas del PND bajo un esquema de planificación y gestión sectorial, por otro lado el Ministerio de Hacienda se encuentra impulsando, de manera simultánea, el desarrollo de un modelo de monitoreo y evaluación de la ejecución presupuestaria sustentado en la estructura programática institucional. Así las cosas, resulta paradójico que mientras MIDEPLAN y el Ministerio de Hacienda trabajan conjuntamente en la definición de los lineamientos que orientan la formulación de los planes anuales operativos (PAO), en la actualidad cada entidad está trabajando de manera aislada e independiente en el desarrollo de instrumentos para el monitoreo y evaluación de las acciones estratégicas del PND. El primero enfatizando en las metas sectoriales del PND, y el segundo en el uso de los recursos asignados para tales efectos, situación que podría debilitar el proceso de convergencia que debe darse entre la definición de las prioridades (nacionales, sectoriales e institucionales) y la correspondiente asignación presupuestaria. De acuerdo con la estructura propuesta, el documento consta de cinco capítulos relacionados. El capítulo primero incluye los antecedentes y panorámica global del SINE, precisando el contexto político y la descripción del sistema en los términos en que fue concebido en el año 1994, precisamente para valorar cuáles componentes evolucionaron según lo previsto, cuáles se desarrollaron parcialmente y cuáles no se desarrollaron del todo. El capítulo segundo, por su parte, incluye una valoración sobre la orientación funcional del sistema y la naturaleza de los instrumentos utilizados para promover los procesos de monitoreo y evaluación. El capítulo tercero atiende los aspectos relacionados con el nivel de coherencia institucional, que en el caso de Costa Rica constituye un aspecto crítico debido a los problemas de coordinación interinstitucional y la duplicación de funciones entre los actores involucrados. El capítulo cuarto aborda uno de los elementos que determinan la institucionalización y sostenibilidad de los sistemas de monitoreo y evaluación de la gestión pública, relacionado precisamente con la confiabilidad, el acceso, el uso y la relevancia de la información. Finalmente, el capítulo quinto retoma el tema de la institucionalización del SINE, de conformidad con la metodología sugerida por el CLAD. 19 20 I. ANTECEDENTES Y PANORÁMICA GLOBAL DEL SISTEMA De acuerdo con la experiencia internacional, la consolidación de una cultura pública basada en la gestión por resultados y la rendición de cuentas constituye un desafío de largo plazo. Lo anterior implica, necesariamente, que cualquier esfuerzo en esta dirección supone el respaldo y la decisión política de sucesivos gobiernos, considerando que se trata de un proceso de aprendizaje lento y complejo que debe permear, de manera gradual, todos los niveles de la organización del Estado y sus instituciones públicas. Sin embargo, este proceso de aprendizaje trasciende el desarrollo de instrumentos y metodologías de monitoreo y evaluación, pues en esencia se trata de un problema de cultura institucional y no de carácter técnico. Por tanto, en la promoción de una gestión pública moderna, el gran desafío consiste en provocar un cambio de actitud en los gobernantes, en los partidos políticos, en los ministros y jerarcas de las entidades descentralizadas, en los funcionarios públicos, en los beneficiarios y usuarios de los bienes y servicios públicos y, en general, en toda la sociedad civil. La gestión pública por resultados orientada hacia la rendición de cuentas, en lo fundamental, exige un cambio de actitud. Se requiere de decisión y voluntad política para impulsar los cambios requeridos, pues la experiencia internacional señala que la gestión por resultados y la rendición de cuentas no es un proceso espontáneo ni automático. Al contrario se trata de un proceso que debe ser provocado, forzado e inducido. De igual manera, la experiencia internacional advierte que en materia de gestión pública por resultados y rendición de cuentas, tampoco existen recetas o fórmulas mágicas de aplicación general. Cada país, de acuerdo con su realidad política e institucional, deberá desarrollar el modelo y los instrumentos de monitoreo y evaluación que mejor se ajuste a sus necesidades. En este contexto, como se detalla en los siguientes apartados, Costa Rica ha seguido su propia ruta de aprendizaje, la cual ha estado caracterizada por avances y retrocesos, estrechamente vinculados a la importancia estratégica que cada gobierno le ha otorgado a la gestión por resultados y a la rendición de cuentas. Por tanto, con el propósito de establecer un punto de partida sólido, que sirva de referencia para valorar el desarrollo y evolución del Sistema Nacional de Evaluación de Costa Rica, en el apartado siguiente se incluye una descripción detallada de contexto y del marco conceptual que dio sustento a la creación del SINE. 1.1 Descripción general 3 Dado que el Sistema Nacional de Evaluación de Costa Rica (SINE) se encuentra actualmente en una fase de transición, se consideró prudente realizar una presentación detallada del contexto y los términos en que fue conceptualizado el sistema en el momento de su creación. Lo anterior servirá de referencia para valorar, con mayor propiedad, el proceso de desarrollo y evolución del mismo desde su creación en 1994, en aras de precisar sus fortalezas y sus debilidades. 1.1.1 Contexto A principios de la administración del presidente José María Figueres (1994-1998), Costa Rica se planteó el desafío de dar los primeros pasos en la promoción de un modelo de gestión pública por resultados, tomando como referencia las experiencias internacionales más exitosas en materia de gestión pública moderna. 3 Para mayor detalle, véase Garnier y Mora (1999). 21 En este proceso, el Banco Interamericano de Desarrollo (BID), por medio de la Oficina de Evaluación (EVO), jugó un papel protagónico como facilitador, brindando asistencia técnica y creando espacios de reflexión para conocer las experiencias internacionales y regionales más exitosas del momento. Posteriormente, por intermedio del mismo BID, se sumó la participación de consultores y expertos facilitados por el Banco Interamericano de Reconstrucción y Fomento (BIRF) o Banco Mundial. No obstante lo anterior, la decisión del crear el Sistema Nacional de Evaluación (SINE), por parte de MIDEPLAN, no fue producto del azar. Tampoco estuvo determinada por condicionamientos de los organismos financieros internacionales mencionados. La decisión de promover un modelo de gestión pública por resultados, sustentado en la rendición de cuentas, se incluyó de manera expresa en el Plan Nacional de Desarrollo 1994-1998, como parte integral de la estrategia propuesta por el gobierno para apoyar el proceso de reforma y modernización del Estado. Es decir, una decisión que desde el inicio contó con respaldo y apoyo al más alto nivel político. El diseño y desarrollo del SINE en el año 1994 constituye una respuesta alternativa a un proceso de reforma del Estado desgastado, que por más de 15 años había centrado su atención en la reducción del déficit fiscal, en medio de un escenario político marcado por recurrentes crisis fiscales, el debilitamiento de la institucionalidad democrática, la pérdida de credibilidad en la clase política, crecientes niveles de ingobernabilidad, y la presencia de tendencias privatizadoras que sugerían incluso la desaparición de los Ministerios de Planificación Nacional en el ámbito regional. Es decir, una realidad no muy distinta de la que enfrentaban entonces la mayoría de los países latinoamericanos. De acuerdo con el PND 1994-1998, el diagnóstico realizado en su oportunidad advertía que la mayoría de las instituciones públicas, tanto en el gobierno central como en la administración descentralizada, no desarrollaban actividades formales de planificación estratégica, monitoreo y evaluación de los resultados. Por su parte, la rendición de cuentas, si es que existía, se limitaba al recuento de las actividades realizadas a lo largo del año. Es decir, un modelo de gestión centrado en la realización de actividades y la administración de insumos, y no en la obtención de resultados concretos para atender las necesidades de los beneficiarios y usuarios de los bienes y servicios públicos. La responsabilización se limitaba a la fiscalización y al control de la legalidad en el uso de los recursos públicos, bajo el modelo tradicional de control externo, al margen de los criterios de eficiencia, eficacia y oportunidad que deben orientar la prestación de los bienes y servicios públicos. Un estilo de gestión pública que no contaba con metas o indicadores que sirvieran de referencia para evaluar el desempeño institucional, considerando que el funcionamiento institucional se sustenta en la reproducción de la rutina y la inercia. Esta es la realidad institucional que advierte el PND 1994-1998, en donde se reconoce que “la nueva etapa del desarrollo costarricense no puede lograrse sin una profunda transformación del Estado y sus instituciones. El marco jurídico y administrativo se ha vuelto cada vez más rígido y burocrático. Muchos programas públicos han perdido buena parte de su sentido, convirtiéndose en feudos o botines políticos que ya nadie parece poder coordinar. La Asamblea Legislativa carece de los mecanismos para una aprobación inteligente y ágil de legislación esencial para el país. El Gobierno se ha recargado de tareas y ha perdido su capacidad de dirección. Y, tal vez lo más grave de todo, es que no existen ya los mecanismos ni la cultura institucional para asumir y sentar responsabilidades, para rendir y pedir cuentas: hoy, nadie se hace responsable de nada, siempre hay alguien más a quien echarle la culpa” (Partido Liberación Nacional, 1993). Con la creación del SINE se buscaba incorporar la evaluación de los resultados y la rendición de cuentas como herramientas transformadoras de la cultura institucional. En este sentido, el SINE reconocía la tesis sugerida por Eduardo Weisner, en el sentido de que “la mejor estrategia para la reforma del sector público en los países en desarrollo consiste en fortalecer la capacidad de evaluación” (Weisner, 1993). 22 La importancia y urgencia de contar con un instrumento, de acuerdo con la documentación consultada, se hizo evidente conforme avanzaba el proceso de formulación del PND, considerando que quedó al descubierto la limitada capacidad de las entidades públicas para traducir las prioridades nacionales e institucionales en metas anuales o plurianuales, así como definir indicadores que sirvieran de referencia para evaluar los resultados obtenidos (MIDEPLAN, 1995a). Por ello, en los primeros documentos de trabajo que dan sustento al Sistema Nacional de Evaluación de Costa Rica, se aprecia que se trata de un sistema concebido para recuperar la capacidad de dirección y conducción estratégica del gobierno, tal y como se indicó en su oportunidad: “El Sistema Nacional de Evaluación (SINE) es un programa dirigido al mejoramiento de la gestión pública. Para el Gobierno de la República, constituye un medio que permite mantener la visión estratégica y de conjunto, elemento vital de apoyo a la ejecución del Plan Nacional de Desarrollo (PND). Para los jerarcas, es una herramienta de gerencia que facilita la vinculación adecuada de los procesos de programación, ejecución y evaluación de los resultados, aspectos que determinan la calidad del desempeño institucional. Para la sociedad costarricense, significa la certeza de que el Gobierno de la República cuenta con mecanismos que aseguran el uso racional, estratégico y transparente de los recursos asignados a las instituciones públicas” (MIDEPLAN, 1995b). En este contexto, el SINE fue concebido como un instrumento del Poder Ejecutivo, diseñado y conducido por el Ministerio de Planificación Nacional y Política Económica (MIDEPLAN) para monitorear y dar seguimiento al Plan Nacional de Desarrollo. La Presidencia de la República se percibe como el principal usuario del sistema, considerando que le permite disponer de información estratégica para dar seguimiento a su propia gestión, pedir cuentas a los ministros y jerarcas colaboradores y, al mismo tiempo, rendir cuentas a la sociedad en general sobre los resultados de su gestión. 1.1.2 Objetivos El Sistema Nacional de Evaluación (SINE), en su concepción inicial, estaba orientado hacia la consecución de varios fines. Sus objetivos respondían a un marco conceptual mucho más amplio y ambicioso, que buscaba incorporar la evaluación como una herramienta gerencial para la toma de decisiones. Es decir, pretendía superar el enfoque tradicional basado en la evaluación ex post y el control de la legalidad como un fin en sí mismo, para avanzar hacia un modelo renovado en el cual el monitoreo y la evaluación operativa se incorporan como herramientas para generar resultados, cumplir metas y mejorar la capacidad de gestión institucional. Una evaluación operativa que genere información oportuna sobre los problemas y desvíos que podrían impedir el cumplimiento de las metas o, en su defecto, precisar experiencias de gestión exitosas para reproducirlas, capitalizando y sistematizando las experiencias y el aprendizaje para promover el mejoramiento continuo de la gestión pública. En este contexto, como se puede apreciar en la Figura Nº 1, el SINE estaba orientado hacia la consecución de cuatro objetivos relacionados: · Dar seguimiento y evaluar el Plan Nacional de Desarrollo desde una perspectiva estratégica. El SINE fue concebido como un instrumento para articular el trabajo del gobierno alrededor de las prioridades del desarrollo nacional y mejorar los procesos de planificación gubernamental e institucional. El sistema centraba su atención en la evaluación estratégica del PND y no en el seguimiento y evaluación de todo el quehacer gubernamental. La evaluación estratégica, en su momento, fue concebida como un proceso selectivo y gradual, tanto en lo que respecta a la cobertura de las instituciones como de los programas y proyectos estratégicos que serían evaluados. En este sentido, el sistema utilizaría la evaluación estratégica como un vehículo para inducir procesos de autoevaluación institucional más amplios y de mayor alcance. 23 · Impulsar el uso de la evaluación como un instrumento de gestión pública para apoyar la toma de decisiones. El SINE buscaba rescatar la evaluación como un instrumento para dar seguimiento a los programas y proyectos estratégicos durante la etapa de ejecución. La evaluación se incorporaba como un medio para conocer el grado de avance de los programas y proyectos, detectar rigideces y adoptar medidas correctivas para asegurar el cumplimiento de las metas previstas, en los plazos establecidos. También se concebía como un proceso de aprendizaje, capaz de identificar experiencias exitosas factibles de ser reproducidas, o en su defecto, detectar errores para evitar que sean cometidos de nuevo. En general, abandonar la evaluación ex post como un simple mecanismo de control de la legalidad, que centraba su atención en señalar fallas pero no en sentar responsabilidades. · Promover una nueva cultura pública centrada en la rendición de cuentas y la satisfacción de los usuarios. El SINE pretende romper con la inercia y la rutina institucional, para evolucionar hacia un modelo centrado en la responsabilidad individual y en la obtención de resultados concretos que permitan medir la calidad del desempeño público a partir de la satisfacción de los usuarios. De ahí la importancia de que el sistema contemple la incorporación de la sociedad civil en la fiscalización del accionar público y el desarrollo de instrumentos de verificación para garantizar la confiabilidad de la información. · Garantizar el uso racional, estratégico y transparente de los recursos públicos. El SINE pretendía incidir en todas las etapas del proceso de formulación, ejecución y control del presupuesto asignado a las distintas instituciones. Sin una adecuada programación presupuestaria, en donde los recursos sean asignados de acuerdo con las prioridades del desarrollo nacional, la evaluación y el seguimiento no tienen sentido. De igual manera, de nada vale establecer prioridades si no se fijan metas anuales y plurianuales que orienten la ejecución del presupuesto. Por ello, la modernización del proceso de formulación presupuestaria era entendida como un componente crítico para el éxito del sistema. Figura Nº 1 Objetivos del Sistema Nacional de Evaluación (SINE) Asignación y racionalización del gasto Planificación estratégica SINE Aprendizaje y mejoramiento continuo Rendición de cuentas Fuente: Información oficial, MIDEPLAN, SINE. 24 En este contexto, aunque los documentos que dan sustento al SINE no establecen un orden de jerarquía, se puede afirmar que al menos en su concepción inicial, tal y como lo sugiere el protocolo que orienta la presente investigación, el SINE fue diseñado con el propósito de incidir de manera simultánea en el mejoramiento de los procesos de planificación, asignación del gasto público, gestión institucional y rendición de cuentas. Sin embargo, como veremos más adelante, lograr un balance dinámico y balanceado de estas cuatro funciones es una tarea compleja. En el caso de Costa Rica, el mismo proceso de desarrollo y evolución del SINE, estrechamente relacionado con las decisiones adoptadas por los sucesivos gobiernos, fue marcando el énfasis y la orientación funcional del sistema. 1.1.3 Estructura El Sistema Nacional de Evaluación (SINE) se sustenta en la articulación de tres procesos, alrededor de los cuales se crean las condiciones para promover la rendición de cuentas: · La programación o planificación estratégica. De acuerdo con el SINE, cada institución involucrada debe identificar -en común acuerdo con la Presidencia de la República- los programas y proyectos estratégicos consistentes con las prioridades establecidas en el Plan Nacional de Desarrollo. Asimismo, deberá asignar los recursos presupuestarios de acuerdo con esas prioridades. Con ello se busca asegurar un proceso de planificación estratégica en donde la definición de las prioridades se presente, como suele suceder, desligada de la asignación presupuestaria y evitar que sean la rutina y la inercia institucional las que absorban los recursos públicos. · La ejecución con dirección. Según el SINE, no basta con establecer prioridades y asignar los recursos de acuerdo con las mismas. Lo anterior debe ir acompañado del establecimiento de metas e indicadores, tanto anuales como plurianuales, que sirvan de guía para orientar la ejecución de los programas, conocer su grado de avance, identificar problemas que podrían obstaculizar el nivel de desempeño, así como introducir medidas correctivas en los casos en que sea pertinente. En otras palabras, se trata de incorporar el monitoreo o seguimiento como un medio para conocer el desarrollo y evolución de los programas y proyectos a lo largo del proceso de su ejecución. Es durante la fase de ejecución en donde la administración puede tomar decisiones correctivas para promover la generación de resultados, acelerar procesos y enfrentar los cuellos de botella que podrían impedir el cumplimiento de las metas y los objetivos establecidos en la fase de programación. · La evaluación de resultados. El SINE parte del reconocimiento de que las metas e indicadores establecidos para dar seguimiento a los programas y proyectos estratégicos durante la fase de ejecución, constituyen los criterios fundamentales para realizar la evaluación orientada a la rendición de cuentas. La evaluación por resultados, en el marco del SINE, consiste en contrastar los resultados obtenidos en un período determinado con las metas previamente establecidas. Es en esta etapa en donde la evaluación orientada hacia la rendición de cuentas se incorpora como una herramienta transformadora de la cultura institucional, bajo la premisa de que el jerarca y el funcionario deben asumir la responsabilidad por los resultados obtenidos y que su nivel de desempeño está determinado por el grado en que se cumplió o no con las metas establecidas, dados los recursos asignados para ello. Como se presenta en la Figura Nº 2, aunque el SINE estaba circunscrito al monitoreo y evaluación de las acciones estratégicas del PND, su objetivo era promover un modelo de gestión por resultados para la rendición de cuentas. 25 Figura Nº 2 Articulación de procesos estratégicos Planificación estratégica -----------------Identificación de programas y asignación de recursos Rendición de Ejecución con dirección -----------------Establecer metas e indicadores para su ejecución cuentas Evaluación de resultados -----------------Contrastar los resultados con las metas Fuente: Información oficial, MIDEPLAN, SINE. Por tanto, la articulación de estos tres procesos constituye la esencia de la estructura del Sistema Nacional de Evaluación y, específicamente, de la metodología establecida para dar seguimiento y evaluar los programas y proyectos estratégicos del PND. En este contexto, la estructura del SINE, para efectos operativos, se sustenta en la creación y desarrollo de tres módulos complementarios, según se detalla a continuación. • Módulo de Información El SINE, entendido como un sistema para la toma de decisiones, partía del reconocimiento de que la Presidencia de la República era la instancia responsable de ejercer, al más alto nivel político, la rendición de cuentas. Es decir, el SINE fue concebido como un medio para dotar a la Presidencia de la República de información estratégica y oportuna, que le permitiera pedir cuentas a los ministros y a los jerarcas de las instituciones públicas, sobre la evolución de los programas y proyectos estratégicos del PND. Para ello, con el fin de canalizar hacia la Presidencia de la República solamente la información estratégica y estrictamente necesaria para la toma de decisiones, el SINE propuso organizar el manejo de la información en tres niveles complementarios, representados por medio de una estructura piramidal. En la base de esta pirámide, como se presenta en la Figura Nº 3, se encuentran los ministerios, las entidades descentralizadas y demás órganos públicos que disponen y manejan información detallada 26 sobre la totalidad de las políticas, planes, programas y proyectos bajo su responsabilidad 4 . Para efectos de rendición de cuentas, no tiene sentido que las entidades públicas remitan toda esta información a la Presidencia de la República. Es por ello que el SINE le asigna a MIDEPLAN, en lo que respecta al manejo de información para la toma de decisiones, la responsabilidad de funcionar como un filtro, de manera que a la Presidencia de la República sólo sea canalizada la información estrictamente necesaria para conocer la evolución de los programas estratégicos y el grado de avance en el cumplimiento de las metas establecidas. En este contexto, las actividades que realiza MIDEPLAN, relacionadas con el monitoreo y el seguimiento de las acciones estratégicas del PND, generan información para valorar el accionar gubernamental, pedir cuentas a los jerarcas responsables de los programas y, al mismo tiempo, disponer de información para informar sobre los resultados de su propia gestión gubernamental. Sistema Nacional de Evaluación: Módulo de Información Presidencia de la República 1 2 Información estratégica para la toma de decisiones y el ejercicio de la rendición de cuentas. MIDEPLAN: Información para el monitoreo y evaluación de acciones. Base del proceso de evaluación estratégica. Ministerios y entidades descentralizadas: 3 Información detallada sobre su gestión: Plan Anual Operativo (PAO), presupuestos y otros planes. Base del proceso de autoevaluación institucional. Fuente: Información oficial, MIDEPLAN, SINE. Como se advierte en el apartado correspondiente, el desarrollo de este módulo fue de carácter parcial, y no existe -excepto por algunos esfuerzos aislados- un proceso formal de sistematización de la información derivada del Sistema Nacional de Evaluación (SINE). El interés inicial de este módulo era disponer de un sistema de información estratégica, transparente y confiable. Para ello, el sistema previó una serie de principios orientadores (como veremos más adelante, no se cumplieron debido principalmente a los problemas de coordinación entre MIDEPLAN, el Ministerio de Hacienda y la Contraloría General de la República): 4 Se trata de información detallada sobre el funcionamiento de cada entidad pública, que por lo general se presenta en el Plan Anual Operativo (PAO) u otros instrumentos de programación institucional, la mayoría de ellos relacionados con el proceso de formulación presupuestaria. 27 · Reglas claras desde el inicio. Implica que cada entidad pública sometida al proceso de evaluación estratégica debe conocer desde el inicio: ¿qué información debe presentar y en qué formato?, ¿para qué se requiere la información solicitada?, ¿con qué periodicidad y plazos cuenta para tales efectos?, y ¿quién es el responsable de valorar la información remitida y retroalimentar a la entidad ejecutora sobre los hallazgos, debilidades y fortalezas de la documentación enviada? · Solicitar solamente la información necesaria. Implica no saturar a las entidades evaluadas con solicitudes de documentos e informes que no contribuyen, en lo esencial, al monitoreo y evaluación de los programas estratégicos. Este aspecto, en el caso de Costa Rica, era especialmente crítico pues prevalecía un modelo de control y fiscalización centrado en el seguimiento de las actividades y la administración de los insumos, y no en la evaluación de los resultados. · Aprovechar la capacidad instalada. Implica, principalmente en materia de programación institucional, no imponer a las entidades públicas instrumentos de aplicación general sino, por el contrario, fortalecer los instrumentos de planificación y los sistemas de información disponibles. · Centrar la atención en la calidad de la información y no en la cantidad. Implica facilitar el trabajo de las instituciones, solicitando información relevante que sirva no sólo para monitorear y evaluar los programas estratégicos, sino también para el mejoramiento continuo de su propia gestión institucional. · Establecer mecanismos de coordinación permanente. La formalidad en las relaciones entre MIDEPLAN, como conductor del proceso, y las entidades públicas evaluadas deben realizarse por medio de canales formales para evitar que las responsabilidades, en lo que respecta al manejo de información oficial, se diluyan y debiliten su confiabilidad. Como se indica en el apartado relacionado con el uso de la información, estos principios básicos, establecidos como referencia para el desarrollo del Módulo de Información del SINE, no se consolidaron como criterios orientadores. En este sentido, contrario a lo sugerido, las entidades ejecutoras dedican la mayor parte del tiempo a preparar matrices y reportes para satisfacer, de manera independiente, los requerimientos de información solicitados por MIDEPLAN, el Ministerio de Hacienda y la Contraloría General de la República. • Módulo de Evaluación El objetivo de este segundo módulo era promover el proceso de gestión pública por resultados, incorporando el monitoreo y la evaluación como herramientas transformadoras de la cultura institucional. En este campo, el SINE partía de la premisa de que el monitoreo y la evaluación de acciones estratégicas del PND servían como vehículo para promover un proceso complementario mucho más amplio e integral: la autoevaluación institucional. En este sentido, en su concepción inicial, el SINE construyó el módulo de evaluación a partir de dos procesos complementarios: la autoevaluación institucional, que es responsabilidad de cada jerarca, y la evaluación estratégica de programas y proyectos prioritarios, que se establece como responsabilidad directa de MIDEPLAN. En la Figura Nº 4 se presenta la estructura del módulo de evaluación tal como fue concebido en el año 1994. 28 Figura Nº 4 Sistema Nacional de Evaluación: Módulo de Evaluación Módulo de Evaluación Proceso Autoevaluación Evaluación estratégica Jerarca institucional MIDEPLAN Responsable 9 Compromiso de Resultados (CDR) 9 Otros Instrumentos 9 Plan Anual Operativo 9 Plan Anual de Trabajo 9 Otros Fuente: Información oficial, MIDEPLAN, SINE. Al respecto, conviene destacar que el SINE no planteó, al menos de manera expresa, la decisión de vincularse a un único instrumento de evaluación. De hecho, de acuerdo con la documentación analizada, la idea era disponer de un conjunto amplio de instrumentos alternativos y complementarios para promover la evaluación de la gestión pública. Sin embargo, como se detalla más adelante, el uso del instrumento denominado “Compromiso de Resultados” (CDR) se consolidó como el único método para impulsar el proceso de evaluación estratégica encargado a MIDEPLAN. En relación con el proceso de autoevaluación, se partía del reconocimiento de que un modelo de gestión pública por resultados, orientado hacia la rendición de cuentas, se sustenta en la responsabilidad individual de cada jerarca y funcionario público. En este sentido, la autoevaluación debía ser entendida -y asumida- como una práctica natural, vinculada al proceso de planificación institucional y programación presupuestaria. Es decir, el propósito del SINE era crear las condiciones para que la autoevaluación se consolidara, de manera gradual, como una práctica común para el mejoramiento de la gestión institucional, y no como una imposición externa del Ministerio de Hacienda, del Ministerio de Planificación Nacional y Política Económica o de la misma Contraloría General de la República. Desencadenar y promover procesos de autoevaluación institucional era un desafío fundamental para el Sistema Nacional de Evaluación, considerando que en la gran mayoría de entidades públicas, de acuerdo con los diagnósticos realizados en su oportunidad, no era una práctica común. En términos generales, se limitaba a la elaboración de los informes anuales de labores que las entidades públicas deben presentar a la Asamblea Legislativa, de acuerdo con lo establecido en la Constitución Política, así como a las liquidaciones presupuestarias remitidas al Ministerio de Hacienda y la Contraloría General de la República. 29 En lo que respecta al proceso de autoevaluación, el SINE reconocía que el papel de MIDEPLAN se limitaba a la promoción e inducción del proceso, actuando como facilitador y asesor técnico. Por su parte, el proceso de evaluación estratégica centraba su atención en el monitoreo y evaluación, por parte de MIDEPLAN, de programas y proyectos estratégicos del PND. En cierta medida, la evaluación estratégica era entendida como un proceso de aprendizaje para inducir la autoevaluación institucional. También conviene señalar que este proceso de evaluación estratégica previó la posibilidad de que MIDEPLAN contratara la realización de evaluaciones externas de programas y proyectos específicos. Sin embargo, como se analiza más adelante, solamente se realizaron algunos intentos fallidos y no fue posible promover las evaluaciones externas como un proceso complementario. • Módulo de Incentivos En su construcción inicial, el Sistema Nacional de Evaluación (SINE) partía del reconocimiento de que la institucionalización y consolidación de un modelo de gestión pública por resultados, como medio para promover la rendición de cuentas, exigía el desarrollo de un sistema de incentivos para recompensar la productividad, la eficiencia y, en general, la capacidad de gestión institucional. La propuesta en este sentido era sencilla: evaluar por evaluar no tiene sentido. La gestión por resultados se convierte en una práctica transformadora de la cultura pública sólo si se logra premiar el uso racional, estratégico y transparente de los recursos públicos, vinculando la gestión institucional a los incentivos utilizados para medir y evaluar el desempeño individual de los jerarcas y los funcionarios públicos. En el momento de su formulación, como se presenta en la Figura Nº 5, el SINE previó la necesidad de desarrollar un módulo de incentivos, tanto monetarios como no monetarios. Aunque al momento de su creación no existía claridad sobre la naturaleza de los mecanismos que podrían utilizarse, el sistema reconoció de manera expresa que los mismos constituían una condición necesaria para la sostenibilidad de su institucionalización. Los diagnósticos realizados en su momento advertían que los instrumentos utilizados para evaluar a los funcionarios públicos, la mayoría de ellos al amparo del Régimen del Servicio Civil, no estaban vinculados ni al desempeño institucional ni a los resultados obtenidos. Este divorcio explica por qué existen entidades públicas cuyo desempeño anual es pobre, marginal y en algunos casos irrelevante, mientras que la mayoría de sus funcionarios son calificados como empleados sobresalientes y excelentes. En general, desde su creación, el SINE previó que la gestión pública por resultados exigía replantear el esquema de incentivos vigente, ya sean estos salariales, en especie, en oportunidades de capacitación o de estudio. La mayoría de los incentivos identificados eran de aplicación general, automática y permanente. En realidad, un sistema de incentivos perverso que no permitía diferenciar ni estimular al buen funcionario. Es por ello que el Sistema Nacional de Evaluación en su concepción original planteó el desarrollo de un módulo de incentivos, pero teniendo claro que su implementación sólo sería posible en el largo plazo. En realidad se requiere establecer un nuevo régimen para la selección, contratación, capacitación y evaluación de los funcionarios públicos; como base para replantear el sistema de incentivos. A manera de resumen, como se puede apreciar en la Figura Nº 6, la estructura del Sistema Nacional de Evaluación (SINE) advierte algunos elementos que conviene destacar: 30 · El sistema se sustenta en la articulación de tres procesos estratégicos que definen el nivel de desempeño institucional: la planificación estratégica (definición de prioridades y asignación de recursos), la ejecución con dirección (establecimiento de indicadores y metas) y la evaluación de los resultados (base de la rendición de cuentas). · Específicamente, en lo que respecta a las actividades de monitoreo y evaluación, el sistema reconoce de manera expresa la complementariedad del proceso de autoevaluación institucional (referido al quehacer institucional como un todo) y del proceso de evaluación estratégica (referido a las acciones prioritarias vinculadas al PND). Figura Nº 5 Sistema Nacional de Evaluación: Módulo de Incentivos Módulo de Incentivos Monetarios 9 Recursos presupuestarios 9 Incentivos por productividad 9 Otros No monetarios 9 Capacitación 9 Reconocimiento público 9 Pasantías 9 Mayor autonomía Naturaleza Instrumentos Fuente: Información oficial, MIDEPLAN, SINE. · Asimismo, como se detalla más adelante, el proceso de evaluación estratégica permaneció atado a un único instrumento de monitoreo y evaluación, a pesar de que el Sistema Nacional de Evaluación sugería la necesidad de crear instrumentos alternativos. Es decir, el desarrollo e implementación de los Compromisos de Resultados (CDR), como instrumento para dar seguimiento y evaluar las acciones estratégicas del PND, no excluye la posibilidad de contar con otros instrumentos complementarios para realizar, por ejemplo, evaluaciones de impacto de programas y políticas, o bien, programas y proyectos de inversión pública, entre otros. · Paradójicamente, el SINE, en su concepción inicial, previó la necesidad de construir un módulo de información y un módulo de incentivos que, como se analiza más adelante, no se desarrollaron y explican, en la actualidad, las principales limitaciones que enfrenta el sistema para su institucionalización y sostenibilidad. 31 Figura Nº 6 Sistema Nacional de Evaluación: Procesos y Estructuras Programación estratégica Ejecución con dirección Evaluación de resultados Módulo de Información Módulo de Evaluación Módulo de Incentivos Proceso de evaluación estratégica Proceso de autoevaluación Fuente: Información oficial, MIDEPLAN, SINE. 1.2 Línea cronológica La implementación del Sistema Nacional de Evaluación (SINE) de Costa Rica se percibe como un proceso gradual y acumulativo, caracterizado por avances y retrocesos, pero sin abandonar el objetivo central que dio origen al sistema, es decir dar seguimiento y evaluar el Plan Nacional de Desarrollo desde una perspectiva estratégica. Partiendo de las características y descripción general del sistema, según el detalle presentado en el apartado anterior, se puede afirmar que su desarrollo y evolución ha estado determinado por la conjunción de tres aspectos estrechamente relacionados: · El liderazgo del Ministerio de Planificación Nacional y Política Económica (MIDEPLAN), no sólo como rector del proceso de planificación nacional sino, fundamentalmente, como promotor y coordinador del Sistema Nacional de Evaluación (SINE). · La relevancia del Plan Nacional de Desarrollo (PND) como instrumento para orientar y articular el accionar gubernamental alrededor de las prioridades nacionales, sectoriales e institucionales. · La importancia asignada por el gobierno a la gestión por resultados y a la rendición de cuentas, como parte integral de la estrategia de reforma y modernización del Estado y sus instituciones. El balance de estos tres elementos ha sido la clave para la evolución del SINE, no sólo en sus aspectos conceptuales, metodológicos y administrativos, sino también en lo que respecta al énfasis del proceso de monitoreo y evaluación promovido por los distintos gobiernos. 32 En función de lo anterior, a continuación se incluye una breve reseña y valoración del SINE, desde su creación en el año 1994 hasta la fecha (mayo de 2007), enfatizando en los aportes y decisiones adoptadas por cada administración, de acuerdo con el orden que se presenta en el Cuadro Nº 1. Cuadro Nº 1 Períodos de gobierno Período 1994-1998 1998-2002 2002-2006 2006-2010 Presidente José María Figueres Olsen Miguel Ángel Rodríguez Echeverría Abel Pacheco de la Espriella Oscar Arias Sánchez Partido político Partido Liberación Nacional Partido Unidad Social Cristiana Partido Unidad Social Cristiana Partido Liberación Nacional La valoración que se presenta sobre el desarrollo y evolución del SINE durante cada gobierno se sustenta en la documentación analizada y, particularmente, en la información derivada de las entrevistas realizadas a los distintos actores involucrados en el proceso de monitoreo y evaluación. Además, partiendo de la propuesta del protocolo de investigación, la valoración se sustenta en la confrontación de los objetivos que motivaron la creación del SINE y la dinámica real de su funcionamiento en cada administración. Esta aclaración es importante, particularmente en lo que respecta a la evolución del SINE durante la administración Pacheco de la Espriella (2002-2006). En efecto, en algunos de los documentos analizados se hace referencia a este período gubernamental como la “etapa de consolidación del SINE”. Sin embargo, a partir de las consultas y entrevistas realizadas a nivel técnico, tanto a funcionarios de MIDEPLAN como a los enlaces institucionales, la conclusión del diagnóstico realizado es diferente. En efecto, al confrontar la dinámica del SINE a partir de 2002 versus sus objetivos, se aprecia más bien un proceso de debilitamiento gradual, quizás no percibido o reconocido como tal. En general, se trata de un período en el cual MIDEPLAN pierde protagonismo como rector, no sólo como responsable del proceso de planificación sino también como líder y orientador del proceso de evaluación de la gestión pública por resultados. En cierta medida, se puede afirmar que el SINE entra en una fase de pérdida de identidad, debido al debilitamiento del marco conceptual y metodológico. No obstante lo anterior, dejando de lado las particularidades que marcaron el desarrollo del SINE en cada administración, conviene adelantar algunos elementos comunes (aunque con diferencias leves) que han estado presentes en todos los gobiernos: · · · · · El énfasis en el proceso de “evaluación estratégica” del PND. No se advierte un respaldo sólido a los procesos de autoevaluación institucional. El módulo de información 5 y el módulo de incentivos, excepto por algunos esfuerzos aislados, no han sido desarrollados. La orientación funcional del sistema gravita alrededor de las funciones de la asignación del gasto y la planificación. Las debilidades se concentran en la limitada capacidad del sistema para traducir y canalizar los esfuerzos de monitoreo y evaluación hacia las funciones de mejoramiento continuo (aprendizaje) y de responsabilización (rendición de cuentas). Esta valoración general, en el caso de Costa Rica, explica las limitaciones que actualmente enfrenta el Sistema Nacional de Evaluación en lo que respecta a los dos aspectos centrales que son objeto de investigación en el presente estudio: la coherencia institucional y el uso de la información. 5 El Área de Evaluación y Seguimiento cuenta con el Sistema Integrado de Evaluación Nacional (SIEN), diseñado durante la administración Rodríguez Echeverría (1998-2002), pero hasta la fecha solamente se ha utilizado como un instrumento de uso interno. 33 A continuación se presenta una breve reseña de los aspectos más relevantes sobre la dinámica del SINE en cada una de las administraciones, desde su creación en 1994 hasta la fecha (mayo de 2007), enfatizando en cada caso en los aspectos de orden conceptual y operativo. 1.2.1 Administración Figueres Olsen (1994-1998): diseño conceptual y experimentación Durante la administración Figueres Olsen se promulgó el Decreto Ejecutivo Nº 23323-PLAN, publicado en julio de 1994, por medio del cual se establece el Reglamento General del Ministerio de Planificación Nacional y Política Económica (MIDEPLAN). Este Decreto crea el Área de Evaluación y Seguimiento y, con ello, las condiciones institucionales para la evaluación del Plan Nacional de Desarrollo (PND). El Área de Evaluación y Seguimiento, de acuerdo con la organización administrativa propuesta en su oportunidad por el Ministro 6 , integraba los temas relacionados con el proceso de reforma y modernización del Estado. En este sentido, el Área de Evaluación y Seguimiento estaba integrada por tres unidades: el Departamento de Eficiencia Administrativa, responsable de promover procesos de reorganización institucional; el Departamento de Inversiones Públicas, encargado de dar seguimiento al plan de inversiones y velar porque se ajuste a las prioridades del desarrollo nacional; y el Departamento de Acciones de Gobierno, concebido como la instancia técnica responsable de conducir el proceso de monitoreo y evaluación de las acciones estratégicas del PND. La etapa de diseño conceptual del SINE, así como el desarrollo de la metodología, se extendió desde mayo de 1994 hasta finales del año 1995. A lo largo de este período, el personal del Ministerio contó con el apoyo técnico de la Oficina de Evaluación (EVO) del Banco Interamericano de Desarrollo (BID). La participación de la Oficina de Evaluación fue estratégica, pues se convirtió prácticamente en un puente para la transferencia de las experiencias internacionales y regionales desarrolladas en materia de gestión pública por resultados y rendición de cuentas. Por esta vía, la Oficina de Evaluación canalizó la asesoría de expertos del BID, del Banco Mundial y de consultores independientes. Lo anterior permitió que el equipo técnico del SINE tuviera la oportunidad de analizar las experiencias desarrolladas en Canadá, Estados Unidos, Inglaterra, Nueva Zelanda, Australia, Colombia, Chile, Brasil y Argentina. La documentación disponible advierte que el sistema costarricense estuvo influenciado por la experiencia desarrollada en Colombia, bajo el Programa SINERGIA, relacionado con la evaluación del Plan de Desarrollo y coordinado directamente por el Departamento Nacional de Planeación. De igual manera, destaca como referencia la aplicación de los “Citizens’s Charter” en Inglaterra, como instrumentos para establecer compromisos entre el gobierno y la ciudadanía referidos a la prestación de los bienes y servicios públicos. Este proceso de retroalimentación, sustentado en la valoración de las principales experiencias regionales e internacionales, condujo finalmente a la promulgación del Decreto Ejecutivo N° 24175PLAN, por medio del cual se crea el Sistema Nacional de Evaluación (SINE). De acuerdo con los objetivos propuestos, la administración Figueres Olsen, en lo que respecta al desarrollo y evolución del SINE, puede calificarse como una etapa de diseño conceptual y experimentación. 6 Leonardo Garnier Rímolo condujo el Ministerio de Planificación Nacional y Política Económica (MIDEPLAN) durante la administración Figueres Olsen (1994-1998). Durante su gestión se diseña e implementa el Sistema Nacional de Evaluación (SINE). 34 La aplicación de la metodología y del instrumento desarrollado se realizó en el año 1996, mediante un plan piloto en el que participaron ocho entidades públicas seleccionadas conjuntamente entre MIDEPLAN y la Presidencia de la República. Dadas las prioridades establecidas en el PND 1994-1998, particularmente en el campo social, la Presidencia de la República decidió concentrar el plan piloto en el seguimiento de las acciones estratégicas relacionadas con educación, salud y vivienda. De hecho, a lo largo de la administración Figueres Olsen la participación de las instituciones del sector social fue particularmente importante, dado el énfasis otorgado por este gobierno a las reformas en el campo de la política social 7 . El instrumento diseñado para desarrollar el proceso de evaluación estratégica se denominó “Compromiso de Resultados”, en adelante CDR. Fue concebido como un acuerdo al más alto nivel político, suscrito entre el Presidente de la República y el ministro o el jerarca correspondiente. En cada CDR, mediante un ejercicio de negociación entre las partes 8 , se determinan las acciones estratégicas que serán evaluadas durante el año. Los CDR también son suscritos por el Ministro de Planificación Nacional y Política Económica y el Ministro de Hacienda como garantes de un proceso en el cual es fundamental vincular la definición de las prioridades con la asignación de recursos a nivel presupuestario. En este período, el denominado Plan Anual de Trabajo (PAT), realizado a nivel institucional, se presume como el instrumento por medio del cual las distintas entidades públicas realizaban el ejercicio de autoevaluación. Sin embargo, la documentación disponible no revela acciones concretas dirigidas a promover este proceso. En lo que respecta a su ejecución, la aplicación de los CDR era consistente con la metodología que da sustento al SINE, es decir, la articulación de tres procesos: planificación estratégica, ejecución con dirección y evaluación de los resultados, en los términos en que se detalló en el apartado anterior. En función de lo anterior, el ciclo de monitoreo y evaluación, que es de carácter anual, se implementa como un proceso de tres etapas, en los términos en que se detalla a continuación. Etapa 1. Programación estratégica Se realiza al inicio del año y consiste en la ejecución de cinco actividades estrechamente relacionadas, según se indica: 1. La Presidencia de la República selecciona los programas y proyectos estratégicos que serán evaluados durante el año. 2. Definidas las prioridades, MIDEPLAN coordina con cada institución la elaboración de una Matriz de Desempeño Institucional (MDI), que incluye información específica sobre: a) Las acciones estratégicas que serán evaluadas. b) Los criterios de evaluación (indicadores) que servirán de referencia para su evaluación. c) El peso relativo de cada acción estratégica. d) Las metas específicas comprometidas y el punto de partida (línea de base). e) La escala de valoración que servirá de referencia para calificar los resultados obtenidos 9 . 7 Para un análisis más detallado sobre la experiencia en el campo social, véase Garnier y Mora (2000). Se habla de negociación en el sentido de lograr un acuerdo sobre “acciones estratégicas” vinculadas a las prioridades del desarrollo nacional, de conformidad con lo establecido en el Plan Nacional de Desarrollo. El objetivo era evaluar lo relevante y no la rutina institucional. 9 La escala de valores permite calificar cada acción estratégica según cinco niveles de desempeño: Excelente (5), Muy Bueno (4), Bueno (3), Regular (2) y Malo (1). De igual manera, dada la ponderación de acción estratégica, el sistema prevé la posibilidad de otorgar una calificación del desempeño institucional relacionado específicamente con las acciones evaluadas en cada CDR. 8 35 3. Los ministros y jerarcas, por medio de los enlaces institucionales, validan la información incluida en la Matriz de Desempeño Institucional (MDI). 4. MIDEPLAN procede a la elaboración de los CDR. 5. Se realiza la firma oficial de los CDR. Etapa 2. Ejecución con dirección Una vez firmados los CDR, le corresponde a MIDEPLAN dar seguimiento a la ejecución de los programas y proyectos, solicitando a cada entidad un reporte semestral sobre el grado de avance en el cumplimiento de las metas. El monitoreo dentro de un modelo de gestión pública por resultados es fundamental. Es en esta etapa en donde se incorpora la evaluación como una herramienta gerencial para la toma de decisiones, para garantizar los resultados esperados y cumplir con las metas previamente establecidas. Esta evaluación operativa (durante la ejecución) permite detectar desvíos y adoptar medidas correctivas o, en su defecto, detectar acciones exitosas que se pueden potenciar para mejorar aun más el nivel de desempeño institucional. Etapa 3. Evaluación de los resultados Al finalizar el año, cada jerarca remite a MIDEPLAN un reporte sobre los resultados obtenidos. Este informe, junto con la información derivada del proceso de monitoreo realizado durante el año, constituyen los insumos a partir de los cuales MIDEPLAN prepara el informe de evaluación que remite a la Presidencia de la República. Como se indicó, la metodología permitía dar una calificación sobre el nivel de desempeño de cada programa y proyecto, precisamente contrastando el resultado obtenido con la escala de valoración predefinida en el CDR. Es decir, al contrastar el resultado obtenido con los valores incluidos en la escala de valoración, se podía establecer la calificación obtenida por cada programa (en una escala de 1 a 5). De igual forma, dada la ponderación de cada programa y proyecto, era posible conocer, por agregación, el nivel de desempeño institucional (también en una escala de 1 a 5). En síntesis, durante la administración Figueres Olsen se establece el marco institucional y conceptual para el diseño del SINE. Asimismo, se establece la metodología para la implementación del proceso de evaluación estratégica y se ejecuta el Plan Piloto para experimentar la aplicación del instrumento creado para tales efectos: el Compromiso de Resultados (CDR) 10 . No obstante lo anterior, quizás el aporte más relevante de la administración Figueres Olsen se asocia con el hecho de que logró posicionar dentro de la agenda política nacional dos temas que hasta entonces habían estado ausentes: la gestión pública por resultados y la rendición de cuentas. En la Figura Nº 7 se presenta el ciclo de monitoreo y evaluación sustentado en la aplicación de los Compromisos de Resultados (CDR). 10 Los primeros CDR se firmaron el 10 de abril de 1996, dos meses después de la fecha prevista. Este desfase evidenció la complejidad del proceso. Por un lado, la ausencia de criterios para definir los indicadores que se utilizarían para evaluar las acciones estratégicas y, por otro lado, el establecimiento de las líneas de base y las metas anuales específicas. En el primer caso, debido a la falta de experiencia y al vacío conceptual; y en el segundo caso, en virtud de que no se disponía en la mayoría de los casos de información histórica confiable sobre la capacidad de producción institucional, o porque en algunos casos se trataba de programas nuevos. 36 Figura Nº 7 Ciclo de evaluación del SINE con base en los CDR A C T I V I D A D E S Etapa I Inicio del año Etapa II Durante el año Programación estratégica Ejecución con dirección (monitoreo) Etapa III Al finalizar el año Evaluación de resultados Selección de acciones estratégicas (negociación política). Entidades ejecutan las acciones estratégicas. Entidades remiten a MIDEPLAN informe final de resultados. Creación de Matriz de Desempeño Institucional (en coordinación con MIDEPLAN). Entidades ejecutoras remiten un reporte mensual sobre el grado de cumplimiento de las metas acordadas en el CDR. MIDEPLAN contrasta resultados contra metas. Aplica escala de valoración y califica el nivel de desempeño por acciones y por institución. Preparación de CDR (MIDEPLAN). Firma de los CDR. MIDEPLAN analiza los informes remitidos. MIDEPLAN prepara informe de evaluación y lo remite a la Presidencia de la República. Al finalizar la administración Figueres Olsen, el SINE se había extendido ya a 18 instituciones (ministerios e instituciones descentralizadas). Además, en el año 1997 se experimentó la suscripción de un primer CDR-Sectorial, aplicado al sector Vivienda, proceso que evidenció que la metodología no era adecuada para tales efectos, dado que el sistema no disponía de mecanismos complementarios para individualizar el desempeño y el aporte de cada una de las entidades que conforman el sector. 1.2.2 Administración Rodríguez Echeverría (1998-2002): extensión y desarrollo de capacidades institucionales Al inicio de la administración Rodríguez Echeverría, en mayo de 1998, el SINE debía superar dos riesgos potenciales, de los cuales dependía su continuación: · Primero, que el SINE era un programa estratégico de la administración Figueres Olsen, que representaba al Partido Liberación Nacional (PLN), adversario ideológico del partido que había ganado las elecciones 11 , el Partido Unidad Social Cristiana (PUSC). · Segundo, que los colaboradores designados por la administración Rodríguez Echeverría (ministros y presidentes ejecutivos) rechazaran su aplicación, considerando que la administración Figueres Olsen, luego de la fase de experimentación, tomó la decisión de divulgar los resultados de las evaluaciones, sometiendo a los jerarcas a la crítica de la prensa y de la ciudadanía en general. 11 Desde una perspectiva política, existía el riesgo de que el nuevo gobierno no se apropiara del SINE por ser un programa estratégico del gobierno anterior, que además era su adversario político. Lo anterior en un escenario dominado por el bipartidismo, caracterizado precisamente por la confrontación histórica entre el Partido Liberación Nacional (PLN) y el Partido Unidad Social Cristiana (PUSC). 37 Afortunadamente, durante el proceso de transición gubernamental, la administración del presidente Miguel Ángel Rodríguez Echeverría retomó el SINE como una prioridad. De esta manera, se inicia la formulación del nuevo Plan Nacional de Desarrollo y, al mismo tiempo, la divulgación del SINE como instrumento de evaluación entre los nuevos jerarcas. Un aspecto que facilitó la transición fue la figura del enlace técnico institucional, que en la mayoría de los casos correspondía a la Oficina de Planificación Institucional. Por su significado, en términos de madurez política, hay que destacar que el apoyo brindado por el presidente Rodríguez Echeverría fue determinante para la continuación y consolidación del SINE. Por ello, a pesar del cambio de gobierno, en el segundo semestre de 1998, la administración Rodríguez Echeverría firmó Compromisos de Resultados (CDR) con veinte instituciones, hecho que sin duda marcó el inicio de lo que podemos denominar la etapa de extensión y consolidación del SINE. Para el año 1999, ya la administración Rodríguez Echeverría le imprime al SINE su propia dinámica. Aumenta la cobertura a un total de treinta instituciones y experimenta, a pesar de las limitaciones metodológicas, la aplicación de tres CDR sectoriales: sector Vivienda, sector Agropecuario y sector Infraestructura. La administración Rodríguez Echeverría continuó con la aplicación de los CDR, consolidando en cierta forma la metodología diseñada para implementar el proceso de evaluación estratégica. Asimismo, de acuerdo con la documentación consultada, los esfuerzos adicionales se concentraron en la extensión y desarrollo de capacidades institucionales, destacando cuatro acciones complementarias: · La formulación de una macro estrategia de promoción de la cultura de evaluación, que centra su atención en acciones de capacitación y sensibilización. · El fortalecimiento de esfuerzos tendientes a conciliar el proceso de evaluación estratégica con el proceso de formulación presupuestaria 12 . · Acciones específicas dirigidas a promover la consolidación del SINE, entre las cuales destacan la realización de un taller de planeación estratégica, con el apoyo de asesores externos y el respaldo financiero del BID, que condujo a la formulación del Plan Estratégico 1999-2004, documento que se actualiza cada año para mantener un horizonte de planeación quinquenal. Por otro lado, se elabora el documento Análisis institucional y organizacional del SINE, preparado igualmente con la asesoría del BID, para identificar los factores del entorno político, económico, sociocultural, ambiental, administrativo, legal, tecnológico y ecológico que influyen en el desempeño del SINE. · Un proceso de coordinación interinstitucional con el Ministerio de Hacienda y la Contraloría General de la República, tendiente a desarrollar un marco conceptual común para el diseño de indicadores. Este esfuerzo condujo al diseño del curso Evaluación y elaboración de indicadores, que sirvió de base para empezar un proceso de capacitación permanente de funcionarios públicos. Este esfuerzo de la administración Rodríguez Echeverría condujo a que en el año 2001 se firmaran 27 CDR, proceso que involucraba ya a un total de 43 instituciones públicas. Finalmente, mientras que en el período 1994-1998 el grueso de la capacitación se concentró en el equipo técnico de MIDEPLAN, en el período 1998-2002 los esfuerzos de capacitación centraron su atención en los actores del sistema fuera de MIDEPLAN, en respuesta a la estrategia de institucionalizar una cultura de evaluación. 12 En 1999, como parte de estos esfuerzos de coordinación entre MIDEPLAN y el Ministerio de Hacienda, el equipo técnico del SINE participó en la definición de estructuras programáticas presupuestarias de los ministerios y en el plan piloto de siete instituciones descentralizadas que realizó el Ministerio de Hacienda. Las nuevas estructuras programáticas se aplicaron en la formulación del presupuesto del año 2000. 38 La estrategia adoptada para tales efectos reconocía dos tipos de usuarios: por una parte, el Presidente de la República, los ministros y presidentes ejecutivos, y los enlaces institucionales (identificados como usuarios internos); y por otra parte, los agentes presupuestarios (Ministerio de Hacienda y Contraloría General de la República), la Asamblea Legislativa, los medios de comunicación colectiva y la ciudadanía en general (identificados como usuarios externos). En términos de organización interna, la Unidad de Acciones de Gobierno se separa funcionalmente del Área de Evaluación y Seguimiento, y se conforma una unidad independiente llamada Unidad Coordinadora del SINE. En este período, aunque el Ministro de Planificación Nacional y Política Económica 13 (MIDEPLAN) apoyó el proceso, el mayor respaldo político se originó en el denominado Consejo Asesor Presidencial (CAP), que concentraba al equipo de asesores especializados del Presidente de la República. 1.2.3 Administración Pacheco de la Espriella (2002-2006): debilitamiento gradual del SINE De acuerdo con la documentación disponible en el Área de Evaluación y Seguimiento, así como con las entrevistas realizadas al personal técnico de MIDEPLAN, este período es percibido y calificado desde adentro- como la etapa de consolidación del SINE. Sin embargo, la evidencia documental y la percepción de los actores externos conducen a conclusiones contrarias. En realidad, si valoramos la dinámica interna del SINE en función de sus objetivos, se trata más bien de un período en el cual el sistema pierde su identidad, en gran medida por el impacto que tuvo la entrada en vigencia de la Ley de Administración Financiera de la República y Presupuestos Públicos, en el año 2002. También influyó el debilitamiento de la rectoría de MIDEPLAN en el proceso de evaluación de la gestión pública y, en general, de su papel protagónico en el accionar del gobierno 14 . En efecto, la Ley referida establece una vinculación entre planificación institucional, formulación presupuestaria y Plan Nacional de Desarrollo, pero sin clarificar las competencias de MIDEPLAN, del Ministerio de Hacienda y de la Contraloría General de la República en materia de evaluación de la gestión pública. En este sentido, el artículo 4 señala, de manera expresa, que todo presupuesto público deberá responder a los planes operativos institucionales anuales, de mediano y largo plazo, adoptados por los jerarcas respectivos, así como a los principios presupuestarios generalmente aceptados; además, deberá contener el financiamiento asegurado para el año fiscal correspondiente, conforme a los criterios definidos en la Ley. El Plan Nacional de Desarrollo constituirá el marco global que orientará los planes operativos institucionales, según el nivel de autonomía que corresponda de conformidad con las disposiciones legales y constitucionales pertinentes. Por otro lado, esta Ley propició que MIDEPLAN se involucrara en el proceso de evaluación de la ejecución presupuestaria, tema que de acuerdo con los principios constitucionales es competencia exclusiva tanto del Ministerio de Hacienda como de la Contraloría General de la República, según su ámbito de competencia. Al respecto, la Ley incluye una sección sobre el control y evaluación del presupuesto de la República, y por medio de su artículo 52 establece que MIDEPLAN remitirá a la Contraloría General de la República, a más tardar el 1° de marzo de cada año, el informe final sobre los resultados de la ejecución del presupuesto, el cumplimiento de las metas, los objetivos, las prioridades y acciones estratégicas del Plan Nacional de Desarrollo y su aporte al desarrollo económico-social del país. 13 Durante la administración Rodríguez Echeverría se registraron varios cambios sucesivos en la cartera de MIDEPLAN. Fungieron como ministros Roberto Tovar y Danilo Chavarri, este último actuando además como Ministro de la Presidencia. 14 Durante la administración Pacheco de la Espriella (2002-2006), MIDEPLAN tuvo tres ministros: Danilo Chaverri, la Vicepresidenta de la República, Linneth Saborío, y Jorge Polinaris. 39 En este contexto, durante la administración Pacheco de la Espriella, MIDEPLAN abandona la aplicación de los Compromisos de Resultados (CDR) como principal instrumento de monitoreo y evaluación de las acciones estratégicas del PND. En su lugar, dadas las nuevas competencias y la relevancia que adquiere el Plan Anual Operativo (PAO) como mecanismo articulador de la planificación y el presupuesto con el PND, se toma la decisión de incorporar, como parte de los lineamientos generales que orientan la elaboración de los PAO, la responsabilidad de cada entidad pública de preparar una Matriz de Desempeño Institucional (MDI) de acuerdo con la metodología del SINE. Dentro de este marco general se dicta el Decreto Ejecutivo Nº 31165-H-PLAN, del 8 de abril de 2003, por medio del cual se establece el documento denominado “Lineamientos técnicos y metodológicos a seguir por los ministerios y entidades públicas en la elaboración del Plan Anual Operativo 2004. Estructura básica del Plan Anual Operativo Institucional (PAO)”. Este Decreto reconoce que la Ley referida establece la obligación a MIDEPLAN de controlar y evaluar la ejecución presupuestaria con base en el cumplimiento de las metas, los objetivos, las prioridades y las acciones estratégicas del Plan Nacional de Desarrollo y su aporte al desarrollo económico-social del país, para posterior conocimiento de la Contraloría General de la República. Lo anterior de conformidad con el Decreto Ejecutivo Nº 31090-H, del 11 de marzo de 2003, que en su artículo 14 establece que MIDEPLAN debe dictar, en coordinación con el Ministerio de Hacienda, los lineamientos técnicos y metodológicos que deben seguir los ministerios y entidades públicas en la elaboración del PAO 2004, el cual será el instrumento para el seguimiento y la evaluación del PND y para la formulación del presupuesto de 2004. En este contexto, el SINE comienza a gravitar alrededor de las obligaciones establecidas en la Ley de Administración Financiera y Presupuestos Públicos. Por ello, aunque en la documentación oficial se indica que el SINE amplió su cobertura a cerca de 100 entidades públicas, se identifica una serie de elementos que confirman el debilitamiento de la identidad del SINE, dados los objetivos de su creación: · MIDEPLAN se involucra en el proceso de evaluación de la ejecución presupuestaria. · La nueva Ley, en vez de clarificar las competencias de MIDEPLAN, el Ministerio de Hacienda y la Contraloría General de la República en materia de evaluación de la gestión pública, se propicia un traslape de funciones. · El énfasis del proceso de evaluación es el control y evaluación de la ejecución presupuestaria. · A pesar de la aparente coordinación interinstitucional, el Plan Anual Operativo (PAO) se convirtió en la suma horizontal de los requerimientos de cada una de las instituciones involucradas: a) la Matriz de Desempeño Institucional (MDI) solicitada por MIDEPLAN; b) la Matriz de Desempeño Programático (MDP) requerida por el Ministerio de Hacienda; y c) la Matriz de Desempeño Programático Específico (MDPE) que pedía la Contraloría General de la República (CGR). · MIDEPLAN perdió el control y el liderazgo del proceso de evaluación de la gestión pública, en los términos en que fue concebido el SINE. · El rol estratégico de MIDEPLAN dentro del accionar gubernamental también se debilita. · La Contraloría General de la República se convierte en el principal usuario de los informes que generan tanto MIDEPLAN como el Ministerio de Hacienda, toda vez que la Ley de Administración Financiera le otorga además la facultad de dictaminar y remitir a la Asamblea Legislativa los informes de evaluación de resultados. 40 · Aunque el SINE continúa generando informes sobre la evaluación del PND, no se advierte que estos informes fueran un insumo valorado por la Presidencia de la República para apoyar el proceso de toma de decisiones. · Se pasó de un escenario en el cual el SINE daba seguimiento y evaluaba las acciones estratégicas incluidas en el CDR, a un escenario en el cual el SINE daba seguimiento a un número prácticamente inmanejable de acciones estratégicas. · Se debilitó el proceso de “evaluación estratégica” y el SINE comienza a realizar, aunque no de manera consciente, las acciones de autoevaluación institucional que son competencia de cada institución. · El proceso de monitoreo y evaluación fue perdiendo sentido estratégico y rigurosidad, no sólo por la cantidad de acciones incorporadas, sino porque se establecieron procedimientos para realizar ajustes en las metas incluidas en la Matriz de Desempeño Institucional (MDI), en la escala de valoración y en el peso relativo de las acciones estratégicas evaluadas. En síntesis, durante la administración Pacheco de la Espriella se registra una ruptura en el proceso de desarrollo y evolución del SINE respecto a los objetivos de su creación. Se trata de un período en el cual el SINE pierde su propia identidad, a pesar que desde adentro no se percibe como tal. Al finalizar la administración, el SINE se encontraba inmerso en un ejercicio de monitoreo y evaluación de alrededor de 800 acciones estratégicas. Por otro lado, la nueva legislación tampoco generó, como se esperaba, mejoras sustantivas en lo que respecta a la coordinación entre MIDEPLAN, el Ministerio de Hacienda y la Contraloría General de la República. Una de las principales críticas (queja) por parte de las unidades ejecutoras se relaciona precisamente con la ausencia de coordinación y con los múltiples reportes y matrices que deben preparar a lo largo del año. Paradójicamente, desde MIDEPLAN, Hacienda y Contraloría se percibe como un logro la coordinación interinstitucional que lleva a la formulación conjunta de los lineamientos para la formulación del Plan Anual Operativo (PAO). En este contexto de debilitamiento gradual del SINE, no percibido desde adentro, da inicio la administración Arias Sánchez. 1.2.4 Administración Arias Sánchez (2006-2010): rediseño y renovación del SINE La nueva administración propuso un cambio en la organización del gobierno, promulgando para tales efectos del Decreto Ejecutivo Nº 33151-MP, por medio del cual establece el Reglamento Orgánico del Poder Ejecutivo. En efecto, en su artículo primero establece la integración del Poder Ejecutivo en los siguientes términos: “Artículo 1. Integración del Poder Ejecutivo. 1. El Poder Ejecutivo estará integrado por los siguientes órganos: la Presidencia de la República; el Consejo de Gobierno; los Consejos Sectoriales; el Poder Ejecutivo propiamente dicho y los Ministerios. 2. El Poder Ejecutivo propiamente dicho lo formarán el Presidente de la República y el Ministro del ramo. 3. El Consejo de Gobierno estará constituido por el Presidente de la República y los Ministros, con o sin cartera, o en su caso, los Viceministros en ejercicio. 41 4. Los Consejos Sectoriales estarán integrados por los Ministros rectores del respectivo sector y los jerarcas administrativos de las instituciones descentralizadas que formen parte de él. 5. Los Ministerios estarán integrados por los Ministros y los Viceministros técnicos necesarios para la mejor atención de sus despachos”. Con este Decreto, la administración Arias Sánchez promueve el fortalecimiento de las rectorías sectoriales y MIDEPLAN redefine los lineamientos y la metodología para la formulación del Plan Nacional de Desarrollo. Dentro de este nuevo enfoque, en enero de 2007, Kevin Casas Zamora, Segundo Vicepresidente de la República y Ministro de Planificación Nacional y Política Económica, hizo la presentación formal del Plan Nacional de Desarrollo 2006-2010. Al respecto, como lo señalan las autoridades de MIDEPLAN, este plan se construyó con sentido estratégico, que responde al esquema sectorial propuesto por la Presidencia de la República, con el fin de mejorar la coordinación interinstitucional y construir una visión común e integrada del accionar del gobierno, para mejorar su eficacia y su eficiencia y garantizar una mejor asignación de los recursos públicos. El plan fue construido a partir de las acciones estratégicas ordenadas según las prioridades definidas por cada ministro rector de sector. El plan fue estructurado en función de cinco ejes: política social, política productiva, política ambiental, reforma institucional y política exterior, alrededor de los cuales se articulan las grandes metas nacionales y se agrupan los 15 sectores establecidos en el Reglamento de Organización del Poder Ejecutivo. Como parte integral de la nueva propuesta metodológica del PND 2006-2010, el Presidente de la República y los ministros rectores suscriben un Contrato con la Ciudadanía para el período 20072010, con el objetivo de mejorar la gestión pública y la atención de las demandas de la población, en respuesta al artículo 11 de la Constitución Política relacionado con la evaluación de los resultados y la rendición de cuentas, como instrumentos para promover el uso racional, estratégico y transparente de los recursos públicos. De acuerdo con las autoridades de MIDEPLAN, este Contrato con la Ciudadanía es un compromiso del más alto nivel político, en el cual se incluyen las acciones estratégicas que son responsabilidad exclusiva del gobierno, considerando que no dependen de reformas legales ni del accionar de otros actores para su cumplimiento. El Plan Nacional de Desarrollo 2006-2010 contempla la firma de Contratos con la Ciudadanía en los siguientes sectores: · · · · · · · · · · · · · · · Ambiente, Energía y Telecomunicaciones. Ciencia y Tecnología. Comercio Exterior. Coordinación Gubernamental. Cultura. Educación. Financiero. Infraestructura y Transporte. Política Exterior. Productivo. Salud. Seguridad Ciudadana y Prevención del Delito. Social y Lucha contra la Pobreza. Trabajo y Seguridad Social. Turismo. 42 En este contexto, las nuevas autoridades de MIDEPLAN se proponen rediseñar y renovar el Sistema Nacional de Evaluación, con el fin de ajustarlo a las necesidades actuales. En este sentido, reconocen y asumen el Sistema Nacional de Evaluación (SINE) como el instrumento que utiliza el gobierno, bajo la rectoría de MIDEPLAN, para evaluar las acciones estratégicas del PND, con el propósito de promover la rendición de cuentas y el mejoramiento de la gestión pública. En sus aspectos administrativos, el SINE se mantiene a cargo del Área de Evaluación y Seguimiento, la cual tiene las siguientes funciones: · Evaluar la efectiva ejecución de las acciones estratégicas del PND, pidiendo cuentas a los órganos y entes de la administración pública, en relación con el cumplimiento de las metas y prioridades establecidas. · Proponer y velar porque se den los procesos de evaluación, necesarios para adecuar las instituciones públicas tanto al cumplimiento de sus propios objetivos como a las más modernas concepciones de una administración pública socialmente eficiente, que combine los conceptos de efectividad y costo, calidad y cobertura idónea. · Evaluar los procesos de elaboración y aprobación de los planes institucionales de manera que en ambos se reflejen las prioridades contenidas en el Plan Nacional de Desarrollo. Para el cumplimiento de sus funciones, por medio del Decreto Ejecutivo Nº 33206-PLAN del 7 de julio de 2006 se modifica la organización interna del Área de Evaluación y Seguimiento. Se establecen dos unidades o departamentos: · Unidad de Acciones Estratégicas. Le corresponde diseñar e implementar metodologías de evaluación y seguimiento de los programas y proyectos prioritarios, incorporados en los planes sectoriales que conforman el Plan Nacional de Desarrollo. Además, tiene la responsabilidad de promover actividades de capacitación en los grupos institucionales de trabajo que participan en el seguimiento y evaluación del Plan Nacional de Desarrollo. · Unidad de Acciones Institucionales. Le corresponde diseñar e implementar metodologías de autoevaluación en las instituciones que ejecutan programas y proyectos vinculados con las prioridades establecidas en el Plan Nacional de Desarrollo, y efectúa estudios de verificación de resultados y seguimiento de dichos planes y proyectos. También se encarga de definir los lineamientos técnicos y metodológicos para la elaboración de los Planes Anuales Operativos (PAO) de las instituciones del sector público, en coordinación con el Ministerio de Hacienda y la Contraloría General de la República. En lo que respecta al proceso de monitoreo y evaluación del PND, las nuevas autoridades confirman que el proceso de seguimiento se llevará a cabo utilizando como base la metodología del SINE. Sin embargo, advierten la necesidad de adaptar los instrumentos de programación, seguimiento y evaluación, con el fin de aplicarlos a nivel nacional, sectorial e institucional. Unido a lo anterior, establece que el Área de Evaluación y Seguimiento deberá desarrollar mecanismos e instrumentos de verificación de los reportes remitidos por las instituciones. Lo anterior servirá de base para dar seguimiento al cumplimiento de las metas establecidas en el PND. Además, dentro del nuevo esquema propuesto se establece que: · Las actividades de seguimiento serán competencia de las oficinas o unidades de planificación de las instituciones, cuyos programas o proyectos estén vinculados con las acciones estratégicas del PND 2006-2010. Se trata, consecuentemente, de un proceso de autoevaluación. 43 · La evaluación estratégica del PND se realizará a nivel nacional, sectorial e institucional. Se propone la evaluación de productos como base, para evaluar posteriormente el efecto y el impacto de los mismos. En este contexto, con el propósito de promover la rendición de cuentas interna y externa, el gobierno tomó la decisión de aplicar un instrumento complementario, denominado “Contrato con la Ciudadanía”, que comprende el conjunto de acciones estratégicas y metas plasmadas en el PND que son responsabilidad exclusiva del gobierno. Se trata de un documento suscrito entre el Presidente de la República y el ministro rector de cada sector. Este acuerdo lo firman, como garantes, el Ministro de la Presidencia, el Ministro de Planificación Nacional y Política Económica y el Ministro de Hacienda. Por la naturaleza del Contrato con la Ciudadanía, cada ministro rector tiene la responsabilidad de coordinar el seguimiento de la ejecución de las acciones estratégicas. Este proceso de seguimiento será clave para conocer el grado de avance en el cumplimiento de las metas sectoriales y tomar decisiones oportunas en caso de que se detecten atrasos o desvíos. Se establece que para evaluar este proceso se utilizarán diversas metodologías con sus respectivos instrumentos, según el tipo de programa o proyecto. El Área de Evaluación y Seguimiento emitirá lineamientos sobre las características de la información que se incluirá en los instrumentos, con el fin de lograr una buena programación y garantizar que los programas y proyectos sean evaluables. Además, se propone utilizar instrumentos complementarios que aporten información adicional relacionada con los programas y proyectos incluidos en el PND, tales como cronogramas de actividades, matrices de programación, medios de verificación, entre otros. El proceso de seguimiento y evaluación, como se puede apreciar en la Figura Nº 8, consta de cuatro etapas relacionadas. Nótese que prevalece el uso de los Planes Anuales Operativos (PAO) como marco de referencia para la evaluación del PND. La primera etapa se relaciona con la promulgación de los lineamientos metodológicos para la elaboración de la estructura del Plan Anual Operativo (PAO) de las entidades públicas, ministerios y demás órganos, que sirven de base para la formulación de los respectivos presupuestos y para el seguimiento y evaluación de la gestión institucional y del Plan Nacional de Desarrollo. Los lineamientos los define la Comisión Interinstitucional formada por MIDEPLAN, el Ministerio de Hacienda y la Contraloría General de la República. Por parte de MIDEPLAN participan los coordinadores de las Áreas de Evaluación y Seguimiento y de Análisis del Desarrollo. A partir del año 2007, las nuevas autoridades de MIDEPLAN introdujeron cambios sustantivos en la metodología de monitoreo y evaluación de las acciones estratégicas del PND. En este sentido, la denominada Matriz de Desempeño Institucional (MDI) fue transformada en su estructura interna, eliminando la escala de valoración y las ponderaciones, incorporando además una vinculación entre las acciones estratégicas del PND y las correspondientes acciones estratégicas a nivel institucional. Esta nueva matriz se denomina Matriz Anual de Programación Institucional (MAPI) y se convierte en el instrumento de MIDEPLAN para realizar el monitoreo y evaluación de las acciones estratégicas del PND. La segunda etapa, relacionada con el dictamen de vinculación que debe emitir MIDEPLAN, se sustenta en el artículo 4 de la Ley de Administración Financiera de la República y Presupuestos Públicos, el cual establece que todo presupuesto público debe responder a los planes operativos institucionales, cuya formulación estará orientada por el Plan Nacional de Desarrollo. Se trata, fundamentalmente, de una revisión que realiza MIDEPLAN con el fin de determinar si el plan preparado por cada entidad incorpora las políticas, acciones, objetivos, indicadores y metas definidas en el PND. 44 Figura Nº 8 Ciclo de evaluación del SINE con base en los PAO 1 2 3 4 Emisión de lineamientos metodológicos para la elaboración de los PAO Vinculación de los PAO con el PND Seguimiento de los PAO (semestral) Evaluación de los PAO (anual) 1 MIDEPLAN y el Ministerio de Hacienda emiten los lineamientos metodológicos para orientar la elaboración de los Planes Anuales Operativos ´ Institucionales (PAO). Son de acatamiento obligatorio para las instituciones. 2 Las instituciones envían los PAO a MIDEPLAN para que emita el dictamen de vinculación, el cual consiste en verificar la inclusión de las acciones estratégicas y las metas del PND. Se realiza el año anterior a su ejecución. 3 Las instituciones presentan el informe semestral de seguimiento, con corte el 31 de junio de cada año. Luego MIDEPLAN prepara el informe que debe presentar a los órganos y entes competentes del Sistema de Administración Financiera de la República. 4 Las instituciones presentan el informe anual de evaluación, con corte al 31 de diciembre de cada año. Luego MIDEPLAN prepara el informe de evaluación que presenta al Poder Ejecutivo y a la Comisión de Control de Ingreso y Gasto Público de la Asamblea Legislativa. Fuente: MIDEPLAN. Es importante destacar que la preparación del Plan Anual Operativo institucional se realiza durante el primer semestre del año anterior, y el dictamen de vinculación emitido por MIDEPLAN constituye un requisito que el Ministerio de Hacienda solicita para la tramitación del presupuesto institucional correspondiente. La tercera etapa se relaciona con el proceso de seguimiento, el cual se realiza en acatamiento a lo establecido en el artículo 55 de la Ley de Administración Financiera y Presupuestos Públicos, que expresa la responsabilidad institucional de presentar informes periódicos y finales de evaluación física y financiera de la ejecución de los presupuestos, así como los informes de gestión, resultados y rendición de cuentas. No obstante lo anterior, a pesar de que la Ley de Administración Financiera habla de evaluación por resultados, evaluación de la ejecución presupuestaria, evaluación física y financiera, así como de evaluación del impacto social y económico, en realidad los informes preparados tanto por MIDEPLAN como por el Ministerio de Hacienda se limitan fundamentalmente a la verificación del grado de cumplimiento de las metas establecidas. No se puede afirmar que se realice, en sentido estricto, un proceso de evaluación como el sugerido. El propósito del proceso de seguimiento es medir el grado de avance logrado en el cumplimiento de las acciones y metas institucionales vinculadas al PND. Este proceso, por su naturaleza, permite 45 identificar aquellas acciones estratégicas en las cuales se registran atrasos que pudieran comprometer el cumplimiento de las metas al final del año, generando información para introducir medidas correctivas. Con base en las matrices de seguimiento institucional, MIDEPLAN elabora un informe que remite a los jerarcas de los órganos componentes del Sistema de Administración Financiera del Sector Público 15 . Por último, la etapa de evaluación de los resultados de los PAO responde básicamente a la obligación que tiene MIDEPLAN de remitir a la Contraloría General de la República, cada primero de marzo, un informe final sobre la ejecución del PND y su aporte al desarrollo económico y social, de acuerdo con lo establecido en el artículo 52 de la Ley de Administración Financiera y Presupuestos Públicos. El proceso de evaluación de la ejecución presupuestaria consiste en valorar los resultados físicos y financieros obtenidos por el órgano u ente receptivo, sobre la base de los objetivos y metas programadas. Para tal efecto, se consideran los principios de eficiencia, eficacia, economía y calidad de los distintos programas y servicios públicos, así como los indicadores que se hubieran definido para medir los resultados de la gestión institucional y lograr la transparencia en la rendición de cuentas (Decreto Nº 32988-H-MP-PLAN). La evaluación se realiza con base en la metodología e instrumentos definidos por la Dirección General de Presupuesto Nacional, la Secretaría Técnica de la Autoridad Presupuestaria y MIDEPLAN. Actualmente se utiliza una matriz donde las instituciones reportan los resultados de las acciones estratégicas y la ejecución presupuestaria de cada acción; la información se compara con las metas previstas en el Plan Nacional de Desarrollo para determinar el grado e avance en el cumplimiento de objetivos y metas de éste. Con base en las matrices de evaluación institucional, MIDEPLAN elabora un informe que remite a la Contraloría General de la República, a los jerarcas de los órganos componentes del Sistema de Administración Financiera del Sector Público, a las instancias correspondientes del Poder Ejecutivo y a la Comisión Permanente Especial para el Control del Ingreso y el Gasto Públicos de la Asamblea Legislativa. A manera de síntesis y cierre de este apartado, la Figura Nº 9 presenta la valoración expuesta sobre la línea cronológica de desarrollo y evolución del Sistema Nacional de Evaluación de Costa Rica. En cada caso se especifican algunos de los elementos que marcaron la dinámica del SINE en cada administración. 15 En la página web de MIDEPLAN (http://www.mideplan.go.cr) se pueden consultar los informes de seguimiento generados en el marco del SINE, así como los informes finales presentados por MIDEPLAN a la Contraloría General de la República. 46 Figura Nº 9 Evolución cronológica del SINE Ley 8131 Cambio en PND Administración 1994 - 1998 Administración 1998 -2002 Administración 2002 -2006 Administración 2006 - 2010 Diseño y experimentación Extensión y consolidación Debilitamiento gradual Renovación y rediseño SINE: dinámica propia. SINE: Gira alrededor de la Ley 8131. Se crea el Área de Evaluación y Seguimiento. Énfasis en el PAO. Se abandona la aplicación de los CDR. Experimentación, extensión y consolidación de la metodología y aplicación de los CDR. Se debilitan los procesos de desarrollo, capacitación e investigación. Desarrollo conceptual, capacitación e investigación. Mayor uso de Informes de Evaluación por la Presidencia de la República. Divulgación y promoción del SINE. SINE: en transición. PND: incorpora enfoque sectorial. Se suscriben: Contratos con la Ciudadanía (sectoriales). Énfasis en informes para la CGR. Se restituye el proceso de evaluación estratégica. Traslape de competencias entre MIDEPLAN - MH - CGR. Se mantienen metodologías SINE. Énfasis en ejecución y control presupuestario. Se transforma la MDI en la MAPI. 1.3 Normativa La Ley de Planificación Nacional, Nº 5525 del 2 de mayo de 1974, constituye el sustento del Sistema Nacional de Evaluación de Costa Rica, considerando que se trata del instrumento jurídico por medio del cual el Estado costarricense otorga a MIDEPLAN la facultad de dar seguimiento y evaluar el Plan Nacional de Desarrollo (PND). No obstante lo anterior, el Sistema Nacional de Evaluación (SINE) se enmarca dentro de un contexto jurídico mucho más amplio y complejo. A continuación las referencias legales más relevantes que, en el caso de Costa Rica, involucran a MIDEPLAN, al Ministerio de Hacienda (MH) y a la Contraloría General de la República. 1.3.1 Constitución Política El desarrollo de sistemas de monitoreo y evaluación de la gestión pública está relacionado estrechamente con el proceso de formulación presupuestaria. Por ello, en el caso de Costa Rica, hay que partir del reconocimiento de que la Constitución Política establece los principios básicos que guían la formulación y la aprobación del presupuesto, tanto de la administración central como de la administración descentralizada (entidades autónomas, semi autónomas y gobiernos locales). En lo esencial, se advierten dos procesos distintos, con reglas del juego diferentes: · El Poder Ejecutivo, por medio del Ministerio de Hacienda, es el responsable de formular el Presupuesto General de la República (administración central) y remitirlo a la Asamblea Legislativa para su aprobación. Este presupuesto contempla los recursos para el financiamiento del Poder 47 Ejecutivo 16 , del Poder Judicial, del Poder Legislativo y sus órganos auxiliares 17 , así como del Tribunal Supremo de Elecciones. Lo anterior de conformidad con lo establecido en los artículos 121 y 140 de la Constitución Política, así como en el capítulo I (artículos 176 al 182) del Título XIII, relacionado con el funcionamiento de la Hacienda Pública. · Por su parte, le corresponde a la Contraloría General de la República, como órgano auxiliar de la Asamblea Legislativa, orientar la formulación del presupuesto, así como aprobar o improbar el plan de gastos de las entidades autónomas, semi autónomas y los gobiernos locales (administración descentralizada), de conformidad con lo establecido en los artículos 175 y 184 de la Constitución Política. En ambos casos, la programación y ejecución es anual, cubriendo el período comprendido del 1° de enero al 31 de diciembre de cada año. Sin embargo, en lo que respecta a su ejecución, conviene llamar la atención sobre dos aspectos relacionados que, por su naturaleza, determinan la flexibilidad y discrecionalidad de las entidades públicas en el proceso de toma de decisiones: · Sólo el presupuesto de la administración central requiere de debate y aprobación legislativa. Implica que sólo el presupuesto de la administración central debe enfrentarse al control político previo de los partidos políticos representados en la Asamblea Legislativa. Asimismo, que su aprobación como ley de la República implica que cualquier modificación presupuestaria sustantiva o, en su defecto, la incorporación de recursos adicionales, supone necesariamente la tramitación y aprobación de una nueva ley de presupuesto “extraordinario”. · La Contraloría General de la República que es el órgano responsable de la vigilancia y fiscalización de la Hacienda Pública, al mismo tiempo es la instancia que orienta la formulación y aprobación del presupuesto de la administración descentralizada, actuando en cierta medida como juez y parte. Por otro lado, mediante la Ley Nº 8003 del 8 de junio de 2000, la Asamblea Legislativa reformó el artículo 11 de la Constitución Política, con el propósito de incorporar la evaluación por resultados y la rendición de cuentas como principios inspiradores de una gestión pública más transparente y democrática. El artículo 11 constitucional señala de manera expresa lo siguiente: “Artículo 11. Los funcionarios públicos son simples depositarios de la autoridad. Están obligados a cumplir los deberes que la ley les impone y no pueden arrogarse facultades no concedidas en ella. Deben prestar juramento de observar y cumplir esta Constitución y las leyes. La acción para exigirles la responsabilidad penal por sus actos es pública. La Administración Pública, en sentido amplio, estará sometida a un procedimiento de evaluación de resultados y rendición de cuentas, con la consecuente responsabilidad personal para los funcionarios en el cumplimiento de sus deberes. La ley señalará los medios para que este control de resultados y rendición de cuentas opere como un sistema que cubra todas las instituciones públicas”. Desafortunadamente, a pesar de la importancia que adquiere este reforma constitucional, todavía no ha sido desarrollado el marco legal requerido para su implementación. 16 Además de la Presidencia de la República, el Poder Ejecutivo del Gobierno de Costa Rica está integrado por 17 Ministerios rectores, según se indica: Ministerio de la Presidencia; Ministerio de Gobernación y Policía; Ministerio de Relaciones Exteriores y Culto; Ministerio de Salud; Ministerio de Hacienda; Ministerio de Agricultura y Ganadería; Ministerio de Economía, Industria y Comercio; Ministerio de Obras Públicas y Transportes; Ministerio de Seguridad Pública; Ministerio de Trabajo y Seguridad Social; Ministerio de Cultura, Juventud y Deportes; Ministerio de Justicia; Ministerio de Vivienda y Asentamientos Humanos; Ministerio de Comercio Exterior; Ministerio de Planificación Nacional y Política Económica; Ministerio de Ciencia y Tecnología; y Ministerio de Ambiente y Energía. 17 La Contraloría General de la República y la Defensoría de los Habitantes. 48 Complementariamente, destaca la aprobación de la Ley Nº 8004 del 22 de junio de 2000, por medio de la cual se reformó el artículo 150 de la Constitución Política, con el propósito de extender el plazo para reclamar responsabilidad de los gobernantes hasta cuatro años después de haber cesado en su cargo, en los términos en que se detalla a continuación: “Artículo 150. La responsabilidad de quien ejerce la Presidencia de la República y de los ministros de Gobierno por hechos que no impliquen delito, solo podrá reclamarse mientras se encuentren en el ejercicio de sus cargos y hasta cuatro años después de haber cesado en sus funciones”. Sin duda, se trata de una reforma que busca crear las condiciones para promover una gestión pública más transparente, de manera que los funcionarios públicos responsables de la toma decisiones al más alto nivel político, asuman como suyas las consecuencias de sus propias decisiones. No obstante lo anterior, como se presenta en la Figura Nº 10, además de la Constitución Política se identifican otras leyes complementarias que conforman el marco jurídico dentro del cual se crea y se establecen las competencias tanto de MIDEPLAN como del Sistema Nacional de Evaluación. Estas leyes establecen, además, tanto en materia presupuestaria como de evaluación, las relaciones entre la Asamblea Legislativa, la Contraloría General de la República, el Ministerio de Hacienda y MIDEPLAN. Figura Nº 10 Principales Leyes relacionadas con el SINE 1 Ley de Planificación Nacional 2 3 4 Constitución Política Ley de Administración Financiera y Presupuestos Públicos Ley Orgánica de la Contraloría General de la República 1 Facultad de MIDEPLAN de coordinar la elaboración del PND y su evaluación. Decreto N° 23323 (Área de Evaluación y Seguimiento) y Decreto N° 24175 (creación del SINE). 2 Proceso de formulación presupuestaria. Dicta potestades del Ministerio de Hacienda (administración central) y de la CGR (administración descentralizada). 3 Vincula PAO institucional al PND y al Presupuesto. Incluye un capítulo sobre evaluación por resultados de la ejecución. Lineamientos PAO realizados conjuntamente por MIDEPLAN-MH-CGR. 4 Regula el proceso de control y fiscalización de la Hacienda Pública. Sin embargo, mantiene el control de la formulación y aprobación del presupuesto de la administración descentralizada. Es el rector en materia de control externo e interno. Fuente: Elaboración propia. 49 1.3.2 Ley de Planificación Nacional La Ley de Planificación Nacional, Ley Nº 5525, promulgada el 2 de mayo de 1974, constituye el marco legal que sirve de referencia para crear, veinte años después, el Sistema Nacional de Evaluación (SINE). Como rector del Sistema Nacional de Planificación (SNP), por medio del artículo 2º se dicta la responsabilidad del Ministerio de Planificación Nacional y Política Económica (MIDEPLAN) de elaborar las políticas y los planes de desarrollo económico y social del país, someterlos a la consideración y aprobación de las autoridades correspondientes, así como evaluar de modo sistemático y permanente los resultados que se obtengan de la ejecución de planes, políticas y programas. El artículo 4º dispone que la Presidencia de la República establecerá los lineamientos de política general del Plan Nacional de Desarrollo, el cual será sometido a su consideración y aprobación en forma de planes a corto, mediano y largo plazo por MIDEPLAN. Unido a lo anterior, establece de manera expresa que MIDEPLAN tendrá la responsabilidad principal de la elaboración del Plan Nacional de Desarrollo. Para ello implantará las normas de asesoría, información y coordinación que sean necesarias con el resto del Sistema Nacional de Planificación, el cual deberá prestarle toda la cooperación técnica requerida. En función de lo anterior, los artículos 2º y 4º de la Ley de Planificación Nacional constituyen el sustento del Sistema Nacional de Evaluación (SINE), considerando que fue diseñado precisamente para monitorear y evaluar la ejecución del Plan Nacional de Desarrollo. En la misma línea, el artículo 9º otorga a MIDEPLAN la tarea de velar porque los programas de inversión pública, incluidos los de las instituciones descentralizadas y demás organismos de Derecho Público, sean compatibles con las previsiones y el orden de prioridad establecido en el PND. Por último, y por la importancia que adquiere para la reforma y modernización del Estado, conviene destacar también las atribuciones que le otorga la Ley a MIDEPLAN en lo que respecta a la promoción de la eficiencia de la administración pública. En el artículo 16 se indica que los ministerios e instituciones autónomas y semi autónomas llevarán a cabo una labor sistemática de modernización de su organización y procedimientos, a fin de aumentar la eficiencia y productividad de sus actividades y con el propósito de lograr el mejor cumplimiento de los objetivos que persigue el Sistema Nacional de Planificación. 1.3.3 Ley de Administración Financiera de la República y Presupuestos Públicos La Ley de Administración Financiera de la República y Presupuestos Públicos, Ley Nº 8131, fue promulgada con el propósito de dotar al sector público de un marco actualizado para el ordenamiento financiero y contable de las finanzas públicas. En términos generales, precisa el ámbito de acción del Ministerio de Hacienda como rector del Sistema de Administración Financiera, así como sus relaciones con el resto de la administración pública, particularmente con MIDEPLAN y con la CGR. Esta Ley, por la materia que regula, dio origen a cambios en la evolución y la dinámica del Sistema Nacional de Evaluación (SINE) a partir del año 2002, considerando que incorpora una serie de disposiciones para vincular el proceso de planificación institucional y formulación presupuestaria con el Plan Nacional de Desarrollo (PND). Asimismo, establece algunos mecanismos de coordinación entre el Ministerio de Hacienda, la CGR y MIDEPLAN, y dicta la preparación de una serie de informes que, en principio, pretenden evaluar los resultados de la gestión institucional y fortalecer el proceso de toma de decisiones. 50 Entre los aspectos relevantes que introduce esta nueva legislación destacan los siguientes: · Establece la responsabilidad de los jerarcas de toda la administración pública de conciliar el presupuesto con el correspondiente plan operativo institucional y su vinculación con prioridades establecidas en el Plan Nacional de Desarrollo (PND): “Artículo 4º. Sujeción al Plan Nacional de Desarrollo. Todo presupuesto público deberá responder a los planes operativos institucionales anuales, de mediano y largo plazo, adoptados por los jerarcas respectivos, así como a los principios presupuestarios generalmente aceptados; además, deberá contener el financiamiento asegurado para el año fiscal correspondiente, conforme a los criterios definidos en la presente Ley. El Plan Nacional de Desarrollo constituirá el marco global que orientará los planes operativos institucionales, según el nivel de autonomía que corresponda de conformidad con las disposiciones legales y constitucionales pertinentes”. · En materia de control y fiscalización, precisa las responsabilidades de los jerarcas institucionales y de la Contraloría General de la República (CGR). En este sentido, señala que la administración contará con sistemas de control interno y externo, precisando en cada caso la rectoría y las responsabilidades, según se indica a continuación: “Artículo 18. Responsabilidades de control. El control interno será responsabilidad de la máxima autoridad de cada dependencia. En los procesos donde participen dependencias diferentes, cada una será responsable de los subprocesos o actividades que le correspondan. El control externo corresponderá a la Contraloría General de la República, de acuerdo con su Ley Orgánica y las disposiciones constitucionales”. La relevancia del artículo 18 radica en que la Ley crea condiciones para reposicionar el control interno como una herramienta de gerencia pública, en aras de promover el uso racional y transparente de los recursos públicos. Es decir, a partir de normas y principios de aplicación general, cada organización podrá implementar procesos de control interno que se ajusten a su propia dinámica y necesidades, así como establecer sistemas de valoración y control del riesgo, esenciales para mejorar su capacidad de gestión. El desarrollo del modelo de control interno vigente se materializó por medio de la Ley de Control Interno, Ley Nº 8282 del 4 de septiembre del 2002. · Rescata y fortalece la figura de la Autoridad Presupuestaria 18 como órgano colegiado responsable de asesorar a la Presidencia de la República en materia presupuestaria. La Autoridad Presupuestaria está integrada por el Ministro de Hacienda o su representante, quien la preside, el Ministro de Planificación Nacional y Política Económica o su representante, y un Ministro del área social o su representante. Le corresponde, entre otras funciones, la responsabilidad de dictar los lineamientos generales y específicos en materia presupuestaria, incluyendo los aspectos relativos a los salarios, empleo público, inversión y endeudamiento, los cuales deberá remitir al Consejo de Gobierno para su debida aprobación. · Crea el Sistema de Administración Financiera bajo la rectoría del Ministerio de Hacienda, el cual se sustenta en cuatro subsistemas: Presupuesto, Contabilidad Nacional, Tesorería y Crédito Público. Además, cuenta con un sistema complementario denominado Administración de Bienes y Contratación Administrativa. En cada caso se define la rectoría y las relaciones entre el Ministerio de Hacienda y la Presidencia de la República, MIDEPLAN, la Contraloría General de la República y la Asamblea Legislativa 19 . 18 La Ley de Administración Financiera de la República y de Presupuestos Públicos excluyó la participación del Banco Central de Costa Rica en la Autoridad Presupuestaria, con el propósito de evitar la intromisión de la política monetaria en la definición de la política fiscal. También prevé la posibilidad de integrar las funciones de la Dirección General de Presupuesto y de la Autoridad Presupuestaria. 19 El marco conceptual y la estructura del Sistema de Administración Financiera de Costa Rica es similar al adoptado en otros países de la región latinoamericana, en el marco de los préstamos de ajuste del sector público 51 · Faculta al Ministerio de Hacienda, por medio del artículo 147, para definir en coordinación con la Contraloría General de la República, en lo correspondiente a sus competencias constitucionales, los mecanismos y la organización que propicien la descentralización de la ejecución del presupuesto de la República y su adecuada evaluación, en procura de la agilidad necesaria de ese proceso, con apego a la legalidad y la técnica propias de esta materia. · Por último, el subsistema de presupuesto contempla secciones específicas relacionadas con el desarrollo de los procesos de formulación, ejecución, control y evaluación del presupuesto. Sin embargo, las disposiciones en materia de evaluación son confusas y ambiguas 20 , toda vez que la Ley no precisa con claridad las competencias del Ministerio de Hacienda, la CGR y MIDEPLAN 21 . En este contexto, en vez de precisar el carácter complementario de las competencias del Ministerio de Hacienda, de MIDEPLAN y de la Contraloría General de la República, la nueva Ley N° 8131 establece en sus artículos 55 y 56 un esquema complejo de coordinación interinstitucional, basado en la elaboración y remisión cruzada de múltiples informes, pero sin que exista claridad sobre la utilidad práctica de los mismos, especialmente en lo que respecta a las implicaciones de la rendición de cuentas. “Artículo 55. Informes sobre evaluación. Las entidades y los órganos indicados en los incisos a), b), c) y d) del artículo 1º de esta Ley, presentarán los informes periódicos y finales de evaluación física y financiera de la ejecución de los presupuestos, así como los informes de gestión, resultados y rendimiento de cuentas, conforme a las disposiciones tanto del Ministerio de Hacienda y el Ministerio de Planificación Nacional y Política Económica como de la Contraloría General de la República, para los efectos de evaluar el sector público”. “Artículo 56. Resultados de la evaluación. El Ministerio de Hacienda y el Ministerio de Planificación Nacional y Política Económica, deberán evaluar los resultados de la gestión institucional para garantizar tanto el cumplimiento de objetivos y metas como el uso racional de los recursos públicos. Asimismo, elaborarán y presentarán, a las instancias correspondientes del Poder Ejecutivo y a la Comisión Permanente Especial para el Control del Ingreso y el Gasto Públicos de la Asamblea Legislativa, informes periódicos sobre los resultados de la evaluación realizada según el artículo anterior, de conformidad con la materia de su competencia; todo sin perjuicio de las atribuciones correspondientes a la Contraloría General de la República, en materia de fiscalización superior de la Hacienda Pública. Además, ambos Ministerios elaborarán conjuntamente un informe de cierre del ejercicio presupuestario y lo presentarán a la Autoridad Presupuestaria para que lo conozca y proponga recomendaciones al Presidente de la República. Todos los informes de evaluación generados por la Administración estarán a disposición de la Contraloría para los efectos del cumplimiento de sus atribuciones”. A pesar de lo anterior, la Ley de Administración Financiera, en su artículo 32, limita el ámbito de acción del Ministerio de Hacienda, por medio de la Dirección General de Presupuesto Nacional, a la evaluación de la ejecución presupuestaria; incluida la tarea de elaborar y dictar, junto con la Contraloría General de la República, los criterios y lineamientos generales que informen las normas técnicas del proceso de programación, presupuestación y evaluación presupuestaria del sector público, así como controlar y evaluar la ejecución parcial y final de los planes y presupuestos de la financiados por el Banco Interamericano de Desarrollo (BID). Al respecto, aunque el sistema busca promover la evaluación de los resultados y la rendición de cuentas, prevalece un enfoque centralista, que enfatiza en la evaluación presupuestaria y el control. 20 Véase Ley Nº 8131 del 4 de septiembre de 2001, Título V, Subsistema de Presupuesto. 21 Por ejemplo, el artículo 52 asigna a MIDEPLAN la responsabilidad de preparar y presentar a la CGR un informe sobre los resultados de la ejecución presupuestaria, estableciéndole obligaciones en un campo que es competencia exclusiva del Ministerio de Hacienda. 52 administración central, aplicando los principios de esta Ley, su reglamento y las normas técnicas pertinentes. 1.3.4 Ley Orgánica de la Contraloría General de la República El proceso de diseño e implementación del Sistema Nacional de Evaluación coincidió con la aprobación de una nueva Ley Orgánica de la Contraloría General de la República Nº 7428, del 22 de agosto de 1994 22 . Como señala el artículo 1°, su ámbito de acción está delimitado al control y fiscalización de la legalidad. A pesar de que su misión fundamental es el control y la fiscalización de la Hacienda Pública 23 , también la Contraloría participa en el proceso presupuestario en cumplimiento de las competencias constitucionales delegadas en esta materia, de conformidad con lo establecido en el artículo 184 de la Constitución Política, en el sentido de que le corresponde examinar, aprobar o improbar los presupuestos de las municipalidades e instituciones autónomas, y fiscalizar su ejecución y liquidación. Lo anterior implica que MIDEPLAN debe coordinar la tarea de vincular el SINE con el presupuesto, también con la Contraloría General de la República, aun cuando en su Ley Orgánica se indica que los fines primordiales del ordenamiento de control y fiscalización superiores, serán “garantizar la legalidad y la eficiencia de los controles internos y del manejo de los fondos públicos en los entes sobre los cuales tiene jurisdicción la Contraloría General de la República, de conformidad con esta Ley” (artículo 11, Ley Nº 7428 del 22 de agosto de 1994). 1.4 Financiamiento y sostenibilidad Desde su creación, en el año 1994, las actividades desarrolladas en el marco del Sistema Nacional de Evaluación, en lo fundamental, han sido financiadas con recursos propios, mediante el presupuesto de MIDEPLAN, toda vez que la cooperación externa, como se presenta en la Figura Nº 11, ha sido reducida, puntual y de carácter complementario. No obstante lo anterior, particularmente durante la administración Figueres Olsen (1994-1998), MIDEPLAN contó con la asistencia técnica del BID, por medio de la Oficina de Evaluación (EVO), destacada en Washington. El principal aporte de la cooperación técnica proveniente del BID la podemos resumir de la siguiente manera: 22 En ella se deroga la Ley Orgánica de la Contraloría General de la República N° 1252, del 23 de diciembre de 1950. 23 La Hacienda Pública estará constituida por los fondos públicos, las potestades para percibir, administrar, custodiar, conservar, manejar, gastar e invertir tales fondos y las normas jurídicas, administrativas y financieras, relativas al proceso presupuestario, la contratación administrativa, el control interno y externo, y la responsabilidad de los funcionarios públicos. Respecto a los entes públicos no estatales, las sociedades con participación minoritaria del sector público o las entidades privadas, únicamente formarán parte de la Hacienda Pública los recursos que administren o dispongan, por cualquier título, para conseguir sus fines y que hayan sido transferidos o puestos a su disposición, mediante norma o partida presupuestaria, por los Poderes del Estado, sus dependencias y órganos auxiliares, el Tribunal Supremo de Elecciones, la administración descentralizada, las universidades estatales, las municipalidades y los bancos del Estado. Los recursos de origen distinto de los indicados no integran la Hacienda Pública; en consecuencia, el régimen jurídico aplicable a esas entidades es el contenido en las Leyes que las crearon o los ordenamientos especiales que las regulan. El patrimonio público será el universo constituido por los fondos públicos y los pasivos a cargo de los sujetos componentes de la Hacienda Pública. Serán sujetos componentes de la Hacienda Pública, el Estado y los demás entes u órganos públicos, estatales o no, y las empresas públicas, así como los sujetos de Derecho Privado, en cuanto administren o custodien fondos públicos por cualquier título, con las salvedades establecidas en el párrafo anterior” (artículo 8°, así reformado por la Ley Nº 8131 del 4 de septiembre de 2001). 53 · Acceso a información estratégica sobre las experiencias internacionales y regionales más exitosas del momento en materia de Gestión Pública por Resultados. Específicamente, los esfuerzos realizados en Estados Unidos, Canadá, Australia, Nueva Zelanda, Inglaterra, Colombia, Argentina, Chile y Brasil. · Por medio de la Representación del BID en Washington se financiaron consultorías de corta duración (no más de una semana) con el fin de atender las necesidades puntuales relacionadas con el desarrollo del marco conceptual y metodológico 24 . A este proceso de consultorías de corta duración se unió también el Banco Mundial 25 . · A través de la Representación del BID en Costa Rica se diseñó y financió un programa de cooperación técnica intra-regional 26 , que permitió al equipo técnico de MIDEPLAN realizar pasantías para conocer experiencias regionales específicas: Canadá, Argentina, Colombia, Chile y Brasil. Figura Nº 11 Financiamiento y sostenibilidad del SINE 1 2 3 4 Administración Figueres Olsen (1994 – 1998) Administración Rodríguez Echeverría (1998 – 2002) Administración Pacheco de la Espriella (2002 – 2006) Administración Arias Sánchez (2006 – 2010) 1 Apoyo Técnico de la Oficina de Evaluación (EVO) del BID/Washington. Apoyo Técnico de la Representación del BID/CR: cooperación intra-regional. Apoyo Técnico del Banco Mundial - PNUD (divulgación). 2 Préstamo de asistencia técnica reembolsable CR/BID. Capacitación. Divulgación. Sistema de Información. Recursos Humanos. 3 Se debilitó la participación de los organismos que venían apoyando el proceso. BID - Componentes Financieros/Reforma Fiscal. Tres ministros de Hacienda y tres ministros de Planificación. 4 Decisión de autoridades de fortalecer proceso de evaluación del PND y la rendic. de cuentas. PND 2006-2010 tiene un capítulo específico referido a su evaluación. Contratos con la Ciudadanía y cambios metodológicos. En busca de apoyo para el cambio. El financiamiento del SINE, desde su creación, se ha realizado fundamentalmente con recursos propios. El personal técnico que conforma el Área de Evaluación y Seguimiento de MIDEPLAN, en su gran mayoría, son funcionarios de planta. La cooperación internacional, en general, ha sido puntual y complementaria. Posteriormente, durante la administración Rodríguez Echeverría, MIDEPLAN contó con recursos externos complementarios, incorporados dentro de un préstamo de cooperación técnica reembolsable, 24 En especial, la asesoría de consultores independientes que participaron en su oportunidad en el desarrollo del Sistema Nacional de Evaluación de Colombia, denominado SINERGIA. 25 El apoyo del Banco Mundial jugó un papel importante durante la fase de diseminación del SINE, específicamente en el financiamiento de seminarios abiertos a todo público. En estas actividades participaron expertos internacionales que contribuyeron a posicionar los temas de evaluación y rendición de cuentas como instrumentos para promover cambios en la cultura pública. 26 A finales de la administración Figueres Olsen, el SINE se había convertido en una experiencia pionera en la región centroamericana y se comienza a dar un intercambio con países interesados en desarrollar su propio modelo, como fue el caso de El Salvador y de Honduras. 54 negociado entre el gobierno de Costa Rica y el BID, para la continuación de reformas en áreas estratégicas. En este préstamo MIDEPLAN acordó con el Ministerio de Hacienda la inclusión de recursos para promover el proceso de extensión del SINE y la institucionalización de una cultura pública centrada en la gestión por resultados y la rendición de cuentas. Estos recursos permitieron financiar las actividades desarrolladas por la administración Rodríguez Echeverría, según se detalló en el apartado sobre la evolución cronológica del SINE. No obstante lo anterior, en términos generales, el diseño y funcionamiento del SINE se ha sustentado en el uso de recursos propios, de modo que su institucionalización y sostenibilidad no ha estado supeditada ni a la disponibilidad ni al acceso a recursos externos. El financiamiento del Área de Evaluación y Seguimiento, así como del equipo técnico, se realiza con recursos propios, garantizados por medio del presupuesto anual remitido para su aprobación a la Asamblea Legislativa. El personal que trabaja en el Área de Evaluación y Seguimiento, en su gran mayoría, son funcionarios de planta, situación que garantiza en cierta medida la existencia de una memoria institucional que no se ve afectada a pesar de los cambios de gobierno. 55 II. ORIENTACIÓN FUNCIONAL DEL SISTEMA Y NATURALEZA DE SUS HERRAMIENTAS El desarrollo de este capítulo implica partir del reconocimiento de que actualmente el SINE se encuentra en una etapa de transición. Aunque las nuevas autoridades tomaron la decisión de utilizar la metodología del SINE para dar seguimiento y evaluar el PND, y han incorporado algunos cambios en los instrumentos que se venían utilizando, todavía no se cuenta con los instrumentos definitivos para la evaluación del PND en su dimensión nacional, regional e institucional. En función de lo anterior, las valoraciones que se incluyen sobre la orientación funcional del sistema están referidas, exclusivamente, a las prácticas de monitoreo y evaluación desarrolladas hasta finales del año 2005. 2.1 Orientación funcional Partiendo del marco teórico establecido en el protocolo de investigación, sobre las cuatro áreas principales de aplicación de un sistema de monitoreo y evaluación: a) la planificación gubernamental (global o sectorial); b) la asignación del gasto; c) el aprendizaje para mejorar la gestión de programas y prestación de servicios públicos; y d) la rendición de cuentas dentro y fuera de la administración pública, en el caso de Costa Rica se puede derivar las siguientes conclusiones generales: · Los objetivos del Sistema Nacional de Evaluación de Costa Rica, en su concepción inicial, advierten la intención de incidir en estas cuatro áreas de aplicación. Sin embargo, el grueso de las actividades realizadas, tanto por MIDEPLAN como por las entidades ejecutoras (evaluadas), están enfocadas más al mejoramiento de los procesos de planificación institucional y asignación del gasto, que al mejoramiento de su capacidad de gestión (aprendizaje) y la rendición de cuentas. · Sin embargo, dado que el SINE centra su atención en el seguimiento y evaluación de las acciones estratégicas, su principal contribución ha sido el garantizar que los recursos públicos sean canalizados hacia esas actividades estratégicas que serán evaluadas, precisamente por el riesgo que implica el no contar con los recursos disponibles para cumplir con los resultados y las metas previstas e incluidas en los Compromisos de Resultados 27 . · No obstante, los aportes potenciales del SINE al mejoramiento de los procesos de planificación institucional y de asignación del gasto han sido de carácter parcial, en virtud de que el sistema fue creado específicamente para dar seguimiento y evaluar solamente las acciones estratégicas del PND y no la totalidad del quehacer institucional. · Dado que las actividades de monitoreo y evaluación de resultados se han concentrado en acciones estratégicas específicas, el mejoramiento de los procesos de planificación y asignación del gasto se circunscribe al ámbito de los programas y proyectos que son incluidos en los Compromisos de Resultados, y no necesariamente al ámbito de las políticas públicas y la planificación institucional como un proceso integral. Paradójicamente, contrario a lo esperado, el proceso de evaluación estratégica ha tendido a sustituir los procesos de autoevaluación institucional. · A pesar de lo anterior, las entidades ejecutoras reconocen que el Sistema Nacional de Evaluación ha contribuido al mejoramiento de las prácticas de planificación y asignación del gasto. La preparación de la Matriz de Desempeño Institucional (MDI) que se incorpora al Compromiso de Resultados (CDR), aunque está limitada a unos pocos programas y proyectos, ha fortalecido el 27 De acuerdo con las unidades ejecutoras, a partir del año 2002 se debilita el proceso de evaluación estratégica. El SINE comienza a dar seguimiento a todas las acciones vinculadas al PND sin que exista una diferenciación de lo prioritario y lo rutinario. 56 proceso de planificación en tanto les exige el establecimiento de metas y objetivos, y la valoración de los resultados finalmente obtenidos, así como asegurar que el presupuesto incluya los recursos requeridos para el desarrollo de los programas y proyectos en los términos referidos. · El aporte del SINE al mejoramiento de la capacidad de gestión institucional, entendida como un proceso de aprendizaje para el mejoramiento continuo, no se puede medir por tres razones fundamentales: a) el sistema no evalúa políticas nacionales e institucionales sino programas y proyectos estratégicos que varían de un gobierno a otro; b) el monitoreo y la evaluación se limitan a verificar el cumplimiento de las metas; y c) el sistema no prevé la realización de evaluaciones de impacto. · Además, aunque lo anterior sea posible durante un gobierno en particular, el sistema no cuenta con mecanismos de retroalimentación. La información fluye en una sola vía: de las unidades evaluadas hacia MIDEPLAN. No se identifican mecanismos ni prácticas que promuevan la retroalimentación hacia las unidades ejecutoras. · En lo que respecta a la función de rendición de cuentas, la contribución del SINE ha sido limitada. Si valoramos el SINE como un mecanismo utilizado por la Presidencia de la República para velar por el cumplimiento de sus metas, podemos señalar que tanto en la administración Figueres Olsen (1994-1998) como en la de Rodríguez Echeverría (1998-2002) se aprecian algunas señales en esa dirección, pero se debilitan en la administración Pacheco de la Espriella (2002-2006). Por su parte, si valoramos el SINE como un instrumento de rendición de cuentas hacia fuera, es decir, hacia la sociedad y la ciudadanía, prácticamente se ha limitado al uso de la información para la preparación de informes de labores que rinde la Presidencia de la República una vez al año o para labores dirigidas a anunciar logros y actividades del gobierno. · La rendición de cuentas relacionada con el SINE en realidad no tiene consecuencias. Como se verá más adelante, no se cuenta con un sistema de incentivos y sanciones que estimule la eficiencia, la productividad y la generación de resultados. En términos generales, en lo que respecta a la orientación funcional del SINE, los mayores esfuerzos realizados a nivel técnico se concentran en las etapas de programación y asignación del gasto, relacionadas con la preparación de las matrices que se incorporan al Plan Anual Operativo (PAO). Sin embargo, al no existir un proceso formal de retroalimentación hacia las entidades evaluadas ni contar con mecanismos para incentivar la evaluación de los resultados, el aporte del SINE a las funciones de aprendizaje y rendición de cuentas ha sido mínimo. Quizás su principal aporte ha sido el posicionar ambos temas dentro de la agenda política nacional, a pesar de que la aplicación práctica de estos principios no ha sido desarrollada de manera sistemática y sólida. En síntesis, a partir de la información relacionada con el peso relativo de las funciones asignadas al sistema de monitoreo y evaluación, se establece un orden de jerarquía tal como se indica en la Tabla Nº 1. Tabla Nº 1 Sistema Nacional de Evaluación (SINE) Peso relativo de las funciones del sistema (valoración personal) Función Planificación gubernamental 1: planificación estratégica del plan de desarrollo. Planificación gubernamental 2: planificación de políticas sectoriales y programas. Presupuesto: asignación del gasto. Aprendizaje: mejoramiento de la gestión de agencias, programas y servicios públicos. Gobernanza: control social y rendición de cuentas. Nota: En la escala de prioridades, 1 tiene el mayor peso relativo, 5 tiene el menor. Fuente: Elaboración propia. 57 Prioridad 2 3 1 5 4 Es importante destacar que esta valoración incorpora, inevitablemente, un alto grado de subjetividad, relacionado con las expectativas que tiene cada usuario potencial sobre la intencionalidad del sistema. Sin embargo, a pesar de la subjetividad, deja al descubierto las diferentes percepciones que existen sobre cuál es la intencionalidad u orientación funcional del SINE. Esta información es clave pues confirma la importancia que adquiere la divulgación y la promoción del SINE como medio para garantizar su institucionalización y sostenibilidad. Es decir, todos los actores involucrados, tanto directa como indirectamente, deberían manejar un mínimo de información sobre ¿qué es el SINE?, ¿cuáles son sus objetivos?, ¿cuáles son los instrumentos de monitoreo y evaluación?, ¿quién es el principal usuario del sistema?, ¿cuáles son los informes que se generan y con qué periodicidad?, ¿cómo se divulgan y socializan los resultados? En la medida en que no exista un lenguaje común, cada usuario potencial o actor involucrado tendrá una percepción propia, influenciada por sus expectativas relacionadas con lo que debería ser el SINE. A nivel técnico, sin embargo, la mayoría de las entidades ejecutoras, por medio de los enlaces institucionales entrevistados, coinciden en que el SINE ha contribuido principalmente a mejorar el proceso de planificación institucional, la asignación de recursos y a posicionar el tema de la rendición de cuentas, aunque limitado específicamente a las acciones estratégicas del PND. En este sentido, la posición del consultor está más cerca de las manifestaciones hechas por los enlaces técnicos de las entidades evaluadas en el marco del SINE. Sin embargo, al considerar la percepción que tienen los actores políticos sobre la orientación funcional del SINE, no existe un patrón definido. La conclusión es, sin duda, que no existe claridad sobre cuál es la función predominante del Sistema Nacional de Evaluación impulsado por MIDEPLAN. Como se presenta en la Tabla Nº 2, existe una clara tendencia del actor entrevistado a ubicar el tema de su competencia en las últimas posiciones; es decir, considera que su área de competencia es una de las menos favorecidas por el SINE. Por ejemplo, mientras MIDEPLAN percibe que el SINE ha favorecido más las actividades relacionadas con la asignación del gasto y menos las labores propias de planificación, el Ministerio de Hacienda y la Contraloría General de la República, perciben lo contrario. Como se indicó, si bien se trata de percepciones que podrían estar influenciadas por la visión que cada actor tenga del SINE, lo relevante de este sondeo es que advierte la necesidad de que MIDEPLAN retome el proceso de divulgación y promoción del SINE, especialmente en esta fase de transición en la cual está incorporando cambios transcendentales para su desarrollo futuro. Tabla Nº 2 Sistema Nacional de Evaluación (SINE) Peso relativo de la funciones en el sistema. Posición de actores políticos Posible propósito del Sistema: Impacto en Planificación gubernamental 1: planificación estratégica del plan de desarrollo. Planificación gubernamental 2: planificación de políticas sectoriales y programas. Presupuesto: asignación del gasto. Aprendizaje: mejoramiento de la gestión de agencias, programas y servicios públicos. Gobernanza: control social y rendición de cuentas. MIDEPLAN Ministerio de Hacienda CGR Asamblea Legislativa 4 1 1 2 5 3 3 3 1 4 4 5 3 5 5 4 2 2 2 1 Nota: En la escala de prioridades, 1 tiene el mayor peso relativo, 5 tiene el menor. Fuente: Elaboración propia con base en información de entrevistas. 58 Un segundo aspecto que se puede rescatar en este nivel, es que la mayoría de los actores entrevistados reconocen el aporte del SINE al mejoramiento del proceso de planificación vinculado a las acciones estratégicas del PND, así como al posicionamiento del SINE como medio para promover la rendición de cuentas, potenciando espacios en materia de gobernabilidad y control social. Asimismo, destaca que la gran mayoría de los entrevistados coincide en que el área en que se concentra la mayor debilidad del SINE es en lo que respecta a su contribución al proceso de aprendizaje para el mejoramiento continuo. Lo anterior quizás sirva para respaldar la tesis de que la evaluación continua es percibida como una imposición externa y no como un instrumento para mejorar la capacidad de gestión institucional. Esta posición es compartida, en general, por los enlaces institucionales entrevistados. Un elemento importante, que se deriva de las entrevistas realizadas sobre la importancia del SINE, se relaciona con el dinamismo que experimentó durante la administración Rodríguez Echeverría (19982002) y el debilitamiento o pérdida de importancia que se registra durante la administración Pacheco de la Espriella (2002-2006). Esta percepción es prácticamente generalizada entre los enlaces institucionales del SINE y buena parte del personal técnico de MIDEPLAN. 2.2 Instrumentos de evaluación y monitoreo El Sistema Nacional de Evaluación, como se ha indicado, centra su atención en el seguimiento y evaluación de “acciones estratégicas” del Plan Nacional de Desarrollo (PND). Por sus implicaciones en lo que respecta al desarrollo de los instrumentos de monitoreo y evaluación, es necesario señalar que si bien el concepto de “acciones estratégicas” buscaba resaltar el interés del SINE en las prioridades del PND, en la práctica se consolidó como un calificativo que se utiliza de manera indiscriminada para referirse a políticas, planes, programas, proyectos, actividades y procesos específicos. Lo anterior se aprecia claramente en la documentación oficial del SINE y al analizar el contenido de las Matrices de Desempeño Institucional que dan sustento a los CDR 28 . En lo que respecta al desarrollo de instrumentos de monitoreo y evaluación, la experiencia desarrollada por Costa Rica, para la evaluación de las acciones estratégicas, hasta el año 2006 29 , se sustentó en la implementación de acuerdos de desempeño anual, denominados “Compromisos de Resultados” (CDR), suscritos entre el Presidente de la República y el máximo jerarca de la institución evaluada (el ministro o el presidente ejecutivo). Estos acuerdos tenían el aval del Ministro de Planificación Nacional y Política Económica y del Ministro de Hacienda, como garantes del proceso. Es decir, se trataba de contratos de gestión anual, adoptados al más alto nivel político. El seguimiento de los mismos le correspondía a MIDEPLAN. La aplicación de los CDR fue concebido como un proceso gradual, en lo que respecta al número de entidades públicas incorporadas, y selectivo, respecto al número de acciones estratégicas evaluadas en cada caso. La decisión de optar por este tipo de acuerdos, al más alto nivel político, partía del reconocimiento que la consolidación de una cultura pública basada en la rendición de cuentas exigía, como primer paso, el compromiso de los gobernantes y, en general, de la clase política. La experiencia internacional que sirvió de diagnóstico advertía que el desarrollo de sistemas sofisticados y complejos, sin un respaldo 28 En el Anexo IV se presenta la Matriz de Desempeño Institucional (MDI) correspondiente al Ministerio de Educación Pública (MEP) en el año 1997. Esta versión refleja la estructura de la MDI incorporada a los CDR, desde la creación del SINE en 1994. 29 La actual administración Arias Sánchez suspendió la aplicación de los Compromisos de Resultados (CDR), establecidos como instrumentos de monitoreo y evaluación del SINE desde su creación en 1994. En su lugar se implementa a partir del año 2007 un nuevo instrumento, denominado Contrato con la Ciudadanía, establecido a nivel sectorial. 59 político sólido, se traducían en instrumentos académicos rigurosos pero poco prácticos para la transformación de la gestión pública 30 . Ante este panorama se optó por desarrollar un instrumento sencillo, dirigido a dar seguimiento a las acciones estratégicas institucionales vinculadas al PND y que contara además con un sólido respaldo político para su implementación. Es en este contexto que se propone, con el apoyo y asesoría técnica de consultores externos, la aplicación del instrumento denominado “Compromiso de Resultados” o CDR. Cada CDR se sustenta en la construcción de una Matriz de Desempeño Institucional (MDI), que de acuerdo con la metodología propuesta, era elaborada conjuntamente entre MIDEPLAN y la institución que sería evaluada. Sin embargo, las acciones estratégicas que se incorporan en cada CDR se definían al más alto nivel político, precisamente para asegurar que fueran consistentes con las prioridades establecidas en el PND. Como se aprecia en la Tabla Nº 3, la Matriz de Desempeño Institucional (MDI) constituye un ejercicio de planificación estratégica aplicado específicamente a las acciones que serán evaluadas. En cada caso se incluye información sobre: · · · · · Los criterios de evaluación de cada acción estratégica (indicadores). El peso relativo de cada acción estratégica (ponderación). El valor del indicador al inicio del año (línea de base). La meta prevista (compromiso). La escala de valores sirve de referencia para calificar los resultados reportados por la institución al finalizar el año. Tabla Nº 3 Matriz de Desempeño Institucional (MDI) MATRIZ DE DESEMPEÑO INSTITUCIONAL Acciones estratégicas Criterios de evaluación Ponderación de los programas Valor al inicio del año 5 Excelente Escala de valoración 4 3 2 Muy Bueno Regular bueno 1 Malo 0 La selección de las acciones estratégicas, como se indicó, se realiza al más alto nivel político con el fin conciliar las prioridades nacionales e institucionales según lo establecido en el PND. Implica un proceso de negociación, para evitar que las acciones estratégicas sean seleccionadas de manera 30 Esto debe conducir a una actitud cautelosa frente a los enfoques más sofisticados, como el de “evaluación global” desarrollado por José Sulbrandt y que, si bien produciría resultados teóricamente más sólidos y generalizables, corre el riesgo de ser percibida como irrelevante por las autoridades políticas. El mismo Sulbrandt advierte que “este tipo de evaluación es un estudio complejo, difícil de ejecutar, que demanda calificados recursos humanos y que consume un tiempo considerable y elevados recursos financieros. Al mismo tiempo, es un estudio mucho más completo que permite lograr una mejor comprensión del programa y de sus logros y en general obtiene resultados más legítimos para todas las partes involucradas y por consiguiente más utilizables. Dadas estas características debe ser preferentemente utilizado sólo para las más importantes y significativas políticas o programas sociales públicos. En intervenciones más limitadas es posible utilizar diseños más simples y económicos” (Sulbrandt, 1993). 60 unilateral o por imposición. El peso relativo asignado a las acciones estratégicas buscaba vincular la relevancia de los programas con el nivel de esfuerzo institucional. Esta ponderación se establece también durante el proceso de negociación, para evitar que las entidades públicas, con tal de obtener buenas calificaciones, centren su atención en la realización de tareas y actividades que exigen menor esfuerzo o bien, en aquellas que para efectos de ejecución son menos complejas 31 . Los criterios de evaluación son los parámetros o indicadores que serán utilizados para medir el desempeño institucional. Sobre este punto en particular, el SINE partía del reconocimiento de que la capacidad institucional en materia de gestión por resultados era endeble y que se requería impulsar, de manera simultánea, un proceso de capacitación centrado en el diseño de indicadores de gestión más depurados. La mayoría de las entidades estaban en capacidad de establecer indicadores relacionados con productos y procesos, pero difícilmente indicadores para medir impacto, eficiencia y gestión. A partir de los criterios de evaluación negociados, se establece la línea de base (punto de partida) y la meta propuesta (compromiso adquirido) 32 . Por último, para medir el desempeño institucional se establece una escala de valoración con cinco niveles. Previo a la firma del Compromiso de Resultados, se concreta un acuerdo sobre los valores que servirán de referencia para calificar los resultados obtenidos. La meta acordada en cada caso se ubica en la categoría de “muy bueno” y el resto de la escala resulta de un proceso de negociación. El valor negociado para la categoría de “excelente” suponía un esfuerzo extraordinario por parte de la institución. A partir de los resultados obtenidos, la metodología está en capacidad de asignar una calificación final a cada acción estratégica, la cual mide el nivel de desempeño en función del grado de cumplimiento de las metas. Posteriormente, utilizando el peso relativo de cada acción estratégica, se estima el nivel de desempeño institucional. En este contexto, de la valoración del CDR, como instrumento de monitoreo y evaluación, se derivan las siguientes conclusiones: · · · · · · La mayoría de los indicadores que se incluyen en los CDR son indicadores de cobertura, producto y proceso. El monitoreo consiste, fundamentalmente, en un reporte semestral remitido por la institución que suscribió el CDR, con un formato similar al de la Matriz de Desempeño Institucional, por medio del cual indica el grado de avance en el cumplimiento de la meta anual. La evaluación consiste, básicamente, en verificar el grado de cumplimiento de las metas anuales, utilizando para tales efectos el informe anual remitido por la entidad que suscribió el CDR. El desempeño institucional, vinculado al monitoreo y evaluación de las acciones estratégicas, se limita a la verificación del cumplimiento de las metas establecidas. En lo que respecta a la vinculación entre las actividades de monitoreo y evaluación, y el peso relativo de las mismas, no existe una diferencia sustantiva entre ellas. Por la naturaleza del proceso de monitoreo y evaluación que se realiza, no es posible medir o cuantificar su aporte al cumplimiento de las actividades principales. 31 El personal técnico de MIDEPLAN y los enlaces institucionales advierten que este proceso se fue debilitando a partir del año 2002, conforme se fueron incorporando a la Matriz de Desempeño Institucional una gran cantidad de acciones, que si bien estaban relacionadas con la ejecución de programas vinculados con el PND, no eran estratégicas en los términos en que lo previó el SINE. Lo anterior se refleja en una gran cantidad de acciones relacionadas con procesos, actividades y compra de insumos. 32 La metodología propuesta en principio era sencilla. Sin embargo, la construcción de los primeros CDR dejó al descubierto la limitada capacidad institucional que existía en materia de planificación estratégica orientada a la gestión por resultados. 61 El Plan Anual Operativo (PAO) como instrumento de programación y referente del proceso de monitoreo y evaluación Como se indicó, a partir del año 2002 la Ley de Administración Financiera y Presupuestos Públicos consolida el uso del Plan Anual Operativo (PAO) como el principal instrumento para la programación estratégica y formulación del presupuesto de todas las instituciones públicas. En este contexto, funciona desde entonces una Comisión Interinstitucional, integrada por representantes de MIDEPLAN, el Ministerio de Hacienda y la Contraloría General de la República, por medio de la cual se formulan los Lineamientos técnicos y metodológicos para la elaboración de la estructura del Plan Anual Operativo para las entidades públicas, ministerios y demás órganos, de conformidad con lo establecido en el artículo 55 de la Ley referida. De acuerdo con los lineamientos vigentes, la estructura del Plan Anual Operativo está conformada, en lo esencial, por los siguientes componentes: · El Marco General, por medio del cual se dictan las directrices, plazos y procedimientos que orientan el proceso. · La Matriz Anual de Programación Institucional (MAPI), por medio de la cual las entidades presentan los requerimientos de MIDEPLAN, relacionando las acciones estratégicas del PND con la programación institucional. · La Matriz de Desempeño Programático (MDP), por medio de la cual el Ministerio de Hacienda solicita la información sobre la vinculación de las acciones estratégicas del PND respecto a la estructura programática definida a nivel presupuestario. · La Matriz de Desempeño Programático Específico (MDPE), relacionada con los requerimientos de la Contraloría General de la República para efectos de fiscalización y control operativo. En este sentido, la principal preocupación señalada por los enlaces entrevistados se relaciona, precisamente, en que este esfuerzo de coordinación entre MIDEPLAN, el Ministerio de Hacienda y la Contraloría General de la República no ha contribuido a mejorar, como se esperaba, la articulación de los procesos de programación estratégica y formulación presupuestaria. En efecto, la coordinación realizada en el marco de la comisión tripartita, se ha limitado a la suma horizontal de los distintos instrumentos de programación de cada una de las instituciones: la MAPI (MIDEPLAN), la MDP (Ministerio de Hacienda) y la MDPE (CGR). Lo anterior ha provocado, en opinión de los enlaces institucionales, una carga de trabajo elevada y de poca utilidad práctica, pues las entidades ejecutoras deben dedicar tiempo y recursos a la elaboración de múltiples matrices y reportes, para satisfacer de manera individual los requerimientos de información de estas tres instituciones. No existe una integración que garantice la consistencia de estos tres instrumentos, debido a que cada una de las entidades promueve el monitoreo y la evaluación desde una perspectiva diferente. La ausencia de coordinación entre MIDEPLAN, el Ministerio de Hacienda y la Contraloría General de la República, en lo esencial, continúa siendo la principal debilidad que deben enfrentar las entidades ejecutoras, con el agravante de que la retroalimentación hacia las entidades ejecutoras es prácticamente inexistente. La Matriz Anual de Programación Institucional A partir del año 2007, las nuevas autoridades de MIDEPLAN toman la decisión de modificar la estructura interna de la Matriz de Desempeño Institucional (MDI). Se eliminan la escala de valoración de las acciones estratégicas y el peso relativo. Lo anterior con el fin de simplificar el proceso de programación y reducir el manejo indiscriminado que se realizaba de esta información, en gran medida debido a la ausencia de mecanismos para verificar la información proporcionada por las instituciones evaluadas y garantizar su confiabilidad. 62 La Matriz de Desempeño Institucional se transforma en lo que actualmente se conoce como la Matriz Anual de Programación Institucional (MAPI), en la cual se establecen las metas de cada acción estratégica, de manera que los procesos de monitoreo (semestre) y de evaluación (anual) centran su atención en determinar el grado de avance y cumplimiento de las metas establecidas. En lo que respecta a la estructura de la MAPI, MIDEPLAN busca articular las acciones estratégicas del PND con las acciones estratégicas que las instituciones implementan para contribuir a las prioridades del PND. De acuerdo con los lineamientos del año 2007, la MAPI que cada entidad pública debe preparar e incorporar en su propio Plan Anual Operativo (PAO) contiene la siguiente información: · · · · · · · · · · Acción estratégica del PND: que constituye el punto de partida para realizar la vinculación entre las prioridades establecidas en el PND y el accionar institucional. Estas acciones estratégicas pueden ser de orden nacional, sectorial o institucional. La meta de la acción estratégica del PND: que sirve de referencia para que cada entidad establezca, de acuerdo con su capacidad de producción y la disponibilidad presupuestaria, las metas anuales correspondientes. Acción estratégica institucional: a partir de la acción estratégica del PND, cada entidad desagrega las acciones estratégicas que, a nivel institucional, desarrollará a lo largo del año. Es decir, se trata del aporte que cada entidad realiza para el cumplimiento de las metas de las acciones estratégicas del PND, las cuales pueden ser nacionales, sectoriales o institucionales. El objetivo de cada acción estratégica institucional. El indicador que servirá de referencia para evaluar cada acción estratégica institucional. La meta de la acción estratégica institucional, tanto semestral (monitoreo) como anual (evaluación). La línea de base de cada indicador, referida al nivel alcanzado al año anterior. La cobertura geográfica: nacional, regional o sectorial. La población objetivo: los beneficiarios. La estimación, en millones de colones, de los recursos destinados para apoyar la ejecución de cada una de las instituciones públicas. Al respecto, conviene destacar que la MAPI, promovida por las nuevas autoridades de MIDEPLAN, centra su atención en el establecimiento de vínculos entre las acciones estratégicas definidas en el PND, que pueden ser nacionales, sectoriales o institucionales, y las acciones estratégicas establecidas por las instituciones a nivel operativo. Adicionalmente, conviene destacar que la decisión de eliminar la escala de valoración y los factores de ponderación de las acciones estratégicas, permitirá a MIDEPLAN concentrar sus esfuerzos en tres tareas que contribuirían a mejorar el proceso de monitoreo y evaluación: primero, la definición de las líneas de base; segundo el establecimiento de metas anuales que sean consistentes con la capacidad institucional y la asignación presupuestaria; y tercero, brindar mayor atención a las actividades relacionadas con la verificación de la información. Las consultas realizadas advierten el alto nivel de subjetividad que implica el establecimiento de una escala de valoración en ausencia de mecanismos de verificación. Por último, cabe destacar el esfuerzo que realiza MIDEPLAN por promover la estimación de los recursos presupuestarios asignados para la ejecución de las distintas acciones estratégicas. Sin embargo, se trata de un área en la que el trabajo futuro de coordinación entre MIDEPLAN y el Ministerio de Hacienda será determinante, en aras de lograr una mayor articulación entre la planificación estratégica y la formulación presupuestaria institucional. 63 2.3 Capacidad del sistema para diversificar los instrumentos de M&E Como se indicó en el apartado referido a la descripción del sistema, el módulo de evaluación del SINE reconoce dos procesos complementarios: la evaluación estratégica a cargo de MIDEPLAN y la autoevaluación institucional que es responsabilidad de cada institución. En lo que respecta al proceso de evaluación estratégica, la principal debilidad del SINE radica en que el proceso de monitoreo y evaluación, desde su creación, ha permanecido atado a un único instrumento: el Compromiso de Resultados (CDR). Ello ha limitado la posibilidad de diversificar y evolucionar hacia nuevos instrumentos, precisamente porque el CDR centra su atención en el seguimiento y evaluación de acciones estratégicas, ya sea que éstas estén vinculadas a políticas públicas, planes, programas, proyectos, actividades y procesos específicos. En este contexto, se puede afirmar que en el caso de Costa Rica, este concepto genérico de acción estratégica limitó la posibilidad de desarrollar instrumentos alternativos para evaluar políticas públicas, planes y programas sectoriales, programas interinstitucionales, proyectos de inversión pública, etc. Por ejemplo, aunque se indica que se construyeron CDR sectoriales, en realidad se trata de la agregación de acciones estratégicas bajo un tema sectorial. Asimismo, al concentrar la atención en el cumplimiento de metas relacionadas con cobertura, productos y procesos, el sistema tampoco contribuyó a crear las condiciones para promover evaluaciones de impacto o, en su defecto, avanzar hacia indicadores más elaborados vinculados con la eficiencia, la productividad y la calidad de los servicios públicos. El CDR, por su naturaleza, circunscribió el proceso de monitoreo y evaluación a la simple verificación del grado de cumplimiento de las metas, pero sin contar con mecanismos para establecer relaciones entre los resultados obtenidos y su significado en términos de mejoramiento de la gestión pública. A pesar de lo anterior, aunque el SINE se mantuvo atado a un único instrumento, sí ha contribuido a desarrollar cierta capacidad institucional para abordar con mayor propiedad el tema de la evaluación por resultados. A partir de 2006, como se indicó, la administración Arias Sánchez tomó la decisión de no aplicar más los CDR y, en su lugar, introdujo los llamados Contratos con la Ciudadanía, establecidos como acuerdo de desempeño a nivel sectorial 33 . 33 Por medio del sitio web de MIDEPLAN (http://www.mideplan.go.cr) se puede tener acceso a todos los contratos sectoriales incluidos en el PND 2006-2010. 64 III. COHERENCIA INSTITUCIONAL 3.1 Capacidad de integración al interior del sistema De acuerdo con la información disponible y las consultas realizadas a los enlaces institucionales de las unidades ejecutoras vinculadas al SINE, a pesar de los esfuerzos de coordinación impulsados durante los últimos años, los avances en este campo han sido parciales. Consideran que debido a la falta de claridad que existe en el marco legal vigente sobre las competencias de MIDEPLAN, del Ministerio de Hacienda y de la Contraloría General de la República, las unidades ejecutoras se han visto involucradas en un proceso de planificación institucional complejo y engorroso, pues deben dedicar el grueso del tiempo a la preparación de múltiples matrices tendientes a satisfacer las necesidades específicas de cada uno de los órganos citados. Ciertamente, la Ley de Administración Financiera de la República y Presupuestos Públicos suponía una mayor coordinación entre el Ministerio de Hacienda, la Contraloría General de la República y MIDEPLAN. Al respecto, aunque no generó los resultados esperados, quizás el hecho más relevante asociado a esta Ley haya sido la promulgación conjunta de los lineamientos metodológicos para la elaboración del Plan Anual Operativo Institucional (PAO) de 2004, de las entidades públicas, ministerios y demás órganos, que constituyen el instrumento para la formulación de los respectivos presupuestos y para el seguimiento y evaluación de la gestión institucional y del Plan Nacional de Desarrollo. Se trata de lineamientos definidos por una Comisión Interinstitucional formada por MIDEPLAN, el Ministerio de Hacienda y la Contraloría General de la República. Lo anterior, de acuerdo con lo establecido en el Decreto Ejecutivo Nº 33587 del 31 de enero de 2007, por medio del cual se indica que las modificaciones de los lineamientos técnicos y metodológicos para la elaboración de la estructura de Plan Anual Operativo para las entidades públicas, ministerios y demás órganos, estarán a cargo de MIDEPLAN y del Ministerio de Hacienda, en consulta previa ante la Contraloría General de la República; se publicarán en los sitios electrónicos de ambos ministerios y se comunicarán vía circular a los jerarcas institucionales. En este contexto, el tema de la coherencia institucional es uno de los aspectos críticos que ha limitado la institucionalización del Sistema Nacional de Evaluación en Costa Rica. De hecho, dada la fase de transición en que se encuentra el SINE, la información derivada del proceso de consulta es contradictoria. Las entrevistas hechas a los enlaces institucionales advierten que las unidades ejecutoras no tienen claridad sobre la intencionalidad y las implicaciones de los cambios introducidos por MIDEPLAN. Tampoco tienen claro cómo se relacionan estos cambios con el desarrollo futuro del SINE. De igual manera, el personal técnico de MIDEPLAN tampoco tiene claridad sobre el manejo y el desarrollo instrumental requerido, para pasar de un enfoque institucional a otro sectorial. Esta situación ubica a MIDEPLAN en una encrucijada, pues como rector del SINE podría perder credibilidad. No obstante, se puede afirmar que, independientemente de los cambios introducidos, las actividades se concentrarán en monitorear el grado de avance en el cumplimiento de las metas establecidas y en evaluar (o más bien verificar) al finalizar el año el cumplimiento o no de la meta anual establecida en la Matriz Anual de Programación Institucional (MAPI) y su relación con la meta sectorial establecida en los Contratos con la Ciudadanía. En conclusión: · En lo que respecta a la capacidad de integración al interior del sistema, el SINE no cuenta con mecanismos para promover la integración vertical. La dinámica del proceso de monitoreo y 65 evaluación que realiza el SINE, por limitarse a la verificación del cumplimiento de metas sobre cobertura, procesos y productos, impide establecer una vinculación entre las políticas públicas (nacionales, sectoriales e institucionales), los programas y planes en que se sustentan esas políticas, y el accionar propiamente dicho de las unidades ejecutoras. · Las implicaciones prácticas de lo anterior las podemos resumir de la siguiente manera: los enlaces técnicos se han convertido básicamente en los generadores de información entre las unidades ejecutoras y MIDEPLAN, mientras que MIDEPLAN se ha convertido en la instancia encargada de procesar la información que remiten las instituciones. Pero ninguno de estos dos actores clave del proceso está en capacidad de articular políticas, programas y resultados. · Incluso al interior de las unidades ejecutoras, es común que las oficinas de planificación, las unidades de estadística y las dependencias responsables de la implementación de las acciones estratégicas, manejen indicadores contradictorios y hasta inconsistentes. · Las relaciones de coordinación al interior de las unidades ejecutoras, específicamente con los directores de programas y proyectos evaluados, así como con los funcionarios públicos que intervienen en su ejecución, quedan bajo la responsabilidad del enlace institucional, que constituye el contacto técnico formal con el Área de Evaluación y Seguimiento de MIDEPLAN. En la mayoría de los casos, las oficinas de planificación ejercen la función de enlace institucional ante el SINE. Sin embargo, la documentación oficial que es remitida a MIDEPLAN debe ser respalda por el jerarca correspondiente. 3.2 Capacidad de integración con otros sistemas No se identifican sistemas alternativos de monitoreo y evaluación que compitan formalmente con el Sistema Nacional de Evaluación, pues la formulación y evaluación del Plan Nacional de Desarrollo es competencia exclusiva de MIDEPLAN. No obstante, la Ley de Administración Financiera de la República y de Presupuestos Públicos incorpora como parte del Título V, sobre el Subsistema de Presupuesto, una sección específica denominada “Control y Evaluación del Presupuesto de la República”. El problema central de esta normativa es que no logra incorporar el proceso de control y evaluación presupuestaria como un componente complementario de la evaluación de la gestión pública, que aspira a un proceso de evaluación mucho más amplio, integral y comprensivo. Esta confusión explica, en gran medida, el por qué la nueva Ley involucra al Ministerio de Planificación Nacional y Política Económica en la generación de informes relacionados con este proceso de control y evaluación de la ejecución presupuestaria. Así, aunque no podemos hablar de la existencia de un sistema de monitoreo y evaluación paralelo en sentido estricto, que desplace al Sistema Nacional de Evaluación (SINE), la documentación advierte que a partir de 2002, si bien MIDEPLAN continuó aplicando los CDR y generando información dirigida a evaluar el PND según la metodología del SINE, son los informes vinculados a la Ley de Administración Financiera de la República y de Presupuestos Públicos los que cobran relevancia. De hecho, al margen de los documentos que en efecto preparó MIDEPLAN relacionados con el seguimiento y evaluación de las acciones estratégicas del PND 2002-2006, no existe evidencia que estos informes hayan sido de utilidad o empleados con algún fin específico por parte de la Presidencia de la República. Sin embargo, sí es claro que la preparación de los informes previstos en la Ley de Administración Financiera de la República y de Presupuestos Públicos se convirtió en el centro del accionar del SINE. 66 Por tal razón, simplemente para que el lector cuente con un punto de referencia textual de los términos en que esta Ley aborda el tema del control y la evaluación presupuestaria, se transcribe la sección correspondiente: “SECCIÓN III Control y Evaluación del Presupuesto de la República Artículo 49. Normas técnicas en materia presupuestaria. La Dirección General de Presupuesto Nacional, en coordinación con la Contraloría General de la República, determinará las normas técnicas generales necesarias para el control y la evaluación efectivos de la ejecución presupuestaria. Dichas normas servirán de base para que cada dependencia elabore normas específicas, de acuerdo con sus responsabilidades y área de gestión. Artículo 50. Liquidación contable. Finalizado el ejercicio económico, la Contabilidad Nacional, con el apoyo de las dependencias correspondientes, preparará el resultado contable del período y su efecto sobre el patrimonio nacional, así como la liquidación de los ingresos y egresos del presupuesto nacional y los hará del conocimiento del Ministro de Hacienda. Artículo 51. Informe final sobre resultados. Para conocimiento de los Ministros de Hacienda y Planificación Nacional y Política Económica, la Dirección General de Presupuesto Nacional deberá preparar un informe sobre el resultado de los programas ejecutados durante el período económico correspondiente. Artículo 52. Envío de informes a la Contraloría General de la República. A más tardar el 1° de marzo, el Ministerio de Hacienda deberá remitir a la Contraloría General de la República los siguientes informes: el resultado contable del período, el estado de tesorería, el estado de la deuda pública interna y externa, los estados financieros consolidados de los entes y órganos incluidos en los incisos a) y b) del Artículo 1, la liquidación de ingresos y egresos del presupuesto nacional, el informe de resultados físicos de los programas ejecutados durante el ejercicio económico respectivo y el informe anual sobre la administración de bienes. También, a más tardar en esa misma fecha, el Ministerio de Planificación Nacional y Política Económica remitirá, a la Contraloría General de la República, el informe final sobre los resultados de la ejecución del presupuesto, el cumplimiento de las metas, los objetivos, las prioridades y acciones estratégicas del Plan Nacional de Desarrollo y su aporte al desarrollo económico-social del país [negrillas nuestras]. Tanto el informe de resultados físicos de los programas como el informe sobre el cumplimiento de las acciones estratégicas que elaborarán el Ministerio de Hacienda y el de Planificación Nacional y Política Económica respectivamente, incluirán los elementos explicativos necesarios para medir la efectividad de los programas, el costo unitario de los servicios y la eficiencia en el uso de los recursos públicos. De conformidad con las disposiciones constitucionales, la Contraloría deberá remitir estos informes y su dictamen a la Asamblea Legislativa”. Nótese que si bien no se trata de un sistema de monitoreo y evaluación alternativo, la ley involucra a MIDEPLAN en la preparación de informes cuyo principal usuario es la Contraloría General de la República, quien además valora los informes, emite dictámenes sobre ellos y los envía a la Asamblea Legislativa para su conocimiento. Es importante destacar que todas estas actividades desvían la atención del SINE como un instrumento que genera información para apoyar el proceso de toma de decisiones de la Presidencia de la República. A ello se suma otro factor que alimenta la confusión que predomina en esta etapa de transición del SINE: el proyecto que impulsa el Ministerio de Hacienda dirigido al Fortalecimiento del Proceso de Evaluación de la Gestión Presupuestaria del Sector Público, con la cooperación técnica del BID. 67 Se trata de un plan piloto cuyo propósito es establecer un sistema de monitoreo y evaluación de la ejecución presupuestaria, en donde prevalece como marco de referencia la estructura programática. Este esfuerzo, sin embargo, está desvinculado de las transformaciones que está realizando MIDEPLAN en el marco del SINE. Por su naturaleza, se advierte que podríamos estar en la antesala del desarrollo de un sistema paralelo. No se aprecia en este momento un acercamiento entre MIDEPLAN y el Ministerio de Hacienda para trabajar de manera conjunta en la construcción de un modelo articulado de monitoreo y evaluación de la gestión, que garantice la convergencia inevitable que debe darse entre el proceso de planificación institucional y la programación presupuestaria. Quizás el desafío mayor consistente en reconocer que la evaluación de la ejecución presupuestaria constituye una parte del proceso de evaluación de la gestión pública, entendido éste como un proceso mucho más amplio, comprensivo y dinámico. Además, hay que tener presente que el énfasis del modelo de MIDEPLAN gira alrededor de las metas presidenciales, en esta oportunidad con un énfasis sectorial, toda vez que existe una clara intención de promover la rendición de cuentas como medio para mejorar la gobernabilidad y la transparencia de la gestión gubernamental, cumpliendo con las promesas adquiridas por el gobierno electo durante la campaña electoral. Desde esta óptica, si no se establecen mecanismos de coordinación, se podría estar gestando un distanciamiento entre el modelo promovido por MIDEPLAN y el modelo del Ministerio de Hacienda, considerando que su énfasis está en el control y la fiscalización de la ejecución presupuestaria. Paradójicamente, a pesar que las preocupaciones que motivan tanto a MIDEPLAN como al Ministerio de Hacienda para impulsar los cambios propuestos se sustentan en un diagnóstico común, cada institución está trabajando de manera independiente, sin que exista un hilo conductor que asegure la integración de ambos procesos en el mediano plazo. En efecto, existe consenso sobre la necesidad de medir los resultados de las entidades gubernamentales en función de las prioridades establecidas en el Plan Nacional de Desarrollo, enfrentar los problemas de coordinación, el traslape de competencias, así como los problemas propios relacionados con las metodologías e instrumentos de programación y evaluación. En general, se percibe a nivel técnico un escenario de tensión. Ambas entidades están impulsando cambios sin haber clarificado, en materia de evaluación de la gestión pública, cuáles son sus competencias y cómo se complementan los esfuerzos que realiza cada una de ellas. Tampoco se puede obviar que la legislación vigente establece obligaciones que hacen aun más difícil el proceso de transición. En este contexto, aunque se complicó la aplicación de la guía propuesta en el protocolo para valorar el nivel de coherencia institucional, resultó evidente que se trata de un área crítica. Los hallazgos en este campo -que se describen a continuación-, por estar referidos a un sistema que se encuentra en proceso de cambio, constituyen más bien un insumo valioso para apoyar la toma de decisiones, dado que se trata de problemas estructurales que arrastra el sistema que se pretende transformar: · A pesar de que existe una Comisión Interinstitucional para coordinar la formulación de los lineamientos para la elaboración de los Planes Anuales Operativos Institucionales (PAO), en tanto prevalezca el traslape de competencias, todo esfuerzo de coordinación conducirá a resultados parciales. · La coordinación entre MIDEPLAN, el Ministerio de Hacienda y la CGR es limitada a pesar de los esfuerzos realizados. En tanto el marco legal no clarifique las competencias y la complementariedad de sus funciones, cada entidad abordará el tema de la evaluación bajo su propia perspectiva. 68 · En relación con la integración intersectorial, en realidad el SINE no cuenta con instrumentos adecuados para el monitoreo y evaluación de políticas, programas y proyectos intersectoriales e interinstitucionales. En el caso de los CDR, por prevalecer un enfoque institucional, es común que acciones estratégicas relacionadas con un mismo tema, se presenten de manera dispersa en distintos CDR. En el marco del SINE no es posible, por ejemplo, realizar un monitoreo y evaluación de los programas dirigidos a luchar contra la pobreza, por ejemplo, aunque cada CDR pueda generar información aislada sobre algunas acciones. · En lo que respecta a la coordinación interinstitucional, quizás la construcción de algunos CDR sectoriales evidenció la necesidad del sistema de contar con instrumentos para dar seguimiento y evaluar programas cuya ejecución supone la participación de distintas instituciones, con diferentes niveles de responsabilidad. Sin embargo, la construcción de los CDR sectoriales se limitaba, en lo esencial, a la suma horizontal de las acciones estratégicas de cada institución. Aun así, tenían la virtud de que permitían disponer, en un único instrumento, el conjunto de acciones interinstitucionales relacionadas con un proceso determinado, así como determinar si el atraso en el accionar de una entidad en particular comprometía el desarrollo integral de un programa específico. · En lo concerniente a la relación con usuarios potenciales, el SINE fue concebido como un instrumento interno del Poder Ejecutivo. En este sentido, de acuerdo con la dinámica del SINE, sobresalen las siguientes relaciones: a) entre el Área de Evaluación y Seguimiento y los enlaces institucionales de las unidades ejecutoras (ministerios e instituciones descentralizadas); b) entre el Área de Evaluación y Seguimiento y el personal técnico del Ministerio de Hacienda y la Contraloría General de la República, para la coordinación de los asuntos relacionados con la vinculación del sistema al proceso presupuestario; c) las relaciones entre las autoridades superiores de MIDEPLAN y la Presidencia de la República, como principal usuario de los informes de evaluación; y d) entre las autoridades de MIDEPLAN y del Ministerio de Hacienda, para la ejecución de acuerdos de alto nivel. · No existe relación directa entre el SINE y otros usuarios potenciales como la Asamblea Legislativa, la Defensoría de los Habitantes, organizaciones no gubernamentales, grupos de consumidores, beneficiarios y usuarios de servicios públicos, partidos políticos y la sociedad civil en general. Se podría decir que la relación es indirecta dado que está determinada por el acceso que cada uno de estos actores tenga a la información que el SINE decide hacer pública por medio de la página web. · En cuanto a la relación del SINE con competidores potenciales, relacionados con procesos de evaluación y control de la gestión pública, destacan, como se ha señalado a lo largo del documento, las relaciones entre MIDEPLAN, el Ministerio de Hacienda y la Contraloría General de la República, en los términos en que lo plantea la Ley de Administración Financiera de la República y su reglamento, y la Comisión Interinstitucional que establece los lineamientos de los Planes Anuales Operativos Institucionales (POA). · Tampoco existe vínculo entre el SINE y la Dirección General del Servicio Civil, que es la instancia encargada del manejo de los procesos de reclutamiento, selección, nombramiento y evaluación de los recursos humanos, así como de regular su relación con el Estado como patrono. Este es un asunto crítico para la sostenibilidad del sistema en el largo plazo, dado que la evaluación del desempeño institucional se presenta divorciada de la evaluación del desempeño individual de los funcionarios públicos, así como del sistema de remuneración e incentivos vigente. · Un aspecto igualmente crítico para la sostenibilidad del sistema en el largo plazo se relaciona con la desvinculación que existe entre el SINE y el Instituto Nacional de Estadísticas y Censos (INEC). La documentación advierte que no existe relación alguna entre ellos. 69 · Por último, un aspecto que merece especial atención es la ausencia de relación entre el SINE y el Sistema Nacional de Contralorías de Servicios, que opera en principio bajo la rectoría de MIDEPLAN, precisamente por ser instancias que podrían incorporarse al SINE como aliados del proceso de modernización institucional, generando información para apoyar el mejoramiento en la prestación de los servicios y, en algunos casos, como mecanismos de control y verificación de procesos institucionales. 70 IV. USO DE LA INFORMACIÓN Tanto en el tema de coherencia institucional como en lo que respecta al uso de la información, el Sistema Nacional de Evaluación de Costa Rica enfrenta problemas estructurales que, por sus implicaciones, podrían comprometer su institucionalización en el largo plazo. Se trata de dos aspectos que las nuevas autoridades de MIDEPLAN, dado el proceso de rediseño que se encuentran impulsando, deberían contemplar en el desarrollo futuro del sistema. En general, resulta paradójico que el SINE previera desde el año 1994, como parte de su estructura, la creación de un módulo de información y un módulo de incentivos, y que trece años después, la ausencia de estos dos componentes se haya convertido en una amenaza para su institucionalización. Un primer aspecto, relacionado con el uso de la información, es que el SINE no cuenta con un mecanismo formal que le permita recoger, acumular y sistematizar la memoria institucional de su propio desarrollo y evolución. En efecto, dado que el SINE centra su atención en el seguimiento y la evaluación de las acciones estratégicas del PND, cada administración se ha preocupado por el manejo de la información de su propio plan 34 . Por ello, en lo que respecta a la presente investigación, el apartado correspondiente a la línea cronológica de su evolución fue necesario reconstruirla a partir de la recopilación de documentos que se encuentran dispersos y disponibles en distintos medios. Por otro lado, en lo que respecta al manejo interno de la información del SINE, durante la administración Rodríguez Echeverría, en el marco del préstamo de cooperación técnica suscrito con el BID, se avanzó en el diseño del Sistema Integrado de Evaluación Nacional (SIEN) con el objetivo de automatizar el proceso de seguimiento y evaluación que realizaba el SINE, sustentado en la firma de los Compromisos de Resultados (CDR) y las correspondientes Matrices de Desempeño Institucional (MDI). Aunque estaba previsto para que las entidades públicas ejecutoras se conectaran en línea y alimentaran directamente el sistema, hasta la fecha solamente ha sido utilizado a lo interno del Área de Evaluación y Seguimiento de MIDEPLAN. En este sentido, son los funcionarios técnicos de MIDEPLAN los que incorporan la información remitida por las instituciones, y el sistema genera los reportes previstos de conformidad con la metodología de evaluación. No obstante lo anterior, también el Sistema Integrado de Evaluación Nacional (SIEN) se encuentra en proceso de cambio, no sólo para ajustarlo a la nueva estructura del PND 2006-2010, sino también a las características de la nueva Matriz Anual de Programación Institucional (MAPI) implantada recientemente. En este sentido, hay que recordar que las nuevas matrices eliminaron la escala de valoración prevista que se utilizaba como referencia para calificar el grado de cumplimiento y la ponderación (peso relativo) de las acciones estratégicas. 4.1 Credibilidad de la información La confiabilidad de la información es una de las áreas críticas que es necesario trabajar en el rediseño del SINE. Sin embargo, la confiabilidad depende no sólo de la capacidad institucional en materia de diseño de indicadores de gestión, de las características de los instrumentos de evaluación y de la rigurosidad con se aplica dicha metodología, sino fundamentalmente de la existencia de medios de verificación. 34 Actualmente, por ejemplo, el sitio web de MIDEPLAN (http://www.mideplan.go.cr) presenta al público solamente los informes de monitoreo y evaluación correspondientes a la administración Pacheco de la Espriella (2002-2006). 71 Al respecto, una de las principales razones que motivaron la eliminación de la escala de valoración, se relaciona con el hecho de que el SINE no cuenta con mecanismos para verificar la información propuesta por las entidades públicas en las Matrices de Desempeño Institucional (MDI), de manera tal que los funcionarios técnicos de MIDEPLAN debían validar información que, para efectos prácticos, era manejada de manera muy discrecional por las instituciones públicas que serían evaluadas. Aunque se trata de una preocupación de las nuevas autoridades, en la actualidad el SINE no cuenta en realidad con medios de verificación, ni ha desarrollado procesos de auditoría externa, que le permita garantizar la calidad y la confiabilidad de la información. En general, se presume como confiable la información remitida por cada institución, bajo el argumento de que cuenta con el aval del jerarca correspondiente. Nuevamente, dado que el SINE se encuentra en proceso de transición, todavía no existe claridad sobre la evolución futura de este tema. Por ello, lo prudente es hacer un señalamiento de los problemas identificados, como insumo para apoyar la toma de decisiones en este campo: · En principio, la información incorporada en las Matrices de Desempeño Institucional (MDI), ahora denominadas Matrices Anuales de Programación Institucional (MAPI), surgen de un proceso de negociación entre las unidades ejecutoras y MIDEPLAN. Se trata en realidad de intercambios a nivel técnico que deben ser avalados políticamente, pues es el jerarca de cada unidad ejecutora quien en última instancia valida la información en todos sus extremos. · El principal problema, sin entrar a cuestionar la efectividad y el alcance del ejercicio de negociación, radica en que el SINE no cuenta con un sistema de información ni mecanismos complementarios que le permitan verificar, de manera oportuna, la información remitida por las instituciones. Las diferencias, cuando se detectan, dan origen a consultas entre MIDEPLAN y las entidades ejecutoras. · En general, a pesar de los esfuerzos realizados, prevalece una limitada capacidad institucional en lo que respecta al diseño de indicadores de gestión para dar sustento al proceso de evaluación. Debido a la dinámica interna del SINE y la metodología utilizada, se trata de un problema recurrente vinculado a los cambios de gobierno, situación que se agrava por la ausencia de un sistema de información que articule la información que se genera en el SINE con la información de otros sistemas nacionales e institucionales. · En general, la confiabilidad y la calidad de los datos depende, en la mayoría de los casos, de la capacidad institucional de cada entidad evaluada. El SINE no cuenta con mecanismos complementarios para verificar la validez de la información. · Finalmente, dado que se trata de un instrumento para uso interno del gobierno, la posibilidad de que los usuarios y beneficiarios se involucren en actividades que contribuyan a garantizar la confiabilidad de la información son mínimas. En general, los usuarios potenciales tienen acceso a la información que divulga MIDEPLAN, en los términos, medios y tiempos que considere conveniente. El SINE no prevé la retroalimentación desde los usuarios como mecanismo de verificación y control. 4.2 Acceso a la información En lo que respecta al acceso de los usuarios potenciales a la información, la valoración de este componente debe realizarse teniendo en consideración que el SINE fue diseñado para dotar a la Presidencia de la República de un instrumento que le permita mantener la visión de conjunto del accionar gubernamental y promover la rendición de cuentas. Es decir, el SINE debe ser visto como un instrumento interno del Poder Ejecutivo, cuyo principal usuario es la Presidencia de la República. 72 El SINE busca promover la rendición de cuentas en dos sentidos complementarios. Por un lado, desde la Presidencia de la República, utilizando el SINE para dar seguimiento a su propia gestión gubernamental y pedir cuentas a los jerarcas y funcionarios públicos responsables de la ejecución de las acciones estratégicas, de conformidad con las prioridades del PND. El uso del SINE en este sentido depende, fundamentalmente, de la importancia estratégica que el gobierno le otorgue a la gestión por resultados y a la rendición de cuentas 35 . Por otro lado, el SINE proporciona información que le permite a la Presidencia de la República rendir cuentas ante la sociedad costarricense, sobre los resultados y logros de su gestión. La práctica ha sido que la información aportada por el SINE sea utilizada por la Presidencia de la República para la elaboración del Informe Anual que el Poder Ejecutivo debe presentar cada 1º de mayo ante la Asamblea Legislativa. Este acto constituye el mecanismo por medio del cual el gobierno presenta ante la ciudadanía los resultados y valoración de su gestión. En relación con el acceso del público a la información, está determinado por la política que cada gobierno ha seguido al respecto. La información a la que tiene acceso el público es la que cada administración decida divulgar, por lo general haciendo uso de la página web de MIDEPLAN. Por ejemplo, durante la administración Figueres Olsen, los CDR estaban disponibles en la página web, la firma de los mismos se realizaba en un acto público y, luego de la ejecución del plan piloto, se tomó la decisión de hacer públicos los resultados de las evaluaciones. Durante la administración Rodríguez Echeverría, aunque con algunas variaciones, se siguió una política similar. En la administración Pacheco de la Espriella cambió la metodología de evaluación del PND, pero los informes anuales generados y alguna información complementaria estaban disponibles por medio de la página web. Actualmente, todos los Contratos con la Ciudadanía y las matrices sectoriales con los compromisos y metas están disponibles también por este medio. 4.3 Consumo de la información No obstante lo anterior, el SINE genera básicamente informes para uso interno del gobierno. Se divulga al público la información que el gobierno de turno considere prudente. No se identifican documentos de divulgación específicos para informar a la ciudadanía y a otros actores sobre los resultados del proceso de evaluación. Solamente la Ley de Administración Financiera de la República y de Presupuestos Públicos prevé la generación de informes, los cuales son remitidos a la Contraloría General de la República y por esta vía a la Asamblea Legislativa. El control político que ejerce la Asamblea Legislativa, haciendo uso de estos informes, es realmente limitado. Los mismos son remitidos a la Comisión Legislativa de Control de Ingreso y Gasto Público, en donde son valorados y dictaminados. Sin embargo, se trata de dictámenes que no son oportunos y no tienen ninguna consecuencia política. En lo que respecta al uso de la información, un problema no resuelto en el caso de Costa Rica, se relaciona con el hecho de que el ciclo presupuestario no está sincronizado con el período gubernamental. Así, por ejemplo, mientras que el presupuesto se extiende del 1° de enero al 31 de diciembre de cada año, y las evaluaciones que realiza el SINE están vinculadas a este ciclo, el período gubernamental se extiende de mayo a mayo. Como consecuencia de este desfase, los primeros seis meses de toda nueva administración se realiza al amparo del presupuesto y las prioridades dictadas en el PND del gobierno anterior. 35 Durante la administración Figueres Olsen (1994-1998) y la administración Rodríguez Echeverría (1998-2002), se advierte que el SINE jugó un papel importante en este sentido. Esta función, de acuerdo con las consultas, se debilita durante la administración Pacheco de la Espriella (2002-2006). 73 4.4 Impacto de la información El módulo de incentivos previsto en la estructura inicial del SINE nunca se desarrolló. De manera formal, el SINE no cuenta con un esquema de incentivos y sanciones, ya sean monetarios o no monetarios, para estimular el mejoramiento de los procesos de planificación, asignación del gasto, prestación de los servicios y la rendición de cuentas. De hecho, existe un divorcio entre el esfuerzo de monitoreo y evaluación de los resultados institucionales que se realiza por medio del SINE, y el proceso de evaluación del desempeño de los funcionarios públicos que se realiza anualmente. Los incentivos vigentes y consecuencias relacionados con la evaluación del desempeño individual, están desvinculados del proceso de evaluación del desempeño institucional que realiza el SINE. En el Cuadro Nº 2 se sintetiza la situación que enfrenta el SINE en lo que respecta a la credibilidad, acceso, consumo e impacto de la información. Cuadro Nº 2 Sistema Nacional de Evaluación: Uso de la Información Credibilidad Acceso Consumo Impacto No se dispone de mecanismos de verificación. Uso interno del Poder Ejecutivo, en donde el principal usuario es, en principio, la Presidencia de la República. En la actualidad está circunscrito a los informes que por ley deben ser presentados a la CGR y por este medio a la Asamblea Legislativa. El uso por parte de la Presidencia se limita a la preparación del informe de rendición de cuentas ante la Asamblea Legislativa cada 1º de mayo. El uso por parte de otros actores es limitado y, podría decirse, accidental. Limitado por la ausencia de incentivos que permitan promover la eficiencia y “castigar” la ineficiencia. Crítico si se maneja sólo para efectos presupuestarios, pues se corre el riego de traducirlo en un “castigo social”. No se cuenta con un sistema de incentivos y desincentivos. La divulgación y la democratización de la información es determinante para que los esfuerzos de monitoreo y evaluación no se conviertan en un ejercicio estéril. 74 V. INSTITUCIONALIZACIÓN DEL SINE Concluir sobre el grado de institucionalización y sostenibilidad del Sistema Nacional de Evaluación de Costa Rica, en medio de un proceso de transición y cambio, se convierte en una tarea compleja. Muchos de los aspectos críticos, identificados como una amenaza para su institucionalización y sostenibilidad, como por ejemplo la ausencia de mecanismos de verificación, forman parte de la propuesta de renovación del SINE formulada por las nuevas autoridades de MIDEPLAN. Desafortunadamente, se trata de procesos que aún no han sido desarrollados. No obstante lo anterior, en Costa Rica se puede afirmar que la gestión por resultados y la rendición de cuentas son dos temas relacionados que se encuentran posicionados dentro de la agenda política nacional. Al margen de los avances y retrocesos, así como de las debilidades identificadas, el SINE ha sobrevivido a cuatro gobiernos. En la actualidad, un aspecto importante, derivado del proceso de consultas y entrevistas realizadas, se relaciona con el hecho de que existe una percepción generalizada sobre el interés del actual gobierno de evaluar el Plan Nacional de Desarrollo 2006-2010. En este sentido, los Compromisos con la Ciudadanía y las Matrices Anuales de Programación Institucional (MAPI) son dos instrumentos reconocidos por la gran mayoría de los entrevistados. Éste es un aspecto positivo que debería ser administrado dentro de la estrategia de renovación del SINE impulsado por las nuevas autoridades de MIDEPLAN. Paradójicamente, en la coyuntura actual, estos instrumentos no son relacionados con el esfuerzo de evaluación que realiza MIDEPLAN en el marco del Sistema Nacional de Evaluación (SINE). Son percibidos como parte del PND y del POA, no como parte del SINE. Los enlaces institucionales entrevistados, quizás por tratarse de las instancias técnicas más involucradas, son los únicos que relacionan el proceso de evaluación que impulsa MIDEPLAN con la existencia del SINE. Sin embargo, aunque los enlaces institucionales reconocen que los informes que generan alimentan este proceso, en la práctica conocen muy poco sobre el SINE, sus objetivos, su estructura, alcance y utilidad práctica. Es decir, saben que sus reportes alimentan el SINE, pero conocen poco del mismo. Esta situación refleja, en cierta medida, el debilitamiento de las actividades relacionadas con la divulgación y promoción del Sistema Nacional de Evaluación (SINE) que, de acuerdo con las entrevistas realizadas, se acentúa principalmente en el período 2002-2006. En general, existe un reconocimiento amplio sobre el dinamismo que experimentó el SINE durante la administración Rodríguez Echeverría (1998-2002). Al respecto, aunque el SINE fue concebido como un instrumento interno del Poder Ejecutivo, y la Presidencia de la República su principal usuario, se advierte que tanto durante la administración Figueres Olsen (1994-1998) como en la de Rodríguez Echeverría (1998-2002) se impulsó una serie de actividades que, por su naturaleza, buscaba dar legitimidad al SINE y evidenciar la existencia de un sistema para evaluar el PND y promover la rendición de cuentas, como por ejemplo: la firma pública de los CDR, la divulgación de los mismos, la presentación de los resultados anuales ante el Consejo de Gobierno, la divulgación de los resultados de evaluación ante la prensa y la opinión pública, procesos de capacitación en temas estratégicos, talleres y seminarios abiertos al público, entre otros. En este contexto, si partimos del reconocimiento de que el grado de institucionalización de un sistema de monitoreo y evaluación está determinado por su capacidad para incidir, de manera oportuna y efectiva, en el mejoramiento de la gestión pública, resulta evidente que en el caso de Costa Rica, a pesar de los esfuerzos realizados, aún el SINE no ha logrado el nivel de madurez y desarrollo 75 requerido. Al contrario, la decisión de rediseñar el SINE, adoptada por las nuevas autoridades de MIDEPLAN, responde en gran medida al debilitamiento que registró el SINE en los últimos años. Como se indicó en el apartado anterior, aunque no existe claridad sobre la orientación funcional del SINE, sí existe un grado de consenso sobre el hecho de que su contribución ha sido marginal en lo que respecta al mejoramiento de la capacidad de gestión institucional y del gobierno como un todo. En este sentido, hay que tener presente que todo el esfuerzo de evaluación realizado por MIDEPLAN no ha estado acompañado del desarrollo de incentivos que estimulen el cambio. El monitoreo y la evaluación de las acciones estratégicas del PND, realizado en el marco del SINE, no tiene consecuencias. Es decir, las entidades públicas que cumplen o superan las metas previstas no reciben ningún estímulo por ello; mientras que las entidades que no lograron cumplir los compromisos adquiridos tampoco se enfrentan a ningún castigo o desestímulo. Formalmente, como se indicó, el SINE no desarrolló el módulo de incentivos y sanciones previsto para tales efectos desde su creación. En términos generales, se puede concluir que el SINE se quedó estancado en la etapa relacionada con la creación de las condiciones para su institucionalización. Sin embargo, conviene destacar algunos aspectos positivos que podrían contribuir a que el SINE retome el camino que lo lleve a su institucionalización: · El respaldo político brindado por los sucesivos gobiernos. El SINE ya superó cuatro gobiernos. En Costa Rica, la evaluación por resultados y la rendición de cuentas están posicionadas dentro de la agenda política nacional. · El marco legal vigente, aunque requiere de algunos pequeños ajustes para precisar las competencias de MIDEPLAN, del Ministerio de Hacienda y la Contraloría General de la República, resulta suficiente para promover ambos procesos. Sin pretender minimizar los cambios que requiere la legislación, por la vía reglamentaria se podrían subsanar las deficiencias identificadas, la mayoría de ellas relacionada con problemas de coordinación. · Las nuevas autoridades de MIDEPLAN han formulado una propuesta que busca rediseñar el SINE y enfrentar algunas de las deficiencias relacionadas con temas críticos para su institucionalización, como es el caso del uso de la información. · La etapa de transición que vive actualmente el SINE constituye en realidad una oportunidad para introducir cambios sustantivos en sus aspectos conceptuales, metodológicos y administrativos, así como para enfrentar las principales debilidades identificadas. En este contexto, la propuesta metodológica del Centro Latinoamericano de Administración para el Desarrollo (CLAD), en el sentido de crear un índice para medir el grado de institucionalización de los sistemas de monitoreo y evaluación, constituye un aporte sustantivo para retroalimentar el proceso de toma de decisiones relativas al desarrollo futuro del SINE. En la Tabla Nº 4 se presenta el detalle de la información relacionada con el grado de institucionalización del SINE. La valoración se refiere al estado de situación del SINE en los términos en que lo recibió el actual gobierno, tomando como referencia el análisis de la documentación a la cual se tuvo acceso y el proceso de consulta realizado por medio de las entrevistas realizadas. 76 Tabla Nº 4 Índice de institucionalización del Sistema Nacional de Evaluación (SINE) Dimensión/componente Demanda y utilización de la información La demanda de la información por parte de los usuarios principales es… Las indicaciones acerca de la utilización de la información son… Existen procedimientos correctivos institucionalizados que se aplican para corregir deficiencias detectadas por el sistema. Los encargados de las políticas o programas evaluados deben responder formalmente a las observaciones hechas por la evaluación acerca del cumplimiento de metas y objetivos. La proporción de usuarios actuales sobre el total de usuarios potenciales es… Oferta de información La adecuación / fiabilidad / temporalidad de la información ofrecida es... La proporción (en función al gasto corriente y de inversión) de las políticas, sectores, programas o proyectos cubiertos por el sistema es... Los informes de evaluación se entregan al Congreso y/o a la Contraloría. Los informes producidos por el sistema están a disposición de la ciudadanía. La cobertura de la información ofertada, en cuanto a niveles (por ej. políticas y programas) y aspectos (por ej. producción, resultado, satisfacción), es… Sostenibilidad del sistema en el tiempo Existe una normativa que respalda de manera sólida y estable el sistema y sus características (función, financiación y anclaje institucional). Existe una ley que dispone la evaluación de las políticas o programas gubernamentales. Existe una ley que establece el organismo responsable, sus objetivos, funciones y recursos para la evaluación de las políticas y programas del gobierno. Existen recursos humanos y financieros estables dedicados al sistema y respaldados por una normativa. El peso y relevancia política respecto a su contexto institucional del sistema es… Infraestructura y arquitectura del sistema La valorización del M&E como elementos esenciales por parte de la cultura organizativa es… Existen una estructura y unos procesos (normas técnicas y metodologías de trabajo) establecidas formalmente. Existe articulación entre el sistema y las instituciones ejecutoras, que se expresa en TdR y la participación del ejecutor en los informes. Existe coordinación y sinergia con planeación, presupuesto y el sistema estadístico (en caso de que existan varias instituciones evaluadoras, existe articulación y coordinación entre ellas). Existen procedimientos dedicados a la capacitación de y comunicación con personal dentro y fuera (por ej. los ejecutores de los programas) del sistema. Total = 32 3 2 1 0 x x x x x x x x x x x x x x x x x x x x 9 14 9 0 Como se deriva de la tabla anterior, el índice de institucionalización del SINE alcanza un valor de 32, de un total de 60 puntos como valor máximo. En términos porcentuales podríamos señalar que el grado de institucionalización del SINE es de un 53,3%. En términos de componentes o dimensiones, el área más débil es la relacionada con la demanda y utilización de la información, en donde acumula solamente 4 de 15 puntos posibles (un 26,6%), mientras que el área o dimensión más desarrollada es la referida a la sostenibilidad del sistema en el tiempo, en donde registra 11 de 15 puntos posibles (un 73,3%). En lo que respecta a la estimación del grado de institucionalidad del SINE, el índice calculado refleja de manera cercana las áreas críticas y las fortalezas identificadas. En este sentido, aunque se trata de una aproximación sustentada en una metodología factible de ser mejorada, se perfila como un 77 indicador de utilidad para el análisis comparado de los sistemas de monitoreo y evaluación en América Latina, tal y como lo prevé la presente investigación del CLAD. Por último, cabe señalar que la etapa de transición que vive actualmente el SINE constituye en realidad una oportunidad para introducir cambios sustantivos en sus aspectos conceptuales, metodológicos y operativos. En consulta realizada a las autoridades y al personal técnico de MIDEPLAN, el presente estudio constituye un insumo valioso para apoyar el proceso de toma de decisiones sobre el desarrollo futuro del mismo, incorporando no sólo la valoración del SINE sino también las lecciones aprendidas sobre las experiencias regionales que son objeto de análisis en esta investigación. 78 BIBLIOGRAFÍA Garnier, Leonardo y Mora, Mario (1999), Un sistema de evaluación estratégica: el Sistema Nacional de Evaluación de Costa Rica, Washington, BID. __________ (2000), Compromisos de Resultado en el sector social: su aplicación en Costa Rica; documento de trabajo, Washington, BID. MIDEPLAN (1995a), Sistema Nacional de Evaluación: primeros pasos para la institucionalización del rendimiento de cuentas, San José, Ministerio de Planificación Nacional y Política Económica. __________ (1995b), SINE: Sistema Nacional de Evaluación, San José, Ministerio de Planificación Nacional y Política Económica. Partido Liberación Nacional (1993), Programa Liberacionista para el Bienestar de los Costarricenses: Gobierno de José María Figueres Olsen, 1994-1998, San José, Partido Liberación Nacional. Sulbrandt, José (1993), “La evaluación de los programas sociales: una perspectiva crítica de los modelos usuales”, en Pobreza: un tema impostergable, nuevas respuestas a nivel mundial, Bernardo Kliksberg (comp.), México, CLAD, PNUD, Fondo de Cultura Económica. Weisner, Eduardo (1993), “From Macroeconomic Correction to Public Sector Reform: the Critical Role of Evaluation”, Washington, World Bank (World Bank Discussion Paper; Nº 214). 79 PERSONAS ENTREVISTADAS Período: febrero-mayo de 2007 Nombre Hannia Vega MIDEPLAN José Calvo MIDEPLAN Mario Robles Silvia Jiménez Rolando Rodríguez Orlando Vega Eliécer Salazar Miriam Madrigal María Rojas José Eddy Peña Ligia Chaves Marjorie Valerín Karla Salas Minor Madrigal Hazel Díaz MIDEPLAN MIDEPLAN MIDEPLAN MIDEPLAN MIDEPLAN MIDEPLAN MIDEPLAN MIDEPLAN MIDEPLAN MIDEPLAN MIDEPLAN MIDEPLAN Defensoría de los Habitantes Ovidio Valerio Marta Eugenia Acosta Maritza Sanabria Marjorie Morera Asamblea Legislativa Contraloría General de la República Mayra Calvo Yancy Quirós Francisco Gólchez Ministerio de Hacienda Ministerio de la Vivienda y Desarrollo Social Ministerio de la Vivienda y Desarrollo Social Ministerio de Salud Pública Aura Padilla Ministerio de Educación Pública Beleida Alfaro Ministerio de Obras Públicas y Transportes Ministerio de Ambiente y Energía Manuel Barahona Oscar Loza Institución Contraloría General de la República Ministerio de Hacienda 80 Cargo Viceministra de Planificación Nacional. Director, Sistema Nacional de Evaluación. Director, Análisis del Desarrollo. Analista. Analista. Analista. Analista. Analista. Analista. Analista. Analista. Analista. Analista. Analista. Directora, Área de Gestión de Control. Director, Análisis Presupuestario. Sub Contralora General. Fiscalizadora, Secretaría Técnica. Directora, Dirección General de Presupuesto. Directora, Autoridad Presupuestaria. Enlace Sectorial. Asesor Sectorial. Enlace Institucional. Director, Secretaría Técnica del Consejo Sectorial de Salud. Enlace Institucional. Directora de Planeamiento y Desarrollo Educativo. Enlace Institucional. Directora de Planificación Sectorial. Enlace Institucional. Director de Planificación. GLOSARIO DE SIGLAS UTILIZADAS BID BIRF CAP CDR CGR EVO INEC MAPI MDI MDP MDPE MIDEPLAN PND PAO PAT SIEN SINE Banco Interamericano de Desarrollo. Banco Interamericano de Reconstrucción y Fomento. Consejo Asesor Presidencial. Compromisos de Resultados. Contraloría General de la República. Oficina de Evaluación, del BID. Instituto Nacional de Estadística y Censos. Matriz Anual de Programación Institucional. Matriz de Desempeño Institucional. Matriz de Desempeño Programático. Matriz de Desempeño Programático Específico. Ministerio de Planificación Nacional y Política Económica. Plan Nacional de Desarrollo. Plan Anual Operativo. Plan Anual de Trabajo. Sistema Integrado de Evaluación Nacional. Sistema Nacional de Evaluación. 81