Transcripción Entrevista ¿Cuál es el estado actual de los sistemas de evaluación de políticas públicas en Chile y cuáles son los principales desafíos que tenemos por delante? Responde: Francisco Gallego, Profesor del Instituto de Economía UC y Director Científico JPAL- Latinoamérica Fecha: Septiembre 2009 Yo creo que en Chile hemos avanzado muchísimo en la cantidad de programas que se han evaluado. La Dirección de Presupuestos del Ministerio de Hacienda tiene un programa de evaluaciones comprensivas ex post. Sin embargo, yo veo dos desafíos fundamentales en la evaluación de políticas públicas los que tienen que ver con mejorar la calidad de las evaluaciones, en particular con la evaluación de la calidad de las evaluaciones y de alguna manera generar una institucionalidad para poder evaluar a las evaluaciones. Este es un tema complejo porque muchas veces las evaluaciones -sobre todo las ex post- son complicadas, tienen desafíos metodológicos conceptuales no triviales y, en ese sentido, como académico me atrevo a sugerir que sería interesante de alguna manera hacer un stock de cuántas de las evaluaciones de políticas públicas que se han hecho por académicos han sido publicadas – ya que ese es un muy buen indicador de calidad- y sobre esa base construir ese indicador y considerarlo el día de mañana, cuando se asignen evaluaciones, así también como abrir la participación de académicos y organismos internacionales. Una segunda área en la que también tenemos que avanzar para mejorar en la calidad de las evaluaciones es considerar más el tipo de evaluaciones ex ante, que tiene que ver con diseños de políticas que se prueban en pilotos antes de implementarse. Considero que en ese aspecto en Chile hemos sido pioneros en muchos ámbitos que han funcionado, como las AFP y sistemas de subsidios habitacionales, por ejemplo. Sin embargo, en otras intervenciones que hemos aplicado a todo el sistema sin evaluarlas ex ante también hemos fallado. Con evaluaciones ex ante podemos solucionar esos problemas. Ciertamente este es un avance, porque si bien son evaluaciones más caras, permiten a la vez ahorrar recursos y mejorar la intervención antes de que la política sea implementada. Yo veo esos dos grandes desafíos: en primer lugar, calidad y aseguramiento de calidad, porque en realidad no tenemos métricas para saber si las evaluaciones que se han hecho hasta ahora son de calidad o no y, en segundo lugar, avanzar en evaluaciones ex ante que pueden ser bien importantes en el diseño e implementación de políticas públicas. Responde: Rodrigo Herrera, Jefe información Social de Mideplan Fecha: Septiembre 2009 Departamento de Sistemas de Yo creo que Chile ha avanzado mucho en términos de evaluación de políticas y programas, de hecho este año la Dipres abrió un departamento que se llama Departamento de Evaluación de Programas Nuevos, cuyo objetivo es diseñar la evaluación del programa conjuntamente con el diseño del programa mismo, por lo tanto, esa es una muy buena noticia y va en la dirección correcta. Sin embargo, creo que aún hay mucho por mejorar en temas de evaluación, principalmente porque las políticas públicas en Chile han ido cambiando, evolucionando, se han vuelto un poco más complejas de lo que eran hace algún tiempo. Hoy a las políticas se les exige que sean intersectoriales, por ejemplo, y eso mismo complejiza los procesos de evaluación. Por ende, pienso que el mayor desafío es entender esto mismo: por una parte comprender que las políticas han ido cambiando y, por otra, hacer una revisión acerca de si las actuales metodologías de evaluación son capaces de entregar información oportuna a los gestores de estas nuevas políticas que son más complejas, como por ejemplo, el sistema de protección a la primera infancia “Chile Crece Contigo”. En ese contexto creo que se debieran realizar estrategias de evaluación que sean integradoras, donde puedan participar distintos métodos de evaluación que en conjunto entreguen información a los gestores, los prestadores y a la gente que finalmente ejecuta las políticas para que retroalimenten su gestión y de esa manera puedan hacer mejoras continuas a la implementación y funcionamiento de estas políticas. Responde: Teresa Matus, Docente e Investigadora de la Escuela de Trabajo Social de la UC. Fecha: Septiembre 2009 En términos de evaluación de políticas es evidente que hemos avanzado porque la evaluación tiene que ver incluso con los mecanismos de cómo se generan las políticas y hay, por ejemplo, un sistema como Chile Compra que hace que mucha parte de la política pública sea mediante la licitación concursable y permite que ese sistema este mucho más bajo control que antes. En segundo lugar, todos los esfuerzos que hace la Dipres en términos de la evaluación de programas y políticas también es algo importante a considerar. Sin embargo, hay tres grandes desafíos. Para poder evaluar nosotros necesitamos no sólo transparencia en términos de recursos financieros, eso es necesario pero insuficiente porque con la evaluación financiera podemos saber si los dineros fueron destinados a los objetivos del programa, si éste es o no corrupto, pero no podemos saber sí es o no eficiente, ni en que medida un uso alternativo de esos recursos daría quizás mejores ganancias. Entonces, necesitamos generar un sistema evaluativo que contenga indicadores articulados entre ingreso, monitoreo e indicadores de egreso. Todavía muchos programas tienen el egreso marcado por otros factores como, por ejemplo, la edad o el tiempo de factibilidad económica para que alguien egrese, no digo que esas medidas estén mal, pero son insuficientes. Necesitamos de evaluaciones técnicas, porque sino se evalúa un diferencial ex ante - ex post no se pueden hacer evaluaciones de impacto sustantivas. Eso hay que tenerlo además con buenos indicadores, es decir, que sean sensibles a lo que se quiere lograr, no necesariamente demasiados indicadores, a veces pasamos de no tener nada a tener 300 indicadores, eso más bien distorsiona, se trata de un puñado de indicadores precisos, robustos e interesantes para poder ver sobre todo una tipología de usuarios, es decir, necesitamos avanzar hacia la diferenciación. Una cosa es perseguir la equidad la igualdad y otra cosa es que al interior del programa nosotros entendamos que hay distintos tipos de sujetos que hacen ese programa, que requieren un ritmo más lento, que tendrían que tener una evaluación distinta de los que avanzan con un ritmo más rápido, porque estos últimos podrían obtener otros beneficios también obtenidos a mejor ritmo, los que avanzan a ritmo más lento tendríamos que ver a lo mejor de qué modo la forma en que se hace la política nos pueda dar una evaluación pertinente para saber qué pedir a cada uno de ellos, ese es un gran tema en términos de evaluación de políticas. El otro tema que a mí me gustaría destacar tiene que ver, sin lugar a dudas, con qué se hace con las evaluaciones del grado de satisfacción de los usuarios. Nosotros hemos avanzado, les preguntamos a la gente en este momento cómo se sienten y qué ha pasado con ellos en relación con un programa, pero eso es claramente insuficiente si no se contrasta con ciertos estándares. En evaluación requerimos urgentemente avanzar en estándares de comparación internacional, porque una cosa es que yo me sienta agradecida con un programa y que éste haya funcionado bien para mí y otra cosa es que yo pueda decir que ese programa es el mínimo internacional que en ese rubro existe, son dos cuestiones distintas. Quienes trabajamos hace muchos años en intervención social sabemos que, además, uno se gana el cariño de las personas y que uno tendría que hacer las cosas muy mal para que ellas terminaran no haciendo un voto favorable al programa en el que uno está, por eso mismo un buen factor de control son los estándares, una evaluación de usuario sin estándar es una evaluación bastante insuficiente en términos de esas medidas. La tercera que es bastante complementaria con las dos anteriores es hacer una evaluación que involucre comparar realidades y situaciones nacionales e internacionales y, por lo tanto, desde ahí tener un sistema de articulación gradual donde uno pudiera saber “estamos acá y necesitamos estar acá”, posibilidades alternativas para ir logrando mejores evaluaciones, mejores resultados. Todas estas medidas y desafíos involucran una cuestión fundamental: presupuesto para estudios técnicos de evaluación. Sin gastar en evaluación en los programas es bastante difícil generar mejores logros en evaluación y todavía en nuestro país está la mentalidad de que lo que sirve es gastar en la atención directa, no necesariamente en poder evaluar cómo se están dando esas formas de atención. A mí me parece que allí hay que generar nuevos fondos. Nosotros en términos de inversión en nuevo conocimiento estamos tres veces por debajo de los países a los cuales nos gustaría parecernos: Nueva Zelandia, Finlandia, entre otros. Ellos en general del PIB gastan entre un 2 y 3 por ciento en inversión en conocimiento, nosotros apenas un 0,6 por ciento. Entonces en qué se aumenta ese porcentaje, por supuesto en generar sistemas innovadores, eso es evidente, pero también en generar formas técnicas de evaluación. Sin tener resultados serios e interesantes en términos de sistemas de evaluaciones de tendencias no sólo de corto plazo, sino que también de mediano plazo, difícilmente podremos mejorar en términos de evaluaciones sustantivas. Responde: Mario Waissbluth, Coordinador Nacional Educación 2020 Fecha: Septiembre 2009 En primer lugar quiero destacar la esencialidad del tema. El Estado existe para definir políticas públicas implementarlas y producir resultados y si estos resultados después no se evalúan no se cierra el círculo y no sabemos si la plata pública se está gastando adecuadamente o no, por lo tanto es un tema absolutamente esencial. Lo segundo es que la evaluación tiene que tener tres momentos. Uno es la evaluación de la implementación y la gestión, es decir, cuando se está ejecutando la política pública. Luego está el momento que se puede llamar el out put directo, o sea, cuánto se produjo, cuántas casas se construyeron, si las viviendas estaban bien construidas o no. Y el tercer momento es el del impacto del largo plazo completo, por ejemplo, se están construyendo bien o no las soluciones habitacionales, segundo impacto directo cuántas se construyeron, a qué costo y con qué calidad, pero el tercero es el impacto de largo plazo en la ciudadanía, en definitiva, el proyecto en su conjunto tuvo en la población un impacto económico, social y cultural adecuado a lo que se preveía originalmente o no, eso es algo que generalmente se puede hacer algunos años después del resultado inmediato. Entonces es importante distinguir que hay tres momentos. Dicho lo anterior, yo creo que si bien ha habido avances en Chile y éstos se han dado por algunos programas que hace la Dipres, aquí falta una de las reformas del Estado más fundamentales. Si yo tuviera que escoger tres reformas estructurales del Estado chileno una podría ser el sistema de Alta Dirección Pública, la otra la Ley de Transparencia y está faltando la tercera, y es que exista un ente con los mismos niveles de autonomía del Consejo de la Transparencia o del Sistema de Alta Dirección, que pueda evaluar cuándo quiera, cómo quiera y con la autonomía que quiera el programa, la ley, la institución, el proyecto que sea, esto existe en todos los países de la OECD, no existe en ningún país de América Latina y tampoco en Chile. A mí me parece legítimo y necesario que el propio poder ejecutivo se autoevalúe, por ejemplo, por las evaluaciones que hace la Dipres, pero una cosa es eso y otra muy distinta es que haya un ente autónomo del Estado como existe en otros países que tenga libertades mucho más grandes, porque en el caso de la Dipres hay una contradicción esencial y es que ésta es la que aprueba el presupuesto y después lo evalúa, entonces, es juez y parte por esencia y definición no digo que no lo deba seguir haciendo, digo que fuera de eso tiene que haber esta otra fórmula institucional. En algunos países del mundo esto lo hacen las contralorías que realizan evaluaciones de ese tipo, no sólo administrativas y de cumplimiento de la normativa, sino que hacen evaluaciones de impacto. Si tú te metes al sitio web de la Contraloría norteamericana vas a encontrar ahí los reportes que dicen “evaluación del impacto del programa de alimentación escolar en la obesidad infantil” el que evaluó la contraloría sin pedirle permiso a nadie, porque la Contraloría fue nombrada por el Senado. En otros países esto no lo hacen las contralorías sino que lo realizan institutos autónomos distintos a ésta, como es el caso de Singapur o de Australia, pero más allá de las dos alternativas lo esencial es que ésta es una gran reforma faltante en el Estado.