“La institucionalización de la evaluación de políticas públicas en España” María Luisa Carcedo Roces Presidenta Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios Relación de simetría entre ciudadanos y representantes políticos CONTEXTO POLÍTICO Cambios en el sistema global de relaciones entre administración y el ciudadano Nuevos retos, nuevas exigencias Symmetric relations between citizens and politics POLITICAL CONTEXT New challenges, new requirements Changes in the global system of relations between citizens and administration UNA HERRAMIENTA DE CALADO SOCIAL Legitimación de las políticas sociales y las acciones del gobierno Contribución de las políticas para crear un determinado tipo de sociedad Evaluación de las Políticas Públicas Reforzamiento del estado del bienestar Análisis de los efectos de las políticas sobre los ciudadanos Legitimacy of social policies and government actions Evaluation of the public policies Contribution of the policies to develop certain model of society Reinforcement of welfare state Analysis of the policies effects on the citizens INSTITUCIONALIZACIÓN DE LA EVALUACIÓN El proceso político por el que se legitima un marco normativo adecuado para el desarrollo de la función de evaluación a partir de la estructuración de espacios e instancias de las administraciones públicas a las que encargar tal función, ubicándolos en distintos niveles de gobierno y según las distintas actividades o sectores a evaluar. INSTITUCIONALIZATION OF THE EVALUATION The political process that provides legitimacy to the normative framework for the development of the function of evaluation. It organizes the offices and services in the public administration that will be in charge of that function, locating them in the different government levels according to the activities or sectors to evaluate IMPORTANTES ESFUERZOS POR MODERNIZAR EL SISTEMA Y HACER UNA ADMINISTRACIÓN MÁS EFICAZ MÁS TRANSPARENTE MÁS SENCILLA MÁS COMPRENSIBLE QUE OFREZCA SERVICIOS DE MAYOR CALIDAD CAPAZ DE ESCUCHAR A LOS CIUDADANOS CAPAZ DE RESPONDER A SUS DEMANDAS More effective More transparent With simpler processes Easier to understand Offering services of high quality Able to listen to the citizens Able to respond to their demands and needs INSTITUCIONALIZACIÓN DE LA EVALUACIÓN DE POLÍTICAS PÚBLICAS EN ESPAÑA Compromiso político Análisis académico Marco jurídico Programa electoral 2004 Comisión de expertos Ley de Agencias Servicio a la ciudadanía, transparencia en la gestión pública, rendición de cuentas Identificación de estructura, funciones, forma institucional más adecuadas Ley de Agencias Estatales para la mejora de los Servicios Públicos (28/2006 18 julio) THE INSTITUTIONALIZATION OF PUBLIC POLICY EVALUATION IN SPAIN Politic commitment Academic analysis Legal framework Electoral Program 2004 Expert Committee Law of Agencies Service to citizens, transparency and accountability Proposal of structure, functions and institutional model Law of National Agencies for the improvement of Public Services (28/2006 18 July) Misión La promoción y realización de evaluaciones y análisis de impacto de las políticas y programas públicos, así como el impulso de la gestión de las calidad de los servicios, favoreciendo el uso racional de los recursos y la rendición de cuentas a la ciudadanía. Doble finalidad POLÍTICA (rendición de cuentas, transparencia, calidad democrática) SOCIO- ECONÓMICA (eficiencia, racionalización en el uso de los recursos, mejora de las decisiones en base a evidencias, impactos en la sociedad) Mission To contribute to the improvement of the activities and results of the public institutions in Spain, by means of the performance of evaluations and with the promotion of the culture of evaluation. Double Purpose POLITICAL accountability, transparency, and the quality of democracy SOCIO- ECONÓMICAL Efficacy of the policies, the rational allocation of the resources, the improvement of evidence based decisions, and the analysis of the impacts on society. FUNCIONES Difusión de la cultura de evaluación. Evaluaciones de políticas y programas. Elaboración de metodologías, sistemas de información e indicadores. Promoción de la cultura de calidad institucional. Evaluaciones de servicios públicos y de la actividad de las Agencias Estatales. Observatorio de la Calidad de los Servicios. Directrices metodológicas, difusión de buenas prácticas y certificaciones de calidad. FUNCIONES evaluation Dissemination of the culture of evaluation Evaluation of policies and programs Development of methodology, information systems and indicators quality Promotion of the culture of institutional quality Evaluation of the public services and the activity of National Agencies Observatory of the quality of the services Methodological guidelines, dissemination of good practices and quality accreditation EVOLUCIÓN DEL CONCEPTO EVALUACIÓN (I) 1. MEDICIÓN DE RESULTADOS Fuertes exigencias metodológicas/cuantitativas. Utilidad real limitada no explica la conexión entre el conocimiento obtenido y la mejora de la acción. No se explican las razones de los resultados generado. 2. DESCRIPCIÓN DEL PROGRAMA Se modifica la unidad de análisis. El foco ya no está en individuos o servicios sino en programas. Trata de explicar los resultados por su conexión con el funcionamiento del programa. Se analizan variables internas, pero no el contexto 1. RESULTS MEASUREMENT High methodological/quantitative requirements Limited utility. Does not explain the relation between obtained knowledge and action improvement Does not explain the reasons for the obtained results.º 2.DESCRIPTION OF THE PROGRAM The unit of analysis changes Focused on programs or services, not on individuals Aimed to explain the results by their connection with the functioning of the program Internal variables are analyzed, but the context is not included EVOLUCIÓN DEL CONCEPTO EVALUACIÓN (II) 3. JUICIO SOBRE LAS POLITICAS Y PROGRAMAS El elemento central son los objetivos . Conocer cuál es el verdadero impacto de los programas. El cambio observado y que parte es debido a la intervención La dificultad en establecer estos nexos causales entre programas y resultados dada la complejidad de las decisiones publicas. 4. PERSPECTIVA MÁS POLÍTICA O DE PROCESO SOCIAL Giro con respecto a la situaciones anteriores que pretendían aportar más elementos objetivos. El elemento central son posiciones, actitudes y orientaciones de los actores con influencia en el proceso político. La evaluación menos técnica y más de debate social. Negociación “qué es y en qué consiste el éxito de una política”. Dificultad de datos objetivables, referentes…. 3. JUDGEMENT ABOUT POLICIES AND PROGRAMS Objectives are the main element Knowledge about the real outcome of the programs Analyze the observed change and which part is due to intervention Difficulty to establish causal relations between programs and results because the complexity of public decisions 4. A SOCIO-POLITICAL PROCESSThe unit of analysis changes Important change in relation with previous perspectives, that looked for objective elements The main aspects are the attitudes and orientations from agents that may influence the political process. The evaluation becomes less technological and adds more social debate Negociation “what is success in a policy” Difficulty to obtain objective data, and references LA EVALUACIÓN EN LA AGENCIA HACER EFECTIVA LA NUEVA GOBERNANZA Y RESPONDER A LOS RETOS DE LA CIUDADANÍA ASEGURAR LA CALIDAD DEL GASTO NO SÓLO POR CANTIDAD SINO POR LOS IMPACTOS QUE SE OBTIENEN EFECTIVIDAD, EFICACIA, EQUIDAD Make the New Governance a reality and responde to the citizens’ challenges and demands Ensure the quality of the public resources, not only for its quantity, but mainly for the outcomes and impacts Effectiveness, Efficiency, Equity UNA HERRAMIENTA PARA LA REFLEXIÓN POLÍTICA LA EVALUACIÓN PONE EN RELACIÓN UNA DETERMINADA POLÍTICA CON LOS VALORES DE REFERENCIA DEBE TENER CARÁCTER PERMANENTE. NECESITA DE UNA CULTURA, HÁBITOS Y ACTITUDES PRÓXIMOS AL PENSAMIENTO ESTRATÉGICO DEBE POTENCIAR Y POTENCIAR EL APRENDIZAJE Una organización que mantenga su capacidad de rendir cuentas, de ser transparente en su gestión, de evaluar su quehacer, será una organización capaz de aprender tanto de sus aciertos como de sus errores. Subirats, 2005 The evaluation makes the connection between a specific policy with the reference values Must be a permanent strategy. It needs a culture, habits and attitudes related to the stategic thinking Must improve and promote the learning process An organization with capacity in accountability, transparent in the management, that evaluates its processes, will be an organization able to learn from its success and its mistakes (Subirats, 2005) UN LUGAR DESTACADO EN LA AGENDA POLÍTICA MANDATOS PARLAMENTARIOS Y GUBERNAMENTALES Los programas y las políticas públicas que anualmente le encargue el Consejo de Ministros. El grado de aplicación y de éxito de las principales medidas del Programa Nacional de Reformas -PNRLa Estrategia Española de Desarrollo Sostenible en colaboración con el observatorio de la Sostenibilidad de España (OSE) Realizar un informe anual para el Congreso de los Diputados sobre la actividad desarrollada por las Agencias Estatales y sus compromisos para mejorar la calidad de los servicios prestados a los ciudadanos, y Realizar un informe anual del Observatorio de la Calidad de los Servicios Públicos que incluya la percepción del ciudadano sobre la calidad de dichos servicios AN OUTSTANDING PLACE IN THE POLITICAL AGENDA GOVERNMENT MANDATE Public policies and programs than annually requires the Council of Ministers Level of application and success of the main measures included in the National Program of Reforms The Spanish Strategy for Sustainable Development in collaboration with the Spanish Observatory for Sustainalibity (OSE) Annual Report for the Parliament about the activities performed by the National Agencies and their commitments to improve the quality of their services Annual report about the quality of the public services and about the citizens’ perception about those public services PROGRAMA NACIONAL DE REFORMAS – PNR - 1. Refuerzo de la Estabilidad Macroeconómica y Presupuestaria 7. Plan de Fomento 2. Plan Estratégico de Infraestructuras y Transporte (PEIT) y Programa AGUA Empresarial PROGRAMA NACIONAL DE REFORMAS 6. Mercado de Trabajo y 3. Aumento y Mejora del Diálogo Social Capital Humano 5. Más Competencia, Mejor Regulación, Eficiencia de las Administraciones Públicas y Competitividad 4. Estrategia I+D+I (INGENIO 2010) Continuar PROGRAMA NACIONAL DE REFORMAS – PNR - 1. Refuerzo de la Estabilidad Macroeconómica y Presupuestaria LA INCIDENCIA DE LAS MEDIDAS PARA LA RACIONALIZACIÓN DEL GASTO FARMACÉUTICO. Ministerio de Sanidad y Política Social Ejes PNR PROGRAMA NACIONAL DE REFORMAS – PNR - 2. Plan Estratégico de Infraestructuras y Transporte (PEIT) y Programa AGUA LAS ACCIONES FINANCIADAS CON CARGO A LOS PRESUPUESTOS DEL ESTADO EN LAS ÁREAS DE INFLUENCIA SOCIOECONÓMICA DE LA RED DE PARQUES NACIONALES. Ministerio de Medio Ambiente y Medio Rural y Marino PLAN ESTRATÉGICO DE SEGURIDAD VIAL 2005-2008. Ministerio de Interior Ejes PNR PROGRAMA NACIONAL DE REFORMAS – PNR - 3. Aumento y Mejora del Capital Humano DOBLE EVALUACIÓN DEL SISTEMA GENERAL DE BECAS EDUCATIVAS. Ministerio de Educación Ejes PNR PROGRAMA NACIONAL DE REFORMAS – PNR - 4. Estrategia I+D+I (INGENIO 2010) LOS PROGRAMAS DE FOMENTO DE LAS ACTIVIDADES DE INVESTIGACIÓN, DESARROLLO E INNOVACIÓN. INGENIO 2010 (EN 2007 CORRESPONDÍA A MITYC). LA POLÍTICA DE MEJORA DEL SISTEMA DE TRANSFERENCIA DE TECNOLOGÍA A LAS EMPRESAS. Ministerio de Ciencia e Innovación PLAN NACIONAL DE TRANSICIÓN A LA TDT. Ministerio del Industria, Turismo y Comercio Ejes PNR PROGRAMA NACIONAL DE REFORMAS – PNR - 5. Más Competencia, Mejor Regulación, Eficiencia de las Administraciones Públicas y Competitividad LA EFECTIVIDAD DE LAS POLÍTICAS EN MATERIA DE SEGURIDAD ENERGÉTICA. EL REGISTRO NACIONAL DE DERECHOS DE EMISIÓN DE GASES DE EFECTO INVERNADERO. PLAN NACIONAL DE TRANSICIÓN A LA TDT. Ministerio de Industria, Turismo y Comercio LAS ACCIONES FINANCIADAS CON CARGO A LOS PRESUPUESTOS DEL ESTADO EN LAS ÁREAS DE INFLUENCIA SOCIOECONÓMICA DE LA RED DE PARQUES NACIONALES. GESTIÓN Y FUNCIONAMIENTO DE LAS CCHH. Ministerio de Medio Ambiente y Medio Rural y Marino Ejes PNR PROGRAMA NACIONAL DE REFORMAS – PNR - 6. Mercado de Trabajo y Diálogo Social TRÁMITES ADMINISTRATIVOS PARA LA CREACIÓN DE EMPRESAS. Ministerio de Industria, Turismo y Comercio LA PARTICIPACIÓN DE LA ADMINISTRACIÓN GENERAL DEL ESTADO EN EL SISTEMA PARA LA AUTONOMÍA Y LA ATENCIÓN A LA DEPENDENCIA. Ministerio de Sanidad y Política Social LA POLÍTICA DE BONIFICACIONES Y REDUCCIONES DE CUOTAS EN CEUTA Y MELILLA. LA POLÍTICA DE BONIFICACIONES Y REDUCCIÓN DE CUOTAS DE LA SEGURIDAD SOCIAL. LA POLÍTICA DE BONIFICACIONES PARA PERSONAS EN SITUACIÓN DE DISCAPACIDAD. EVALUACIÓN INTERMEDIA DEL PLAN ESTRATÉGICO DE CIUDADANÍA E INTEGRACIÓN (NO INCLUIDA EN EL PLAN DE TRABAJO 2009). Ministerio de Trabajo e Inmigración Ejes PNR PROGRAMA NACIONAL DE REFORMAS – PNR - 7. Plan de Fomento Empresarial LAS LÍNEAS DE FINANCIACIÓN PARA EL FOMENTO DE LA ACTIVIDAD EMPRENDEDORA Ministerio de Economía y Hacienda Ejes PNR MESOCALIDAD USUARIOS Modelos de Excelencia EFQM CAF EVAM Análisis NecesidadesExpectativas Evaluación Satisfacción Binomio Estado-Sociedad CALIDAD DE LOS SERVICIOS MACROCALIDAD CALIDAD DEMOCRÁTICA Legitimación social Apertura Responsabilidad Estudios de percepción ciudadana Evaluación de PP.PP Gobernanza Eficacia Participación CALIDAD DE LAS POLITICAS Coherencia EVALUACIÓN PP.PP Binomio Servicios-Usuarios MICROQUALITY ORGANIZACIONES Estructuras Personas Procesos Productos EVALUACIÓN SS.PP LA CALIDAD DE LA ACCIÓN PÚBLICA LA EVALUACIÓN EN EL ESCENARIO ACTUAL Sistema económico de mercado Incapaz de dar respuesta a las necesidades sociales: redistribución, equidad y justicia social El escenario actual ofrece una ventana de oportunidad (la incapacidad, se agrava en momentos de crisis) a la evaluación HACIA UN MODELO DE CRECIMIENTO Sostenible económicamente a medio y largo plazo, basado en la economía del conocimiento y la innovación Sostenible socialmente, para favorecer la estabilidad en el empleo, la igualdad de oportunidades y la cohesión social. Sostenible medioambientalmente, para cumplir con los objetivos europeos en materia de energía y cambio climático. Y requiere otro modelo de gestión proactivo, eficaz, fomentando la actividad y competitividad, y cumpliendo con los ciudadanos HACIA UN MODELO DE CRECIMIENTO Además, este nuevo modelo debe gravitar sobre la evaluación como eje central de la nueva Administración Pública. La evaluación, como concepto clave del nuevo marco de descentralización y modernización administrativa, pretende abarcar todos los ámbitos y alcanzar a las personas, a los procesos organizacionales y a los resultados de la intervención. Por consiguiente, podemos decir que la evaluación tiene cuatro objetivos prioritarios: La asunción de responsabilidades entre los gestores de las políticas, programas y proyectos públicos La consideración de los actores que intervienen en la política La gestión eficaz y eficiente de los This new model must use the evaluation as a central element of the New Public Administration. recursos públicos Evaluation as a key concept of the new framework of administrative decentralization and modernization, pretends to enclose análisis persons, organizational processes and El intervention outputsdel impacto de las intervenciones públicas Therefore, we can affirm that the evaluation has four main goals. * Responsibility assumption by the managers of public policies, programs and projects * Considering all the agents intervening in each policy * Effective and efficient managing of public resources * Impact analysis of public interventions www.aeval.es Agencia Estatal de Evaluación de las Políticas Públicas y la Calidad de los Servicios