LA EVALUACION EXANTE DEL PROGRAMA OPERATIVO PARA EL EMPLEO JUVENIL PERIODO 2014-2020 (FONDO SOCIAL EUROPEO) Coordinador: Ignacio Moral Arce (IEF) Autores: Ignacio Moral Arce Adrián Hernández Javier Martín Milagros Paniagua Teresa Pérez Elena Pradell Leila Rodríguez Cristian Rodríguez Instituto de Estudios Fiscales o DOC. n. 3/2015 Con la colaboración de: Maribel Martínez (Abay Analistas). N. I. P. O.: 634-15-003-0 N. B.: Las opiniones expresadas en este documento son de la exclusiva responsabilidad de los autores, pudiendo no coincidir con las del Instituto de Estudios Fiscales. Edita: Instituto de Estudios Fiscales I. S. S. N.: 1578-0244 Depósito Legal: M-23771-2001 ÍNDICE CAPITULO I. INTRODUCCIÓN CAPÍTULO II. ESTRATEGIA 2.1. ANÁLISIS DE DIAGNÓSTICO SOCIOECONÓMICO, ANÁLISIS DAFO 2.1.1. Análisis del Diagnostico DAFO 2.1.2. 2.2. Lecciones aprendidas LA LÓGICA DE LA INTERVENCIÓN 2.2.1. Pertinencia del Programa 2.2.2. Análisis de coherencia externa 2.2.3. Análisis de coherencia interna 2.2.4. Análisis de la incorporación de las prioridades horizontales CAPÍTULO III. INDICADORES, SEGUIMIENTO Y EVALUACIÓN 3.1. ANÁLISIS TEÓRICO DEL SISTEMA DE INDICADORES PROPUESTO 3.2. ANÁLISIS DE LOS OBJETIVOS FINALES PROPUESTOS 3.2.1. Análisis de los hitos seleccionados para el Marco de Rendimiento 3.3. ANÁLISIS DE PROCEDIMIENTO DE SEGUIMIENTO DEL PROGRAMA, PROCESOS DE RECOGIDA DE DATOS Y EVALUACIÓN. CAPÍTULO IV. ASIGNACIONES FINANCIERAS 4.1. ANÁLISIS DE LA DISTRIBUCIÓN FINANCIERA 4.2. COHERENCIA DE LAS ASIGNACIONES FINANCIERAS EN FUNCIÓN DE LAS DEBILI­ DADES 4.3. COHERENCIA DE LAS ASIGNACIONES FINANCIERAS: ANÁLISIS SEGÚN AMENAZAS CAPÍTULO V. GOBERNANZA 5.1. INTRODUCCIÓN 5.2. EVALUACIÓN DE LA GOBERNANZA: ANÁLISIS DE BUENAS PRÁCTICAS 5.3. EVALUACIÓN DE LOS RR.HH. Y DE LA CAPACIDAD ADMINISTRATIVA 5.4. COMUNICACIÓN Y COORDINACIÓN. LA APLICACIÓN DEL PRINCIPIO DE PARTENARIADO 5.5. RESUMEN DE EVALUACIÓN DE GOBERNANZA CAPÍTULO VI. PRINCIPALES CONCLUSIONES DE LA EVALUACIÓN EX ANTE DEL POEJ 6.1. INTRODUCCIÓN 6.2. ESTRATEGIA DE ACTUACIÓN 6.3. INDICADORES, SEGUIMIENTO Y EVALUACIÓN 6.4. ASIGNACIONES FINANCIERAS 6.5. GOBERNANZA 6.6. CONCLUSIONES — 3— Instituto de Estudios Fiscales CAPÍTULO I. INTRODUCCIÓN Mediante la evaluación ex ante del Programa Operativo de Empleo Juvenil (POEJ) se pretende refor­ zar la importancia que tiene un diseño correcto del programa y que presente un claro enfoque centra­ do en aquellos resultados que se quieren alcanzar con esta intervención, mejorando la calidad de las actuaciones, y obteniendo de este modo intervenciones más eficaces, ya que este tipo de análisis pretenden fundamentalmente optimizar y priorizar la distribución de los recursos financieros disponi­ bles por el programa operativo y aumentar de este modo la efectividad y calidad de la intervención. Además, otra de las ventajas que tiene el desarrollar este tipo de evaluaciones es que permite la rea­ lización de un ejercicio de transparencia, mediante una rendición de cuenta a la sociedad. La evaluación ex ante del POEJ se ha desarrollado por parte del Instituto de Estudios Fiscales (IEF1), organismo autónomo del Ministerio de Hacienda y Administraciones Públicas, que realiza, entre otros, trabajos de evaluación de políticas públicas. Para analizar la importancia y adecuación del Programa Operativo(P.O.) es necesario estudiar un conjunto de elementos que van desde el análisis del contexto donde se encuentra enclavada esta intervención pública, las necesidades existentes, asignaciones financieras para los distintos objetivos, la eficacia de las acciones, la revisión de los sistemas de información que permitirán observar la evo­ lución en la implementación del programa, y, finalmente, los posibles resultados que se pretende lo­ grar con esta intervención pública. Por este motivo, a lo largo del presente documento se analizará la estrategia del P.O., con su contribución a la estrategia de la Unión EU2020, la coherencia interna y externa de las acciones programadas y los objetivos buscados. Posteriormente se valore sistema de indicadores y de seguimiento, estudiando la pertinencia, claridad, valores propuestos y las relaciones de causalidad existente entre ellos. A continuación se evalúan las asignaciones financieras, para fina­ lizar con el estudio de gobernanza y reducción de cargas administrativas, junto con un análisis de las medidas previstas para promover la igualdad entre hombre y mujer, prevenir cualquier tipo de discri­ minación y la adecuación para fomentar un desarrollo sostenible. CAPÍTULO II. ESTRATEGIA De cara a poder realizar una correcta valoración de la estrategia planteada por el equipo de programación de la Unidad Administradora del Fondo Social (UAFSE) del POEJ, el equipo evaluador ha de conocer el contexto en el que se encuentran los jóvenes en España, así como las medidas encaminadas a paliar las debilidades más acuciantes y que justifican plenamente la intervención. Dichas medidas se presentan a partir de una estructura de Ejes Prioritarios y sus Objetivos Específicos asociados. A partir de las aportaciones iniciales que el equipo evaluador proporcionó a la UAFSE, se puede ver en la siguiente. Tabla la versión definitiva del análisis de Debilidades, Amenazas, Fortalezas y Opor­ tunidades, más conocido como DAFO que finalmente terminó por incluirse en un Anexo del POEJ: Tabla 2.1 Análisis DAFO sobre el contexto del POEJ Debilidades Fortalezas — La tasa de desempleo actual (en 2013, jóvenes de 16 a 19 años: 74,3% y jóvenes de 20 a 24 años: 51,9%) es altísi­ ma y ha alcanzado estos niveles a pesar de la caída de la tasa de actividad. Además la tasa de desempleo juvenil duplica a la de la población en general. — La recuperación del consumo interno y el auge del sector turístico favorecerá la creación de empleo en algunos de los sec­ tores que más empleo juvenil femenino han destruido (comercio y hostelería) — — Reconocimiento por parte de las personas jóvenes de la importancia de la educación y formación. La escasez de oportunidades laborales de la población más joven ha propiciado un retorno a la formación y una disminución del abandono escolar. El empleo juvenil destruido en el caso de los hombres procede fundamentalmente de la construcción (506.000) y de la industria manufacturera (291.000). En el caso de las mujeres, procede fundamentalmente del sector servicios (682.000) (Sigue) 1 http://www.ief.es — 5— Continúa) Debilidades Fortalezas La destrucción de empleo juvenil se ha centrado en los trabajadores con menores niveles de educación regla­ da, lo que puede dificultar su reorientación profesional Las condiciones de trabajo del empleo juvenil son muy precarias Importante proporción de desempleo de larga y muy larga duración Bajo conocimiento de idiomas extranjeros Escaso peso relativo de la Formación Profesional de grado medio, y en general de todos los niveles formativos medios. Importante número de jóvenes que en la actualidad no estudia ni trabaja En el colectivo “ni-ni” hay principalmente jóvenes de niveles de estudios bajos, aunque la problemática afec­ ta a jóvenes con todos los niveles educativos. Por ejemplo, los universitarios tienen una presencia signifi­ cativa, especialmente en el caso de las mujeres. Los jóvenes con menores niveles de educación son los que menos se forman. Necesidad de políticas muy pro­ activas (“ir a buscarles”) Elevadas tasas de abandono escolar, que doblan los valores de la UE-27 Escasa iniciativa emprendedora y bajos niveles de autoempleo juvenil. — Importancia de la familia como red social y de apoyo al desempleo juvenil — Mejores niveles en competencias trans­ versales que el resto de la población activa (uso de las tecnologías, adaptación al cambio, trabajo en equipo, etc.) y mayor predisposición a la movilidad laboral tanto nacional como internacional. — Las diferencias de género en relación con el mercado de trabajo se están reduciendo de forma sostenida aunque la posición de las mujeres sigue siendo desfavorable en casi todos los indicadores Dinámicas sectoriales poco consolidadas que no permi­ te identificar qué ramas van a tomar el relevo en la creación de empleo, especialmente en el caso del em­ pleo de media y baja cualificación — Elevada sensibilidad social con el proble­ ma del desempleo juvenil y predisposición de los actores relevantes a participar en la búsqueda de soluciones Emigración de los jóvenes con mayores niveles de cualificación y mejores competencias transversales (idiomas, iniciativa, etc.) — Emprendimiento de alta cualificación. Posibilidades de canalizar a los jóvenes más cualificados a un emprendimiento por oportunidad (buenos niveles de cualifica­ ción y mercado atractivo) — El retorno de una parte de los jóvenes emigrados, que habrán adquirido nuevas competencias en el extranjero — El envejecimiento de la población españo­ la favorecerá el relevo generacional — Oportunidades de emprendimiento ligadas a las TIC y la SI con inversiones pequeñas y posibilidad de acceso a los mercados in­ ternacionales — Desarrollo de nuevos puestos de trabajo en sectores tales como la economía social, el medio rural y el sector servicios. Y tam­ bién en otros más novedosos: el empleo verde, la economía baja en carbono o la economía marina y marítima — Desarrollo de las opciones laborales liga­ das a la economía social y el autoempleo Amenazas Oportunidades El desempleo de larga y muy larga duración puede aumentar las tasas de inactividad (“desánimo”) y des­ cualificar a la población juvenil a medio plazo con la consiguiente pérdida de capital humano y potencial económico. El riesgo es mayor en el caso de las muje­ res que decidan renunciar a su carrera profesional para atender las necesidades de personas dependientes a su cargo (hijos, personas con discapacidad, personas mayores) Alta importancia del “emprendimiento por necesidad” Sesgo hacia el empleo “autónomo dependiente” Las políticas de apoyo al emprendimiento están muy centradas en las fases iniciales del emprendimiento y no en la fase de consolidación (refuerzas las tres ame­ nazas anteriores) Las bajas remuneraciones del trabajo asalariado puede desincentivar la búsqueda de empleo por cuenta ajena El tejido productivo español actual no absorbe la de­ manda de empleo juvenil de cualquier nivel de cualifi­ cación — 6— Instituto de Estudios Fiscales La estrategia del POEJ se puede simplificar en los siguientes 3 Ejes Prioritarios: — Eje prioritario 1 (dividido para 3 tipos de Regiones dependiendo del nivel de cofinanciación): Fo­ mento del Empleo sostenible y de calidad y de la movilidad laboral, con dos Prioridades de Inver­ sión: - Prioridad de Inversión 8.2: Integración sostenible en el mercado de trabajo de los jóvenes, en particular aquellos sin trabajo y no integrados en los sistemas de educación y formación y los que están en situación de riesgo y sufrir exclusión social y procedentes de comunidades mar­ ginadas, que tiene 4 Objetivos Específicos. - Objetivo Especifico 8.2.1.: Mejorar la activación temprana y perfeccionar los procesos de in­ termediación y movilidad laboral de las personas jóvenes, en particular de aquellas no ocu­ padas y no integradas en los sistemas de educación o formación, así como los jóvenes que corren el riesgo de sufrir exclusión social y quienes proceden de comunidades marginadas, teniendo en cuenta en todo momento las distintas situaciones y necesidades de mujeres y hombres - Objetivo Especifico 8.2.2.: Mejorar las aptitudes y competencias profesionales de las perso­ nas, en particular de aquellas no ocupadas y no integradas en los sistemas de educación o formación, así como los jóvenes que corren el riesgo de sufrir excusión social y quienes pro­ ceden de comunidades marginadas incorporando en todo momento la perspectiva de género y fomentando la igualdad de oportunidades, con el fin de reforzar su empleabilidad - Objetivo Especifico 8.2.3.: Apoyar el espíritu emprendedor fomentando la responsabilidad, innovación y emprendimiento de las personas jóvenes, en particular de quienes no están ocupadas ni están integradas en los sistemas de educación o formación, así como aquellas que corren el riesgo de sufrir exclusión social y quienes proceden de comunidades margina­ das, desde un análisis que integre las diferentes necesidades y situaciones de mujeres y hombres - Objetivo Especifico 8.2.4.: Incentivar la contratación, teniendo en cuenta la perspectiva de género, de las personas jóvenes, en particular de quienes no están ocupadas ni están inte­ gradas en los sistemas de educación o formación, así como de las que corren el riesgo de sufrir exclusión social y quienes proceden de comunidades marginadas - Prioridad de Inversión 8.7:La modernización de las instituciones del mercado de trabajo, como los servicios de empleo públicos y privados y la mejora de la respuesta a las necesidades del mercado laboral, también a través de medidas que aumenten la movilidad laboral y una mejor cooperación entre instituciones y partes interesadas correspondientes. Tiene un Objetivo Es­ pecífico. - Objetivo Especifico 8.7.1: Mejorar la calidad y respuesta de las instituciones del mercado de trabajo y su coordinación en el ámbito nacional y autonómico a través de su modernización, incluyendo la creación de las estructuras necesarias para la implantación de los sistemas de Garantía Juvenil — Eje prioritario 5: Integración sostenible en el mercado de trabajo de las personas jóvenes que no se encuentran empleadas, ni participan en actividades de educación ni formación, en particular en el contexto de Garantía Juvenil. Tiene una Prioridad de Inversión. - Prioridad de Inversión 8.2: Definida como la anterior y a través de la aplicación de la garantía juvenil, que tiene 4 Objetivos Específicos. - Objetivo Específico 8.2.1.: ya definida previamente. - Objetivo Específico 8.2.2.: ya definida con anterioridad - Objetivo Específico 8.2.3.: descrita previamente. - Objetivo Específico 8.2.4.: detallada anteriormente. — Eje Prioritario 8 (dividido para 3 tipos de regiones dependiendo de nivel de cofinanciación): Asis­ tencia Técnica. Con tres Objetivos Específicos: — 7— - Objetivo Especifico 1: Preparación, ejecución, seguimiento y control. - Objetivo Especifico 2: Evaluación y estudios. - Objetivo Especifico 3: Información y comunicación. Una vez presentado el análisis DAFO y el esquema de la estrategia propuesta por el equipo de pro­ gramación, a continuación se pasa valorar en esta sección, inicialmente el diagnóstico realizado, para con posterioridad la lógica de la intervención. 2.1. Análisis de diagnóstico socioeconómico, análisis DAFO A continuación se realiza un análisis del diagnóstico elaborado por el equipo de programación en la estrategia del PO. Por lo tanto, esa sección será, ante todo, de tipo documental, y constará de: — Análisis del diagnóstico elaborado por el redactor del Programa Operativo; (y del análisis DAFO). — Identificación de las limitaciones y necesidades emergentes de las evaluaciones de los progra­ mas en los períodos de programación precedentes, así como lecciones aprendidas, y valoración de la detección de estos problemas por parte del equipo de programación. 2.1.1. Análisis del Diagnostico DAFO Aunque el Reglamento no establece como obligatorio la realización de un análisis DAFO para los programas operativos, el equipo evaluador considera que es muy recomendable la creación de éste, porque se trata de una herramienta analítica que contribuye al pensamiento estratégico, y permite ayudar a la unidad de programación a encontrar sus factores estratégicos críticos, para una vez iden­ tificados, usarlos y apoyar en ellos los cambios, tanto a nivel organizativo como en las posibles accio­ nes en periodos futuros: consolidando las fortalezas, minimizando las debilidades, aprovechando las ventajas de las oportunidades, y eliminando o reduciendo las amenazas.Unido a lo indicado previa­ mente, la incorporación de un DAFO facilitará el análisis de la consistencia de los objetivos del pro­ grama que se realizará con posterioridad. Una vez que el equipo evaluador dispone de un análisis DAFO, en esta sección se incluirán los ele­ mentos siguientes: — Análisis de la calidad y consistencia del diagnóstico y el análisis DAFO tanto a nivel global trans­ nacional correspondiente a las orientaciones de la Estrategia 2020; — Dictamen (incluyendo recomendaciones) sobre deficiencias o debilidades potenciales en la elabo­ ración del diagnóstico y el análisis DAFO. Desde el equipo evaluador se considera que, a pesar del solido análisis de contexto presentado por el equipo programador, podría resultar conveniente profundizar en este análisis, realizando un estudio más detallado de la situación actual, la evolución temporal y las principales características a destacar. Este estudio en profundidad permitiría tener una visión completa de las necesidades y fortalezas existentes. Finalmente, examinando el anexo del PO remitido por parte del equipo de programación, que ha tenido en consideración la mayoría de propuestas para la realización del DAFO propuestas por parte del equipo evaluador en versiones anteriores de la evaluación ex ante, y con el objetivo de tener una visión más mi­ nuciosa de la situación inicial, el equipo evaluador considera que el análisis DAFO presentado es completo y refleja correctamente las principales características donde se enclava el POEJ. 2.1.2. Lecciones aprendidas Como se indica en el artículo 55, 3. a) del Reglamento de Disposiciones Comunes, en este apartado se valorarán las lecciones aprendidas en períodos anteriores por parte del equipo programador, apre­ ciando cómo se han ido incorporando de los programas precedentes, y de qué modo se han integra­ do las cuestiones emergentes, como por ejemplo, la crisis económica, a las que se enfrenta España desde finales de 2007. Además, es recomendable que por parte del equipo programador se realice un — 8— Instituto de Estudios Fiscales ejercicio de reflexión encaminado a conocer los objetivos alcanzados en el periodo anterior de pro­ gramación, para definir de forma exacta las buenas prácticas observadas y extenderlas al P.O. actual, junto a la detección de las carencias que han quedado pendientes de satisfacer y los problemas ob­ servados analizando las causas que los generaron y las posibles acciones para solucionarlos. El balance del periodo de programación 2007-2013 efectuado en la evaluación ex-ante incluye ob­ servaciones concernientes al ámbito de actuación y la contribución del Fondo Social Europeo a la nueva situación socioeconómica, a través de los ejes diseñados en el POEJ. En esta fase de la eva­ luación exante: — Se identifican las conclusiones y recomendaciones ofrecidas por la Evaluación Intermedia y sus sucesivas actualizaciones, de los PO 2007-2013 y su grado de incorporación a los nuevos pro­ gramas. — Se realiza un balance de los resultados socioeconómicos y laborales alcanzados a través de los programas operativos, teniendo en cuenta los datos de ejecución física y financiera ofrecidos por algunos de los últimos informes anuales de ejecución. Además, se detectan los posibles proble­ mas de ejecución basándose en la información sobre los aspectos que resultaron problemáticos o de insuficiente implementación en el pasado. El primer hecho a destacar es que en el periodo de programación 2007-2013 había una situación muy distinta a la existente en el periodo 2000-2006 caracterizado por un crecimiento y dinamismo empre­ sarial, íntimamente relacionado a la buena coyuntura económica de España, de reducción del nivel de desempleo en el mercado laboral, aumento de la tasa de actividad y empleo, cambio demográfico con el elemento característico del progresivo envejecimiento poblacional compensado un poco por la en­ trada de la población inmigrante en edad de trabajar. El contexto económico era bastante favorable para la economía española con altas tasas anuales de creación de empleo. Sin embargo, la actual crisis económica surgida en 2008, al inicio del periodo de programación, ha generado unos efectos devastadores para el empleo, especialmente entre el grupo de personas menores de 25 años, provo­ cando que éste sea un fenómeno especialmente destacable al que se debe prestar gran importancia. Por lo anteriormente mencionado, no es posible encontrar actuaciones y antecedentes que se diseña­ ran al inicio del periodo de programación 2007-2013 que se refieran exclusivamente a la población de jóvenes de manera específica o separada del resto. Más bien, este grupo de población estaba referi­ do a objetivos de empleo en general. No obstante, analizando la documentación referida a la programación, implementación y gestión de los fondos en el periodo previo, como el “Informe Anual 2012 del Programa Plurirregional de Adapta­ bilidad y Empleo” o el “Informe 2011 de Evaluación Operativa del P.O. del Fondo Social Europeo (FSE) de Adaptabilidad y Empleo 2007-2013”, a lo largo del periodo anterior han ido surgiendo distin­ tas dificultades en la implementación de los programas operativos que, en gran parte de los casos, han generado cuellos de botella que han retrasado la ejecución de las actuaciones previstas y/o la certificación de los gastos incurridos. Sin lugar a dudas, es necesario solucionar este problema ya que el grado de contribución del FSE al empleo juvenil en el periodo 2014-2020 está supeditado, en gran medida, al aumento de la capacidad de absorción financiera de los recursos por parte de las Administraciones Públicas encargadas de la implementación de las actuaciones. Más aún porque el POEJ, en uno de sus Ejes Prioritarios, tiene un periodo de programación de dos años (con su corres­ pondiente N+3) y no se debería dar lugar a pérdidas de eficiencia en tiempo y recursos. Analizando el P.O. remitido por parte del equipo de programación, que ha tenido en consideración las propuestas realizadas por parte del equipo evaluador en versiones anteriores de la evaluación exan­ te, se observa la inclusión de lecciones aprendidas de la gestión del periodo 2007-2013 que sería conveniente tener en consideración en la preparación del periodo actual referentes a: — Simplificación y racionalización de procedimientos. — Evitar solapamientos de actuaciones. — Mejorar los sistemas de gestión y control. — Favorecer la utilización de instrumentos financieros. — 9— Se puede concluir, por lo tanto, que el balance realizado del periodo 2007-2013, por parte del equipo de programación supone un punto de partida de gran utilidad para valorar los avances llevados a cabo por el FSE, realizándose una recapitulación de conclusiones y recomendaciones a partir del aprendizaje logrado a través de la experiencia del periodo anterior, con el objetivo de su posterior consideración en el actual periodo. 2.2. La lógica de la intervención Desde un punto de vista teórico, la estrategia de un organismo se puede entender como el plan que relaciona tres elementos: por un lado las diferentes posibilidades de actuación que tiene, el segundo elemento son los desafíos atribuibles al contexto en el que se enmarca su ámbito de actuación, para finalizar con los objetivos a largo plazo buscados. Por lo tanto, uno de los elementos más importantes en la evaluación exante de un PO es el estudio de la estrategia del programa, siendo el propósito de esta sección el mejorar y fortalecer la calidad del POEJ mediante el establecimiento de la estrategia de programación lo más adecuada posible. Tam­ bién se pretende analizar si los objetivos estratégicos del POEJ, prioridades de inversión y objetivos específicos son pertinentes, coherentes y apoyados en acciones realistas. Asimismo, el equipo eva­ luador considera importante incluir en esta fase el análisis de la pertinencia de las medidas previstas para promover la igualdad de oportunidades entre mujeres y hombres, y prevenir la discriminación, siguiendo las disposiciones del art.55.3 del Reglamento General en los párrafos k y g. Las fases que compone esta sección son: — Pertinencia del Programa: capacidad que tienen las prioridades y objetivos específicos del P.O. para atacar, por un lado los retos y necesidades detectados, y además, potenciar las fortalezas identificadas (en el análisis DAFO). — Análisis de la coherencia externa y principalmente la adecuación de la estrategia del Programa con los objetivos de la Estrategia Europa 2020, y el Acuerdo de Asociación, además de conside­ rar su alineamiento con las principales estrategias nacionales y sectoriales. — Análisis de la coherencia interna es decir, la valoración del modo en que se han articulado las acciones, prioridades y objetivos específicos seleccionados para el PO y sus contribuciones futu­ ras a los distintos niveles de objetivos, mediante el estudio de la lógica de la intervención. — Análisis de la incorporación de las prioridades horizontales: pertinencia de las medidas previstas para promover la igualdad de oportunidades entre mujeres y hombres, prevenir la discriminación y promover el desarrollo sostenible. 2.2.1. Pertinencia del Programa Se analiza el nivel de intensidad con el que cada una de las prioridades y líneas de acción propuestas se relaciona con los resultados del análisis DAFO. Para ello, se construye un "marco" que asegura cómo las prioridades y líneas de acción del PO se corresponden con los desafíos que trata de afron­ tar este Programa. Para hacer este análisis de la pertinencia, el equipo evaluador diseña una matriz donde, de una forma clara se puede apreciar la existencia (o no) de vínculos entre el análisis DAFO realizado y las prioridades establecidas por parte del equipo de programación del POEJ. Metodología seguida en el análisis de la pertinencia Con el objetivo de evaluar de forma sistemática la pertinencia de la estrategia de inversión elegida en los distintos Objetivos Específicos (O.E.), se ha aplicado un método “ad hoc”2 que se describe a lo largo de este epígrafe, en el que se presenta tanto el marco conceptual como los métodos de aproxi­ mación de los distintos grados de pertinencia. 2 Esta aproximación de pertinencia del OE corresponde con el análisis de pertinencia parcial de la evaluación ex ante del Acuerdo de Asociación. Documento de Trabajo de IEF. 2014 — 10 — Instituto de Estudios Fiscales La Pertinencia del P.O., referida a la Estrategia de inversión trata, a través de este análisis, de dar respuesta a la cuestión de si las prioridades de inversión y objetivos específicos seleccionados en el P.O. se adecúan a las principales debilidades y fortalezas del mismo. Se trata de un concepto próxi­ mo al “impacto directo” utilizado habitualmente en los análisis de impacto ex ante.Por lo tanto, analiza la capacidad que las prioridades de inversión y objetivos específicos propuestos en el P.O. tienen para corregir las debilidades principales (y para potenciar las fortalezas) observadas en el ámbito del PO, y, en la medida que sea posible, reducir el impacto de las amenazas (y aprovechar las oportuni­ dades) identificadas. Así, la capacidad de la Estrategia de inversión para mejorar la realidad de un ámbito concreto puede aproximarse a través del análisis de Pertinencia. Metodología de medición del grado de pertinencia a. Categorización de debilidades y fortalezas A partir del diagnóstico realizado en el P.O., se ha identificado una serie de debilidades (y fortalezas). Sin embargo, no todas ellas tienen la misma importancia en términos cualitativos en los diferentes objetivos específicos, por lo que el equipo evaluador ha procedido a realizar una categorización de las mismas en tres grupos: — Debilidades (Fortalezas) prioritarias. Son elementos troncales o claves para lograr mejoras sus­ tanciales en el ámbito del P.O., bien porque afectan a una parte significativa de los actores impli­ cados (fundamentalmente individuos, empresas y organismos públicos y privados), bien porque la movilización de ese obstáculo (o la potenciación de esa fortaleza) puede propiciar la aparición de sinergias y externalidades que generen un efecto arrastre positivo sobre el ámbito del P.O. en su conjunto. — Debilidades (Fortalezas) de importancia alta. Se incluyen en esta categoría aquellas debilidades y fortalezas que afectan a un gran número de actores y cuya resolución (o potenciación en el caso de las fortalezas) favorecería un avance notable en el ámbito de análisis del OE tratado. — Debilidades (Fortalezas) de importancia media. En este grupo se han incluido aspectos parciales del PO, dado que o bien afectan a un número limitado de actores (jóvenes inactivos, desemplea­ dos, etc.) o bien aluden a elementos muy particulares que, a priori, y, por si solos, no tendrían un impacto considerable sobre esa determinada situación observada en el O.E. en cuestión. Con el fin de poder llevar a cabo la evaluación de la pertinencia de la estrategia desarrollada por el equipo de programación, inicialmente se analiza la vinculación existente entre los objetivos específi­ cos planteados en el PO y su grado de interrelación con las debilidades detectadas durante el dia­ gnóstico de la situación nacional, siendo el fin último el comprobar si los objetivos definidos sirven para dar respuesta a las necesidades diagnosticadas. Para ello, y usando la información suministrada en el POEJ se realiza un análisis matricial y gráfico que permita relacionar la incidencia que los obje­ tivos específicos propuestos en la estrategia pueden tener sobre los problemas detectados en la po­ blación de jóvenes españoles, especialmente en los que ni estudian ni trabajan (ninis). b. Impacto potencial de las prioridades de inversión de un OE sobre sus debilidades y fortalezas Sin necesidad de emplear la categorización previamente diseñada, se ha procedido a la construcción de una matriz de cruce entre los Objetivos Específicos del PO y todas y cada una de sus debilidades y fortalezas detectadas en el análisis DAFO. A cada cruce le ha sido asignada una puntuación (en una escala de 1 a 10 puntos) dependiendo del grado de adecuación del OE a la debilidad o fortaleza identificada, es decir, de su capacidad para resolver la debilidad (o potenciar la fortaleza) en cuestión. El impacto potencial de la estrategia de inversión del OE sobre una debilidad (fortaleza) concreta es la suma de puntuaciones obtenidas en los cruces con los distintos OE. — 11 — OE 8 2 3 | O E .8 .2 .4 fo m e n ta n d o r e s p o n s a b ilid a d . y e m p r e n d im ie n to c o n p e r s p e c tiv a 6 4 ,2 % en O) o o o £ O) 00 O í o o £ ro 00 en £ o ík O í O) ro co en co en co ro O) co O) O) co co O) O) co O) 6 3 ,3 % en co co 5 4 ,2 % co co co co 00 co 7 9 ,2 % co 00 CO CO co 00 co O) O) co co | co in c e n tiv a r c o n tr a ta c ió n , co in n o v a c ió n O) e m p re n d e d o r co | O) a p o y a r e s p ír itu O) O) en O) CO co m e jo r a r a p titu d e s CO m o v ilid a d la b o ra l 00 in te r m e d ia c ió n y co 00 m e jo r a r a c tiv a c ió n co en d e p e rs o n a s 00 | y c o m p e te n c ia s p r o fe s io n a le s en OE 8 2 2 te m p r a n a y p e r fe c c io n a r p r o c e s o s 00 tipo de importancia 00 O E .8 .2 .1 00 ta s a d e d e s e m p le o a lta a p e s a r n iv e le s d e m u je re s . % m e r c a d o d e tr a b a jo s e r e d u c e n D ife r e n c ia s d e g é n e r o e n re la c ió n c o n el a d a p ta c ió n a l c a m b io , e tc .) a c tiv a (id io m a s , u s o d e la s te c n o lo g ía s , tr a n s v e r s a le s q u e el re s to d e la p o b la c ió n M e jo r e s n iv e le s e n c o m p e te n c ia s re d s o c ia l y d e a p o y o Im p o r ta n c ia d e la fa m ilia c o m o a la fo r m a c ió n d e m e n o r e d a d d e b id a a re to rn o C a íd a d e la s ta s a s d e a c tiv id a d e n lo s tr a m o s fa v o r e c e r á la c r e a c ió n d e e m p le o R e c u p e r a c ió n d e l c o n s u m o in te rn o % n iv e le s a u to e m p le o ju v e n il E s c a s a in ic ia tiv a e m p r e n d e d o r a y b a jo s E le v a d a s ta s a s d e a b a n d o n o e s c o la r s o n lo s q u e m e n o s s e fo r m a n jó v e n e s c o n m e n o r e s n iv e le s d e e d u c a c ió n e s p e c ia lm e n te e n ta m b ié n p r e s e n c ia s ig n ific a tiv a , e s tu d io s b a jo s , p e ro lo s u n iv e r s ita r io s E n “ n i- n i” p r in c ip a lm e n te la a c tu a lid a d n o e s tu d ia ni tr a b a ja " n in is " Im p o r ta n te n ú m e r o d e jó v e n e s q u e e n P r o fe s io n a l d e g r a d o m e d io E s c a s o p e s o re la tiv o d e la F o rm a c ió n B a jo c o n o c im ie n to d e id io m a s e x tr a n je r o s y m u y la rg a d u r a c ió n A u m e n to d e l d e s e m p le o d e la rg a ju v e n il s o n m u y p r e c a ria s : C o n d ic io n e s d e tr a b a jo d e l e m p le o d e e d u c a c ió n r e g la d a e n tr a b a ja d o r e s c o n m e n o r e s n iv e le s D e s tr u c c ió n d e e m p le o ju v e n il c e n tr a d o p r o c e d e s e c to r s e r v ic io s m a n u fa c tu r e r a . E n e l c a s o d e la s m u je re s , c o n s tr u c c ió n y d e la in d u s tria E m p le o ju v e n il d e s tr u id o h o m b r e s d e la d e la c a íd a d e la ta s a d e a c tiv id a d <D (fí Q. o o; Q. Tabla 2.2: Vínculo entre la Estrategia del PO y el análisis DAFO realizado fortalezas 4 2 ,0 % d e g e n e ro (Sigue) (Continúa) debilid ades fortalezas mejorar respuesta instituciones OE 8 7 1 mercado y coordinación nacional y CCAA vía su modernización 8 8 6 4 7 9 4 5 4 5 7 3 impacto potencial 38 36 35 21 37 27 28 36 35 30 27 33 58,3% 3 4 2 5 2 21 32 12 27 27 32,0% c. Grado de pertinencia de la estrategia de inversión propuesta en el P. O. El grado de pertinencia de la estrategia de inversión alude a la capacidad del conjunto de objetivos específicos del PO en afrontar las debilidades, o en potenciar las fortalezas más determinantes que han sido observadas en el ámbito del mismo a lo largo de la elaboración del DAFO. Por tanto, rela­ ciona, por un lado el impacto potencial de la estrategia de inversión sobre cada debilidad (fortaleza), y por otra parte la importancia de la misma. Este indicador, por tanto, aumenta si existe una buena correspondencia o proporcionalidad entre la importancia real de cada debilidad (fortaleza) y el impacto esperado (potencial) de la estrategia de inversión sobre ella. Si el mayor impacto de la estrategia de inversión se centra en las debilidades (fortalezas) prioritarias y el menor en las medias, el grado de pertinencia de la estrategia será alto y disminuirá en la medida que no se dé la correspondencia señalada. Gráfico 2.1: Pertinencia de la estrategia de inversión del PO D e b ilid a d e s D e b ilid a d 1 D e b ilid a d 2 D e b ilid a d 3 D e b ilid a d 4 F o r t a le z a s F o r t a le z a 1 Recuperación del consumo interno favorecerá la creación de empleo Empleo juvenil destruido hombres de la construcción y de la industria manufacturera. En el caso de las mujeres, procede sector servicios F o r t a le z a 2 Reconocimiento por parte de las personas jóvenes de la importancia de la educación y formación. La escasez de oportunidades laborales ha propiciado un retorno a la formación y una disminución de abandono escolar. Destrucción de empleo juvenil centrado en trabajadores con menores niveles de educación reglada F o r t a le z a 3 Importancia de la familia como red social y de apoyo F o r t a le z a 4 Mejores niveles en competencias transversales que el resto de la po­ blación activa (idiomas, uso de las tecnologías, adaptación al cambio, etc.) tasa de desempleo alta a pesar de la caída de la tasa de actividad Condiciones de trabajo del empleo juvenil son muy precarias: (Sigue) — 14 — Instituto de Estudios Fiscales Continúa) Debilidades Fortalezas Debilidad 5 Aumento del desempleo de larga y muy larga duración Debilidad 6 Bajo conocimiento de idiomas extranjeros Debilidad 7 Escaso peso relativo de la Formación Profesional de grado medio Debilidad 8 Importante número de jóvenes que en la actualidad no estudia ni trabaja "ninis" Debilidad 9 En “ni-ni” principalmente niveles de estudios bajos, pero los universitarios también presencia significativa, especialmente en mujeres. Fortaleza 5 Diferencias de género en relación con el mercado de trabajo se reducen Debilidad jóvenes con menores niveles de educación son 10 los que menos se forman Debilidad 11 Elevadas tasas de abandono escolar Debilidad 12 Escasa iniciativa emprendedora y bajos niveles de autoempleo juvenil Fuente: Elaboración propia Asimismo, el grado de pertinencia definido puede representarse gráficamente como una recta ajusta­ da a la nube de puntos formada por el impacto potencial de la estrategia sobre cada debilidad o forta­ leza y su grado de importancia, tal como y como se ha realizado en el epígrafe anterior. Además de la representación gráfica, el grado de pertinencia puede aproximarse a través del coefi­ ciente correlación de Spearman, que mide correlaciones de orden, en este caso, entre la importancia de cada debilidad o fortaleza y el impacto esperado de la estrategia de inversión sobre ella que toma el valor de 0,563. Observando los resultados del análisis de pertinencia, cabe señalar que la adecuación de los objeti­ vos específicos a los principales retos observados en este P.O es alta. Se produce una correspon­ dencia positiva entre las principales debilidades y fortalezas identificadas en el análisis DAFO y los impactos potenciales que cabe esperar de los objetivos específicos y prioridades de inversión y, por tanto, la estrategia aborda convenientemente las principales debilidades del ámbito como son el des­ empleo juvenil (D1), que la destrucción de empleo se produce fundamentalmente en trabajadores y trabajadoras de bajo nivel educativo (D3), y la existencia de un importante número de jóvenes que ni estudian ni trabajan (D8). Asimismo, refuerza algunas de las fortalezas más significativas como la reducción de las diferencias de género en el mercado laboral. No obstante, algunas debilidades, como la elevada tasa de abandono escolar (D11) podrían haber tenido una mayor consideración en la estrategia, lo que hubiese incrementado su grado de pertinen­ cia. Teniendo en cuenta el análisis asociativo previo se puede concluir que los objetivos finales de la es­ trategia planteada en el PO son pertinentes con las necesidades detectadas en el diagnóstico de la situación del país. Este resultado unido a que muchos de los objetivos específicos propuestos inciden sistemáticamente en las mismas debilidades hace posible el aprovechamiento de sinergias creadas por las distintas actuaciones, potenciando de este modo la pertinencia de la programación propuesta. Además, con los resultados previos, se puede afirmar que la definición de 2 grandes prioridades de inversión (P.I.) está ampliamente fundamentada en las conclusiones obtenidas en la fase de dia­ 3 Si comparamos esta cifra con el resultado obtenido al analizar la pertinencia parcial de cada uno de los objetivos temáticos del Acuerdo de Asociación, podemos concluir que el grado de adecuación de la estrategia del POEJ al diagnóstico presentado es ALTO. — 15 — gnóstico de la situación existente en la sociedad española que se ha realizado previamente, rela­ cionándose de manera clara cada P.I con distintos problemas detectados durante el análisis. 2.2.2. Análisis de coherencia externa El artículo 96.2 - apartado a) del Reglamento de Disposiciones Comunes establece que el PO contri­ buirá a la estrategia de la Unión para el crecimiento inteligente, sostenible e integrador, y a lograr la cohesión económica, social y territorial, y presentará una justificación de los objetivos temáticos y las prioridades de inversión correspondientes, basada en la determinación de las necesidades regionales y nacionales, incluida la necesidad de abordar los retos señalados en las recomendaciones pertinen­ tes adoptadas conforme al artículo 121, apartado 2, del TFUE y las recomendaciones pertinentes del consejo. Además la evaluación exante, como indica el artículo 55, apartado 3.a del Reglamento debe valorar la contribución del PO a la estrategia de la UE para un crecimiento inteligente, sostenible e integrador, mientras que en el párrafo 3.b indica que la evaluación exante deberá analizar la coheren­ cia de los objetivos seleccionados con el MEC, el Acuerdo de Asociación y las recomendaciones es­ pecíficas por país pertinentes adoptadas conforme al artículo 121, apartado 2, del TFUE, y cuando proceda a nivel nacional, el programa nacional de reformas. Teniendo esto en cuenta, el equipo de evaluación exante considera que, una vez que la matriz de pertinencia del P.O. muestra y corrige el vínculo entre los retos y las necesidades, el siguiente paso consiste en realizar un análisis detallado sobre la coherencia entre aquello “que se quiere hacer” con aquello “que se puede hacer”-. En este sentido, se revisa, a través de matrices, las relaciones entre las Prioridades y objetivos del programa propuesto y las grandes líneas políticas y estratégicas exis­ tentes a dos diferentes niveles de gobierno: — A nivel de la Unión Europea — A nivel nacional. Nivel Unión Europea El primer paso será, por tanto, verificar en qué medida los objetivos y medidas del Programa se co­ rresponden con los retos y necesidades definidas en la estrategia Europa 2020, es decir:Si los retos y las necesidades son coherentes con los objetivos y orientaciones de laEstrategia 2020, así como los retos y necesidades relativos a España indicados por parte de la Comisión Europea. Para ello se utiliza el documento de programación proporcionado por el equipo redactor del Programa que contempla la situación actual, análisis de necesidades y prioridades de inversión, y se comparará con los documentos de referencia europeos principales, a saber: — La Estrategia 2020 de la Unión Europea; — Las recomendaciones específicas observadas en el “Position Paper” de la Comisión Europa (CE) Para analizar la coherencia de los Objetivos Específicos del Programa Operativo y los planes, políti­ cas y estrategias a nivel europeo que tienen lugar en el mismo periodo y en los mismos ámbitos que el P.O., se ha utilizado una matriz de cruce de los Objetivos Específicos con los objetivos/directrices de los planes, políticas y estrategias europeas. Para ello se ha escogido el siguiente sistema de pun­ tuación que determina el grado de coherencia entre objetivos: — Grado de coherencia elevado = 5 puntos. — Grado de coherencia pertinente= 3 puntos. — Grado de coherencia bajo= 0 puntos. A continuación, se exponen las distintas estrategias comunitarias sobre las que se ha procedido a evaluar la coherencia externa: la estrategia EU2020 y los objetivos indicados en el Position Paper realizado por la Comisión para el caso de España a través de sus retos principales. — 16 — Instituto de Estudios Fiscales La estrategia EU2020 La Estrategia Europa 2020 constituye el marco de referencia para la coordinación de las políticas económicas y de empleo de los Estados miembros de la UE. Establece un ciclo que se extiende has­ ta el año 2020, referencia para diseñar los Programas nacionales de reformas. La Estrategia de la Unión para un crecimiento inteligente, sostenible e integrador establece las metas y los objetivos compartidos que deben gobernar la actuación de los Estados miembros y de la Unión Europea. Esta estrategia se materializa en cinco objetivos: — Objetivo 1: el 75 % de la población de entre 20 y 64 años debería estar empleada. — Objetivo 2: el 3 % del PIB de la UE debería ser invertido en I+D. — Objetivo 3: debería alcanzarse el objetivo «20/20/20» en materia de clima y energía (incluido un incremento del 30% de reducción de emisiones si se dan las condiciones para ello). — Objetivo 4: el porcentaje de abandono escolar debería ser inferior al 10 % y al menos el 40 % de la generación más joven debería tener estudios superiores completos. — Objetivo 5: el riesgo de pobreza debería afectar a 20 millones de personas menos. La siguiente Tabla de doble entrada muestra el nivel de integración entre la estrategia del PO y la europea. Tabla 2.3. Coherencia con la Estrategia EU 2020 Objetivos de la Estrategia Europa 2020 Objetivos Estratégicos del Programa Operativo Grado de coherencia entre objeti­ vos Objetivo 1: Empleo para el 75% de las personas de 20 a 64 años Objetivo 2: Inversión del 3% del PIB en I+D Objetivo 3: Objetivo 20/20/20 Objetivo 4: Educación OE.8.2.1 5 0 0 3 5 52% OE.8.2.2. 5 3 3 5 5 84% OE.8.2.3. 5 3 3 5 5 84% OE.8.2.4 5 0 0 0 5 40% OE.8.7.1 5 0 0 3 3 44% Grado de coherencia entre objetivos 100% 24% 24% 64% 92% Objetivo 5: Luchar contra la pobreza y la exclusión social (AA EU2020) Fuente: Elaboración propia En la Tabla 2.3, puede observarse que dos de los objetivos de la estrategia EU 2020 se ven cubiertos por los Objetivos Específicos de este Programa Operativo, referentes al empleo y a la lucha contra la pobreza y exclusión social, con más de un 90%, mientras que el resto de objetivos de la estrategia no se ven cubiertos por el POEJ. Esto asegura una amplia cobertura en aquellos objetivos estratégicos por parte de los Objetivos Específicos de este PO, que resultan de especial relevancia. Los objetivos de la estrategia EU 2020 para el caso de España. Position paper de la Comisión Euro­ pea Los objetivos de la estrategia EU 2020 son comunes a todos los Estados Miembros, sin embargo, para garantizar que cada uno de ellos adapte la estrategia a su situación particular, la Comisión pro­ pone que los objetivos generales se traduzcan en objetivos y trayectorias nacionales. En este caso, los retos más apremiantes para España, según las Recomendaciones específicas para España en — 17 — relación con la Estrategia 20204 se concretan en ciertos aspectos como la sostenibilidad de las finan­ zas públicas, conseguir un sistema fiscal eficiente, realizar ajustes en el sector financiero, mejorar la situación del mercado laboral en nuestro país, atajar las debilidades estructurales de España en cuanto a educación, promover la inclusión social y la lucha contra la pobreza, acelerar las reformas para subsanar las deficiencias del entorno empresarial, reformar el sector energético y mejorar la calidad de la administración pública. Estos desafíos pueden resumirse en los siguientes retos: — Reto 1: elevado desempleo juvenil y total, la baja productividad laboral y el aumento de la pobreza y la exclusión social — Reto 2: poca competitividad de las PYME y su escasa presencia en los mercados internacionales — Reto 3: débil sistema de investigación e innovación, así como la insuficiente participación en el mismo del sector privado — Reto 4: uso ineficiente de los recursos naturales Para valorar la contribución de los Objetivos Específicos del P.O.E.J. a la estrategia EU 2020 para el caso de España se ha seguido la misma metodología que en el caso anterior y a partir de la matriz de cruce presentada en la siguiente tabla (Tabla 2.4) se puede concluir que solamente uno de los retos establecido en el Position Paper de la CE está cubierto adecuadamente por las dos Prioridades de Inversión, y sus correspondientes OE de este PO: el relativo al desempleo juvenil. Por lo que respecta al segundo de los retos que aparece en el Position Paper, de competitividad de las PYMES, la priori­ dad de inversión 8.2 cubre considerablemente las necesidades en el descritas, mientras que la PI 8.7 solamente alcanza el 60%, valor nada despreciable. Sin embargo, los otros dos retos indicados no son cubiertos por este P.O. Tabla 2.4: Coherencia con los objetivos del Position Paper. Comisión Europea Retos más apremiantes para España según la E.E. 2020 Prioridades de Inversión y Objetivos Específicos PI.8.2 Fondo Reto 1 Reto2 OE 8.2.1 FSE 5 3 0 0 8 2 OE 8.2.2 FSE 5 5 3 0 13 3 OE 8.2.3 FSE 5 5 3 3 16 4 OE 8.2.4 FSE 5 3 0 0 8 2 100% 80% 30% 15% 5 3 0 0 11 3 100% 60% 0% 0% Contribución de la estrategia de inversión de la PI a los retos de la EE 2020 OE.8.7.1 PI.8.7 Reto 3 Media del grado de N° de vinculación Grado de Retos de los OE de vinculación/ cubiertos una PI con Reto 4 Intensidad por PI respecto a las debilidades FSE Contribución de la estrategia de inversión de la PI a los retos de la EE 2020 Fuente: Elaboración propia 4 COM (2013) 359 final. — 18 — N° Medio de Retos atendidos por el OT 56.3% 3 55.0% 2 Instituto de Estudios Fiscales Nivel nacional A continuación, el equipo evaluador también llevará a cabo este análisis de coherencia externa con los grandes marcos nacionales, que se traducirán principalmente en los Acuerdos de Asociación, que de alguna forma reflejan los Programas Nacionales de Reformas que se llevaron a cabo en 2013, además de otros documentos fundamentales que se tendrán que tener en cuenta: — Acuerdo de Asociación del Periodo 2014-2020. — Programa Nacional de Reformas España 2013 PNR. — Estrategia de emprendimiento y Empleo Joven 2013-2016. (Recomendaciones 5 y 6 del Consejo) — Plan Nacional de implantación de Garantía Juvenil, Iniciativa de Empleo Juvenil. Acuerdo de asociación Evaluar la coherencia externa implica asimismo analizar la consistencia de la estrategia del P.O.E.J. con la estrategia planteada en el Acuerdo de Asociación presentado por España para el periodo 2014-2020. El Acuerdo de Asociación se presenta como un documento de carácter estratégico a elaborar por el Estado miembro con la participación de los agentes principales, es decir, las autoridades regionales, locales y otras autoridades públicas competentes; los interlocutores económicos y sociales; y los or­ ganismos que representen a la sociedad civil, en consonancia con el enfoque de gobernanza multinivel. Este documento debe asimismo contemplar la estrategia del Estado miembro y las prioridades y medidas para la utilización de los fondos EIE de una manera efectiva y eficiente para perseguir la estrategia de la Unión para un crecimiento inteligente, sostenible e integrador. Los grandes objetivos que se plantea son los siguientes: Cuadro 2.1. Objetivos Temáticos del Acuerdo de Asociación OT1: Potenciar la investigación, el desarrollo tecnológico y la innovación OT2: Mejorar el uso y la calidad de las tecnologías de la información y de las com unicaciones y el ac­ ceso a las mismas OT3: Mejorar la competitividad de las pequeñas y medianas empresas, del sector agrícola (en el caso del FEADER) y del sector de la pesca y la acuicultura (en el caso del FEMP) OT4: Favorecer el paso a una economía con bajas emisiones de carbono en todos los sectores OT5: Promover la adaptación al cambio climático y la prevención y gestión de riesgos OT6: Proteger el medio ambiente y promover la eficiencia en el uso de los recursos OT7: Promover un transporte sostenible y eliminar los estrangulamientos en las infraestructuras de red fundamentales OT8: Promover el empleo y favorecer la movilidad laboral OT9: Promoción de la inclusión social y reducción de la pobreza OT10: Invertir en la educación, el desarrollo de las capacidades y el aprendizaje permanente mediante el desarrollo de las infraestructuras de educación y formación Fuente: Acuerdo de Asociación para España 2014-2020 El equipo evaluador considera que la coherencia con el Acuerdo de Asociación está asegurada en el sentido de que toma de éste las prioridades de inversión asociadas al OT8 y, por lo tanto, el objetivo principal del POEJ de promover el empleo juvenil y favorecer la movilidad laboral coincide, plenamen­ te, con la estrategia señalada por el propio Acuerdo de Asociación. Programa nacional de reformas El siguiente paso en el estudio de la coherencia externa desde la óptica nacional consiste en analizar la consistencia de la estrategia del P.O.E.J. con el Plan Nacional de Reformas (PNR), que se presen­ ta como un programa de gran envergadura que incorpora acciones que tienen como principal objetivo la mejora de la eficiencia, flexibilidad y competitividad de distintos ámbitos de la economía española y para facilitar el crecimiento y la creación de empleo (Tabla 2.5). — 19 — Tabla 2.5. Plan Nacional de Reformas y Acuerdo de Asociación Tipo Objetivo especifico Medida AGS 1. Proseguir un saneamiento fiscal diferenciado y favorecedor del crecimiento AGS 2. Restablecer las condiciones normales de préstamo a la economía AGS 3. Fomentar el crecimiento y la competitividad actual y futura Eje 1. Aumentar la flexibilidad de la economía 1 -^ d e ^ de la Economía Española No aplica Ley de Garantía de la Unidad de Mercado y Plan de Racionalización Normativa Eje 2. Garantizar un entorno favorable a los emprendedores, facilitando el inicio y el desarrollo de proyectos empresariales y apoyando su internacionalización Aplicación de los principios de necesidad y proporcionalidad a los medios de intervención de los municipios . . . . . . OE 8.2.3. Ley de A poy o al Emprended° r y su Internacionalización Ley de Colegios y Servicios Profesionales Reforma del Gobierno Corporativo Reforma educativa Eje 3. Capital humano . , , Planes para la reducción del abandono escolar , . .. Agenda Digital para España Eje 4. Impulso a la innovación y a las nuevas tecnologías 3 a r r Investigación, Desarrollo e Innovación Nuevo marco de supervisión de la competencia y los mercados Reforma energética Eje 5. Garantizar un funcionamiento competitivo y eficiente de los mercados Impulsar la competencia en el sector de carburantes Liberalización del transporte ferroviario de viajeros Mejora de la regulación del transporte terrestre Nuevo modelo de gestión de infraestructuras aeroportuarias . „ . . OE.8.2.2. ... Ej e 6. Mej ° rar la eficiencia y competitividad de los sistemas logísticos Nuevo marco de planificación estratégica: el Plan de Infraestructuras, Transporte y Vivienda 1ransporte y Vivienda Impulso a la Intermodalidad Modificación de la Ley de Prevención y Control Integrados de la Contaminación Eje 7. Crecimiento respetuoso con el medio ambiente y lucha contra los efectos del cambio climático Proyecto de Ley de protección y uso sostenible del litoral y de modificación de la Ley de Costas Plan Sectorial de Turismo y Biodiversidad Plan Nacional de Mejora de la Calidad del Aire (Sigue) — 20 — OE.8.2.2. Instituto de Estudios Fiscales (Continúa) Tipo Medida Objetivo especifico AGS 1. Proseguir un saneamiento fiscal diferenciado y favorecedor del crecimiento AGS 2. Restablecer las condiciones normales de préstamo a la economía AGS 3. Fomentar el crecimiento y la competitividad actual y futura Nuevo modelo de política de suelo y vivienda Plan Estatal para la regeneración urbana y el alquiler Plan Nacional e Integral de Turismo. Eje 8. Impulsar la competitividad de los sectores Ley de medidas para mejorar el funcionamiento de la cadena alimentaria Creación de un Código de Buenas Prácticas Mercantiles. Estrategia de apoyo a las Industrias Culturales y Creativas. Eje 9. Lucha contra el desempleo y las consecuencias sociales de la crisis Seguimiento de la reforma del mercado laboral OE. 8.2.1., OE 8.2.4, OE.8.7.1.. Políticas activas de empleo: una nueva estrategia orientada a mejorar la capacidad de inserción profesional, en particular de los más jóvenes OE.8.2.1, 8.2.4. Inclusión social AGS 5. Modernizar la administración pública Ley para la Racionalización y Sostenibilidad de la Administración Local Eje 1. Racionalización y eliminación de duplicidades OE.8.7.1. Comisión para la Reforma de las Administraciones Públicas (CORA) Eje 2. Transparencia de la administración pública Ley de Transparencia, Acceso a la Información Pública y Buen Gobierno OE.8.7.1 Eje 3. Impulso de la administración electrónica y reducción de cargas Séptimo Acuerdo de Consejo de Ministros sobre reducción de cargas administrativas OE.8.7.1 Profesionalización de la carrera judicial OE.8.7.1 Eje 4. Mejorar la calidad, independencia y eficiencia de los sistemas judiciales Fuente: Plan Nacional de Reformas Para analizar la coherencia de los Objetivos Específicos del Programa Operativo y el Plan Nacional de Reformas, se ha utilizado la misma metodología que en el apartado anterior. — 21 — Tabla 2.6. Coherencia con Plan Nacional de Reformas 2013 Ejes del plan nacional de reformas 2013 Objetivos Específicos del PO AGS 3. Fomentar el crecimiento y la competitividad AGS 5. Modernizar la administración pública Actual y futura Eje 1 Eje 2 Eje 3 Eje 4 Eje 5 Eje 6 Eje 7 Eje 8 Eje 9 Eje 1 Eje 2 de vinculación Eje 3 Eje 4 OE 8.2.1. 5 0 0 0 3 0 0 0 5 3 0 3 0 29% OE 8.2.2. 3 3 5 5 0 0 3 0 5 3 0 3 0 46% OE 8.2.3. 5 5 3 3 3 0 3 3 5 0 0 3 0 51% OE 8.2.4. 5 0 0 0 3 0 0 0 5 0 0 3 0 25% OE 8.7.1 0 3 3 3 3 0 0 3 5 5 0 5 0 46% Grado de vinculación 72% 48% 0% 24% 100% 44% 0% 68% 0% 44% 44% 44% 24% 44% 28% Fuente: Elaboración propia En primer lugar, hay que tener en cuenta que la AGS1 y la AGS2 del PNR hacen referencia a medi­ das de carácter macroeconómico que no tienen relación con la EU2020, por lo que no han sido teni­ das en cuenta en el análisis. Sin embargo, en lo que respecta al resto de medidas se observa que sobretodo el ejel y el eje9 del AG3, así como el eje3 del AG5 del PNR están en línea con los objeti­ vos de crecimiento integrador reflejados en el PO. La estrategia de emprendimiento y empleo joven 2013-2016 La tercera de las estrategias analizadas para comprobar el grado de coherencia con el POEJ es la Estrategia de Emprendimiento y Empleo Joven 2013-2016 (EEEJ). La estrategia se instrumenta con una motivación fundamental: reducir la tasa de desempleo juvenil y abordar las causas estructurales que hacen que sea superior a la de la población en general. Para ello, se proponen 100 medidas (agrupadas en 10 líneas de actuación), que se han diseñado para hacer frente a los diferentes des­ equilibrios identificados. Los objetivos marcados en esta estrategia son los siguientes: — Objetivo 1: Contribuir a mejorar la empleabilidad de los jóvenes. — Objetivo 2: Aumentar la calidad y la estabilidad del empleo joven. — Objetivo 3: Promover la igualdad de oportunidades. — Objetivo 4: Fomentar el espíritu emprendedor. Para analizar la coherencia de los Objetivos Específicos del POEJ y la Estrategia de Emprendimiento y Em­ pleo Joven se ha utilizado la misma metodología que la mostrada para el Plan Nacional de Reformas. Tabla 2.7. Coherencia con la Estrategia de Emprendimiento y Empleo Joven Prioridades de Inversión y Objetivos Específicos Objetivo1 PI.8.2 Media del grado de N° de Grado de Objetivos vinculación vinculación/ de los OE cubiertos Objetivo2 Objetivo3 Objetivo 4 Intensidad por OE con respecto a la EEEJ Objetivos de la Estrategia de Emprendimiento y Empleo Joven (EEEJ) PI 8.2 5 5 5 5 OE 8.2.1 5 5 3 3 16 2 OE 8.2.2 5 5 3 5 18 3 4 78,8% (Sigue) — 22 — Instituto de Estudios Fiscales (Continúa) Media del N° de grado de Grado de Objetivos vinculación vinculación/ cubiertos de los OE Objetivo1 Objetivo2 Objetivo3 Objetivo 4 Intensidad por OE con respecto a la EEEJ Objetivos de la Estrategia de Emprendimiento y Empleo Joven (EEEJ) Prioridades de Inversión y Objetivos Específicos 87 PI.8.7 OE 8.2.3 3 3 3 5 14 4 OE 8.2.4 5 5 5 0 15 2 Coherencia de la estrategia de inversión del PO con los objetivos de EEEJ 90% 90% 70% 65% PI 8.7 5 3 5 3 OE.8.7.1 5 3 5 3 Coherencia de la estrategia de inversión del PO con los objetivos de EEEJ 100% 60% 100% 60% 4 16 3 80,0% Fuente: Elaboración propia Claramente se observa que la coherencia entre el POEJ y la estrategia de empleo joven es muy alta, especialmente por lo que respecta a los tres primeros objetivos de la EEEJ. En general, las acciones programadas por el POEJ inciden en gran número de los objetivos buscados por esta estrategia na­ cional. Solamente destacar que el único objetivo que no parece favorecer de manera tan considerable es el relacionado con el fomento del espíritu emprendedor. Plan nacional de implantación de garantía juvenil Finalmente en lo referente al apartado de coherencia externa del POEJ en relación a las actuaciones nacionales, el equipo evaluador analiza el grado de relación respecto al Plan nacional de Garantía Juvenil (PNGJ). El objetivo de este plan es garantizar que todos los jóvenes menores de 25 años reciban una buena oferta de empleo, educación continua, formación de aprendiz o periodo de prácti­ cas en un plazo de cuatro meses tras acabar la educación formal o quedar desempleados. Los gran­ des objetivos que se marca son: — Mejorar la intermediación — Mejorar la empleabilidad — Favorecer la contratación — Favorecer el emprendimiento Tabla 2.8. Coherencia con el Plan Nacional de implantación de Garantía Juvenil Objetivos de la Plan Nacional de implantación de Garantía Juvenil (PNGJ) Prioridades de Inversión y Objetivos Específicos interme­ diación empleabi­ lidad contrata­ ción emprendi­ miento PI 8.2 3 5 5 3 OE 8.2.1 5 5 5 3 Grado de vincula­ ción/ Intensidad N° de Objetivos cubiertos por OE 18 4 OE 8.2.2 3 5 5 3 16 4 OE 8.2.3 0 5 3 5 13 4 OE 8.2.4 5 5 5 0 15 4 PI.8.2 Media del grado de vinculación de los OE con respecto a la PNGJ 77,5% (Sigue) — 23 — (Continúa) Objetivos de la Plan Nacional de implantación de Garantía Juvenil (PNGJ) Prioridades de Inversión y Objetivos Específicos PI 87 interme­ diación empleabilidad contrata­ ción emprendi­ miento Coherencia de la estrategia de inversión del PO con los objetivos de PNGJ 65% 100% 90% 55% PI 8.7 5 5 5 3 OE.8.7.1 5 5 5 3 Coherencia de la estrategia de inversión del PO con los objetivos de PNGJ 100% 100% 100% 60% Grado de vincula­ ción/ Intensidad N° de Objetivos cubiertos por OE Media del grado de vinculación de los OE con respecto a la PNGJ 4 18 4 90,0% Fuente: Elaboración propia De manera clara se puede concluir que la coherencia entre el PO y la estrategia del Plan de Garantía Juvenil es muy elevada, mostrando valores que se sitúan entre el 100% y el 90% en muchos casos, como cabría esperar, dado quelas acciones programadas por el POEJ inciden en la mayoría de los objetivos buscados por el PNGJ. De manera similar a lo ocurrido en el estudio de la coherencia con la Estrategia de Emprendimiento y Empleo Joven, el único objetivo que no parece favorecer de manera tan considerable es el relativo a fomentar el emprendimiento, similar resultado al obtenido en la estra­ tegia nacional anterior. Observando el análisis previo, se puede resaltar el alto grado de fundamentación e interrelación exis­ tente entre los objetivos específicos y P.I. de la estrategia del POEJ tanto en lo referente a las estra­ tegias a nivel europeo, dadas en la estrategia de la UE2020 y las orientaciones del consejo, así como los planes desarrollados a nivel nacional, como son el Acuerdo de Asociación, el Plan Nacional de Reformas, la Estrategia de emprendimiento y empleo Joven, y finalmente el Plan Nacional de implan­ tación de Garantía Juvenil, ya que, las metas y objetivos planteados se encuentran estrechamente relacionados con las directrices marcadas por las distintas estrategias nacionales o europeas tenidas en consideración. 2.2.3. Análisis de coherencia interna Como se establece en el Articulo 55,3,b y f sobre la evaluación exante de los programas operativos, será necesario valorar “la coherencia interna del programa o de la actividad propuestos y su relación con otros instrumentos financieros, y la manera en que los productos esperados contribuirán a los resultados”. Por este motivo, en este capítulo se desarrolla el estudio de la coherencia interna del Programa Operativo. Para ello es recomendable detectar y clarificar de forma explícita la estructura de la estrategia del P.O con el fin de facilitar la mejor comprensión de la misma. Las posibilidades que se consideran son las siguientes: — Detección de las sinergias entre los Objetivos Específicos del POEJ, es decir, medir el grado en que unos Objetivos influyen sobre los otros para alcanzar el objetivo general de la intervención. — La consistencia de la estrategia mediante un esquema gráfico que explicite la definición y jerarquización de esta, y que permita extraer conclusiones sobre el nivel de estabilidad y fuerza de la intervención pública. — Especificación del marco lógico o cadena de valor de las intervenciones mediante la representa­ ción de diagramas de flujo para las acciones diseñadas en cada OE. — 24 — Instituto de Estudios Fiscales Por lo que se refiere a la primera aproximación de análisis de la coherencia interna, la evaluación de las sinergias entre los Objetivos Específicos del POEJ implica examinar la capacidad de cada Objeti­ vo para influir sobre el logro del resto de Objetivos, bien por influencia5 (la consecución de un Objetivo permite alcanzar otros Objetivos del PO) o bien por sensibilidad6 (la consecución de otros Objetivos permite alcanzar el Objetivo en cuestión). Para analizar estos efectos se empleará la metodología recomendada en la Guía para la Evaluación del Desarrollo Socioeconómico que consiste en la construcción de una matriz en la que se valoran las interrelaciones entre los diferentes OE. Para ello, se asigna un valor a cada cruce (1, 3 y 57) en fun­ ción de la intensidad de interrelación entre los Objetivos. Así, esta matriz permite obtener, por filas, la intensidad y vinculación funcional entre los OE, esto es, el grado de influencia de un Objetivo sobre el resto. Del mismo modo, pero por columnas, permite determinar en qué medida un Objetivo se ve influenciado por los demás, determinando, por tanto, el grado de sensibilidad de este objetivo. Este análisis permite clasificar los Objetivos en cuatro grupos jerárquicos: — Objetivos estratégicos, son aquellos con una valoración superior a la media tanto en influencia como en sensibilidad. Por tanto, constituyen objetivos clave de la estrategia por su elevado poten­ cial multiplicador. — Objetivos influyentes, son aquellos que tienen una elevada capacidad de influencia (superior a la media), pero un menor grado de sensibilidad (inferior a la media). Éstos pueden considerarse ob­ jetivos con elevado grado de influencia. — Objetivos sensibles, son aquellos con una sensibilidad mayor que la media pero con influencia inferior a la media. Por tanto, su desarrollo o éxito depende en buena parte del cumplimiento o el logro de los otros objetivos, por lo que presentan un elevado grado de dependencia del resto. — Objetivos independientes, son aquellos que por sus propias características presentan un mayor grado de independencia (baja influencia y sensibilidad respecto a la media). A continuación, se presenta la matriz de sinergias entre los Objetivos Específicos del Programa Ope­ rativo: Tabla 2.9. Matriz de sinergias entre Objetivos Específicos del Programa Operativo. Cómo influye OE.8.2.1 OE.8.2.1 OE.8.2.2 OE.8.2.3 OE.8.2.4 OE.8.7.1 3 5 5 1 14 5 3 3 16 3 1 12 1 10 OE.8.2.2 5 OE.8.2.3 5 3 OE.8.2.4 5 3 1 OE.8.7.1 5 3 3 5 Cómo es influido (sensi­ bilidad) 20 12 14 16 (influencia) 16 6 13,6 Fuente: Elaboración propia Con la información disponible en la tabla anterior sobre sinergias se puede realizar la representación gráfica de las mismas, tomando como punto de referencia el valor medio de las influencias que se generan entre OE (que es de 13,6). 5 Mide el impacto que tiene sobre otros OE. 6 Mide el impacto que otros OE tienen sobre él. 7 El valor 1 determina una intensidad de interrelación débil, el valor 3 moderada y el 5 aguda. — 25 — Gráfico 2.2: Representación gráfica de las sinergias entre Objetivos Específicos Fuente: Elaboración propia Conforme a esta matriz de sinergias y a su correspondiente gráfico, se puede desarrollar la siguiente clasificación de los Objetivos Específicos del PO. Tabla 2.10. Clasificación de los Objetivos Específicos bajo el análisis de coherencia interna. Objetivos estratégicos Objetivos influyentes Objetivos sensibles Objetivos independientes OE8.2.1 OE8.2.4 OE8.7.1, OE8.2.2 OE8.2.3 Fuente: Elaboración propia En primer lugar, cabe destacar que casi todos los OE mantienen algún tipo de interrelación entre ellos, ya sea de manera débil, moderada o intensa. Estas sinergias favorecen el funcionamiento del Programa Operativo y la consecución del objetivo general de la intervención. Sin embargo, existe un OE que, tanto por su influencia sobre el resto, así como por su sensibilidad a la hora de ser influido por otros Objetivos, obtiene un carácter estratégico. Este es el OE8.2.1 (mejo­ rar la activación temprana y perfeccionar los procesos de intermediación y movilidad laboral). Este objetivo está dirigido, principalmente, a combatir las necesidades más importantes identificadas en el diagnóstico inicial referente a la alta tasa de desempleo existente. En este sentido, y tal como se ob­ serva en el análisis de la pertinencia, es el objetivo que incidía de manera más notable sobre las debi­ lidades y fortalezas identificadas. En el otro extremo, se encuentran aquellos objetivos que, dado su grado de influencia y sensibilidad, se determinan como independientes, es decir, su consecución no depende en gran medida del logro de otros, así como su éxito no contribuye, intensamente, al cumplimiento del resto. Este es el OE8.2.3 (apoyar el espíritu emprendedor fomentando la responsabilidad y la innovación y emprendimiento). Finalmente, se sitúan aquellos objetivos específicos que se ven influidos, en mayor medida, por la consecu­ ción del resto, como lo son el OE8.2.2 (mejorar las aptitudes y las competencias profesionales de las perso­ nas jóvenes), OE8.7.1 (Mejorar la calidad y respuesta de las instituciones del mercado de trabajo y su coordinación), y, por último, un objetivo que influye, intensamente, en el éxito de otros, como es el OE8.2.4 (incentivar la contratacion, teniendo en cuenta la perspectiva de genero). Consistencia de la Estrategia Una vez analizada la coherencia interna, la consistencia de la estrategia se llevará a cabo a través de un análisis enprofundidad de los objetivos y prioridades, identificando la manera en la que se relacionan y la — 26 — Instituto de Estudios Fiscales posible existencia de objetivos y prioridades contradictorias, así como recomendaciones para solucionar estos problemas. Este análisis de coherencia interna se hará a través de dos elementos: — El diseño de un árbol de objetivos, que presentará de forma clara las interrelaciones entre el obje­ tivo general del POEJ, sus objetivos específicos y las prioridades de inversión que se fijen en el Programa para su desarrollo e implementación. — El diseño del marco lógico que, establece la cadena recursos, actividades, productos y resultados finales. Diseño de árbol de objetivos del Programa Operativo El análisis de la compatibilidad interna de la estrategia permitirá detectar y señalar las posibles siner­ gias entre las diferentes líneas de actuación y acciones y se comprobará si una línea de acción no pone en peligro los resultados de otra. Para ello, la jerarquía de los objetivos y las relaciones existen­ tes entre ellos se presentarán de forma piramidal, donde las diferentes alturas de la pirámide indican que se trata de objetivos más estratégicos y de más largo plazo. Sin embargo, existen situaciones en las que esta estructura piramidal puede resultar en ocasiones ambigua, puesto que no facilita el en­ tendimiento jerarquizado de la estrategia a desarrollar, pudiendo localizarse ciertas inconsistencias o falta de información en aspectos como: — La forma concreta en que cada uno de los Objetivos Intermedios contribuye a la consecución de los Objetivos Finales. — La argumentación de cómo ayudan los Objetivos específicos a poder alcanzar los Objetivos In­ termedios y, en consecuencia, los Finales del POEJ. Este planteamiento permitirá una mayor interrelación de la estrategia con los indicadores que serán establecidos para su seguimiento y, por ende, facilitará la futura evaluación de la estrategia del PO, así como incrementará la importancia de la misma respecto a los resultados que se generaran en las futuras evaluaciones intermedias y expost. El equipo evaluador considera que, analizando el documento de programación del POEJ remitido por el equipo programador sería recomendable una fundamentación teórica más detallada de las priori­ dades para la consecución de los Objetivos planteados en el POEJ, que permita explicitar la coheren­ cia del POEJ con las principales necesidades y problemas detectados durante el diagnóstico. La siguiente figura realizada por el equipo de evaluación muestra una posibilidad en la definición y jerarquización de la estrategia en forma piramidal, que explicita las relaciones existentes y que puede resultar adecuada para el entendimiento de las sinergias creadas entre las diferentes líneas de actua­ ción, prioridades y objetivos intermedios propuestos para el cumplimiento de los objetivos finales. Gráfico 2.3: Diseño de árbol de los objetivos del PO Fuente: Elaboración propia — 27 — La gran ventaja que presenta el análisis de este Programa Operativo es que, dada su estructura, con un único Objetivo Temático (OT8: Promover el empleo y favorecer la movilidad laboral), y solo dos Ejes Prioritarios, uno con dos PI y el otro solo con la PI 8.2., resulta bastante sencillo y recomendable realizar una sistematización de la relación existente entre Objetivos Finales y Objetivos Intermedios, y entre éstos y las prioridades de actuación contenidas en el PO (incluyendo los objetivos específicos de cada prioridad). A través del análisis realizado por el equipo evaluador se puede afirmar que el PO es consistente en términos de las relaciones entre objetivos de corto, medio y largo plazo. Además, se observa que existen sinergias, como la establecida por el OE8.7.1 que tiene una relación directa con un objetivo a medio plazo (La modernización de las instituciones del mercado de trabajo, como los servicios de empleo públicos y privados y la mejora de la respuesta a las necesidades del mercado laboral) tam­ bién puede afectar de manera indirecta al otro objetivo de medio plazo planteado en esta estrategia (Integración sostenible en el mercado de trabajo de los jóvenes, en particular aquellos sin trabajo y no integrados en los sistemas de educación y formación). Diseño del Marco Lógico del Programa Operativo Una vez analizada la consistencia del Programa, la evaluación ex ante valorará la forma en que los productos contribuyen a los resultados esperados del programa, mediante la elaboración de un dia­ grama lógico de impacto para cada Objetivo Específico, destinado a establecer los vínculos de causa­ lidad de los diferentes tipos de acciones previstos, partiendo desde los recursos disponibles, los productos que se generan, para finalizar con los resultados esperados. Para este fin, el equipo eva­ luador examinará la contribución que se espera de los objetivos específicos y de las Prioridades de inversión de las líneas de acción seleccionadas, comprobando si los productos generan los resulta­ dos deseados a nivel del Programa. Con esta estructura de la estrategia se puede identificar los impactos posibles según los diferentes tipos de proyectos, que es, sin lugar a dudas, el elemento central presente en todos los programas y la óptica del nuevo periodo de programación 2014-2020 orientada a resultados. Esta teoría enfocada a resultados e impacto resulta mucho más fácil de realizar en aquellos proyectos con objetivos muy enfocados que satisfacen mejor las expectativas, pero que son menos numerosos. Gráfico 2.4: Marco Lógico(cadena de valor) de un Objetivo Específico Fuente: Elaboración propia Mediante la representación del marco lógico de las acciones, dentro del marco de una evaluación ex ante el equipo evaluador, se puede observar el grado de eficacia que se puede llegar a lograr con las diferentes actividades y proponer modificaciones en el caso que así se consideren. Para ello se anali­ zaran: — La descripción de cada actuación financiada en este Programa Operativo. — Se estudiará como los productos pueden generar los resultados esperados, y si factores externos pueden afectar la obtención de los resultados buscados. Este estudio nos permite identificar los vínculos más importantes entre las medidas y los objetivos. Naturalmente, en este contexto, se debe tener en cuenta: — la asignación financiera de los recursos entre los diferentes ejes y medidas, y — 28 — Instituto de Estudios Fiscales — los factores externos importantes que influyen en la elección de las políticas del Programa. Dado que, como ya se ha indicado por parte del equipo evaluador, se sugiere al equipo de programa­ ción clarificar de manera más explícita la estructura de dicha estrategia con el fin de facilitar la com­ prensión de la misma, a continuación se presenta un posible esquema de representación gráfica de la misma a partir de la cual se podría desarrollar la argumentación, tanto de la coherencia interna como de la pertinencia. En este análisis se separa cada uno de los Objetivos específicos dentro de la P.I. Antes de pasar a analizar cada uno de los OE es necesario realizar dos aclaraciones. La primera de ellas es en relación al primer paso del marco lógico, relativo a los recursos necesarios para realizar cualquier actividad. Dependiendo de la acción emprendida serán necesarios recursos financieros, personal, de edificios, etc. Con el objeto de simplificar el análisis se ha considerado un único recurso, que es el “recurso financiero”, dado que con una asignación presupuestaria se pueden lograr el resto: contratación de personal, compra de equipos informáticos, etc. Además se ha realizado la distinción, dado que son acciones cofinanciadas, en denominarlo “recurso del FSE y nacional”. La segunda aclaración es la relativa a los indicadores que se utilizaran para cuantificar el resto de etapas en el marco lógico. El equipo de evaluación ha observado la existencia de multitud de posibili­ dades a la hora de establecer un indicador, pero en aras de la simplificación, se ha decido por emple­ ar los propuestos por el equipo de programación, aunque esto pueda suponer un perdida de intuición en los análisis. Una vez realizadas estas aclaraciones comenzamos con el análisis de las actividades, que el equipo de la UAFSE ha establecido en el POEJ, relacionadas con el OE 8.2.1., que son: — Acciones de orientación profesional, información laboral y acompañamiento en la búsqueda de empleo. — Actuaciones con agencias de colocación. — Programas de movilidad A continuación se presenta la cadena de valor para cada una de estas acciones: Gráfico 2.5. Marco Lógico de las actuaciones asociadas al OE.8.2.1 — 29 — Se va a explicar la causalidad existente en la tercera de las acciones (programa de movilidad), indicando que para el resto de actuaciones la lectura es similar. Partiendo de unos recursos financieros, aportados tanto por fondos europeos como nacionales, se realizan acciones de movilidad laboral a personas desempleadas. El producto que van a generar estas acciones son personas desempleadas (de larga duración) que están participando. Es de esperar que una persona que recibe esta asistencia tenga más posibilidades de encontrar trabajo. Por lo tanto, y siguiendo una estructura de causalidad, el comprobar si esta acción ha tenido el resultado es­ perado podría ser analizando el número de participantes en los programas de movilidad que han recibido una oferta de empleo. Utilizando esta forma de análisis para el resto de acciones del OE 8.2.1 parece claro que existe una lógica bien marcada en todas las actuaciones. El equipo evaluador considera, que bajo ciertos su­ puestos ajenos a la actuación, el objetivo que se establece puede ser alcanzado con estas actuacio­ nes. Pasamos a continuación a considerar las actuaciones asociadas al Objetivo Especifico 8.2.2. En total encontramos las siguientes 8 diferentes actividades: — Programas de segunda oportunidad. — Formación con compromiso de contratación. — Formación, especialmente en idiomas y TIC. — Impulso de la formación dual. — Escuelas Taller y Casas de Oficios y programas mixtos de empleo-formación. — Evaluación y acreditación de las competencias profesionales. — Prácticas no laborales en empresas. — Formación para la obtención de certificados de profesionalidad. El marco lógico asociado a las actuaciones citadas queda representado en la siguiente figura: Gráfico 2.6. Marco lógico de las actuaciones asociadas al O.E.8.2.2 — 30 — Instituto de Estudios Fiscales Tal y como se observa, las actuaciones enmarcadas en este Objetivo Específico están encaminadas a mejorar la empleabilidad de aquellas personas no ocupadas ni integradas en los sistemas de for­ mación y educación, principalmente. En este sentido, el producto asociado a las medidas señaladas, se refiere a aquellas personas que participan en el marco de una determinada acción. Por ejemplo, en el caso de la actuación para la formación con compromiso de colocación, el producto asociado serían aquellas personas inactivas no integradas en los sistemas de educación o formación que parti­ cipan bajo esta acción y, bajo la estructura de causalidad descrita en la figura, el resultado esperado podría ser aquellos participantes que están empleados en el plazo de seis meses posteriores a la participación. Para el resto de acciones la lógica de actuación es bastante similar, por lo que el equipo evaluador considera que los resultados pueden ser alcanzados adecuadamente bajo la actual estrategia de inversión del PO. La financiación, como ya se ha comentado para el anterior Objetivo Específico, proviene tanto de recursos nacionales, como de los fondos europeos. Por lo que se refiere, a las acciones relacionadas al Objetivo Especifico 8.2.3 estas son: — Ayudas al autoempleo. — Fomento de la cultura emprendedora. — Medidas para favorecer el autoempleo y el emprendimiento colectivo en el marco de economía social. — Asesoramiento al autoempleo y creación de empresas y formación para emprendimiento. Siendo su análisis de marco lógico el siguiente: — 31 — Gráfico 2.7. Marco lógico de las actuaciones asociadas al O.E.8.2.3 Para este OE, las cuatro acciones programadas tienen un claro carácter de fortalecimiento del autoempleo. Para esas acciones los indicadores de producto ideales son personas, inactivas o desem­ pleadas, que participan en las distintas acciones. Como ejemplo, partiendo de la medida OE8.2.3.4, Es de esperar que al realizar una acción de asesoramiento al autoempleo de un inactivo (actividad) la “producción” de esa acción se pueda medir como el “número de personas participantes en la acción de asesoramiento que no están integradas en el sistema educativo o de formación”, pero si el análisis de esta actuación se quedara en ese punto se estaría perdiendo de vista el objetivo de este periodo de programación orientado a resultado. El objetivo final de esta acción es que las personas que son beneficiadas de esa acción, ahora tengan más posibilidades de encontrar un empleo. Por ese motivo el paso final del marco lógico para esta actividad es observar el número de personas inactivas que encuentran empleo tras haber participado en la actividad. Aplicando esta lógica al resto de activida­ des se observa una estructura consistente en el diseño de las actuaciones propuestas por parte del equipo de programación. Para el Objetivo Especifico 8.2.4., las acciones descritas son: — Bonificaciones en las cuotas de la Seguridad Social. — Ayudas al empleo para la contratación de jóvenes con un periodo mínimo de permanencia. — Fomento de la economía social. — Formación y fomento del empleo para jóvenes investigadores. — Otros incentivos a la contratación. Siendo la estructura de causalidad subyacente en las actuaciones la que se muestra a continuación: — 32 — Instituto de Estudios Fiscales Gráfico 2.8. Marco lógico de las actuaciones asociadas al O.E.8.2.4 En este caso particular, la mayoría de las actividades propuestas generan productos que influyen en la obtención del resultado. No obstante, el equipo evaluador considera que existe una acción que no se encuentra correctamente capturada en esta fase. Es la relativa a “formación y fomento de empleo para jóvenes investigadores”. Inicialmente cabe esperar que esta acción está destinada tanto a per­ sonas con estudios de nivel medio (CINE 2) como de nivel superior o universitario (CINE 3). Sin em­ bargo, observando los indicadores propuestos por el equipo de programación solo aparecen presentes indicadores para personas con estudios secundarios, dejando sin cubrir la posibilidad de estudiantes de doctorado o similares. En esta situación se estaría prestando una acción, pero no se tendría un indicador de producto que reflejara la ejecución de la misma, generándose de este modo una clara disfunción: existe una actuación pero el indicador de producto no se mueve. Tras realizar una consulta a la UAFSE relativa a esta cuestión, el equipo programador expuso que las acciones que se iban a realizar con ese objetivo iban destinadas exclusivamente a estudiantes de formación profesional, y no a universitarios. Por lo tanto, las dudas suscitadas al inicio quedan completamente resueltas. Para el Objetivo Especifico 8.7.1. las acciones se centran en la adaptación de los servicios públicos de empleo y otras instituciones del mercado laboral, las medidas adoptadas para el intercambio de información y consulta de sistemas de información y la puesta en funcionamiento del sistema de in­ formación y la base de datos única. — 33 — Gráfico 2.9. Marco lógico de las actuaciones asociadas al O.E.8.7.1 En los casos anteriores las actuaciones tenían un marcado carácter vertical. En estas situaciones resulta bastante sencillo establecer un producto para cada actuación. Sin embargo, el OE.8.7.1., al tratarse de acciones con un claro principio horizontal, como son la creación de sistemas informáticos, aplicaciones, etc., el producto que se genera no es tan claro como en los casos anteriores. Sin duda, se puede afirmar que esta es la actividad, entre todas las analizadas, en la que el estudio de la cau­ salidad resulta más difuso, no pudiéndose establecer un marco lógico tan consiste como el obtenido en los anteriores casos. 2.2.4. Análisis de la incorporación de las prioridades horizontales Tal y como se recomienda en el artículo 55, párrafo 3, puntos l) y m), del Reglamento de Disposicio­ nes Comunes, la evaluación ex-ante debe examinar "la adecuación de las medidas previstas para promover la igualdad de oportunidades entre hombres y mujeres, prevenir todo tipo de discriminación, en particular a la accesibilidad para personas con discapacidad, y promover el desarrollo sostenible". Para ello, el equipo evaluador propone el análisis de estas prioridades como punto fundamental de la evaluación de la estrategia del Programa. Siguiendo las indicaciones presentadas en las líneas guía de la Comisión Europea para el desarrollo de las evaluaciones ex-ante, este análisis cubrirá los pun­ tos siguientes: Promoción de la igualdad entre hombres y mujeres La igualdad de oportunidades entre hombres y mujeres en la UE y en España ha adquirido una gran importancia durante la última década, sobre todo en lo que se refiere al impulso de esta perspectiva en las políticas nacionales de cada uno de los países miembros de la Unión. Como prueba de ello, es la importancia que se otorga a la incorporación de la cuestión de género en todas las actuaciones cofinanciadas por los Fondos Europeos. En relación con la igualdad entre hombres y mujeres, en este documento se evaluará: — la manera en que el objetivo de la promoción de la igualdad se ha tenido en cuenta al elaborar el Programa (en el desarrollo del análisis socioeconómico, en la fase de concepción del Programa, y a través de procesos de consulta con organismos responsables de cuestiones de igualdad, entre otros) — la contribución del Programa en la promoción de la igualdad entre mujeres y hombres y las moda­ lidades previstas para garantizar la integración de la dimensión "hombres-mujeres" tanto en el ni­ vel de Programa como en las operaciones, examinando si los documentos de programación contienen disposiciones adecuadas en relación con la integración del principio de igualdad entre hombres y mujeres en los procesos de implementación, seguimiento y evaluación — 34 — Instituto de Estudios Fiscales Por ello, se analiza el grado de aplicación de la cuestión de género en el documento de programa­ ción, analizando: — El correcto uso del lenguaje, evitando el uso de expresiones sexistas. — La inclusión en la estrategia y un análisis profundo de la situación inicial diferenciando por cues­ tión de género la existencia de resultados particularmente relevantes. — La desagregación en función del sexo de los datos y estadísticas que se utilizaran en los distintos indicadores, ya sean de producto o resultado, con una diferenciación por cuestión de género siempre que sea pertinente, unido al establecimiento de un sistema de seguimiento y evaluación en materia de género que presente información total y desagregada por sexo y que permita el análisis del impacto de la política y la aplicación de la prioridad de igualdad de género. Fomento de la igualdad de oportunidades y prevención de la discriminación La aplicación de los Fondos EIE debe tender a eliminar las desigualdades y promover la igualdad entre hombres y mujeres, así como a combatir la discriminación basada en el sexo, origen racial o étnico, religión o convicciones, discapacidad, edad u orientación sexual. Además, teniendo en cuenta el artículo 55.3, se debe valorar la estrategia establecida en el PO en lo referente a la igualdad de oportunidades y la prevención de la discriminación. Por este motivo se analizarán las siguientes cues­ tiones: — las acciones específicas previstas a lo largo del proceso de elaboración, concepción e implementación del Programa (medidas específicas que se hayan tomado para la participación de los acto­ res relevantes en la identificación de problemas/necesidades, definición de objetivos, decisiones relativas a la asignación de recursos, selección de acciones a ser apoyadas, formas previstas pa­ ra el acceso a la financiación, etc.). Teniendo presente la valoración de la incorporación en la estrategia de estos dos principios horizonta­ les, se ha desarrollado una valoración de cómo los principales aspectos como la estrategia, la gober­ nanza, los indicadores y las asignaciones financieras tienen en cuenta estos principios horizontales, teniendo en cuenta 3 tipos posibles de valores: alto, medio y alto . En la Tabla 2.11 se valora el principio horizontal de igualdad entre hombres y mujeres y el de igual­ dad de oportunidades y no discriminación en el Programa Operativo: Promoción de igualdad hombre y mujer Tabla 2.11. Integración del principio de igualdad de oportunidades y no discriminación en el Programa Operativo Estrategia Gobernanza Indicadores Asignaciones financieras Intensidad Alta Media Media Media Apreciación Se realiza el análisis de contexto siempre teniendo en cuenta la desagregación por género y tramos de edad de ambos gru­ pos. En las priorida­ des de inversión como así también en los objetivos especí­ ficos se observan la inclusión de este principio. Se manifiesta estar en coordinación con el Gobierno, CC.AA, interlocutores sociales y otros agentes intere­ sados en la elabora­ ción y puesta en marcha del POEJ. Aunque se debería garantizar explícita­ mente la participación de la mujer de manera transversal. Todos los indicadores relacionados con indivi­ duos (partici­ pantes o desemplea­ dos, inacti­ vos) están desagrega­ dos por cuestión de sexo. La elegibilidad de la financiación se hará en base al colectivo beneficiario, es decir la edad de 15 a 24 años con inde­ pendencia de su naturaleza (empleo, formación, educa­ ción o inclusión social). Sin embar­ go, la asignación financiera no apa­ rece desglosada por sexo. (Sigue) — 35 — (Continúa) d is c r im in a c ió n y p r e v e n c ió n d e F o m e n t o ig u a ld a d d e o p o r t u n id a d e s In t e n s id a d A p r e c ia c ió n A s ig n a c io n e s E s tr a te g ia G o b e rn a n za In d ic a d o r e s A lta M e d ia M e d ia M e d ia Las medidas adopta­ das tienen en cuenta este principio tales como personas en situaciones de dis­ criminación múltiple y grupos más vulnera­ bles. Se tienen análi­ sis por tramos de edad y CC.AA. en las prioridades de inver­ sión como así tam ­ bién en los objetivos específicos se obser­ van la inclusión de este principio. Se manifiesta estar en coordinación con el Gobierno, CC.AA, interlocutores sociales y otros agentes interesados en la elaboración y puesta en marcha del POEJ. Los indicadores están diseñados en dirección a la condición de desempleados e inactivos más que por grupos específicos, aunque queda implícita la aplicación de este principio. La elegibilidad de la financiación se hará en base al colectivo beneficiario, es decir la edad de 15 a 24 años con independencia de su naturaleza (empleo, formación, educación o inclusión social). Aunque la asignación financiera no aparece explícitamente desglosada por grupos. fin a n c ie r a s Fuente: Elaboración propia Además, respecto a la cuestión del correcto uso del lenguaje, se observa analizando el POEJ, que es permisible concluir que la incorporación de la perspectiva de género se encuentra considerablemente integrada de forma transversal en la estrategia diseñada, mostrándose un correcto uso del lenguaje. Adicionalmente, se puede hacer mención de otros principios que se tienen en cuenta en el POEJ tales como la innovación social y desarrollo sostenible. En cuanto a innovación social el equipo de programación indica que procurará que en cada objetivo específico se pongan en marcha estrategias que faciliten la aplicación de soluciones innovadoras a los retos que afrontan las personas jóvenes “ninis”. También se considera el principio de desarrollo sostenible a través del objetivo específico 8.2.2 donde hacen referencia a la mejora de aptitudes y competencias necesarias para cubrir las necesidades de mano de obra en sectores como la economía verde o las tecnologías de la información y las comuni­ caciones desarrollando así conexión con el sector de telecomunicaciones y medioambiente. Por lo que se refiere a la condicionalidad ex ante, cabe destacar el cumplimiento de esta en los temas relativos a lucha contra la discriminación, igualdad de género y protección de los derechos de las personas con discapacidad. También el desarrollo de un apartado específico sobre los principios horizontales con especificaciones de necesidades, medidas y cumplimiento de reglamentos que apor­ ta el POEJ en el periodo de actuación. Finalmente, siguiendo los estándares que la OCDE desarrolló con el fin de contribuir a establecer evaluaciones realizadas de acuerdo con los Principios de Evaluación de la Ayuda al Desarrollo del CAD (1991), y que se centran en la gestión e institucionalización de los sistemas de evaluación y configuran los criterios de referencia usados en las evaluaciones entre miembros del CAD, el equipo evaluador ha analizado los cinco criterios correspondientes a la lógica de la intervención haciendo uso de ellos, asignando como en el caso anterior 3 posibles valores: alta, media y baja. — 36 — Instituto de Estudios Fiscales Criterios de evaluación Nivel de evaluabilidad Pertinencia: Adecuación de los objetivos de la intervención a las necesidades, prioridades, prácticas y estratégicas, de mujeres y hombres y grupos vulnerables a discriminación Alta Eficacia: Relación de los objetivos del programa con los resultados pretendidos considerando los beneficios alcanzables por mujeres y hombres, y grupos vulnerables a discriminación, sin analizar los costes en los que se incurre para obtenerlos. Alta Eficiencia: Valoración si los resultados vinculados a la igualdad de género y no discriminación pueden ser logrados a un coste razo­ nable y de si los beneficios tienen un coste equitativo y si puede ser asignados equitativamente. Medio Impacto: Contribución del programa a la política más amplia de igualdad de género y no discriminación, a los objetivos sectoriales de igualdad y al avance hacia la igualdad a largo plazo. Sostenibilidad: Alcance de logros relevantes en materia de igual­ dad de género y no discriminación que serán mantenidos después del período de financiación. Medio Medio De esta manera, puede concluirse que el PO propone una estrategia de acción que tiene presente de forma adecuada la cuestión de género y también el relativo a la igualdad de oportunidades y preven­ ción de la discriminación, lo que permite confirmar el completo cumplimiento de lo establecido por la normativa europea, siendo coherente con esta legislación y considerándose pertinente a la hora de reducir las desigualdades identificadas en el análisis de la situación socioeconómica en España. Capítulo III. Indicadores, seguimiento y evaluación El uso de indicadores para el seguimiento y la evaluación de los Fondos EIE8 ha existido desde los primeros períodos de programación, aunque es en el período 2014-2020 donde van a cobrar mayor importancia, debido al enfoque a resultados que la Comisión pretende conseguir a través de los Re­ glamentos. Hasta ahora el seguimiento y la evaluación se hacían, fundamentalmente, a través de los indicadores ligados a la gestión de las actuaciones (indicadores operativos) y por ello se prestaba especial atención a las cuantías gastadas y productos desarrollados9, pero bajo la estrategia Europa 8 FEDER, FSE, FEADER, FEMP y Fondo de Cohesión, aunque de éste último España no recibirá financiación para el período 2014-2020. 9 Los productos desarrollados varían en función del tipo de actuaciones que desarrollan cada uno de los Fondos EIE: perso­ nas que reciben cursos de formación para mejorar su inserción en el mercado laboral, kilómetros de carreteras construidas, — 37 — 2020 y el enfoque a resultados que se establece en el periodo 2014-2020, los indicadores que valo­ ran los resultados de las actuaciones cobran especial importancia. Íntimamente relacionado con este hecho se encuentra la cuantificación de la efectividad de las acciones que se realizan, por lo que re­ sulta imprescindible contar con una batería de indicadores que presenten toda aquella información relevante para la toma de decisiones, tanto en un entorno de gestión del programa como desde una óptica más estratégica. En este sentido, la evaluación ex ante del Acuerdo de Asociación, ya contempla la importancia del enfoque a resultados, planteando una batería de 34 indicadores estratégicos, que se refieren a los grandes resultados que la intervención total de los Fondos EIE pretende conseguir. El artículo 55 del RDC*10, apartado3, letras c),g),j) yk) establece que la evaluación exante “valorará (c) la pertinencia y claridad de los indicadores del programa, (g) si los valores previstos cuantificados de los indicadores son realistas, habida cuenta de la ayuda prevista de los Fondos EIE, (k) la idoneidad de los hitos seleccionados para el marco de rendimiento, y, finalmente, (j) la idoneidad de los proce­ dimientos de seguimiento del programa y de recogida de datos necesarios para llevar a cabo evalua­ ciones”. Por este motivo, en esta sección de la evaluación exante se tiene por objetivo asegurar el cumplimiento de dichos requisitos del RDC: — Verificar las características teóricas de los indicadores propuestos, prestando especial atención a la pertinencia y la coherencia de los mismos. — Estimar el nivel de realismo de la cuantificación realizada sobre las consecuciones del PO. — Analizar los indicadores asociados al Marco de Rendimiento. — Comprobar si existe la suficiente capacidad administrativa para recolectar información y realizar evaluaciones. A continuación se desarrollan cada una de las secciones mencionadas. 3.1. A nálisis Teórico del sistema de indicadores propuesto Una vez que el equipo de programación ha establecido sus prioridades de intervención, que terminan por concretarse en actuaciones, es necesario medir la evolución de la parte operativa a través de indicadores de gestión o indicadores operativos, donde se pueden destacar, los indicadores financie­ ros, ligados al gasto que se va realizando, y los indicadores de producto, que miden la cantidad que se va produciendo. Sin lugar a dudas, lo mencionado previamente tiene una óptica de gestión. Para completar el segui­ miento de una actuación pública, se deben cuantificar los resultados obtenidos a partir de su inter­ vención, resultados que deben ser más concretos que los definidos en las estrategias iniciales. En esta fase se pueden distinguir dos tipos de indicadores, los indicadores de resultado y los de impacto, que buscan medir el resultado a más largo plazo que los primeros. El uso de estos indicadores permite tener una visión clara y completa del desarrollo de la estrategia general y de las actuaciones concretas. Conocer bien las fases del desarrollo de un proyecto finan­ ciado con fondos públicos es crucial para poder hacer un buen seguimiento a través del sistema de indicadores propuesto. superficie agraria bajo proyectos de mejora de la calidad del suelo, proyectos que apoyan la innovación y competitividad de la pesca, número de patentes nuevas creadas, etc. 10 Reglamento (UE) N° 1303/2013 del Parlamento Europeo y del Consejo de 17 de diciembre de 2013 por el que se estable­ cen disposiciones comunes relativas al FEDER, FSE, Fondo de Cohesión, FEADER y al FEMP y por el que se deroga el Re­ glamento (CE) Na 1083/2006 del Consejo. — 38 — Instituto de Estudios Fiscales Gráfico 3.1. Identificación de las fases de un proyecto financiado con fondos públicos Fuente: Elaboración propia Además de una clasificación de los indicadores de acuerdo a la fase de la actuación pública analiza­ da, también se puede plantear una clasificación en función de la obligatoriedad o no de los indicadoresexigida por la Comisión a través de los Reglamentos, habiendo indicadores que deben calcularse de manera obligatoria (indicadores comunes, según legislación del período 2014-20211) y otros que pueden ser específicos de cada programa (indicadores específicos). En este sentido, un indicador puede ser común y de producto, específico y de resultado, etc. Finalmente, junto con el enfoque a resultados del nuevo período, otro de los aspectos clave para la evaluación y el seguimiento de los Fondos EIE es el Marco de Rendimiento, mecanismo por el cual la Comisión podrá llevar acabo correcciones financieras en caso de incumplimiento de los hitos inter­ medios y metas finales establecidos por los responsables de cada Programa Operativo. Los indicadores de producto y resultado empleados por el equipo de programación son los siguientes: Tabla 3.1. Indicadores de Producto delos Ejes Prioritarios 1 y 5 del PO Identificación Indicador Unidad de medida Fondo Categoría de región Fuente de datos Frecuencia de los informes (P.8.2.1) Desempleados incluidos de larga duración Participantes FSE Tres tipos de regiones Estadística basada en históricos Anualmente (P.8.2.2) Personas inactivas no integradas en los sistemas de educación o formación Participantes FSE Tres tipos de regiones Estadística basada en históricos Anualmente (P.8.2.3) Personas con estudios de enseñanza primaria (CINE 1 ) o secundaria (CINE 2) Participantes FSE Tres tipos de regiones Estadística basada en históricos Anualmente (P.8.7.1) Número de proyectos dirigidos a las administraciones públi­ cas o a los servicios públicos a nivel nacional, regional o local Participantes FSE Tres tipos de regiones Estadística basada en históricos Anuales Fuente: Programa Operativo de Empleo Juvenil 11 Son los indicadores core del período 2007-2013. — 39 — Tabla 3.2. Indicadores de Producto del Eje de Asistencia Técnica del PO Categoría de región Fuente de datos Frecuencia de los informes N° de actuaciones Tres tipos de regiones Estadística basada en históricos Anualmente (A.P.2) Numero de Estudios y evaluaciones relacionadas con el Programa Operativo N° de estudios Tres tipos de regiones Estadística basada en históricos Anualmente (A.P.3) Numero de campañas relacionadas con el Programa Operativo de Empleo Juvenil N° de campañas Tres tipos de regiones Estadística basada en históricos Anualmente Identificación Indicador Unidad de medida (A.P.1) Actuaciones de preparación, seguimiento y control del Programa Operativo de Empleo Juvenil Fondo Fuente: Programa Operativo de Empleo Juvenil Tabla 3.3. Indicadores de Resultado de los Ejes Prioritarios 1 y 5 del PO del PO Identificación Indicador Categoría de Región Unidad de medida para indicador Indicador de ejecución común utilizado como base para la fijación de un valor previsto (8.2.1.1) Participantes desempleados que completan la intervención subvencionada por la Iniciativa de Empleo Juvenil Tres tipos de región Participantes desempleados incluidos de larga duración Estadística basada en históricos Un informe al año (8.2.1.2) Participantes desempleados que reciben una oferta de empleo, educación continua, aprendizaje o período de prácticas tras su participación Tres tipos de región Participantes desempleados incluidos de larga duración Estadística basada en históricos Un informe al año (8.2.1.3) Participantes desempleados que se integran en los sistemas de educación o formación, que obtienen una cualificación, o que obtienen un empleo, incluido por cuenta propia, tras su participación. Tres tipos de región Participantes desempleados incluidos de larga duración Estadística basada en históricos Un informe al año Fuente de datos Frecuencia de los informes (Sigue) — 40 — Instituto de Estudios Fiscales (Continúa) Categoría de Región Unidad de medida para indica­ dor Indicador de ejecución común utiliza­ do como base para la fijación de un valor previsto Fuente de datos Frecuencia de los informes Participantes personas inactivas no integradas en los sistemas de educación o formación Estadística basada en históricos Un informe al año Participantes personas inactivas no integradas en los sistemas de educación o formación Estadística basada en históricos Un informe al año Estadística basada en históricos Un informe al año Identificación Indicador (8.2.1.4) Participantes inactivos y no integrados en los sistemas de educación o formación que completan la intervención subvencionada por la Iniciativa de Empleo Juvenil (8.2.1.5) Participantes inactivos y no integrados en los sistemas de educación o formación que reciben una oferta de empleo, educación continua, aprendizaje o período de prácticas tras su participación (8.2.1.6) Participantes inactivos y no integrados en los sistemas de educación o formación que se integran en los sistemas de educación o formación, que obtienen una cualificación, o que obtienen un empleo, incluido por cuenta propia, tras su participación. Tres tipos de región Participantes personas inactivas no integradas en los sistemas de educación o formación (8.2.1.7) Participantes en educación continua o programas de formación que den lugar a una cualificación, un aprendizaje o un período de prácticas en el plazo de seis meses siguientes a su participación Tres tipos de región Participantes desempleados e inactivos Estadística basada en históricos Un informe al año (8.2.1.8) Participantes empleados en el plazo de seis meses siguientes a su participación Tres tipos de región Participantes desempleados e inactivos Estadística basada en históricos Un informe al año (8.2.1.1) Participantes que trabajen como autónomos en el plazo de seis meses siguientes a su participación Tres tipos de región Participantes desempleados e inactivos Estadística basada en históricos Un informe al año (8.2.2.2) Participantes desempleados que completan la intervención subvencionada por la Iniciativa de Empleo Juvenil Tres tipos de región Participantes desempleados incluidos de larga duración Estadística basada en históricos Un informe al año Tres tipos de región Tres tipos de región (Sigue) — 41 — (Continúa) Indicador de ejecución común utiliza­ do como base para la fijación de un valor previsto Fuente de datos Frecuencia de los informes Identificación Indicador Categoría de Región Unidad de medida para indica­ dor (8.2.2.3) Participantes desempleados que reciben una oferta de empleo, educación continua, aprendizaje o período de prácticas tras su participación Tres tipos de región Participantes desempleados incluidos de larga duración Estadística basada en históricos Un informe al año (8.2.2.4) Participantes desempleados que se integran en los sistemas de educación o formación, que obtienen una cualificación, o que obtienen un empleo, incluido por cuenta propia, tras su participación. Tres tipos de región Participantes desempleados incluidos de larga duración Estadística basada en históricos Un informe al año (8.2.2.5) Participantes inactivos y no integrados en los sistemas de educación o formación que completan la intervención subvencionada por la Iniciativa de Empleo Juvenil Participantes personas inactivas no integradas en los sistemas de educación o formación Estadística basada en históricos Un informe al año (8.2.2.S) Participantes inactivos y no integrados en los sistemas de educación o formación que reciben una oferta de empleo, educación continua, aprendizaje o período de prácticas tras su participación Participantes personas inactivas no integradas en los sistemas de educación o formación Estadística basada en históricos Un informe al año (8.2.2.7) Participantes inactivos y no integrados en los sistemas de educación o formación que se integran en los sistemas de educación o formación, que obtienen una cualificación, o que obtienen un empleo, incluido por cuenta propia, tras su participación. Tres tipos de región Participantes personas inactivas no integradas en los sistemas de educación o formación Estadística basada en históricos Un informe al año (8.2.2.8) Participantes en educación continua o programas de formación que den lugar a una cualificación, un aprendizaje o un período de prácticas en el plazo de seis meses siguientes a su participación Tres tipos de región Participantes desempleados e inactivos Estadística basada en históricos Un informe al año Tres tipos de región Tres tipos de región (Sigue) — 42 — Instituto de Estudios Fiscales (Continúa) Indicador de ejecución común utiliza­ do como base para la fijación de un valor previsto Fuente de datos Frecuencia de los informes Identificación Indicador Categoría de Región Unidad de medida para indica­ dor (8.2.2.9) Participantes empleados en el plazo de seis meses siguientes a su participación Tres tipos de región Participantes desempleados e inactivos Estadística basada en históricos Un informe al año (8.2.2.9) Participantes que trabajen como autónomos en el plazo de seis meses siguientes a su participación Tres tipos de región Participantes desempleados e inactivos Estadística basada en históricos Un informe al año (8.2.3.1) Participantes desempleados que completan la intervención subvencionada por la Iniciativa de Empleo Juvenil Tres tipos de región Participantes desempleados incluidos de larga duración Estadística basada en históricos Un informe al año (8.2.3.2) Participantes desempleados que reciben una oferta de empleo, educación continua, aprendizaje o período de prácticas tras su participación Tres tipos de región Participantes desempleados incluidos de larga duración Estadística basada en históricos Un informe al año (8.2.3.3) Participantes desempleados que se integran en los sistemas de educación o formación, que obtienen una cualificación, o que obtienen un empleo, incluido por cuenta propia, tras su participación. Tres tipos de región Participantes desempleados incluidos de larga duración Estadística basada en históricos Un informe al año (8.2.3.4) Participantes inactivos y no integrados en los sistemas de educación o formación que completan la intervención subvencionada por la Iniciativa de Empleo Juvenil Participantes personas inactivas no integradas en los sistemas de educación o formación Estadística basada en históricos Un informe al año (8.2.3.5) Participantes inactivos y no integrados en los sistemas de educación o formación que reciben una oferta de empleo, educación continua, aprendizaje o período de prácticas tras su participación Participantes personas inactivas no integradas en los sistemas de educación o formación Estadística basada en históricos Un informe al año (8.2.3.6) Participantes inactivos y no integrados en los sistemas de educación o formación que se integran en los sistemas de educación o formación, que obtienen una cualificación, o que obtienen un empleo, incluido por cuenta propia, tras su participación. Participantes personas inactivas no integradas en los sistemas de educación o formación Estadística basada en históricos Un informe al año Tres tipos de región Tres tipos de región Tres tipos de región (Sigue) — 43 — (Continúa) Indicador de ejecución común utiliza­ do como base para la fijación de un valor previsto Fuente de datos Frecuencia de los informes Identificación Indicador Categoría de Región Unidad de medida para indica­ dor (8.2.3.7) Participantes en educación continua o programas de formación que den lugar a una cualificación, un aprendizaje o un período de prácticas en el plazo de seis meses siguientes a su participación Tres tipos de región Participantes Desempleados e inactivos Estadística basada en históricos Un informe al año (8.2.3.8) Participantes empleados en el plazo de seis meses siguientes a su participación Tres tipos de región Participantes desempleados e inactivos Estadística basada en históricos Un informe al año (8.2.3.9) Participantes que trabajen como autónomos en el plazo de seis meses siguientes a su participación Tres tipos de región Participantes desempleados e inactivos Estadística basada en históricos Un informe al año (8.2.4.1) Participantes desempleados que completan la intervención subvencionada por la Iniciativa de Empleo Juvenil Tres tipos de región Participantes desempleados incluidos de larga duración Estadística basada en históricos Un informe al año (8.2.4.2) Participantes desempleados que reciben una oferta de empleo, educación continua, aprendizaje o período de prácticas tras su participación Tres tipos de región Participantes desempleados incluidos de larga duración Estadística basada en históricos Un informe al año (8.2.4.3) Participantes desempleados que se integran en los sistemas de educación o formación, que obtienen una cualificación, o que obtienen un empleo, incluido por cuenta propia ,tras su participación. Tres tipos de región Participantes desempleados incluidos de larga duración Estadística basada en históricos Un informe al año (8.2.4.4) Participantes inactivos y no integrados en los sistemas de educación o formación que completan la intervención subvencionada por la Iniciativa de Empleo Juvenil Participantes personas inactivas no integradas en los sistemas de educación o formación Estadística basada en históricos Un informe al año (8.2.4.5) Participantes inactivos y no integrados en los sistemas de educación o formación que reciben una oferta de empleo, educación continua, aprendizaje o período de prácticas tras su participación Participantes personas inactivas no integradas en los sistemas de educación o formación Estadística basada en históricos Un informe al año Tres tipos de región Tres tipos de región (Sigue) — 44 — Instituto de Estudios Fiscales (Continúa) Categoría de Región Unidad de medida para indica­ dor Indicador de ejecución común utiliza­ do como base para la fijación de un valor previsto Fuente de datos Frecuencia de los informes Estadística basada en históricos Un informe al año Identificación Indicador (8.2.4.6) Participantes inactivos y no integrados en los sistemas de educación o formación que se integran en los sistemas de educación o formación, que obtienen una cualificación ,o que obtienen un empleo, incluido por cuenta propia, tras su participación. Tres tipos de región Participantes personas inactivas no integradas en los sistemas de educación o formación (8.2.4.7) Participantes en educación continua o programas de formación que den lugar a una cualificación, un aprendizaje o un período de prácticas en el plazo de seis meses siguientes a su participación Tres tipos de región Participantes desempleados e inactivos Estadística basada en históricos Un informe al año (8.2.4.8) Participantes empleados en el plazo de seis meses siguientes a su participación Tres tipos de región Participantes Desempleados e inactivos Estadística basada en históricos Un informe al año (8.2.4.9) Participantes que trabajen como autónomos en el plazo de seis meses siguientes a su participación Tres tipos de región Participantes desempleados e inactivos Estadística basada en históricos Un informe al año porcentaje Número de proyectos dirigidos a las administraciones públicas o los servicios públicos a nivel nacional, regional o local Estadística basada en históricos Un informe al año (8.7.1.1) Fases de desarrollo aplicativo informático Tres tipos de región Tabla 3.4. Indicadores de Resultado del Eje de Asistencia Técnica del PO Identificación Indicador Indicad°. . _ g .. de Región Unidad de medida mddcddw para indicador (A.1) Porcentaje del gasto financiero de asistencia técnica dedicado a tareas de preparación, ejecución, segui­ miento y control Tres tipos de región Porcentaje financiero Indicador de ejecución común utilizado como base para b. f ^ ó n la fijación de un valor previsto , de datos Frecuencia de los indf! rli” “ c informes Estadística basada en históricos Un informe al año (Sigue) — 45 — (Continúa) Identificación Indicador . _ g .. de Región (A.2) Numero de estu­ dios y evaluaciones relacionados con el Programa Operativo de Empleo Juvenil publicados Tres tipos de región (A.3) Porcentaje de colectivo del programa operativo de opera wo e Tres tipos Empleo Juvenil de región que conocen las actuaciones cofi­ nanciadas gracias a las campañas Unidad de medida para mddcddw indicador Indicador de ejecución común utilizado como base para b. fienCnón la fijación de un valor previsto , de datos Frecuencia de los indf! rlm“ c informes N° de estudios Estadística basada en históricos Un informe al año Porcentaje de ninis Estadística basada en históricos Un informe al año Fuente: Programa Operativo de Empleo Juvenil Las propiedades teóricas que el equipo evaluador ha revisado para esta batería de indicadores, te­ niendo en cuenta los requisitos reglamentarios han sido: — Pertinencia: para ello, los indicadores deben reflejar el grado de cumplimiento de las operaciones y los objetivos al que pertenece el indicador, captando, por tanto, el impacto directo de aquel so­ bre éste. Su valor debe de estar influenciado de manera directa y en la medida de lo posible por las acciones financiadas en la prioridad de inversión concreta. — Coherencia: los indicadores son idóneos con respecto al resultado esperado para el que se han propuesto, logrando capturar su esencia. — Claridad: los indicadores tienen un título claro y una definición inequívoca y fácil de entender. Es decir, deben de ser de fácil comprensión, libres de complejidades. — Factibilidad: los indicadores deben ser construidos, en la medida de lo posible, en base a las es­ tadísticas disponibles. Su medición no debe suponer una carga excesiva a los gestores de los Fondos. Una vez definidas las diferentes propiedades teóricas para el sistema de indicadores del POEJ del FSE 2014-202, el equipo evaluador valorará si un determinado indicador cumple la propiedad plena­ mente, la cumple moderadamente o no la cumple, tal y como se refleja en la tabla 3.5. Así, lo desea­ ble es que los diferentes indicadores cumplan todas las propiedades, al menos, de manera moderada. En el caso de que alguna propiedad no se cumpla, el programador debería plantearse si ese indicador es bueno para el seguimiento de la actuación del Programa, y quizás sustituirse por otro. Tabla 3.5. Leyenda para la comprobación de las propiedades deseables de los indicadores del POEJ El indicador sí cumple la propiedad El indicador cumple moderadamente la propiedad El indicador no cumple la propiedad X Fuente: Elaboración propia — 46 — Instituto de Estudios Fiscales Finalmente, y aplicando esta metodología, el equipo evaluador obtiene una serie de proporciones verticales que permiten hablar del porcentaje de indicadores que cumplen una determinada propie­ dad, así como también se puede plantear el análisis en términos horizontales y analizar el cumpli­ miento de diferentes propiedades por parte de un determinado indicador. Las siguientes tablas (Tabla 3.6, Tabla 3.7, Tabla 3.8 y Tabla 3.9) recogen la evaluación de las pro­ piedades teóricas, y continuación de cada una de ellas se destacan varios comentarios que comple­ mentan la información presentada en las mismas. Tabla 3.6. Evaluación propiedades teóricas de los Indicadores de Producto de los Ejes Prioritarios 1 y 5 del PO Indicador (identificación) Pertinencia Coherencia Claridad Factibilidad (P.8.2.1) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ (P.8.2.2) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ (P.8.2.3) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ (P.8.7.1) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ Fuente: Elaboración propia Para los Indicadores de Producto de los Ejes Prioritarios 1 y 5 del POEJ, cabe destacar que el 100% de éstos cumplen las propiedades de pertinencia, coherencia y factibilidad, y sólo en el caso del indi­ cador “desempleados incluidos de larga duración" el cumplimiento de la claridad del mismo se produ­ ce de manera moderada. En este sentido, el equipo evaluador considera que el indicador podría cumplir esta propiedad en su totalidad si se refiriera a participantes jóvenes, tal y como se plantea bajo el enfoque del propio Programa Operativo, mejorando la claridad del mismo. Tabla 3.7. Evaluación propiedades teóricas de los Indicadores de Producto del Eje de Asistencia Técnica del PO Indicador (identificación) Pertinencia Coherencia Claridad Factibilidad (A.P.1) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ (A.P.2) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ (A.P.3) ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ ✓ Fuente: Elaboración propia En cuanto a los Indicadores de Producto para el Eje de Asistencia Técnica, el equipo evaluador verifi­ ca que todos ellos cumplen con todas las propiedades exigidas en los requisitos reglamentarios sien­ do, por lo tanto, adecuados para valorar el producto generado en lo que a este Eje se refiere. Tabla 3.8. Evaluación propiedades teóricas de los Indicadores de Resultado de los Ejes Prioritarios 1 y 5 del PO Indicador (identificación) Pertinencia Coherencia Claridad Factibilidad (8.2.1.1) ✓ ✓✓ ✓ ✓✓ ✓ ✓✓ ✓ ✓✓ (8.2.1.2) ✓ ✓✓ ✓ ✓✓ ✓ ✓✓ ✓ ✓✓ (8.2.1.3) ✓ ✓✓ ✓ ✓✓ ✓ ✓✓ ✓ ✓✓ (8.2.1.4) ✓ ✓✓ ✓ ✓✓ ✓ ✓✓ ✓ ✓✓ (Sigue) — 47 — (Continúa) Indicador (identificación) (8.2.1.5) (8.2.1.6) (8.2.1.7) (8.2.1.8) (8.2.1.1) (8.2.2.2) (8.2.2.3) (8.2.2.4) (8.2.2.5) (8.2.2.S) (8.2.2.7) (8.2.2.8) (8.2.2.9) (8.2.2.9) (8.2.3.1) (8.2.3.2) (8.2.3.3) (8.2.3.4) (8.2.3.5) (8.2.3.S) (8.2.3.7) (8.2.3.8) (8.2.3.9) (8.2.4.1) (8.2.4.2) (8.2.4.3) (8.2.4.4) (8.2.4.5) (8.2.4.S) (8.2.4.7) (8.2.4.8) (8.2.4.9) (8.7.1.1) Pertinencia Coherencia Claridad Factibilidad /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// /// Fuente: Elaboración propia — 48 — Instituto de Estudios Fiscales Por otro lado, se verifica que el total de indicadores de resultado cumplen con las propiedades de pertinencia, coherencia, claridad y factibilidad. Tabla 3.9. Evaluación propiedades teóricas de los Indicadores de Resultado del Eje de Asistencia Técnica del PO Indicador (identificación) Pertinencia Coherencia Claridad Factibilidad (A.1) / / / / / / / / / / / / (A.2) / / / / / / / / / / / / (A.3) / / / / / / / / / / / / Fuente: Elaboración propia Lo mismo ocurre en relación a los Indicadores de Resultado del Eje de Asistencia Técnica, donde el equipo evaluador también considera que el conjunto de indicadores propuesto cumple, en su totali­ dad, con las propiedades enunciadas. Finalmente, cabe destacar que la evaluación en algunos casos de la definición de determinados indi­ cadores es afirmativa hacia el programador, puesto que se han ceñido a los requisitos del RDC y el Reglamento del FSE, aunque, sin embargo, se detectan algunas objeciones que el equipo evaluador ha decidido contemplar en la presente evaluación: Por ejemplo, si bien los indicadores de producto se ciñen al Reglamento, su definición resulta, en algunos casos, muy genérica, por lo que se recomienda una mayor especificación de éstos en rela­ ción al colectivo de jóvenes. En cualquier caso, y dada la magnitud del sistema de indicadores, así como por motivos de simplificación, el equipo evaluador ha valorado positivamente la propiedad aso­ ciada a estos indicadores. Además, el equipo evaluador considera que algunos de los indicadores propuestos como indicadores de resultado, a nuestro entender, son indicadores de producto, ya que, por ejemplo, el hecho de haber participado en el POEJ no supone en sí un resultado. No obstante, también se ha evaluado que la propiedad correspondiente a estos indicadores se cumple totalmente puesto que los programado­ res, en cualquier caso, han seguido los requisitos reglamentarios. 3.2. A nálisis de los objetivos finales propuestos La propiedad práctica que el equipo evaluador ha revisado para esta batería de indicadores, teniendo en cuenta los requisitos reglamentarios, ha sido la del realismo de los valores previstos c u a lific a ­ dos'2. Esta propiedad lo que pretende valorar es si los valores cuantificados de los indicadores son realistas, habida cuenta de la ayuda prevista de los Fondos EIE. Este realismo ha de producirse tanto en los hitos propuestos por los Reglamentos como al final del período (metas). 3.2.1. Análisis de los hitos seleccionados para el Marco de Rendimiento La información del Marco de Rendimiento para el POEJ se presenta en la siguiente tabla: 12 Artículo 55 del Reglamento (UE) N° 1303/2013, apartado 3, letra g). — 49 — Tabla 3.10. Marco de rendimiento por fondo y categoría de región Eje prioritario Fondo Categoría de región Indicador o etapa clave de ejecución Unidad de medida, cuando proceda H M T H M T Eje 1 (50) FSE Más Desarrolladas Indicador Financiero Ayuda euros - - 60.129.711 - - 233.154.508 Eje 1 (50) FSE Más Desarrolladas Desempleados, incluidos los de larga duración N° participantes 25.818 21.299 47.118 100.112 82.588 182.700 Eje 1 (80) FSE Menos Desarrolladas Indicador Financiero Ayuda euros - - 8.864.482 - - 14.446.790 Eje 1 (80) FSE En transición Indicador Financiero Ayuda euros - - 39.659.505 - - 149.843.210 Eje 1 (80) FSE Más Desarrolladas Indicador Financiero Ayuda euros - - 5.640.739 - - 24.593.082 Eje 1 (80) FSE Menos Desarrolladas Desempleados, incluidos los de larga duración N° participantes 240 196 436 391 319 710 Eje 1 (80) FSE En transición Desempleados, incluidos los de larga duración N° participantes 7.362 7.366 14.728 27.814 27.832 55.646 Eje 1 (80) FSE Más Desarrolladas Desempleados, incluidos los de larga duración N° participantes 2.154 2.162 4.315 9.390 9.426 18.815 Eje 1 (85) FSE En transición Indicador Financiero Ayuda euros - - 8.918.530 - - 28.535.850 Eje 1 (85) FSE En transición Desempleados, incluidos los de larga duración N° participantes 1.128 1.004 2.132 3.608 3.214 6.822 Eje 5 YEI No procede Indicador Financiero Ayuda euros - - 1.886.992.630 - - 1.886.992.630 Eje 5 YEI No procede Desempleados, incluidos los de larga duración N° participantes 476.050 413.845 889.895 476.050 413.845 889.895 Fuente: Programa Operativo de Empleo Juvenil Hitos para 2018 Meta final (2023) Instituto de Estudios Fiscales Para la evaluación del realismo de los hitos y las metas establecidos para cada indicador del Marco de Rendimiento se hace uso de la tabla 3.11. A continuación de la misma, se destacan varios comen­ tarios que complementan la información presentada en aquella. Tabla 3.11. Evaluación del realismo de los hitos y metas del marco de rendimiento Eje Fondo prioritario Hitos para 2018 Meta final (2023) Categoría de región Indicador o etapa clave de ejecución Unidad de medida, cuando proceda H M T H M T - - SYS - - SYS Eje 1 (50) FSE Más Desarrolladas Indicador Financiero Ayuda euros Eje 1 (50) FSE Más Desarrolladas Desempleados, incluidos los de larga duración N° participantes Eje 1 (80) FSE Menos Desarrolladas Indicador Financiero Ayuda euros - - SYS - - SYS Eje 1 (80) FSE En transición Indicador Financiero Ayuda euros - - SYS - - SYS Eje 1 (80) FSE Más Desarrolladas Indicador Financiero Ayuda euros - - SYS - - SYS Eje 1 (80) FSE Menos Desarrolladas Desempleados, incluidos los de larga duración N° participantes SS SS SYS SS SS SYS Eje 1 (80) FSE En transición Desempleados, incluidos los de larga duración N° participantes SS SS SYS SS SS SYS Eje 1 (80) FSE Más Desarrolladas Desempleados, incluidos los de larga duración N° participantes SS SS SYS SS SS SYS Eje 1 (85) FSE En transición Indicador Financiero Ayuda euros - Eje 1 (85) FSE En transición Desempleados, incluidos los de larga duración N° participantes Eje 5 YEI No procede Indicador Financiero Ayuda euros Eje 5 YEI No procede Desempleados, incluidos los de larga duración N° participantes SYS - SYS SYS - - SYS - - SYS SYS SYS SYS - - SYS SYS Fuente: Elaboración propia En primer lugar, y teniendo en cuenta la información aportada por los programadores, el equipo eva­ luador ha valorado positivamente, tanto para los hitos de 2018 como para las metas de 2023, la apli­ cación de la metodología de costes medios utilizada por los programadores para el cálculo de los valores en dichos momentos. En líneas generales, la metodología consiste en estimar un coste medio del producto a partir de datos de períodos anteriores (en este caso del período 2007-2013) por regio­ nes, y a partir de esos valores y de la asignación financiera para cada año del nuevo período, calcular cuántos productos se van a poder generar finalmente. En segundo lugar, cabe destacar que el ritmo de las ejecuciones financieras es coherente con la evo­ lución temporal del POEJ y, tal y como se puede comprobar en el capítulo relativo a la evaluación de la asignación financiera del Programa, el desarrollo de las mismas se produce de manera lineal a lo largo del tiempo, excepto en el caso de la Iniciativa de Empleo Juvenil donde la ejecución de los re­ cursos se produce, en su totalidad, en los dos primeros años. Por último, el equipo evaluador ha detectado, bajo la valoración del realismo de los hitos y metas diferenciando por género, que las previsiones se han hecho utilizando proporciones del período ante— 51 — rior que no tienen por qué mantenerse en este nuevo período, ya que el mercado de trabajo y en es­ pecial desde el lado de la oferta, ha visto durante el período de la crisis una evolución clara en térmi­ nos de género y, por tanto, esos porcentajes podrían no mantenerse durante el nuevo periodo de programación. Dicho de otra manera; suponer que en 2014 el porcentaje de hombres frente al de mujeres que van a recibir, por ejemplo, un curso de capacitación es igual que en 2007 puede no ser del todo acertado, ya que la crisis ha tenido un impacto claro en la estructura del mercado de trabajo según el género. 3.3. A nálisis de procedim iento de seguim iento del programa, procesos de recogida de datos y evaluación A lo largo de la ejecución del Programa Operativo, se establece la necesidad de valorar el seguimien­ to del mismo, así como evaluar su desarrollo para analizar su evolución en términos de eficiencia y consecución de los objetivos marcados. Los requisitos reglamentarios en lo que a todo lo anterior se refiere, quedan reflejados en el Título V del RDC, destacando el artículo 50 donde se plantea el deber de realizar, desde 2016 hasta 2023, un informe anual de ejecución que recoja los elementos clave para valorar la ejecución del mismo, tales como la evolución de los recursos financieros, los indicado­ res comunes y específicos del programa y los valores previstos cuantificados, incluidos, en su caso, los cambios producidos en los valores de los indicadores de resultados, así como los hitos definidos en el marco de rendimiento desde el informe anual de aplicación que deberá presentarse en 2017. Asimismo, y en relación a estos procesos de seguimiento y evaluación, es necesario contar con un sistema de recogida de información que sea capaz de dar soporte a las actuaciones que se van a desarrollar en el PO. En este sentido, se valora positivamente el desarrollo del sistema de información para la aplicación de la Garantía Juvenil, cuyo objetivo final es garantizar que todos los jóvenes menores de 25 años pue­ dan recibir una buena oferta de empleo, educación continua, formación de aprendiz o período de prácticas en un plazo de cuatro meses tras acabar la educación formal o quedar desempleados. Llegado este punto, es necesario indicar que todos los países de la Unión Europea están elaborando actualmente planes nacionales de aplicación de la Garantía Juvenil y la Comisión facilita el intercambio de buenas prácticas entre gobiernos de manera que experiencias positivas, como la de Finlandia, puedan transmitirse a países donde el desempleo juvenil es especialmente preocupante13. Para finalizar, además de destacar la creación de esta base de datos desde el punto de vista de los indicadores, también es destacable el efecto positivo que tiene por el lado de la gobernanza. CAPÍTULO IV. ASIGNACIONES FINANCIERAS Uno de los objetivos de la UE, que cobra especial importancia para el periodo de programación 2014­ 2020, es el buen aprovechamiento de los recursos con los que se financia política de cohesión que permitan conseguir los grandes resultados relativos al crecimiento inteligente, sostenible e integrador. Como se pone de manifiesto en el artículo 55.3 apartado c), la evaluación ex ante debe analizar la coherencia de la asignación de recursos presupuestarios con los objetivos del programa. Esta acción permitirá analizar la adecuada distribución de los recursos como un determinante claro para el logro de los objetivos indicados en la programación. La evaluación de las asignaciones financieras del POEJ se centra en analizar principalmente que el reparto de los Fondos EIE debe estar en consonancia con la estrategia planteada en la que se han identificado las inversiones prioritarias a partir del diagnóstico. 13 El sistema finlandés ha permitido que los planes personalizados para jóvenes se hayan elaborado más rápidamente y, a la larga, se haya reducido el desempleo. — 52 — Instituto de Estudios Fiscales 4.1. A nálisis de la distribución Financiera En este apartado se valora la distribución de todos los flujos financieros acorde a los ejes prioritarios y en función de los tipos de región que se contemplan en el programa operativo y en el Reglamento FSE14. Según el apartado de justificación financiera del propio Programa Operativo tiene una dotación a coste total de 2.826.330.836euros, pudiéndose observar también la asignación por región y eje. Lamentablemente, la información suministrada por parte del equipo de programación en el POEJ no se encuentra desagregada suficientemente como para poder realizar un análisis con mucha mayor riqueza. En el caso de haber podido disponer de información a nivel de Objetivo Específico, y no por Prioridad de Inversión, se hubieran podido realizar un conjunto de valoraciones mucho más enriquecedoras. No obstante, partiendo de la información suministrada por la UAFSE con un grado de desagregación “Eje prioritario / Prioridad de inversión / Tipo de región” el equipo evaluador establece que es conside­ rable la cuantía, que del total del programa representa lo destinado a la Iniciativa de Empleo Joven, recogida en el Eje prioritario 5 mediante la PI 8.2 y que tiene la mayor asignación, ya que supone un 72.7% del total del programa. Lo que permite asegurar que este programa conserva una coherencia financiera con la estrategia planteada y los hitos que persigue el Fondo Social Europeo para el perío­ do 2014-2020. Por otro lado, aunque la PI 8.2 está más que cubierta en el Eje 5, esta prioridad vuelve a recibir asig­ naciones monetarias bajo el Eje 1, destinadas fundamentalmente a aquellas acciones realizadas so­ bre la población de ninis que son indirectas, o a actuaciones que se realizarán más allá del periodo de vigencia de la Iniciativa de Empleo Joven. Además, este Eje cubre la prioridad de inversión 8.7 y aquí son las regiones más desarrolladas las que cobran una importancia financiera relevante, ya que su­ ponen el 16% de toda la distribución del flujo monetario. Para llegar a estos resultados, se ha utilizado la información recogida en las diversas tablas que pre­ senta el POEJ para la distribución de ayuda o subvención de la Unión y en coste total subvencionable, estableciendo así la relación porcentual con el total, cada Eje Prioritario y las Prioridades de Inversión. En esta misma línea, y con el fin de observar la distribución financiera acorde a la estrategia contem­ plada por POEJ y su correspondencia con las recomendaciones del Consejo Europeo y los retos se­ ñalados por el “Position Paper de la Comisión Europea y la Estrategia UE 2020”, el equipo evaluador propone analizar la estructura del desempleo por tipo de región, que se definen en el Reglamento de Disposiciones Comunes N° 1303/2013 artículo 90. La información estadística de las tasas de desempleo se ha obtenido de la Encuesta de Población Activa, elaborada por el Instituto Nacional de Estadística, INE. Para el primer trimestre de 2014, este sólo ofrece la información del número de jóvenes parados y activos de entre 16 a 24 años y hasta 35 años, siendo imposible la desagregación de los datos para el rango contemplado en el POEJ de jóve­ nes que no estudian, ni trabajan entre 15 a 29 años. Aún así se han recogido lo datos en la siguiente tabla: 14 Reglamento N° 1304/2013 relativo al Fondo Social Europeo. — 53 — Tabla 4.1. Jóvenes parados y activos menores de 35 años por tipo de región Regiones Más desarrolladas Castilla y León Cataluña Comunidad Valenciana Galicia Comunidad de Madrid Comunidad Foral de Navarra País Vasco La Rioja Ceuta 3,9 77,0 63,7 43,8 61,1 24,3 98,1 352,4 282,7 119,5 294,0 26,5 72,0 10,6 5,8 Total activos 16-34 165 1345,2 345,6 336,2 11 234 191,9 132,6 187,3 75 314,9 1167,5 742,1 368,6 1011,7 88 268,4 43,6 12,0 Tasa 16-34 desempleo 38,61% 40,8 35,4 32,91 33,19 33,0 32,6 32,4 31,1 30,1 38,1 32,4 29,0 30,1 26,8 24,3 48,3 Aragón 137,4 Región de Murcia 141,6 Melilla 574,6 Castilla LaMancha 63,7 Canarias 16-34 Andalucía Cantabria Islas Balea­ res Transitoria Principado de Asturias Extremadura Menos desarrollada Menores de 35 años Total parados 42,7 40,9 Menores de 25 años Total parados 16-24 20,7 202 46,9 49,9 1,1 24,8 21,9 11,5 19,6 6,0 31,1 143,0 111,2 35,0 117,3 9,4 23,2 5,0 2,0 Total activos 16-24 38,2 322,5 85,9 79,2 2,3 52,8 40,3 24,1 36,9 12,1 62,6 288,7 177,4 70,8 216,9 18,7 46,3 9,9 3,1 Tasa 16-24 desempleo 54,19% 62,6 54,6 63,0 47,8 46,9 54,3 47,7 53,1 49,5 49,6 49,5 62,6 49,4 54,0 50,2 50,1 50,5 64,5 Fuente: Elaboración propia a partir de los datos del Instituto Nacional de Estadística de España, Encuesta de Población Activa, I trimestre de 2014. Instituto de Estudios Fiscales Agregando la información contenida aquí por el tipo de Región del nivel NUTS 2, se ha elaborado las dos siguientes Tablas: Tabla 4.2. Agregación de Jóvenes parados y activos menores. Menores 25 años Menores de 25 años Menos des­ arrollada En transición Más desarro­ lladas Total parados 16-24 años 20,70 324,7 536,2 Total activos 16-24 años 38,20 542,7 1.007,8 Tasa desempleo por región 16-24 años 54,19% 59,83% 53,21% Tabla 4.3. Agregación de Jóvenes parados y activos menores. Menores 35 años Menores de 35 años Menos des­ arrollada En transición Más desarrolla­ das Total parados 16-34 años 63,70 934,50 1.454,5 Total activos 16-34 años 165,00 2.272,00 4.603,6 Tasa desempleo por región 16-34 años 38,61% 41,13% 31,59% Fuente: Elaboración propia a partir de los datos del Instituto Nacional de Estadística de Es­ paña, Encuesta de Población Activa, I trimestre de 2014. La metodología de cálculo para elaboración de la tasa de desempleo para menores de 35 y 25 años agre­ gada ha sido relativamente sencilla puesto que se han sumado los valores de cada Comunidad Autónoma según el tipo de región y el rango de edad, en cada tipo de situación laboral y se han dividido entre sí, consiguiendo el total de parados entre los activos totales en cada región, correspondientemente. El objetivo principal de la observación de la tasa de desempleo por regiones es establecer si hay una clara correlación entre ésta y la dotación financiera, puesto que supone una importante característica a la hora de evaluar la coherencia financiera y el reparto entre las regiones. El equipo evaluador no ha logrado encontrar una distribución financiera evidente relacionada al peso de los desempleados jóvenes (teniendo en cuenta la distorsión por edad de los datos recogidos15) y sí ha conseguidoobtener que la distribución no se aleja mucho de la realidad de los datos, observando valores similares para jóvenes entre 16 y 34 años, puede verse un reparto más lógico. Sin embargo, es destacable que aunque la objetividad del reparto a través de este sistema puede ser muy eficiente y coherente, no es en realidad una metodología recomendable para que se haya pro­ gramado teniéndola en cuenta así; teniendo en cuenta que los datos presentan como inconveniente el que no comprenden la totalidad de población objetivo que tiene el POEJ, los jóvenes de 15 a 29 años, explícitamente. Ante este problema proveniente de la información se da como positiva la distri­ bución financiera que establece el programa. Finalmente indicar que el equipo evaluador también ha tenido en cuenta que la clasificación de las Comunidades Autónomas no es uniforme por tipo de región, por lo que en caso de dos tipos de re­ giones distintas con una tasa parecida de desempleo juvenil puede suponer la exhibición de un pro­ blema en términos de programación, que puede ser solventado teniendo en cuenta más criterios que permitan un reparto más equitativo y coherente, de tal manera que resultaría muy recomendable que 15 La población objetivo del POEJ son jóvenes entre 15-29 años, los datos del INE no recogen esta muestra específicamente. — 55 — estos criterios se tuvieran presentes a la hora de establecer la asignación y ejecución dentro de cada tipo de región vista la disparidad de los datos en cada Comunidad Autónoma. 4.2. Coherencia de las asignaciones financieras en función de las debilidades La esencia de cualquier PO viene dada por la adecuada distribución de recursos financieros a una estrategia clara y previamente identificada, de manera que de acuerdo al Artículo 55,3,c), la evalua­ ción ex ante valorará “la coherencia de la asignación de recursos presupuestarios con los objetivos del programa”. Por lo tanto, se pretende comprobar si el presupuesto que se asigna a cada eje hará posible la consecución de los objetivos; es decir, si los ejes que resultaban más adecuados para atender los objetivos principales en la estrategia, resultan ser los que reciben más recursos. Por lo tanto, en esta apartado de la evaluación ex-ante se valora la coherencia entre las asignaciones de recursos presupuestarios y las prioridades establecidas en la estrategia. En concreto, se examina si las asignaciones financieras se concentran en los objetivos más importantes en consonancia con los desafíos y las necesidades identificadas para el país. Para ello se ha procedido a crear un gráfico donde se relacio­ nan las prioridades detectadas en términos de Ejes y la asignación financiera que estos reciben. A partir del DAFO proporcionado por el equipo de programación, se determinó un cierto orden de importancia16 para cada uno de los Ejes Prioritarios. La figura mostrada a continuación ofrece el aná­ lisis de coherencia, y para la correcta interpretación del gráfico se debe tener en cuenta por un lado que el eje vertical de la figura mide para cada Eje Prioritario, su importancia estratégica dentro de la DAFO del POEJ, y por otro, que el volumen de cada esfera representa el porcentaje de financiación que recibe del presupuesto total. Lo deseable en términos de coherencia en las asignaciones finan­ cieras, es que las esferas más voluminosas se encuentren situadas en la parte superior del gráfico, indicando de esta manera que se ha dotado en mayor medida a los OE más estratégicos. Figura 4.4: Importancia estratégica de los Ejes Prioritarios del POEJ y la participación en la asignación financiera Fuente: Elaboración propia a partir de los datos financieros del Programa Operativo Empleo Juvenil 2014-2020. El análisis conjunto de esta priorización y de los recursos económicos destinados a cada uno de ellos, permite señalar que, en términos generales, hay una buena consistencia entre las asignaciones fi­ nancieras y el carácter estratégico de cada Eje Prioritario del POEJ. Por tanto, se puede demostrar cómo el Eje 5, es la parte principal del programa operativo y recoge la mayor dotación para combatir el principal problema que articula toda la estrategia del mismo, el des­ empleo juvenil. Seguido del Eje 1, cuyos objetivos específicos persiguen medidas para preparar el 16 Los criterios fundamentales para adjudicar este grado de importancia han sido el nivel de disparidades estructurales respec­ to a la UE (Zona Euro) y el aumento de las mismas por el impacto de la crisis. — 56 — Instituto de Estudios Fiscales espacio y la capacidad técnica de las administraciones para las acciones directas sobre los jóvenes desempleados o “nini”, se podría decir, que son medidas enfocadas en “preparar el terreno” a las más enfocadas en la estrategia. En último lugar, indicar que la mínima importancia del Eje 8 es debido a que son todo medidas pro­ pias de la Asistencia Técnica. Teniendo en cuenta todos estos resultados, se puede confirmar que el programa salvaguarda una buena distribución respecto a la coherencia financiera del gasto. 4.3. Coherencia de las asignaciones financieras: A nálisis según Amenazas Habitualmente, el análisis de posibles riesgos de ejecución financiera se suele realizar con el objeto de identi­ ficar actuaciones que pueden ofrecer una mayor complejidad para su correcta ejecución. Para ello, el modo más habitual consiste en valorar aquellas actuaciones que, dada su similitud con la programación 2007­ 2013, tuvieron problemas de capacidad de absorción financiera o de otro tipo. El objetivo es poder identificar­ las prioridades sobre las que habrá de establecer un cuidado particular en su seguimiento. Para el análisis de las amenazas y riesgos financieros, el equipo evaluador ha considerado dos tipos de valoraciones distintas: por un lado se analiza cómo el PO ataca las principales debilidades detec­ tadas, y por otra parte, observando los problemas existentes en la absorción en el periodo anterior, se analiza la evolución temporal de gasto propuesta en el periodo 2014-2020. Comenzamos con el primer tipo de valoración, que analiza cómo el programa ataca a las principales debili­ dades del programa operativo, a través de la distribución del gasto por Eje, Prioridad y Objetivo Específico. Para poder contrastar la coherencia en la distribución de toda la dotación, según el programa, se analizan los porcentajes sobre el coste total por Eje prioritario, ya que no se puede desagregar por cada Objetivo Especí­ fico, puesto que el Programa Operativo no recoge la distribución a este nivel. Así de esta manera, se cruzan los Objetivos específicos relacionados con una característica principal común a diversas debilidades, de manera que permita agregar cada debilidad según el problema principal que demuestre. Acorde al reparto por E.P., se establece la relación que tienen a través de las Prioridades de inver­ sión, y a su vez las medidas que tienen cada una de ellas, para afrontar las debilidades que se plan­ tean. Este cruce de debilidades y Objetivos, permite obtener el porcentaje que se destina a cada característica principal y por tanto, a diversas debilidades. Para simplificar el análisis de la siguiente tabla, las distintas debilidades mostradas en el DAFO del PO se han agregado por características comunes (columna 2 de la tabla), de tal forma que los resul­ tados obtenidos son los mostrados a continuación: Tabla 4.4. Coherencia de las asignaciones financiera a partir de las debilidades del análisis DAFO y los objetivos específicos Debilidades D1. Característica principal de la debilidad Objetivos específicos relacionados 8.2.1 8.2.2 8.2.3 D3. Ejes Relacionados % de asignación del eje sobre el total X 8.2.4 Eje 5 73% X 8.2.4 Eje 5 73% X 8.2.4 Eje 5 73% X 8.2.4 Eje 5 73% 8.2.4 Desempleo D5. D2 Objetivos específicos relacionados Destrucción de empleo 8.7.1 (Sigue) — 57 — (Continúa) Debilidades Característica principal de la debilidad Objetivos específicos relacionados 8.2.1 Objetivos específicos relacionados Ejes Relacionados % de asignación del eje sobre el total X 8.7.1 Eje5/Eje1 73%+26% X 8.2.1/8.2.2/ 8.7.1 Eje5/Eje1 73%+26% 8.2.1/ 8.2.3 Eje 5 73%+26% X 8.2.2 Eje 5 73% X 8.2.2 Eje 5 73% X 8.2.2 Eje 5 73% 8.2.2 8.2.3 8.2.4 8.7.1 D4. D10. Incentivo al trabajador D6. D8. D9. D11. X X D12. D7. X FormaciónCapital Humano X X X 8.2.2/ 8.7.1 Eje5/Eje1 73%+26% X X 8.2.2 /8.7.1 Eje5/Eje1 73%+26% Fuente: Elaboración propia a partir de los datos financieros del Programa Operativo Empleo Juvenil 2014-2020. Como muestra la tabla, varias debilidades reciben el 99% de la financiación, principalmente las cubiertas por el Objetivo específico 8.2.4, que ataca principalmente las amenazas sobre el desempleo juvenil, la empleabilidad de población “nini” y de larga duración y la destrucción actual de puestos de trabajo. Es resaltable la sinergia entre los Ejes 5 y 1, dado que atacan las debilidades propias del sistema educativo y formativo, las condiciones laborales, empleo y emprendimiento para la población menor de 25 años, con gran cantidad de iniciativas que incentivan la formación y el autoempleo juvenil. Por lo que se refiere a la distribución temporal de los flujos financieros, de acuerdo a la información recogida en el Plan de Financiación del Programa Operativo, el reparto a lo largo del periodo de toda la ayuda se hará de una manera diferenciada para la Iniciativa de Empleo Juvenil IEJ, IEJ-FSE y el resto de la ayuda FSE. EL programa establece que para todas las medidas de la IEJ y IEJ-FSE se realizará en el bienio 2014-2015, siguiendo la normativa de la IEJ y persiguiendo la prioridad de inversión 8.2, actuando con su correspondiente N+3, con medidas directas sobre la población objetivo del programa. Atendiendo a esto, se ha podido elaborar el siguiente gráfico para mostrar la distribución del gasto en las diferentes regiones cada año entre el periodo 2014-2020. Figura 4.2: Evolución temporal de la asignación financiera. Distribuciónacumulada relativa (izquierda) y en valores absolutos (derecha) Fuente: Elaboración propia a partir de los datos financieros del Programa Operativo Empleo Juvenil 2014-2020. — 58 — Instituto de Estudios Fiscales De acuerdo al diseño de la IEJ, la evolución temporal muestra que debe estar plenamente implementada en los dos primeros años ya que persigue un impacto decisivo que pretende poner freno al paro Juvenil y la situación de los “ninis” en España. Por lo que se refiere al resto de acciones, se observa que, a diferencia de la IEJ, que a partir de los dos primeros años desaparece, la tendencia a lo largo del tiempo es constante, pero en valores mucho menores que los observados en la IEJ. Como recomendación por parte del equipo evaluador, observando la posible aparición de riesgos de absorción financiera por lo que respecta a la IEJ, es necesario reducir en lo posible todas las restric­ ciones, administrativas o de cualquier tipo, que garanticen los niveles de ejecución financiera pro­ puestos por parte del equipo de programación. CAPÍTULO V. GOBERNANZA 5.1. Introducción El art. 5 del Reglamento de Disposiciones Comunes establece que para el desarrollo de los Programa Operativos, se debe organizar una asociación con las autoridades regionales, locales y urbanas y otras autoridades públicas competentes, los interlocutores económicos y sociales y los organismos que representen a la sociedad civil17. Esta asociación debe estar presente no sólo en la preparación inicial de los programas sino durante su ejecución, seguimiento y evaluación. El reglamento hace mención también a las nuevas medidas para el periodo 2014-2020 que buscan la máxima eficiencia en la intervención de los Fondos EIE, tales son: la concentración de recursos, la reducción de cargas administrativas y la simplificación, la proporcionalidad en las asignaciones financieras, la descentrali­ zación y la incorporación de agentes privados al tramo nacional, y el uso de instrumentos financieros que consigan un efecto multiplicador de las acciones planificadas. El equipo evaluador se dedicó a verificar el cumplimiento de todos estos principios que durante los trabajos de elaboración del POEJ se han venido desarrollando así como también de los preceptos enunciados en el Código de Conducta del Partenariado. La metodología empleada ha sido la observación del modelo de gestión desarrollado en el POEJ, los recursos humanos asignados para desarrollar su labor y el análisis y verificación de los mecanismos de comunicación con otros agentes sociales, grupos de interés, organismo intermedios, etc., existen­ tes en el proceso de programación del POEJ por lo que se presenta un cuadro resumen del análisis de cumplimiento de los principios de "Buen Gobierno" del Libro Blanco de la Gobernanza europea. Como resultado, el equipo evaluador concluye que los principios de Gobernanza se cumplen y están presentes en la elaboración del POEJ, tanto en las justificaciones de las condiciones ex ante, en las asignaciones financieras, así como en la estrategia a desarrollarse en todo el periodo. 5.2. Evaluación de la Gobernanza: A nálisis de buenas prácticas En esta sección se pretende valorar los cambios propuestos por la Comisión que afectan al diseño y la ejecución de la Política de Cohesión 2014-2020, y por ende al modelo de gestión y desarrollo del POEJ. Entre los cambios esenciales se pueden destacar: — La concentración de recursos y la simplificación, para que España simplifique el modelo actual de gestión al reducir el número de programas operativos y organismos intermedios, — La descentralización, con el fin de conseguir un modelo de gestión más distribuido, con mayor protagonismo de las regiones, — Eficiencia en la gestión, mediante la implantación de soluciones de e-Gobierno, 17 Incluidos los interlocutores medioambientales, las organizaciones no gubernamentales y los organismos encargados de promover la igualdad y la no discriminación. — 59 — — Reducción de cargas y mejora de la capacidad administrativa, — La posibilidad de incorporar agentes privados en la aportación del tramo nacional y — Mayor uso de instrumentos financieros para facilitar las inversiones y compensar el ajuste presu­ puestario de las Administraciones. Los Reglamentos establecen que las regiones más desarrolladas o en transición están obligadas a incorporar el principio de concentración en su programación. En España, para el periodo 2014-2020, todas las regiones, salvo Extremadura, se sitúan entre las regiones más desarrolladas o en transición. En el caso del FSE, el principal reto es la lucha contra el desempleo, especialmente el desempleo juvenil, con el apoyo de la Iniciativa de Empleo Juvenil que tiene una dotación de 2.000 millones de euros. En este punto también resulta conveniente destacar que el concepto de concentración también se aplica en este PO en términos temporales. El Eje Prioritario 5, asociado a acciones directas sobre jóvenes ninis, se debe desarrollar en los dos primeros años del periodo de programación, es decir años 2014 y 2015 (con un N+3) lo que obligará sin lugar a dudas, a realizar un esfuerzo de concen­ tración de actuaciones en un periodo de corto de tiempo. Por lo que se refiere a la reducción de cargas administrativas, el artículo 55,3 párrafo n) establece que la evaluación ex ante deberá “valorar las medidas previstas para reducir la carga administrativa a los beneficiarios”. Analizando el documento remitido por el equipo de programación, la sección 10 (apartado 5) del mismo describe todo un catálogo de medidas que se están llevando a cabo, o se implantarán, dentro de la UAFSE para la reducción de cargas administrativas y la simplificación de la gestión del Fondo Social, que implicara a su vez una reducción de los correspondientes costes admi­ nistrativos en relación con la ejecución de los mismos (así como la reducción del número de organis­ mos intermedios). A pesar del trabajo que se está realizando, el equipo evaluador considera que este es uno de los elementos claves en los que se debe intensificar los esfuerzos, ya que debido a la propia arquitectura institucional española, con múltiples niveles de gobierno y un elevado índice de descentralización y desconcentración, harán que estos mecanismos no sean fáciles de implementar. Otros de los criterios a tomar en cuenta en la programación es la participación de los agentes privados en el tramo nacional. Analizando el plan de financiación ofrecido por el equipo de programación se observa que se han tomado en consideración esta posibilidad con una participación en la financiación del PO por parte de agentes privados nacionales de 13 millones de euros. Cantidad, que al compararla con el resto de montos resulta testimonial, aunque desde el equipo evaluador se valora muy positivamente la inclusión del sector privado en la financiación y promovemos que se continúe en esta línea. La utilización de los instrumentos financieros obtienen una gran relevancia en el período 2014-2020 y como se menciona en el Acuerdo de Asociación, España hará uso de ellos en el próximo período de programación, aprovechando la experiencia acumulada en el período 2007-2013 a través de entida­ des como el Instituto de Crédito Oficial (ICO) o el Centro de Desarrollo Tecnológico Industrial (CDTI) en la Administración central, así como por parte de varias CCAA y esto se puede aplicar también para el caso concreto del POEJ. Por lo que se concluye que el principio de proporcionalidad, reducción de cargas administrativas, la participación de los agentes privados y la utilización de instrumentos financieros se encuentran pre­ sente en la elaboración del POEJ, tanto en las justificaciones de las condiciones ex ante, en las asig­ naciones financieras, así como en la estrategia a desarrollarse en todo el periodo. 5.3. Evaluación de los RR.HH. y de la capacidad adm inistrativa Teniendo en cuenta el gran volumen de financiación, que implicarán un gran número de acciones, es necesario garantizar que la administración pública tenga suficiente estructura administrativa que per­ mita facilitar, controlar y evaluar todas las actividades que se realizarán. Esta cuestión de la capaci­ dad administrativa es de especial relevancia en este PO, ya que en 2 años debe realizar una implementación masiva de la Iniciativa de Empleo Joven, compuesta por 2,000 millones de euros. Finalmente, el artículo 55, 3) párrafo i) establece que la evaluación ex ante deberá “valorar la adecua— 60 — Instituto de Estudios Fiscales ción de los recursos humanos y de la capacidad administrativa para la gestión del programa”. Por estos motivos, este apartado se dedica a analizar esta característica operativa referente a recursos de la administración del estado. Para poder valorar de manera correcta los recursos disponibles, es de gran interés conocer el volu­ men de acciones que tienen que soportar estas estructuras en donde la contribuyen en la elaboración y el desarrollo del POEJ aportaciones de los organismos intermedios, públicos o privados. En términos organizacionales, las tareas principales que han de desarrollarse en el FSE y por tanto en el desarrollo del POEJ son las de programación, gestión, certificación y pagos, evaluación, auditor­ ía y difusión. La descripción de estas funciones es común a los demás programas operativos y pueden consultarse en detalle en la evaluación ex ante del Acuerdo de Asociación, por lo que sólo es necesario recalcar la importancia del cumplimiento de los principios de gobernanza en todas las etapas ya que es un elemento primordial para el buen desarrollo del POEJ. Por tanto, a este respecto el equipo evaluador detecta que los recursos humanos que pueden desti­ narse al desarrollo de la programación del período 2014-2020 en general, son correctos, aunque no abundantes, por lo que se recomendaría incrementar la plantilla en lo posible, con el objeto de mejo­ rar la eficacia y calidad de todas aquellas obligaciones que tienen establecidas. La heterogeneidad está presente en sus asignaciones ya que los recursos humanos asignados a sus labores propias no siempre tienen dedicación exclusiva. Además debe tenerse en cuenta que algunas de las tareas que han de desarrollarse, son llevadas a cabo a partir de Organismos Intermedios y Asistencias Técnicas. 5.4. Comunicación y coordinación. La aplicación del principio de partenariado Para ello el equipo evaluador responde a las preguntas: ¿quién ha participado? (descripción de los participantes), ¿cuándo? (a través de las reuniones que han celebrado) y ¿cómo?, identificando las conexiones entre los agentes involucrados Tabla 5.1. Esquema de la evaluación del partenariado para el POEJ — Consejo de la Juventud de España — Organizaciones empresariales: CEOE y CEPYME — Organizaciones sindicales: UGT y CC.OO — Asociaciones representativas de la Economía Social y del trabajo autónomo — Cámaras de comercio — Asociaciones de jóvenes empresarios como CEAJE — CC.AA y ciudades autónomas de España ¿Quién ha participado? Lista de los partners consultados: — Ministerio de Educación, Cultura y Deporte. — Banco Europeo de Inversiones; — Centro Superior de Investigaciones Científicas; — Instituto de la Juventud; — Consejo Superior de Cámaras de Comercio; — Fundación Secretariado Gitano, Cruz Roja, Fundación ONCE y Cáritas; — Fundación Incyde; — Instituto de Comercio Exterior; — Confederación Española de Centros de Enseñanza; — Red de Fundaciones Universidad Empresa. — Dirección General del Trabajo Autónomo, — Economía Social y la Responsabilidad Social de las Empresas — 61 — (DGSTAYRSE) — Interlocutores sociales en España — Organizaciones no gubernamentales: Cruz Roja; Fundación ONCE; Cáritas y Secretariado Gitano. — Grupo Permanente de Trabajo de la Red de políticas de Igualdad: Organismos de igualdad de Murcia y La Rioja y del Instituto de la Mujer — Subdirección General de Igualdad de Trato y no Discriminación del Ministerio de Sanidad, Servicios Sociales e Igualdad. — Principales organizaciones ecologistas: W W F y Seo Birdlife — Instituto de Estudios Fiscales — 16 de abril de 2013, 7 de mayo de 2013 y 14 de octubre de 2013: Reuniones con las CC.AA — 13 de marzo de 2014 y 30 de abril: Reuniones bilaterales con todas las comunidades autónomas relativas a la programación 2014-2020 y al Programa Operativo de Empleo Juvenil. ¿Cuándo? Principales reuniones que han tenido lugar en las que participaron los agentes en el proceso de elaboración del POEJ — 18 de diciembre de 2013: Conferencia Sectorial de Empleo y Asuntos — 19 de diciembre de 2013: Plan Nacional de Implantación de la Laborales Garantía Juvenil presentado a la Comisión Europea — 24 de marzo y 28 de abril de 2014:Reuniones del grupo de trabajo. — 5 de febrero de 2014: Reunión con los principales organizaciones ecologistas — 27 de febrero de 2014: Grupo Permanente de Trabajo de la Red de políticas de Igualdad ¿Cómo? — Reuniones de carácter periódico con la mayoría de las entidades. — Por un lado, en la programación se ha aplicado el principio de partenariado a través de reuniones de la UAFSE con los partners especifi­ cados arriba y propios del desarrollo del POEJ y, por otro, en la fase de evaluación, a través de reuniones de la UAFSE con el Instituto de Estudios Fiscales, encargado de elaborar la evaluación ex ante del Programa Operativo de Empleo Juvenil. Fuente: Elaboración propia 5.5. Resumen de evaluación de Gobernanza Por último, y a modo de resumen, se presenta un cuadro con las características de la intervención del POEJ evaluando el cumplimiento de los principios de “Buen Gobierno” siguiendo las líneas del Libro Blanco de la Gobernanza europea antes mencionadas. Tabla 5.2. Evaluación de propiedades de la buena gobernanza C a r a c t e r ís t ic a s N iv e l d e e v a lu a b ilid a d Apertura: La intervención del POEJ impone a las instituciones trabajar de forma más abierta, presenta una comunicación activa, lenguaje más accesible y medidas que conduzcan a la confianza de los ciudadanos en la institución. Alta (Sigue) — 62 — Instituto de Estudios Fiscales (Continúa) Características Nivel de evaluabilidad Participación: Se entiende que la calidad, la pertinencia y la eficacia de la intervención exigen una amplia participación ciudadana tanto en la fase de formulación como de implementación y evaluación. Responsabilidad: El POEJ exige la clarificación del papel de cada una de las instituciones que intervienen en la tom a de decisiones. Alta Alta Eficacia: El POEJ requiere que las medidas adoptadas produzcan los resultados buscados sobre la base de unos objetivos claros, de una evaluación de su futuro impacto y en su caso de la experiencia acumulada. Coherencia: El POEJ exige que acciones sean coherentes y fácilmente comprensibles. Alta Alta Fuente: Elaboración propia CAPÍTULO VI. PRINCIPALES CONCLUSIONES DE LA EVALUACIÓN EX ANTE DEL POEJ 6.1. Introducción En este apartado se presentan las principales conclusiones y recomendaciones planteadas por parte del equipo evaluador con el fin de mejorar la calidad del Programa Operativo de Empleo Juvenil, que se ha elaborado en paralelo con éste y que recoge información detallada de todo el proceso de eva­ luación, las recomendaciones concretas que se han elaborado a medida que se iban desarrollando los documentos del Programa Operativo y las aportaciones a la programación del equipo evaluador. La evaluación ex ante del POEJ se ha desarrollado por parte del Instituto de Estudios Fiscales (IEF18), organismo autónomo del Ministerio de Hacienda y Administraciones Públicas, que realiza, entre otros, trabajos de evaluación de políticas públicas. El presente apartado se estructura de acuerdo a los principales pilares de la evaluación ex ante, es decir, la evaluación de la estrategia de actuación; el sistema de indicadores, seguimiento y evalua­ ción; el planteamiento financiero y el análisis de la gobernanza del propio Programa Operativo. En cada capítulo se hace referencia a los requisitos reglamentarios exigidos en materia de evaluación ex ante, la metodología seguida para el análisis de la cuestión y las principales conclusiones a las que llega el equipo evaluador. 6.2. Estrategia de actuación La evaluación de la estrategia del programa operativo se divide en diferentes secciones: a) Análisis del Diagnóstico y lecciones aprendidas Aunque el RDC no establece de manera obligatoria la realización de un análisis DAFO para los pro­ gramas operativos, el equipo evaluador considera que es muy recomendable la creación de éste, ya que se trata de una herramienta analítica que contribuye al pensamiento estratégico, y permite ayudar a la unidad de programación a encontrar sus factores estratégicos críticos. 18 http://www.ief.es — 63 — El éxito de cualquier intervención pública parte de la elaboración de un diagnóstico correcto de la situación que afronta. En las fases iniciales de creación del POEJ se presenta la evolución y situación actual de los jóvenes en España, sin la presencia de un análisis DAFO. Con el objetivo de profundizar en el análisis de esta situación, el equipo evaluador desarrolla y propo­ ne un diagnóstico de la situación de los jóvenes, en especial de aquellos que ni estudian ni trabajan (ninis) en los que se centra este Programa Operativo, planteando un análisis DAFO. Este análisis ha sido tenido en cuenta por parte del equipo de programación en las siguientes versiones del PO. En este sentido, y con el objetivo de tener una visión más minuciosa de la situación inicial, el equipo evaluador considera que el análisis DAFO presentado es completo y refleja correctamente las princi­ pales características donde se enclava el POEJ. Como recomendación por parte del equipo evalua­ dor estaría el ser algo más preciso en ciertos elementos propuestos en la DAFO, y sustentar todas las afirmaciones que en él aparecen con un análisis descriptivo previo. Por lo que se refiere a las lecciones aprendidas en periodos anteriores, el artículo 55, apartado 3, a) del Reglamento de Disposiciones Comunes establece que las evaluaciones ex ante valoraran las enseñanzas extraídas de los periodos de programación anteriores. Así, el equipo de programación ha tenido en consideración las propuestas realizadas por parte del equipo evaluador incluyendo este apartado en su programación, obteniendo enseñanzas en la ges­ tión del periodo 2007-2013 que sería conveniente tener en consideración en la preparación del perio­ do actual referentes a: — Simplificación y racionalización de procedimientos. — Evitar solapamientos de actuaciones. — Mejora de los sistemas de gestión y control. — Favorecer la utilización de instrumentos financieros. b) Pertinencia de la Estrategia Uno de los elementos más importantes en la evaluación ex ante de un PO es el estudio de la estrate­ gia del programa, siendo el propósito de esta sección el mejorar y fortalecer la calidad del Programa Operativo mediante el establecimiento de la estrategia de programación lo más adecuada posible. Con ello, se da cumplimiento a la exigencia del artículo 55, apartado 3, a) del Reglamento de Disposi­ ciones Comunes donde se señala la necesidad de valorar la contribución a la estrategia de la Unión para un crecimiento inteligente, sostenible e integrador, habida cuenta de los objetivos temáticos y las prioridades seleccionados y teniendo presentes las necesidades nacionales y regionales y el poten­ cial de desarrollo. La metodología planteada se basa en analizar el nivel de intensidad con el que cada una de las prio­ ridades y líneas de acción propuestas se relaciona con los resultados del análisis DAFO. Para ello, se construye un "marco" que verifica como las prioridades y líneas de acción del PO se corresponden con los desafíos que trata de afrontar este Programa. Para hacer este análisis de la pertinencia, el equipo evaluador diseña una matriz donde, de una forma clara se puede apreciar la existencia (o no) de vínculos entre el análisis DAFO realizado y las prioridades establecidas por parte del equipo de programación del POEJ. El grado de pertinencia de la estrategia de inversión alude a la capacidad del conjunto de objetivos específicos del PO en afrontar las debilidades, o en potenciar las fortalezas más determinantes que han sido observadas en el ámbito del mismo a lo largo de la elaboración del DAFO. Por tanto, rela­ ciona, por un lado el impacto potencial de la estrategia de inversión sobre cada debilidad (fortaleza), y por otra parte la importancia de la misma. Este indicador, por tanto, aumenta si existe una buena correspondencia o proporcionalidad entre la importancia real de cada debilidad (fortaleza) y el impacto esperado (potencial) de la estrategia de inversión sobre ella. Si el mayor impacto de la estrategia de inversión se centra en las debilidades (fortalezas) prioritarias y el menor en las medias, el grado de pertinencia de la estrategia será alto y disminuirá en la medida que no se dé la correspondencia señalada. — 64 — Instituto de Estudios Fiscales Gráfico 6.1: Pertinencia de la estrategia de inversión del PO Debilidades Fortalezas Debilidad 1 Tasa de desempleo alta a pesar de la caída de la tasa de actividad Debilidad 2 Empleo juvenil destruido hombres de la construcción y de la industria manufacturera. En el caso de las mujeres, procede sector servicios Debilidad 3 Destrucción de empleo juvenil centrado en trabajadores con menores niveles de educación reglada Fortaleza 1 Recuperación del consumo interno favorecerá la creación de empleo Reconocimiento por parte de las personas jóvenes de la importancia de la educación y formación. La escasez de Fortaleza 2 oportunidades laborales ha propiciado un retorno a la formación y una disminución de abandono escolar. Fortaleza 3 Importancia de la familia como red social y de apoyo Debilidad 4 Condiciones de trabajo del empleo juvenil son muy precarias: Fortaleza 4 Mejores niveles en competencias transversales que el resto de la población activa (idiomas, uso de las tecnologías, adaptación al cambio, etc.) Debilidad 5 Aumento del desempleo de larga y muy larga duración Fortaleza 5 Diferencias de género en relación con el mercado de trabajo se reducen Debilidad 6 Bajo conocimiento de idiomas extranjeros Debilidad 7 Escaso peso relativo de la Formación Profesional de grado medio Debilidad 8 Importante número de jóvenes que en la actualidad no estudia ni trabaja "ninis" Debilidad 9 En “ni-ni” principalmente niveles de estudios bajos, pero los universitarios también presencia significativa, especialmente en mujeres. Debilidad 10 Jóvenes con menores niveles de educación son los que menos se forman Debilidad 11 Elevadas tasas de abandono escolar Debilidad 12 Escasa iniciativa emprendedora y bajos niveles de autoempleo juvenil Fuente: Elaboración propia — 65 — Observando los resultados del análisis de pertinencia, la adecuación de los objetivos específicos a los principales retos observados en este P.O es alta. Se produce una correspondencia positiva entre las principales debilidades y fortalezas identificadas en el análisis DAFO y los impactos potenciales que cabe esperar de los objetivos específicos y prioridades de inversión. c) Coherencia externa de la Estrategia La evaluación de la coherencia externa queda recogida a nivel reglamentario por el artículo 55, apar­ tado 3, a) del Reglamento de Disposiciones Comunes donde se señala que la evaluación ex ante debe valorar la contribución del PO a la estrategia de la UE para un crecimiento inteligente, sostenible e integrador, mientras que en el apartado 3, d) indica que la evaluación ex ante deberá analizar la coherencia de los objetivos seleccionados con otros instrumentos pertinentes a nivel regional, nacio­ nal y de la UE, como son documentos estratégicos y políticas relacionados con el ámbito de actua­ ción del PO. Por ello, y una vez que la matriz de pertinencia del PO muestra y corrige el vínculo entre los retos y las necesidades, el siguiente paso consiste en realizar un análisis detallado sobre la coherencia entre aquello “que se quiere hacer” con aquello “que se puede hacer” -. En este sen­ tido, se revisa, a través de matrices, las relaciones entre las Prioridades y Objetivos del pro­ grama propuesto y las grandes líneas políticas y estratégicas existentes a dos diferentes niveles de gobierno: — A nivel de la Unión Europea: - Estrategia UE 2020. - Objetivos de la estrategia para España. Position Paper de la Comisión Europea. — A nivel nacional: - Acuerdo de Asociación del Periodo 2014-2020. - Programa Nacional de Reformas 2013. - Estrategia de emprendimiento y empleo joven 2013-2016. - Plan Nacional de Implantación de Garantía Juvenil. La evaluación muestra que el PO es coherente parcialmente con las estrategias europeas, dado que menos de la mitad de los objetivos de la estrategia EU 2020 y los indicados en el Position Paper se ven cubiertos por los Objetivos Específicos de este Programa Operativo, mientras que para el caso nacional, por lo que se refiere al Plan Nacional de Reformas hay solapamiento en dos ejes pero la relación con el Acuerdo de Asociación es muy importante por constituir la parte del Objetivo Temático 8 destinada a jóvenes. Además, la coherencia es notable con las otras dos estrategias nacionales, que tienen un marcado perfil de mercado laboral. d) Coherencia interna de la Estrategia El análisis de la coherencia interna tiene como fin detectar las sinergias entre los objetivos específicos del PO, esto es, medir el grado en que unos objetivos influyen sobre los otros para alcanzar el logro general de la intervención. A nivel reglamentario, el artículo 55 apartado 3, b) exige la valoración por parte del equipo evaluador de la coherencia interna del programa o de la actividad propuesta y su relación con otros instrumen­ tos pertinentes. — 66 — Instituto de Estudios Fiscales Para analizar estos efectos se empleará la metodología recomendada en la Guía para la Evaluación del Desarrollo Socioeconómico que consiste en la construcción de una matriz en la que se valoran las interrelaciones entre los diferentes OE. Para ello, se asigna un valor a cada cruce (1, 3 y 519) en fun­ ción de la intensidad de interrelación entre los Objetivos. Este enfoque permite clasificar a los objeti­ vos en cuatro grupos jerárquicos, (estratégicos, sensibles, influyentes e independientes). Realizando los cálculos sobre las sinergias entre objetivos específicos se puede obtener la representación gráfica de las mismas, tomando como punto de referencia el valor medio de las influencias que se generan entre OE. Gráfico 6.2: Representación gráfica de las sinergias entre Objetivos Específicos Fuente: Elaboración propia El análisis demuestra que existe un OE que, tanto por su influencia sobre el resto, así como por su sensibilidad a la hora de ser influido por otros Objetivos, obtiene un carácter estratégico. Este es el OE8.2.1, mientras que existen OE que se ven influidos, en mayor medida, por la consecución del resto, como lo son el OE8.2.2, OE8.7.1 , así como un objetivo que influye, intensamente, en el éxito de otros, como lo es el OE8.2.4 e) Consistencia de la estrategia Para complementar el análisis de la estrategia, el equipo evaluador, teniendo en cuenta el artículo 55, apartado 3, a) y el documento guía de evaluación ex ante valora la consistencia de la estrategia a través de un análisis en profundidad de los objetivos y prioridades identificando la manera en la que se relacionan y la posible existencia de objetivos y prioridades contradictorias, así como recomenda­ ciones para solucionar estos problemas. Se comienza presentando un diseño de un árbol de objetivos, que mostrará de forma clara las interrelaciones entre el objetivo general del Programa Operativo, sus objetivos específicos y las prioridades de inversión que se fijen en el Programa para su desarrollo e implementación, mos­ trando la jerarquización de la estrategia en forma piramidal, que explicita las relaciones existen­ tes y que puede resultar adecuada para el entendimiento de las sinergias creadas entre las diferentes líneas de actuación, prioridades y objetivos intermedios propuestos para el cumpli­ miento de los objetivos finales. 19 El valor 1 determina una intensidad de interrelación débil, el valor 3 moderada y el 5 alta. — 67 — Grafico 6.3: Diseño de árbol de los objetivos del PO Fuente: Elaboración propia Observándose la clara estructura que el PO de Empleo Joven tiene, se puede afirmar que el PO es consistente en términos de las relaciones entre objetivos de corto, medio y largo plazo. El segundo elemento estudiado en la consistencia fue el diseño del marco lógico que, establece la cadena recursos, actividades, productos y resultados finales, permitiendo valorar la forma en que los productos contribuyen a los resultados esperados del Programa. Grafico 6.4: Marco Lógico de un Objetivo Específico Fuente: Elaboración propia Utilizando esta forma de análisis para todos los objetivos específicos del PO se puede confirmar que existe una lógica bien marcada en todas las actuaciones. El equipo evaluador considera, que bajo ciertos supuestos ajenos a la actuación, el objetivo que se establece puede ser alcanzado con estas actuaciones. e) Cumplimiento de los principios horizontales La evaluación ex-ante debe examinar la adecuación de las medidas previstas para promover la igual­ dad de oportunidades entre hombres y mujeres, prevenir todo tipo de discriminación, en particular a la accesibilidad para personas con discapacidad, y promover el desarrollo sostenible en consonancia con el artículo 55 apartado 3, letras l) y m). — 68 — Instituto de Estudios Fiscales En este sentido, parece permisible concluir que la incorporación de la perspectiva de género se en­ cuentra considerablemente integrada de forma transversal en la estrategia diseñada, mostrándose un correcto uso del lenguaje. Por lo que se refiere al principio de igualdad y no discriminación, el PO recoge en sus actuaciones este principio, enfatizando la actuación en jóvenes que corren riesgo de sufrir exclusión social y quie­ nes procedan de comunidades marginadas. 6.3. Indicadores, seguimiento y Evaluación El artículo 55 del Reglamento de Disposiciones Comunes apartado 3, letras c), g), j) y k) establece que la evaluación ex ante “valorará (c) la pertinencia y claridad de los indicadores del programa, (g) si los valores previstos cuantificados de los indicadores son realistas, habida cuenta de la ayuda previs­ ta de los Fondos EIE, (k) la idoneidad de los hitos seleccionados para el marco de rendimiento, y, finalmente, (j) la idoneidad de los procedimientos de seguimiento del programa y de recogida de da­ tos necesarios para llevar a cabo evaluaciones”. Por este motivo, en esta sección de la evaluación ex ante se tiene por objetivo asegurar el cumplimiento de dichos requisitos del Reglamento de Disposi­ ciones Comunes. Las principales conclusiones se sintetizan a continuación. Para el análisis teórico y práctico de los Indicadores propuestos en el PO, se identifican una serie de propiedades deseables que éstos deben cumplir y se valora el grado de cumplimiento de aquellas por el conjunto de Indicadores, en función de la siguiente escala de valoración: Tabla 6.1. Leyenda para la comprobación de las propiedades deseables de los indicadores del POEJ El indicador sí cumple la propiedad El indicador cumple moderadamen­ te la propiedad El indicador no cumple la propiedad X Fuente: Elaboración propia a) Análisis teórico de los Indicadores y objetivos finales propuestos Las propiedades teóricas que el equipo evaluador ha revisado para la batería de indicadores del PO, teniendo en cuenta los requisitos reglamentarios han sido: — Pertinencia: para ello, los indicadores deben reflejar el grado de cumplimiento de las operaciones y los objetivos al que pertenece el indicador, captando, por tanto, el impacto directo de aquel so­ bre éste. Su valor debe de estar influenciado de manera directa y en la medida de lo posible por las acciones financiadas en la prioridad de inversión concreta. — Coherencia: los indicadores son idóneos con respecto al resultado esperado para el que se han propuesto, logrando capturar su esencia. — Claridad: los indicadores tienen un título claro y una definición inequívoca y fácil de entender. Es decir, deben de ser de fácil comprensión, libres de complejidades. — Factibilidad: los indicadores deben ser construidos, en la medida de lo posible, en base a las es­ tadísticas disponibles. Su medición no debe suponer una carga excesiva a los gestores de los Fondos. Tras el análisis y la construcción de diferentes tablas donde se valora el grado de cumplimiento de las anteriores propiedades20, las principales conclusiones a las que llega el equipo evaluador son: — Para los Indicadores de Producto de los Ejes Prioritarios 1 y 5 del POEJ, cabe destacar que el 100% de éstos cumplen las propiedades de pertinencia, coherencia y factibilidad, y sólo en el ca- 20 Pueden consultarse con mayor detalle en el documento de evaluación ex ante. — 69 — so del indicador “desempleados incluidos de larga duración” el cumplimiento de la claridad del mismo se produce de manera moderada. — En cuanto a los Indicadores de Producto para el Eje de Asistencia Técnica, el equipo evaluador verifica que todos ellos cumplen con todas las propiedades exigidas en los requisitos reglamenta­ rios. — Por otro lado, se verifica que el total de indicadores de resultado cumplen con las propiedades de pertinencia, coherencia, claridad y factibilidad. Finalmente, se añaden algunas consideraciones y recomendaciones, tales como que: — si bien los indicadores de producto se ciñen al Reglamento, su definición resulta, en algunos ca­ sos, muy genérica, por lo que se recomienda una mayor especificación de éstos en relación al co­ lectivo de jóvenes. — Además, el equipo evaluador considera que algunos de los indicadores propuestos como indica­ dores de resultado son indicadores de producto, ya que, por ejemplo, el hecho de haber participa­ do en el POEJ no supone en sí un resultado. b) Hitos seleccionados en el Marco de Rendimiento La propiedad práctica que el equipo evaluador ha revisado para esta batería de indicadores, teniendo en cuenta los requisitos reglamentarios, ha sido la del realismo de los valores previstos cuantificados. Las principales conclusiones asociadas a la valoración de esta propiedad son: — En primer lugar, y teniendo en cuenta la información aportada por los programadores, el equipo evaluador ha valorado positivamente, tanto para los hitos de 2018 como para las metas de 2023, la aplicación de la metodología de costes medios utilizada por los programadores para el cálculo de los valores en dichos momentos. — En segundo lugar, cabe destacar que el ritmo de las ejecuciones financieras es coherente con la evolución temporal del POEJ y, tal y como se puede comprobar en el capítulo relativo a la evalua­ ción de la asignación financiera del Programa. — Por último, el equipo evaluador ha detectado, bajo la valoración del realismo de los hitos y metas diferenciando por género, que las previsiones se han hecho utilizando proporciones del período anterior que no tienen por qué mantenerse en este nuevo período. c) Procedimiento de seguimiento del Programa y control A lo largo de la ejecución del Programa Operativo se establece la necesidad de valorar el seguimiento del mismo, así como evaluar su desarrollo para analizar su evolución en términos de eficiencia y con­ secución de los objetivos marcados. En relación a ambos procesos de seguimiento y evaluación, es necesario contar con un sistema de recogida de información, capaz de dar soporte a las actuaciones que se van a desarrollar en el PO. En este sentido, se valora positivamente el desarrollo del sistema de información para la aplicación de la Garantía Juvenil, cuyo objetivo final es garantizar que todos los jóvenes menores de 25 años pue­ dan recibir una buena oferta de empleo, educación continua, formación de aprendiz o período de prácticas en un plazo de cuatro meses tras acabar la educación formal o quedar desempleados. 6.4. Asignaciones Financieras Según el Reglamento de Disposiciones Comunes, la necesidad de una evaluación ex ante es notoria en tanto que se puede prever y valorar como la programación va alcanzar sus hitos y objetivos, así como va a contribuir a la estrategia de la Unión para un crecimiento inteligente, sostenible e integra­ dor, habida cuenta de los objetivos temáticos y las prioridades de inversión ordenadas para las nece- — 70 — Instituto de Estudios Fiscales sidades nacionales y regionales y el desarrollo potencial, teniendo presente las lecciones aprendidas de periodos pasados. Desde la perspectiva de la evaluación financiera se ha conseguido analizar las dotaciones financieras que han recibido cada uno de estos objetivos temáticos y las prioridades de inversión a través de los diferentes tipos de región. Para este tipo de análisis se ha recogido la información del Plan de finan­ ciación y se ha evaluado la distribución respecto a las prioridades en cada región, para ver las dispa­ ridades y comprobar que se llevará a cabo una distribución coherente y pertinente con la estrategia marcada y el buen aprovechamiento de los recursos. Por otro lado, se ha analizado como se ha planteado la distribución temporal de los recursos, y por último, se ha evaluado la coherencia del reparto financiero con la estrategia del POEJ derivadas de su DAFO, y también con las debilidades agregadas por los objetivos específicos que las afectan di­ rectamente. En resumen, el equipo evaluador realizó diferentes análisis sobre la distribución y evolución financiera del POEJ, concluyendo que: — Análisis de la distribución financiera; se evaluó la distribución por grupos de regiones y se com­ probó el porcentaje de los 2.826.330.836 euros entre los tres ejes prioritarios, reconociéndose que el Eje 5 es el elemento central sobre el que gravita el programa ya que son las acciones directas de la Iniciativa de Empleo Juvenil y es concordante con su asignación tanto de ayuda propia como del FSE. Los grados de cofinanciación han sido cumplidos como lo establece el Reglamento de Disposicio­ nes comunes y es remarcable que la P.I 8.2 recoja la mayor dotación, dando al programa un examen positivo, acorde a las actuaciones que contempla bajo esta prioridad. Se remarcó también que la división y desagregación financiera por objetivos específicos hubiese brindado un mejor examen de distribución y coherencia y es el único aspecto que podría mejorar­ se de esta parte del programa. — Coherencia financiera; para este análisis se ha observado el programa desde dos puntos de vista. En primer lugar, a través del análisis del reparto en función de la estrategia de esta forma se midió que porcentaje del total se repartió por los Ejes, asignando a estos una ponderación en función de su importancia, de tal manera que se pudiese comprobar que el Eje 5 recibe la mayor dotación y cubre las principales amenazas y debilidades por medio de los objetivos del Programa. Esta concentración de los recursos permite afianzar la idea de que el POEJ, tiene una estrategia equilibrada y permite asegurar una buena eficiencia en el reparto de los recursos. En segundo lugar, en un sentido más estricto se evalúa el reparto por objetivos específicos, agregándolos en función de los ejes y permitiendo a su vez establecer una relación con las debili­ dades. Estas fueron agregadas en características principales comunes entre ellas, de tal manera que se pudiese establecer un nexo entre éstas características y los objetivos específicos, tal como se re­ conoce en el POEJ, así se observa qué P.I. recogía el mayor número de debilidades y ver su asignación y que sinergias se producían entre estos. El resultado es muy ilustrativo, puesto que la P.I 8.2, a través de los OE 8.2.2 y 8.2.4, es el eje central de todo el programa, resultado que se encuentra muy relacionado con recibir la mayor cuantía financiera. Estos resultados demuestran que el POEJ guarda el concepto de coherencia financiera en rela­ ción a la estrategia planteada y los hitos propuestos. — Evolución financiera; se ha analizado la distribución de los flujos financieros en el tiempo, como la distribución de la Iniciativa de Empleo Juvenil recoge su dotación en el periodo 2014-2015, con su correspondiente N+3, en acciones directas sobre la población objetivo, “nini”, dichas actuaciones — 71 — están directamente relacionadas con las recomendaciones del Consejo y los objetivos estableci­ dos, con una actuación rápida e intensa. 6.5. Gobernanza El art. 5 del Reglamento de Disposiciones Comunes establece que para el desarrollo de los Programa Operativos, se debe organizar una asociación con las autoridades regionales, locales y otras autori­ dades públicas competentes, los interlocutores económicos y sociales y los organismos que repre­ senten a la sociedad civil21. Esta asociación debe estar presente no sólo en la preparación inicial de los programas sino durante su ejecución, seguimiento y evaluación. El reglamento hace mención también de las nuevas medidas para el periodo 2014-2020 que buscan la máxima eficiencia en la intervención de los Fondos EIE, tales son: la concentración de recursos, la reducción de cargas ad­ ministrativas y la simplificación, la proporcionalidad en las asignaciones financieras, la descentraliza­ ción y la incorporación de agentes privados al tramo nacional, y el uso de instrumentos financieros que consigan un efecto multiplicador de las acciones planificadas. El equipo evaluador se dedicó a verificar el cumplimiento de todos estos principios que durante los trabajos de elaboración del POEJ se han venido desarrollando como así también de los preceptos enunciados en el Código de Conducta del Partenariado. La metodología ha sido la observación del modelo de gestión desarrollado en el POEJ, los recursos humanos asignados para desarrollar su labor y el analizar y verificación de los mecanismos de comu­ nicación con otros agentes sociales, grupos de interés, organismo intermedios, etc. que hubo en el proceso de programación del POEJ por lo que se presenta un cuadro resumen del análisis de cum­ plimiento de los principios de "Buen Gobierno" del Libro Blanco de la Gobernanza europea. Como resultado, el equipo evaluador concluye que los principios de Gobernanza se cumplen y están presentes en la elaboración del POEJ, tanto en las justificaciones de las condiciones ex ante, en las asignaciones financieras, así como en la estrategia a desarrollarse en todo el periodo. Para ello el equipo evaluador responde a las preguntas: ¿quién ha participado? (descripción de los participantes), ¿cuándo? (a través de las reuniones que han celebrado) y ¿cómo?, identificando las conexiones entre los agentes involucrados Tabla 6.2. Esquema de la evaluación del partenariado para el POEJ — Consejo de la Juventud de España — Organizaciones empresariales: CEOE y CEPYME — Organizaciones sindicales: UGT y CC.OO — Asociaciones representativas de la Economía Social y del trabajo autónomo — Cámaras de comercio ¿Quién ha participado? Lista de los partners consultados: — Asociaciones de jóvenes empresarios como CEAJE — CC.AA y ciudades autónomas de España — Ministerio de Educación, Cultura y Deporte. — Banco Europeo de Inversiones; — Centro Superior de Investigaciones Científicas; — Instituto de la Juventud; — Consejo Superior de Cámaras de Comercio; — Fundación Secretariado Gitano, Cruz Roja, Fundación ONCE y Cáritas; — Fundación Incyde; 21 Incluidos los interlocutores medioambientales, las organizaciones no gubernamentales y los organismos encargados de promover la igualdad y la no discriminación — 72 — Instituto de Estudios Fiscales — Instituto de Comercio Exterior; — Confederación Española de Centros de Enseñanza; — Red de Fundaciones Universidad Empresa. — Dirección General del Trabajo Autónomo, — Economía Social y la Responsabilidad Social de las Empresas (DGSTAYRSE) — Interlocutores sociales en España — Organizaciones no gubernamentales:Cruz Roja; Fundación ONCE; Cáritas y Secretariado Gitano. — Grupo Permanente de Trabajo de la Red de políticas de Igualdad: Orga­ nismos de igualdad de Murcia y La Rioja y del Instituto de la Mujer — Subdirección General de Igualdad de Trato y no Discriminación del Ministerio de Sanidad, Servicios Sociales e Igualdad. — Principales organizaciones ecologistas: WWF y Seo Birdlife Instituto de Estudios Fiscales — 16 de abril de 2013, 7 de mayo de 2013 y 14 de octubre de 2013: Reuniones con las CC.AA — ¿Cuándo? — Principales reuniones que han tenido lugar en las que participaron los agentes en el proceso de elaboración del POEJ 13 de marzo de 2014 y 30 de abril: Reuniones bilaterales con todas las comunidades autónomas relativas a la programación 2014-2020 y al Programa Operativo de Empleo Juvenil. 18 de diciembre de 2013: Conferencia Sectorial de Empleo y Asuntos Laborales 19 de diciembre de 2013: Plan Nacional de Implantación de la Garant­ ía Juvenil presentado a la Comisión Europea 24 de marzo y 28 de abril de 2014:Reuniones del grupo de trabajo. 5 de febrero de 2014: Reunión con los principales organizaciones ecologistas 27 de febrero de 2014: Grupo Permanente de Trabajo de la Red de políticas de Igualdad Reuniones de carácter periódico con la mayoría de las entidades. — ¿Cómo? Por un lado, en la programación se ha aplicado el principio de parte­ nariado a través de reuniones de la UAFSE con los partners especificados arriba y propios del desarrollo del POEJ y, por otro, en la fase de evaluación, a través de reuniones de la UAFSE con el Instituto de Estudios Fiscales, encargado de elaborar la evaluación ex ante del Programa Operativo de Empleo Juvenil. Fuente: Elaboración propia Por último, se presenta un cuadro con las características de la intervención del POEJ evaluando el cumplimiento de los principios de “Buen Gobierno” siguiendo las líneas del Libro Blanco de la Gober­ nanza europea antes mencionadas. Tabla 6.3. Evaluación de propiedades de la buena gobernanza Características Nivel de evaluabilidad Apertura: La intervención del POEJ impone a las instituciones trabajar de forma más abierta, presenta una comunicación activa, lenguaje más accesible y medidas que conduzcan a la confianza de los ciudadanos en la institución. Alta (Sigue) — 73 — (Continúa) Características Nivel de evaluabilidad Participación: Se entiende que la calidad, la pertinencia y la eficacia de la intervención exigen una amplia participación ciudadana tanto en la fase de formulación como de implementación y evaluación. Alta Responsabilidad: El POEJ exige la clarificación del papel de cada una de las instituciones que intervienen en la tom a de decisiones. Alta Eficacia: El POEJ requiere que las medidas adoptadas produzcan los resultados buscados sobre la base de unos objetivos claros, de una evaluación de su futuro impacto y en su caso de la experiencia acumulada. Coherencia: El POEJ exige que acciones sean coherentes y fácilmente comprensibles. Alta Alta Fuente: Elaboración propia 6.6. Conclusiones La reducción del desempleo juvenil constituye uno de los retos más importantes para el período de programación 2014-2020. La estrategia Europa 2020 tiene como objetivos principales el crecimiento inteligente, sostenible e integrador, que pasa por conseguir un descenso notable en el número de jóvenes desempleados. El Programa Operativo de Empleo Juvenil está diseñado para contribuir a atenuar la intensidad del paro entre este colectivo, especialmente afectado. Teniendo en cuenta las lecciones aprendidas de períodos anteriores y las recomendaciones del equi­ po evaluador a partir de su evaluación ex ante, el programa está en condiciones de poder iniciar su recorrido con garantías suficientes sobre su viabilidad. Las evaluaciones intermedias que sobre él se hagan, que además ya podrán contar con porcentajes de ejecución y análisis de la parte operativa, deberán incidir igualmente sobre la idoneidad en la ges­ tión, así como los logros obtenidos, en respuesta al nuevo enfoque de los Reglamentos del período 2014-2020, que pretende asegurar la consecución de resultados tras la aplicación de la política de cohesión en España. — 74 —