Eva Garcia-Balaguer: L’AVALUACIÓ Desembre 2005 QUE ÉS L’AVALUACIÓ? E s d ife r è n c ia : • U n e s t u d i c ie n t ific ( m é s p r à c t ic ) • U n a a u d it o r ia a n a lit ic a ) (m e n ys n o r m a t iv a , m és • U n s e g u im e n t ( m é s a p r o fu n d it ) E s c a r a c t e r it z a p e r s e r : • A n a lít ic a (b a sa d a d ’in v e s t ig a c ió ) • S is t e m à t ic a e s c o llit s ) en t è c n iq u e s ( p la n t e ja m e n t s • F ia b le s ( t o t s e v a lu a d o r s h a u r ie n d e c o in c id ir ) . a c u ra ts in d e p e n d e n t s • O r ie n t a d e s a s o lu c io n a r p r o b le m e s • U t ils i EL PERQUÈ DE L’AVALUACIÓ i TIPOLOGIES OBJECTIUS GENERALS: • Millorar la gestió • Obligació de (accountability) rendir comptes • Millorar en la assignació de recursos financers (recursos limitats) Tipus d’avaluacions segons el punt de partida: • Avaluacions formatives I aditives • Avaluacions internes i externes • Avaluación exante, intermedia i expost. ELEMENTS CLAUS PER L’AVALUACIÓ Existència diferenciada d’una intervenció= un PROGRAMA • Que tingui una lògica d’intervenció (coherent) • Que tingui definides les necessitats • Que es marquin uns objectius • Que aquests objectius es medeixin amb indicadors (quantitatius i qualitatius). • Que s’haguin concretat unes fites (metas) OBJECTIUS DE PROGRAMACIÓ • Operatius: productes (indicadors de realització física i financera) • Específics: resultats o efectes directes o inmediats • Generals o globals: efectes o impactes induits a mig i llarg termini LÒGICA DEL PROGRAMA INPUTS Recursos humanos y financieros Actuaciones del programa PRODUCTOS Bienes y servicios producidos IMPACTOS RESULTADOS Impactos iniciales Objetivos operativos Objetivos específicos Efectos económicos sociales y ambientales EFECTOS Impactos finales Objetivos generales OBJETIVOS DEL PROGRAMA QUÈ HA DE FER L’AVALUADOR?: Respondre a una serie de preguntes respecte al programa • Fins a quin punt el diagnòstic realitzat respon a les necessitats reals? • Quins recursos son necessaris per satisfer aquestes necessitats? • Els recursos utilitzats permetran conseguir el productes desitjats? • Com aquests productes permeten aconseguir els resultats o efectes esperats? ALTRES QÜESTIONS A AVALUAR: • RELLEVANCIA • COHERÈNCIA, INTEGRACIÓ VERTICAL I HORITZONTAL • EFICIÈNCIA • EFICACIA • EFECTES COLATERALS • UTILITAT DELS IM PACTES • SOSTENIBILITAT • EFECTE DESPLAÇAM ENT • EFECTE SUBSTITUCIÓ • EFECTE PES M ORT (Deaw eight) RESUM: ELEMENTS BÀSICS DE L’AVALUACIÓ Efectos Problemas económicos, sociales y ambientales Necesidades Resultados Programa Objetivos Actividades Programa Recursos Evaluación Relevancia Coherencia Eficiencia Eficacia Utilidad y Sostenibilidad Productos/ Outputs EXEMPLE: QUADRE BASE DE SEGUIMENT I AVALUACIÓ Intervención Descripción Indicadores de base Eficacia Realizaciones Construcción autopista Realización financiera: -gastos a cofinanciar Realización física: -km a construir -plazo de construcción Gastos realizados/gastos previstos Km previstos Eficiencia realizados/km Coste por Km realizado Resultados/ Productos Reducción tiempo recorrido Reducción costes transporte Mejora seguridad -% tiempo nuevo/tiempo anterior -% coste nuevo/coste anterior -accidentes actuales por km y automóvil respecto a la situación anterior Reducción real de tiempo, costes o accidentes respecto a la reducción prevista Coste por unidad de reducción de tiempo o de costes de transporte Objetivos específicos Incremento flujos interregionales de personas y mercancías % aumento de: -toneladas transportadas -automóviles en circulación -personas desplazadas Aumento real en toneladas, automóviles o personas respecto al aumento previsto Coste por unidad de incremento de los flujos de mercancías, automóviles o personas Objetivos generales Incremento de socioeconómicas Evolución de: -Estructura productiva -Mercado trabajo -PIB regional por persona y empleado ... Crecimiento real del PIB respecto al crecimiento previsto Crecimiento real de la ocupación respecto al crecimiento previsto Etc.. Coste por unidad de crecimiento del PIB Coste por ocupado nuevo Etc.. las actividades MÈTODES D’AVALUACIÓ Marc teóric per a portar a terme l’avaluació Existeixen DOS grans tipologies de model o mètodes d’avaluació: el mètode causal-estadístic: amb la definició de models matemàtics-estadístics per valorar estadísticament els impactes socio-econòmic atribuïbles a la intervenció. Poden ser factible programes d’àmbit estatal o regional de gran dimensió el mètode deductiu-descriptiu: on els resultat s’obtenen a partir de l’aplicació de dos tècniques: qualitativa (estudis de casos, consulta a agents i beneficiaris); i la quantitativa (creació d’index d’incidencia –inversió i especialització-, taules imput-output). MÈTODES D’AVALUACIÓ Sovint no es possible la utilització d’un sol model o mètode (grau de complexitat del programes) . S’ha de definir un mètode particular en funció: Característiques del programa o política. Dimensió Informació disponible Del moment en el que es realitzi l’avaluació (ex-ante, intermèdia, expost o final) Tampoc en una sola aproximació o tècniques d’anàlisi per a tots els aspectes (impacte socio-económic, gestió, participació social, efectes sobre el medi ambient,....) Tècniques de recollida Tècniques d’anàlisi de dades RECOLLIDA DE DADES La classificació segons criteris: √ Subjectius /objectius √ Quantitatius/Qualitatius √ Logitudinals/transversals √ Primaris /secundaris Totes les classificacions poden ser útils però el que es CLAU per l’avaluació es que siguin dades: √ Precises √ De Qualitat √ Amb fiabilitat NECESSARI UN BON SEGUIMENT PREVI AMB RECOLLIDA DE DADES PER AFEGIR EL + ANALITIC TÈCNIQUES D’ANÀLISIS Anàlisi estadístic descriptiu i d’inferència: mitjanes, desviacions standars, variances, regresions, etc Models analítics: micro o marcoeconométrics, model input-output, etc Anàlisis no estadístics de dades qualitatives Anàlisis cost-benefici comparació en termes monetaris per obtenirne el ròssec. Anàlisis cost-eficàcia: idem anterior però sense la necessitat de medir els beneficis en termes o unitats monetàries. Anàlisis multicriteri: s’utilitza múltiples i diversos ponderats. (MEANS, 1995) EVOLUCIÓ (anys 80-90, 90-2000) INICIALMENT EL PRINCIPAL TEMA PER L’AVALUACIÓ EREN ELS RESULTATS: • La pròpia anàlisi de les primeres avaluacions (les seves aportacions), • La potenciació de l’avaluació com a instrument de gestió de poítiques públiques • La constatació del sistema i processos de funcionament com un dels element explicatius de la consecució d’impactes . • Naixement de programes que basen la seva innovació en l’estructura organitzativa (EQUAL, LEADER) i la implantació progressiva en el Programes del Fons Estructurals UE. • L’aparició del tema de la Gestió i Funcionament com un dels temes (preguntes) a plantejar de manera general. ASPECTES FONAMENTALS L’AVALUACIÓ DEL CONTEXT - valoració del diagnòstic de necessitats i actualització - valoració de la pertinència, coherència, objectius i prioritats definides respecte a les necessitats - Valoració de la complementariedad con prioridades UE: Igualdad de oportunidades, medio ambiente, sociedad información. L’AVALUACIÓ DELS PROCESSOS: - valoració de la gestió del programa, - valoració de l’organització administrativa (estructura operativa), - valoració de la dinàmica aconseguida. L’AVALUACIÓ DELS RESULTATS: - valoració dels impactes i consecucions obtingudes respecte dels objectius marcats aspectes econòmics (renda, dinàmica empresarial, ocupació....) aspectes socials i de qualitat de vida aspectes mediambientals i de sostenibilitat. PRESENTACIÓ D’EXPERIÈNCIES • Programa de Desenvolupament Rural de Catalunya 2000-2003 (Avaluació intermedia) • Programa 5b (Zones Rurals) Rioja, Navarra, Catalunya 1994-1999 (Avaluació Final) • Pacte Territorial per Terrassa 2000-2003. l’Ocupació • EQUAL II “Técnica” 2001-2004 de MÈTODE G.A.P Mètode 4E©: Una aproximació de “baix a dalt” (bottom up) √ Les estadístiques existents en els organismes públics o privats competents en els temes objecte d'avaluació i seguiment, així com la revisió dels estudis específics i de la literatura teòrica i dels documents existents. √ L'examen dels expedients i altres documents relatius al programa, és a dir fitxes financeres i administratives, projectes, etc. √ La realització d'enquestes ad hoc, o l'obtenció d'observacions directes a partir d'entrevistes amb profunditat, visites, treball d'inspecció “in situ”, etc., als beneficiaris, i agents econòmics, o finalment l'obtenció de les opinions d'experts a partir de tècniques com el Delphi o l'Abaque de Regnier; √ Els estudis de casos en profunditat. CONTINGUT DE L’AVALUACIÓ CAP-3. Valoración de la pertinencia de la estrategia del programa • Actualización del diagnóstico y análisis DAFO • Pertinencia de los objetivos y prioridades • Coherencia interna y externa • Complementariedad con las prioridades políticas comunitarias: igualdad oportunidades, medio ambiente, sociedad información CAP-4. Valoración de la gestión y funcionamiento • Instrumentos de gestión propios del programa • Evolución de la modalidad de intervención • Información y participación • Procedimiento administrativo y seguimiento • Idoneidad y selección de proyectos • Principales conclusiones CONTINGUT DE L’AVALUACIÓ CAP-5. Valoración de la ejecución financiera • Ejecución financiera • Estructura del gasto por agentes • Distribución territorial del gasto público CAP-6. Valoración de la ejecución física (eficacia y eficiencia) • Análisis de las realizaciones por objetivos, prioridades • Análisis de las realizaciones por medidas • Valoración conjunta dela eficacia física y financiera por medidas • Eficiencia de las realizaciones CAP-7. Valoración de los impactos • Respuesta a las preguntas de CE por medidas • Valoración conjunta de los impactos por medidas, objetivos y prioridades • Respuesta a las preguntas de CE transversales CAP-8. Conclusiones y recomendaciones • 7 ANEXOS PREGUNTES TRANSVERSAL FEOGA-G (PDR 2000-2006) • T6: • ¿En qué medida han contribuido los DISPOSITIVOS DE APLICACIÓN a potenciar al máximo los efectos previstos de este programa? • Criterio 1 : Las medidas subvencionadas están concertadas y son complementarias de tal modo que produzcan sinergias gracias a su interacción en diferentes aspectos de los problemas/posibilidades del desarrollo rural. • Criterio 2: La participación en el programa (por parte de explotaciones, empresas, asociaciones, etc.) incluye a los que tienen mayor necesidad y/o potencial en materia de desarrollo rural en la zona abarcada por el programa (necesidad, pertinencia y puesta en marcha de buenos proyectos), gracias a la combinación de dispositivos de aplicación como (i) la publicidad sobre las posibilidades de ayuda, (ii) los criterios de subvencionabilidad, (iii) la diferenciación de las primas y/o (iv) los procedimientos y criterios para la selección de proyectos, así como (v) la ausencia de plazos innecesarios y costes burocráticos para los beneficiarios • • • • • • Criterio 3: Los efectos potenciadores se ha llevado al máximo a través de la combinación de criterios de subvencionabilidad, diferenciación de primas o procedimientos y criterios para la selección de proyectos. Criterio 4: Los efectos ajenos a la intervención se han evitado a través de la combinación de criterios de subvencionabilidad, diferenciación de primas o procedimientos y criterios para la selección de proyectos. Criterio 5: Las ventajas indirectas (especialmente los efectos relativos al suministro) se han potenciado. COMPLEMENTARIETAT I SINERGIES interna I externa Definició de diferents tipus de complementarietat INTERNA: • fan de base una actuació per un altra, • actuen sobre dos aspectes diferents d’un mateix problema, •actuació conjunta necessària per aconseguir un mínim. Complementaritat EXTERNA amb altres programes o polítiques: sistemes de coordinació i de seguiment Principals problemes detectats relacionat amb la GESTIÓ i el FUNCIONAMIENT • Complexitats organitzatives que fan difícil al interacció real entre agents i accions. • Estructura tancada de departaments, serveis i institucions • Percepció escassa del conjunt del Programa. Els Programes no son un veritable conjunt d’accions sinó una font de finançament per a accions que ja es venien realitzant. • L’elaboració de l’avaluació resulta ser un dels element claus a partir del que s’inicia la relació entre diferents agents participants. CONCLUSIONS MOLT OPERATIVES ESPECIALMENT D’INTERÈS A L’AVALUACIÓ INTERMEDIA O ES CAS DE REPROGRAMACIONS DE PROJECTES. RESULTATS I IMPACTES • Per MESURES: - Resposta a preguntes claus i criteris CE (CAP.7) • GLOBALS: - Resposta a preguntes CE TRANSVERSALES (CAP.7) Resum principals aportacions per grans OBJETIUS i PRIORITATS L’avaluació a de donar respostes a diferents nivells (UE, Estat, CAT, Gestors individuals) i interessos. Les TECNIQUES per la recollida de dades referents a les consecucions han de ser MULTIPLES I DIVERSES. RESULTATS I IMPACTES • DEFINITS A PARTIR: o Consecució d’objectius establerts prèviament. o Evolució del context o Pes financer de la intervenció en cada àmbit o Dimensionament de les consecucions del Programa o Valoracions i dimensionament obtingudes (casos, enquestes a beneficiaris i gestors) CONCLUSIONS: PER OBTENIR UNA BONA AVALUACIÓ DE RESULTATS FA FALTA DISPOSAR D’UNA BONA PROGRAMACIÓ (PLANIFICACIÓ), i D’UN BON SEGUIMENT. RESULTATS I IMPACTES P R O B L E M E S D E L A D E T E C C IÓ D ’IM P A C T E S - D ific u lta t d e d e lim ita r l’à m b it d ’in flu è n c ia e xclu s iv a d e l p ro g ra m a (d im e n s ió re la tiva m e n t p e tita re s p e c te a l c o n ju n t d e le s p o lítiq u e s q u e a c tu e n ) q u e d ificu lta la va lo ra c ió a ïlla d a d e ls re s u lta ts e im p a cte s a trib u ïb le s . - E l co n te xt o p e ra tiu l’e n to rn ta m b é e s u n fa c to r c la u e n la p o te n c ia c ió d e la e fic à c ia d e l re s u lta t. - L ’a va lu a c ió d e l re su lta ts n o m é s se rà p o ss ib le e n e l c a s d e d isp o s a r d ’u n vo lu m m im in d e d a d e s re fe rid e s a le s re a litz a c ió físiq u e s i fin a n c e ra i a ls re su lta ts im m e d ia ts i a m ig te rm e , ja q u e la va lid a c ió d e l’a va lu a c ió vin d rà e n la m e s u ra d e q u e s o m c a p a ç o s d e g e n e ra litza r le s re s u lta ts o b tin g u ts . R e s u lta ria d e g ra n u tilita t p o d e r e stim a r q u e h a g u é s p a s s a t s i n o h a g u é s a c tu a t e l p ro g ra m a . (re su lta ts o b tin g u ts e n u n z o n a c o m p a ra b le n o a fe cta d a , o e ls m a te ixo s a g e n ts e n te m p s d ife re n ts – c a s o s c o n tra s t, se g u im e n t d e ca so s -). L ’A V A L U A D O R a d ’a p re n d re a d ’e s ta r d is p o s a t i p o s a r e ls m e d is n e c e s s a ris p e r d e te c ta r in flu e n c ie s q u e h a n p re m é s g e n e ra r n o v e s e xp e c ta tiv e s (ca n v ia r p e rs p e c tiv e s o a fa vo rir p e tits ca n v is ) i d e fin ir q u in e s a ctu a cio n s h a n tin g u t m é s in flu e n c ia e n la g e n e ra ció d e n o v e s o p c io n s, m é s q u e g ra n s c a n v is . !Gràcies per la seva atenció!