Avaluar impactes en l’àmbit social no lucratiu: conceptes i reflexions Miquel Àngel Alegre miquelangel.alegre@ivalua.cat Barcelona, 11 de març de 2015 1 Quin és l’objectiu de l’avaluació d’impacte? I això de què em servirà? Impacte = Canvi en la realitat del problema causalment atribuïble a l’acció del programa 2 Com podem conèixer l’impacte del programa? 3 Opció 1. Fem un estudi “abans-després” % d’alumnes 4t d’ESO que no obtenen el graduat. Anys 2011 a 2015 Manca ofertes laborals? Abans Altres programes educatius? Després Diferència Impacte = 10 p.p. Inici programa Canvi sociodemogràfic? El canvi és atribuïble al programa? 4 Opció 1. Fem un estudi “abans-després” % d’alumnes 4t d’ESO que no obtenen el graduat. Anys 2010 a 2014 Manca ofertes laborals? Abans Altres programes educatius? Després Impacte = 5 p.p. Inici programa Canvi sociodemogràfic? El canvi és atribuïble al programa? 5 Opció 2. Seguint allò que els passa als participants… Un 70% dels nois/noies recuperen obtenen el GESO Un 30% dels nois/noies cursen un CFGM Un 20% dels nois/noies cursen un Batxillerat Què ens diuen aquestes dades sobre l’efectivitat del programa? Res 6 Opció 3. Construïm un “grup de comparació” ≈ Programa No programa 7 Opció 3. Construïm un “grup de comparació” On és la clau? Clau Seleccionar un grup de comparació que sigui realment semblant al de participants en totes aquelles variables que poden estar associades al fet d’accedir al programa i obtenir-ne uns determinats resultats. 8 Variables a tenir present… Quan comparem participants amb no participants… Tenen uns i altres el mateix perfil socioeconòmic? Viuen als mateixos barris? Assisteixen als mateixos instituts? Tenen uns i altres el mateix nivell de motivació /competències no cognitives? Tenen uns i altres els mateixos hàbits d’oci? Tenen les famílies d’uns i altres les mateixes actituds respecte l’escola? 9 Quin grup de comparació és el més adequat? Aquell que s’assembla al grup de tractament en variables observables i no observables: Alumnes amb característiques demogràfiques, socioeconòmiques i de rendiment similars Alumnes amb mateix nivell de motivació, iniciativa, implicació, recolzament familiar, etc. Com identifiquem un grup de comparació així? 10 Dissenys / tècniques d’avaluació d’impacte Dissenys experimentals aleatorització (sorteig) Entre individus, grups, territoris, etc. Programa vs. no programa; entre diferents versions del programa; entrada progresiva al programa, etc. Dissenys no experimentals Quasi-experiments font de variació exògena Matching bones BBDDs amb característiques observables 11 Què necessitem per endegar una avaluació d’impacte? 12 • “Teoria del canvi” i preguntes d’impacte • Bones mesures d’outcome (indicadors de resultat) • Instruments i fonts d’informació per al seguiment d’indicadors • Bona estratègia per a la definició de grups de comparació vàlids (“contrafactual”) • Mostra suficient (n) de participants / no participants • Un cert coneixement estadístic • Ganes i atreviment 13 Reflexions finals 14 • Penseu l’avaluació des del principi: petits canvis en el disseny del programa i les bases de dades poden fer l’avaluació futura robusta, ràpida i barata • Fugiu de la il·lusió de l’exhaustivitat. Prioritzeu programes i preguntes • No penseu només en avaluació d’impacte: hi ha altres tipus d’avaluació i formes de coneixement útils per prendre decisions • Avanceu en el camí cap a l’avaluació d’impacte dels vostres programes: teoria del canvi, indicadors, grups de comparació, possibilitat d’ampliar mostres, etc. 15 • No penseu només en l’avaluació del vostre propi programa: hi ha al món coneixement sobre “què funciona” que podeu emprar per dissenyar i corregir els vostres programes • No en diguem “impacte” d’allò que no és “impacte” 16 Gràcies per la vostra atenció! 17