los demas protagonistas. Consecuentemente, cualquier evaluaci6n da lugar a conclusiones relativas: estas conclusiones dependen del punto de vista del actor considerado. Aquellos protagonistas que se sit(ian en una buena posi. ci6n en el proceso de negociaci6n no tendran empacho en declarar que la accion es un exito; los perdedores, en cambio, la juzgaran en terminos desfavorables. "Puede ocurrir, incluso, que una acci6n se desarrolle pese a que ningt n actor la considcre acertada, pues el coste de romper la negociaci6n superaria el cosie de mantenerla aun en el marco de una negociaci6n desfa- CAPITULO V vorable" (59). LAS ESTRATEGIAS Y LOS DISPOSiIVOS DE EVALUACION Este capitulo se propone ofrecer los elementos necesarios para que efect(ten las elecciones estrategicas previas a la concepci6n de una evaluaci6n tanto quienes la encargan como aquellos a quienes compete Ilevarla a termino. No se trata de una tarea sencilla, pues en la evaluaci6n concurren muchas problematicas dispares, cuando no opuestas. Este hecho to abona la proliferaci6n de calificativos, particularmente en la literatura anglosajona: formative evaluation, summative evaluation, process evaluation, contextual evaluation, responsive evaluation, etc. iPara que sirve una evaluaci6n? Recordaran sin duda que quienes encargan evaluaciones en EE.UU. ante todo critican la pobre utilizaci6n que cabe hacer de sus resultados. Pero esta cuesti6n nos remite a otra: iCuales son los objetivos de la evaluaci6n proyectada? El termino evaluaci6n deriva del ingles value (valor) (•) . Dicha filiaci6n semantica provoca un contrasentido frecuente, que alimenta a menudo un quid pro quo entre quienes conciben la evaluaci6n, de un lado, y quienes la encargan, de otro. El examen detenido de los terminos de la polemica metodol6gica revela que, en lo que atane a la utilidad de una evaluaci6n, la cuesti6n clave no reside canto en la metodologia cuanto en to creible que la evaluaci6n resulte para los actores sociales. Credibilidad que no.depende, como se pens6 durante mucho tiempo, del rigor tecnico de los instrumentos empleados, sino de cuan legitima consideren la propuesta los destinatarios de la evaluaci6n. En efecto, la evaluaci6n nunca es una pr$ctica neutral y ajena a las relaciones de poder; es un acto politico que forma pane integrante del contexto politico del programa, incluso silos -evaluadores. (1) soslayan tal dimensi6n (') Nos ha parecido mds oportuno seilalar directamente 1a transposici6n semgntica del I6rmino "evaluaci6n • (excepcionalmente, nos hemos permitido modificar la frase del original que, no obstante, reproduclmos: "Etlmol6gicamente, evaluaci6n w cons(ruye a partir de .valor.") (N. del T.). (1) Parte de este capitulo y del siguiente proceden de uri articulo escrito en colaboraci6n 129 y pretenden negarla. Por ello proponemos al final de este capitulo un enfoque pluralista que asocie a los actores sociales con el desarrollo de la eval uaci6n, a fin de incrementar su credibilidad y, consecuentemente, su utilidad social. V.I. Los DIFERENFES ENFOQUES A LA HORA DE EVALUAR Tyler, a quien citamos ya como uno de los pioneros en materia de eval uaci6n, tuvo el merito de poner las bases de un enfoque que adopt6 los: • objetivos concrptos del programa considerado como punto de partida. Desde entonces, este enfoque por los objetivos ha cosechado muchas criticas y se han aplicado otros metodos. Sin animo de hacer una lista exhaustiva, examinaremos sucesivamente en que las otras cuatro grandes farnilias -enfoque por los efectos, enfoque por la forma en que el programa se puso en practica, enfoque por los procesos y enfoque por los actores sociales- se diferencian de la primera. Para evitar desarrollos prolijos, nos referiremos a cada una de ellas partiendo del caso de las evaluaciones a posteriori, por ser el mas comun. Al lector le dejaremos la tarea de imaginar la situaci6n para las evaluaciones a priori o las evaluaciones concomitantes. Esta presentaci6n, ademas, nos brindara l a ocasi6n de definir algunos conceptos slave de las evaluaciones. IA /i IALUAC'ION /)/:' Lr)S /MPAC70S ABUNDANC/A DE' AR1FFAcmS La concepci6n mas tradicional de la evaluaci6n, probablemente la mas tosca, se centra en una cuesti6n muy elemental: iEn que medidd ha producido el programa los efectos esperados? en otras palabras, icorrelacionan los efectos observados con los objetivos previstos? Este enfoque, que confronta los resultados con los objetivos iniciales del programa, se utiliza todavia hoy con una frecuencia alta. Un buen numero de responsahles consideran, sin duda err6neamente, que este tipo de evaluaci6n, denominado evaluaci6n de impaclos o de resultados, cumple con su finalidad en la mayoria de los casos. El enfoque se apoya basicamente en la hip6tesis de que existen objetivos -claros, precisos y mensurables•, con los que se relacionarian los efectos, susceptibles, a su vez, de ser medidos: con V, Spenlchauer y que apareciO publicado en la revista Politiques el Management Public, vol. 10, num. 3, septiembre 1992. Contarnos con la amable autorizaci6n de la revista. 130 tt Objetivos I Programas de Acci6n Efectos Aun cuando la mayoria de las evaluaciones de este tipo no se limiten a contar los impactos (ni a analizar la relaci6n coste/beneficios), si que tropiezan codas con la dificultad de traducir en terminos operativos, racionales y jerarquizados, unos objetivos que, por lo general, pecan de ambiguos, incoherentes y hasta de contradictorios. Por esta raz6n, muchas tecnicas proponen procedimientos formales, a fin de posibilitar que el programa sea e valuable- segun este enfoque (2). Pero tales tecnicas, como las entrevistas Delphi o los analisis multicriterios, como maximo consiguen crear un consenso artificial (entre los diferentes actores sobre una definici6n compartida de los objetivos del programa). El consenso se quiebra ineludiblemente en rl momento de discutir los resultados de la evaluaci6n (3). Por lo demas, este enfoque se fundamenta en otros multiples artefactos, que no se adectian con los procesos de decisi6n mas habituates. Sabemos, por ejemplo, que la puesta en practica de un programa diverge inevitablemente, en mayor o menor medida, del dispositivo inicialmente previsto; hay que mantener, por tanto, las debidas reservas sobre la atribuci6n de efectos a la causa que se supone es el programa previsto en origen. Asi, algunas innovaciones han sido descartadas con cierta precipitaci6n ante una evaluaci6n de los resultados, dandose la circunstancia de que las organizaciones experimentaron dificultades, durance el desarrollo del programa, no imputables a la propia innovaci6n (4). Pese a estas consjderaciones, una cuarta parte de las evaluaciones realizadas para el Ministerio de Sanidad americano en 1970 no incluian el menor analisis sobre la utilizaci6n efectiva de los medios previstos inicialmente. En otro campo, una metaevaluaci6n (una evaluaci6n de 213 evaluaciones) de programas locales de ahorro energetico, puesta en practica en California, demostr6 que la gran mayoria de los informes finales de los estudios prescindian de una descripci6n, incluso somera, de los medios utilizados en el marco del programa evaluado (5). (2) Entre los mss conocidos, citaremos a Coon, T., y CuePHRU, D., 1979: Quasiexperimen-tation: design and analysis Issues for field setting, Chicago, Rand McNally, y Roi, P.11., y FRi MAN, H. E., 1982: Evaluation: a systematic approach, Londrei, Sage. (3) PATTON, M. Q., 1978: Utilization focused evaluation, Londres, Sage. En Ia obra, M. Q. Patton describe varias estrategias utilizadas por los actores sociales para hacer fracasar estas tecni- cas: estrategia de la .pirueta., de la formulaci6n de objetivos contradictorios o de -guerra de los objetivos.. (4) FRErm.w, H. E., 1977: -The present status of evaluation research., en Evaluation Studies Review Annual, vol. 2. (5) WHnr., L. T.; ARCHER, D., y ARONSON, E., et al., 1984: -Energy consumption research of California's utilities., en Evaluation Review, vol. 8, num. 2. LA EtALI/A(.ION (1PE/?A!7c1 /.1 /:L/(;IJNCIA COMO /JE' Un enfoque mas realista consiste, pues, en considerar el programa no ya como una entidad homogenea invariante, sino como un conjunto heterogeneo de medios empleados (financieros, tecnicos, de comunicaci6n.... ). La cuestion central se formula esta vez de la siguiente manera: iHan permitido, la selection y la utilization de los medios, alcanzar los resultados esperados? Como cuestion subsidiaria queda: .Fueron empleados los medios de acuerdo con el proyeclo y los obelivos iniciales? Este enfoque se puede representar conforme al esquema siguiente: Medios utilizados Efectos T Estas evaluaciones operativas (implementation evaluation) se proponen, ademas de medir la eficacia global del dispositivo, maximizar los medios (realmente empleados) en relaci6n con los fines (los objetivos fijados). Los experimentos mas elaborados, descritos en la.Tercera Pane (del estilo del Great Housing Experiment), se relacionan precisamente con una aproximacion de este tipo. Las evaluaciones clan lugar a una respuesta mas ajustada a su primera finalidad -la de describir hechos o acontecimientos surgidos durante el programa-, pero no alcanzan, sin embargo, a explicarlos. Las intenciones de los organizadores del programa ocupan, como en el enfoque anterior, un lugar central que, de un lado, tiende a restringir la unidad de analisis solo a los efectos previsibles y, de otro lado, a reducir la interpretaci6n solo a los factores endogenos al programa. LA F.VALVACLGN LIBFI2ADA DE LOS OBJE77VOS: EVALU/AR SIN AA7F.OJERAS Conscience de estos limites, M. Striven presento en un texto, que ha generado intensas polemicas, un enfoque que prescinde totalmente de los objetivos oficiales: las evaluaciones liberadas de los objetivos (Goal free evaluation) (6). En opinion de este autor, las evaluaciones no deben polarizarse en los objetivos iniciales, sino mas bien responder a esta cuestion: eCuales son, entre el conjunlo de los efectos de un programa, los que salisfacen necesidades fundamenlales? Esto puede represcntarse asi: (6) ScRnvr,, M., 1973: Goal Free Evaluation, en and Process, Nueva York, McCutchan. 1 32 HouSE, E. (ed.): School Evaluation: the Politics Objetivos Necesidades fundamentales Por encargo del Ministerio de Educaci6n norteamericano, se le encomend6 a M. Scriven que seleccionara, entre los productos y los metodos de ensenanza nuevos, aquellos que merecian ser difundidos.Este encargo le permiti6 apreciar c6mo fracasan muchos proyectos con relaci6n a sus objetivos iniciales, aunque produzcan, en cambio, consecuencias positivas en otros campos, siendo entonces -recomendables.. Un metodo innovador de ensenanza de las matematicas, por ejemplo, puede no causar impacto a la horn de que los alumnos adquieran conocimientos en la materia, pero incrementar, sin embargo, su creatividad o incluso la comunicaci6n dentro de la clase. i Con otras palabras, es indiferente que no se cumplan los objetivos iniciales si el programa innovador causa efectos beneficiosos (aun sin ser intencionados) o, al reves, que se logren los objetivos al precio de efectos indeseables. Puede ocurrir, ademas, que diferentes actores sociales pretendan conseguir efectos similares, pero que no se pongan de acuerdo sobre los medios a utilizar; o, al contrario, que, estando de acuerdo sobre la forma del programa, minoren efectos opuestos. En este ultimo extremo se sit6an algunos programas de ahorro energetico, que han producido to que se ha convenido en llamar el .efecto boomerang. cuando se trataba de hogares con recursos precarios y, particularmente, en el caso de la Tercera Edad: los ancianos incrementaron su consumo de calefacci6n despues de las obras gratuitas de rehabilitaci6n de sus viviendas, fulminando los ahorros de energia esperados. Para los responsables, preocupados por el ahorro energetico, el programa entonces fue un fracaso; ahora bien, los servicios sociales, pendientes de la salud de los ancianos, y los propios beneficiarios, estaban a su vez convencidos de que la iniciativa habia sido un exito (7). El evaluador, seg6n Scriven, debe pues abstenerse de leer los folletos o de discutir con los responsables oficiales del programa antes de proceder al analisis de los efectos, a fin de eliminar los sesgos perceptivos asociados con un conocimiento previo de las expectativas. Esta precauci6n permite evitar una visi6n de ttinel. y despojar de connotations negativas los efectos inesperados (cf. los calificativos habituales: efectos secundarios, perifericos, perversos...). Esta aproximaci6n, sin embargo, ha sido escasamente utilizada porquc (7) MONNIER, E., et al. (eds.), 1986: Consumer Behavior and energy policy: an international perspective, Londres, Preager. 1 33 su aplicaci6n es delicada. Sobre todo en to que atane a la determinaci6n de las famosas -necesidades fundamentales-, el evaluador corre el riesgo de sustituir, con su propio sistema de valores, el de los responsables (8). De cualquier modo, este enfoque ha contribuido a que se profundice en la refexi6n sobre las a priori situaciones de evaluaci6n. LA EvALUAC/ON DE LOS PROCESOS: LAS INTERACC/ONES SIS7lMICAS Las teorias sisti micas inspiraron un enfoque por_los procesos cuya finalidad principal consiste en explicar los fen6menos a partir de un analisis.de las interacciones entre el programa y su entorno. Dicho de otro modo, ahora la cuesti6n es: ,Cuales son los procesos que se hallan en el origen de los efeclos observables? Este tipo de evaluation de procesos (process evaluation) tiene entonces por objetivo la identificaci6n y la comprensi6n exhaustiva de los hechos relativos a las acciones emprendidas (a veces reciben la denominaci6n de comprehensive evaluation). El programa y su organizaci6n se perciben como entidades dinamicas que camhian a medida que se adaptan al contexto donde son llevados a la practica. Los objetivos iniciales pueden verse suplantados por nuevos objetivos operatives, su jerarquia puede verse alterada y, por ultimo, los medios emplcados de facto nacen de un compromiso y divergen de los medios pre•u na vistos in abstraclo. La evaluaci6n pcrsigue, puts, reajustar los medios ( optimizaci6n-) en funci6n de las caricteristicas del entorno. El sistema es transferible al esquema siguiente: Objetivos y medios i nicialmente previstos Entran I, Oportunidades y restricc'iones del contexto (8) Pnl'j 1 34 , M. Q., 1978: Op. cit. Objet >s y medios de facto accio- R nes del entorno i En el marco de este acercamiento, las intenciones de los responsables del programa prevalecen, pero esta vez sus_ objetivos (y sus medios) son asumidos de facto y no ya in abstracto, como ocurria con las evaluaciones operativas mencionadas anteriormente. Estos objetivos y medios de facto pasan a convertirse en las referencias con las que se confrontan los efectos. Muchos modelos de conducta de este tipo de evaluaci6n han sido propuestos por los academicos americanos en respuesta a las nuevas exigencias de los responsables (9). Son muy titiles en el caso de programas simples, no excesivamente innovadores y de gran envergadura (desarrollados en varias localidades a un tiempo). En los demas casos, las evaluaciones de procesos plantean todavia problemas practicos mal resueltos (abundan las variables independientes o explicativas) y siguen siendo muy caras, sobre todo si se respeta el paradigma experimental. Por lo demas, los modelos p'ropuestos conservan, de un lado, una visi6n sin6ptica de los procesos de decisi6n y, de otro lado, una aproximaci6n en terminos de sistema cerrado que persigue la exhaustividad. Se soslayan, pues, las posiciones implicitas y los conflictos entre las diferentes partes que intervienen; tambien se obvia el tema de la diversidad de los sistemas de valores de los actores afectados., Ahora bien, los actores, cada vez mss numerosos, ponen en duda canto la existencia de un consenso en torn a los objetivos (o al sistema de valores), como la posibilidad de que una evaluaci6n logre alcanzar conclusiones objetivas e imparciales (10). U EYALUAC/ON PLURALJSTA: EL REC0NOCIMIEMO DE LOS ACIORSS Este ultimo enfoque se sittia desde la perspectiva de las posiciones sociales emergentes en vez de partir de los objetivos explicitos. Se apoya en (-i reconocimiento de una pluralidad de sistemas de valores que coexisten en cl seno de la sociedad. El programa se concibe como un proceso siempre abierObtienen Efectos (9) Cf. los modelos citados en las obras siguientes: Eraow, A., 1968: 7be Active Society.. a lbeory of societal and political processus, Free Press; Pexxow, C., 1970: Organizational Analhis: a sociological view, Wadsworth; STuFYIsBEu, D. L., et al., 1971: Educational Evaluation and Dccision-Making, Peacock Publisher; Mossier, E., et a!.: Evaluation Metbods for Energy Conservation Programs in the Residential Sector, en MoNME,, E., et al.'Zeds.): Consumer Behavior and Energy Policy: an international perspective, Nueva York, Preager. (10) Pese a que difieren a veces sustancialmente desde el punto de vista de sus propuestas, existen muchas coincidencias entre autores como Cronbach, Guba, Lincoln y Patton. Cf. CiosBAoi, L. J., et al., 1980: Toward reform of Program evaluation, San Francisco, Jossey Bass; Gu. aA, E.: y Lscou , Y., 1981: Effective Evaluation, San Francisco, Jossey Bass; PArroN, M. Q., 1978: Op. cit. Cf. tambien las distintas contribuciones sore el terra: Wens, C. (ed.), 1983: -Stakeholder-Based Evaluation-, en New Directions for Program Evaluation, num. 17, San Francisco, Jossey Bass. 135 RECUADRO NUM. 1 UNA PROPUFS7A PARA UN NUEVO ENFOQUE A -Recomiendo el enfoque interactivo (responsive approach) a fin de encumbrar la evaluacion de las cuestiones (issues) que son relevantes para cada programa en particular. Es un modo de abordar el tema que sacrifica en pane la precision cuantitativa en aras de incrementar su utilidad para quienes intervienen en el marco del programa o se yen afectados por este. La evaluaci6n de una practica educativa sera pluralista si confiere prioridad a las actividades reales frente a los resultados perseguidos, si aporta una respuesta a las demandas de information de las personas interesadas y silos informes sobre los fracasos o los exitos obtenidos reflejan, en su elaboration, los distintos sistemas de valores vigentes.El enfoque propuesto implica, por canto, que se realicen determinadas actividades, cada una de ellas repetidamente a lo largo de una evaluacion, y conforme a un orden que el curso de los acontecimientos dictara al evaluador: 1. El evaluador definira los limites del cameo respecto de lo que se considera pane integrante del programa. Para ello tomara como referenda l os documentos oociales, los archivos del programa, etc. 2. El evaluador aprecia directamente el contenido del programa y corrige sus ideas preconcebidas con relation a este. 3. Se halla entonces en condiciones do situarse ante las parses implicadas, de calibrar sus expectailvas frente al programa y sus objetivos Implicit os respecto a la evaluaciOn. 4. Se forma una rcpresentaciGn conjunta de las positions y de l os problemas que dehe estudiar. 5. Esta preparado para determinar una estrategia de evaluacion y elegir la conception adecuada (design), los datos y las informaciones que habra de recoger. 6. El evaluador selecciona su modo de recopilar los datos y las informaciones en funci6n de sus necesidades coyunturales. Por lo general, recurrira a juicios de observadores humanos. 7. Se procede a la obtencdon de los datos. 8. Presentation de los resultados: el evaluador buscara unos medios que le permitan comunicarlos con la maxima naturalidad, informando muy extensamente sobre experiencias personales. 9. El evaluador debe seleccionar que informaciones difundira de manera mas amplia, determinar a quien hard participe de que resultados y adaptar la forma a! destinatario. 10. Dara por terminada la evaluacion reuniendo los puntos de las conclusiones que se inf eran de su trabajo a tenor de las clausulas estipuladas en su contrato de evaluador. Fuente: Stake, R. E., y Gjerde, C., 1974: An evaluation of T-City, the twin city institute for talented youths, Chicago, Rand McNally (Monograph Series in Curriculum Evaluation, num. 7). 13 6 to de aprendizaje colectivo y de b6squeda pluralista de soluciones a los problemas sociales. La evaluacion pluralista (11) participa entonces de esta vision heuristica y aspira a responder a la siguiente cuesti6n: 4Cudles son las informaciones que requiere el sistema de actores pans comprender mejor los efectos o los acontecimientos sobrevenidos durante el desarrollo de un programa? SISTEMA QUE EVOLUCIONA EN EL TIEMPO t Actores sociales Y EN EL ESPACIO SOCIAL Acci6n/Reacci6n/Adaptaci6n en el marco del programa , Evaluaci6ri I Efectos Por canto, la primera tarea de la evaluaci6n consiste en identificar a los responsables y a quienes utilizaran los resultados.del analisis; la segunda, en explicitar los sistemas de valores que orientaran los objetivos de la evaluaci6n y sus caracteristicas (m6todo, criterios.... ). El conjunto se concibe entonces como un sistema abierto donde la evaluaci6n queda integrada, produciendose una evolution de los objetivos de 6sta 6ltima a medida que va desarrollAndose. Ateni6ndonos a este enfoque, no se espera de los actores que busquen una solution optima, sino una soluc16n .satisfactoria • en funci6n del contexto. El sistema de valores y de referencias de cada actor evoluciona seg6n se cumplan o se frustren sus expectativas; 6stas (ltimas (el nivel de aspiracibn, en terminologia psicol6gica) varian en funci6n de sus experiencias individuales y colectivas (12). Sucede con los objetivos lo mismo que con el horizonte, que se alejan en canto que se avanza. Cuanto mas incierto es el entorno, menos estables y concretos son los objetivos. En otras palabras, cuanto menos previsible es el futuro, mas (itil resulta la evaluaci6n, ya que reduce la incertidumbre de los respori§ables con respecto a su entorno. (11) En la literatura americana encontramos numerosas denominaciones de lo que llamamos evaluaci6n pluralista:.Responsive Evaluation., citado en ST.ue, R. E., y Gtexce, C., 1974: An Evaluation of T.City, 7be twin city Institute for talented youths, Chicago, Rand McNally (Monograph Series in Curriculum Evaluation num. 7); -Active-reactive-adaptative evaluation., citado en P~rroN, M. Q., 1978: Op. cit.; -Stakeholders evaluation., citado' en Wuss, C. (ed.), 1983: Op. cit. (12) PArroN, M. Q., 1978: Op. cit. 137 V- 2. LA UTILIDAD SOCIAL DE LA EVALUACION LAS DIMF.NSIONES Poijwc4S DE LA EvALUACI6N Recordaremos sin duda que los experimentadores positivistas esperaban que la ciencia aboliese la politica y que el gobierno de los hombres Ilegara a ser una rama de la estadistica aplicada. Pero la realidad es otra: la evaluaci6n no ha desbancado a la politica, pues esta se encuentra en el nucleo mismo de toda evaluaci6n. M. Q. Patton dirigi6 una encuesta, entre los respectivos responsables que gestionaron veinte programas experimentales del Ministerio Federal de Sanidad y entre sus evaluadores, que pone de manifiesto una i magen bastante inusual de las condiciones en las que se realizan las evaluaciones (13). Los interlocutores de M. Q. Patton admitieron, mayoritariamente, que habian influido consideraciones politicas en los juicios emitidos en el marco de la evaluaci6n, asi como en la propia forma de trabajar. En efecto, la politica no se reduce al campo de las representations o ideas expuestas por los politicos. En una sociedad, cualquier situation de arbitraje entre concepciones que no concitan un consenso es politica. Por esta raz6n, la implementaci6n de un programa de acci6n de los poderes p6blicos es un proceso politico, y lo mismo ocurre con la evaluacibn: las elecciones entre sistemas de clasificaci6n, de referencias, los conceptos, las teorias, los modelos o hasta los puntos de vista asumidos o rechazados, participan todos en los procesos politicos. El ca racter politico de la evaluaci6n tambien se percibe, sin embargo, en las condiciones sociales de acceso a la information que origina, asi como en l a toma de decisiones que desencadena. Por ultimo, se aprecia en la negativa, por pane del evaluador, a mantener algunas cuestiones formuladas por l os organizadores o los destinatarios de un programa. No pretendemos discutir el caracter beneficioso o nefasto de dicha dimension politica, sino subrayar que la eventual utilizaci6n de la evaluacibn es inseparable de su vinculacion con la esfera politica. Cualquier intento de huir de esta realidad equivaldria, en la mayoria de los taros, a renunciar a toda utilidad social de la evaluaci6n. Las antcriures ol>servaciones vienen confirmadas por la constataci6n, plenamente empirica, efectuada por nuestros colegas norteamericanos a prop6sito de una serie de evaluaciones cuyos autores habian anticipado, excepcionalmente, que estas ocasionarian su participation en algunas procesos politicos. De ahi se puede extraer una consecuencia que conecta directa•U na teoria I ncnte con una de las 95 tesis de Cronhach y de sus •a sociados •: como teoria de la interaction politica de la evaluaci6n ha de ser tanto una (13) PAITON, M. Q., 138 1978: Op. cit. una teoria relativa a la descripci6n de hecho • (tesis ntim. 11) (14). Si se quiere definir una evaluaci6n con conocimiento de.causa, es convenience, pues, concebirla apoyandonos en un analisis de la dinamica politica donde se integra. Este analisis, desde luego, no se puede verificar en gran medida durante la evaluaci6n, pero su explicitacion significa el atisbo de que se intuye el caracter relativo de cualquier evaluaci6n y, por tanto, abre la posibilidad de modificaciones ulteriores (15). En efecto, ya hemos comentado que la informacion y la comunicaci6n son esenciales para alimentar las negociaciones cuyo eje lo constituye cualquier programa publico. Despues de haber insistido sobre las dimensiones propiamente politicas que reunen las evaluaciones, procede recordar que la evaluaci6n no puede sustituir a la decision politica. Incluso se diria que, cuando los evaluadores han intentado aprovechar la evaluaci6n de programas experimentales para favorecer una decisiorr, alcanzaron invariablemente el resultado inverso. Esta es la conclusion que se obtiene del analisis de D. Greenberg y P. Robins sobre una serie de experimentos sociales realizados en EE. UU. a partir de 1968 (16). En efecto, entre 1968 y 1985, los programas que se ilevaron a cabo suponen los esfuerzos por justificar las reformas profundas en concepto de provision de servicios sociales por el Gobierno federal. Tales programas dieron lugar a numerosisimos debates entre los politicos y los expertos. Estos 61timos situaron sistematicamente la controversia en el campo de los metodos y no consiguieron que prevaleciera un punto de vista unico. Los politicos, a falta de informaciones creibles desde su perspectiva, suelen zanjar las cuestiones enarbolando principios eticos o •s ociol6gicos•, pero ante esta nueva situaci6n se vieron abocados a asumir posiciones de cautela y mas bien de espera. Por ello, las evaluaciones de los grander programas sociales, polo de atracci6n para los polemistas mas apasionados, provocaron (como por inadvertencia) que disminuyeran las posibilidades dc que algunas de esas innovaciones fuerai adoptadas por los responsahles politicos. Parece, pues, que las evaluaciones tradicionales quedan en entredicho, al margen de su rigor metodolbgico, si no se preocupan por encontrar una l gitimidad politica. Durante largo tiempo se crey6 que la indepcn- dencia institucional y financiera del evaluador ofrece una garantia de objeti(14) CNONIMOI, L. J., et al., 1980: Op. cit. (15) El estudio de la pertinencia de estas teorias sobre'el funcionamiento politico de ciertas organizadones proviene evidentemente de la investigacibn en ciencias sociales, no de las evaluaciones. Esto significa que las 6ltlmas pueden beneflclarse.ntuchu sl se apoyan en las primer:. (16) GMEENBERG, D., y Roams, P., 1985: •The changing role of social experiments in policy analysis., en Evaluation Studies Annual Review, vol. 10. 139 T vidad; por tanto, una legitimidad (cientifico-tecnica) suficiente. No fue asi, sino todo lo contrario: emplazandose en el centro mismo de los procesos politicos es como el evaluador evita que se rechace la fundamentacibn de las conclusiones. Una evaluaci6n pluralista sobre la base de un analisis colectivo de los datos, siempre que sortee artimanas fruto de los virajes politicos, puede reivindicar una -no-parcialidad. (noci6n que sustituye a la de objetividad). LLegados a este punto en la definicibn de las evaluaciones, senalemos que, ante todo, hay que preguntarse con que finalidad se decide realizar una evaluaci6n, despues definir desde que vertientes se quiere llevar a cabo la evaluaci6n de un programa y, por ultimo, explicitar los medios asignados y l os efectos que se esperan de la accibn. Por lo demas, es preciso autodescribirse, lo mas satisfactoriamente que sea posible, los procesos politicos que conforman ei contexto donde el programa y la evafuaci6n se desarrollaran, a fin de precisar que lugar ocupara esta en aquel. Al formular tales recomendaciones, nos contentamos con plantear algunas cuestiones con una potential utilidad practica de cara a la definicibn de una evaluaci6n, pero nos abstenemos de proponer un modelo normativo que responda a cualquiera de dichas cuestiones por coherencia con el contenido de los analisis precedentes. LAS CoNDIcIoNIS hE'CESARIAS PARA QUE SEAN UInLES L4s CONCLUS/ONES DE L4 EVALUACION Se_ acumularon las desilusiones por parte de los investigadores ante el escaso interes que prestaron los responsables politicos, o los gestores, a los resultados de sus trabajos (de coste elevado), asi como las desilusiones de los responsables de los programas experimentales ante la naturaleza de las conclusiones de las evaluaciones, antes de que el tema de la utilizaci6n de los resultados se ahordara de forma clara. La respuesta parece evidente, pero no lo es: una evaluaci6n puede establecer ei balance de las consecuencias social es de un programa publico desde diversos puntos de vista. La interpretation de las relaciones de causa-efecto (entre los medios empleados en el marco del programa y los hechos posteriores), segun lo comprobamos con los experi mentos sociales norteamericanos, es dificil y cara. Para formular las hipbtesis relativas a los impactos de un programa, lo que denominamos una teoria de accibn, debemos adoptar una posici6n. Dicha position, iacaso no es siempre la del poder publico que aporta la financiaci6n del programa? Ciertamente, quien encarga la evaluaci6n suele ser la instituci6n que financia el programa, o que asume la tutela administrativa de su puesta en practica, aunque este dato no baste para definir un punto de vista, puesto que el aparato 14 0 estatal no conforma una entidad homogenea. En su seno coexisten distintas perspectivas, defendidas por los multiples agentes que pertenecen a los distintos niveles de un mismo organismo o por organismos que cumplen misiones y estrategias institucionales variadas. En este sentido, es preciso senalar que la evaluaci6n puede ser objeto de utilizaciones perversas, como lo evidencib la reforma administrativa de 1964 ya comentada. Los autores norteamericanos hasta han Ilegado a proponer una tipologia de las perversions que puede entranar una demanda de evaluaci6n: evaluaciones-coartada., que consisten en exhibir, en primera linea, operaciones exitosas a fin de que sirvan de pantalla al analisis sistematico de un programa; -evaluaciones-aviso., en las que se destaca un . indicador de fracaso, para justificar, sin un examen mas detenido, la interrupci6n de un programa montado por la Administration a reganadientes, por la presi6n de los politicos locales o nacionales... Tambien encontramos frecuentemente el caso de -evaluaciones-alegato pro domes, encargadas por la propia organization evaluada, con el prop6sito de justificar su existencia con respecto a otras institutions (mantenimiento de un organismo, de una escuela, etc.). El responsable financiero de un programa suele adoptar, como minimo, uno de los tres puntos de vista siguientes: 1. iCuales son la pertinencia y la utilization efectiva de los medios en el contexto de la accibn definido por el programa? (Se corresponde con el punto de vista adoptado, por ejemplo, por las Inspecciones Generales de los ministerios franceses.) 2. jExiste alguna posibilidad de mejorar la~ provisi6n de los servicios prestados en el marco del programa? (Se corresponde con el enfoque habitual de las consultorias en organizaci6n.) 3. iQue nuevas medidas cabe arbitrar para resolver los problemas sociales en 19s que el programa ha permitido una profundizaci6n? (El Ministerio de Sanidad, por ejemplo, puede esperar que un progrania experimental valga para informarle en que condiciones los drogadictos j6venes aceptaran una cura de desintoxicaci6n.) No obstante, la perspectiva asumida por los poderes pt blicos puede, indistintamente, coincidir con la de uno de los adores del programa, excluyendo entonces a los demas implicados (a veces, excluyendo a la propia Administraci6n). El Ministerio de Sanidad britanico ha realizado, en este sentido, evaluaciones de programas de asistencia a enfermos graves en sus propios domicilios desde la 6ptica del familiar que procura los cuidados basicos al enfermo. La adopci6n de esta perspectiva ha impulsado al Ministerio a 141 modificar ]as directivas impartidas a los medicos y a los profesionales que tambien intervienen en tales situaciones. Observamos asi que, to mismo que para la definicion de la evaluaci6n y de ]as cuestiones evaluativas, hay tantas perspectivas posibles para interpretar los datos y l as conclusiones de la evaluacion como situaciones socialmente definidas. Podemos igualmente atenernos a un punto de vista critico ajeno al funcionamiento de la sociedad. Esto fue to que hicieron muchos i nvestigadores norteamericanos deseosos de promover un gobierno cientifico de las sociedades puesto que, en su opinion, la resolucion de los problemas sociales pasa por la organizacion de expe'riencias in situ, di rigidas conforme a los canones de la ciencia experimental. Esta vision quiza nos parezca hoy graciosa, pero conviene preguntarse cuales son los efectos sociales de las evaluaciones tal como han sido generalmente practicadas hasta la fecha (sustancialmente respetuosas con el paradigma experimental). La encuesta de M. Q. Patton, ya citada, resulta inapreciable para comprender cuales son los factores que favorecen una utilizacion real de los resultados de una evaluacion por las panes implicadas en el programa. Para empezar, por mucho que la utilidad de una evaluaci6n sea ocasionalmente percibida con fuerza nor los actores, esta nunca se pods demostrar. En efecto, su utilidad se very menos cuestionada cuantos mas contactos haya propiciado la realizaciem de la evaluaci6n entre, por un lado, el responsable del programa, su gestor, y, por otro [ado, el encargado de evaluar: la evaluaci6n se muestra, pues, como un proceso que facilita y enriquece la reflexi6n, pero quc nunca se fragua en el aislamicnto. La evaluaci6n se mezcla con las reflexiones que imponen el trabajo ordinario y los acontecimientos. Por otra parte, es tanto mas eficaz cuanto mas interactiva se vuelve. Asi es como la eficacia de la evaluaci6n, desde la perspectiva de los responsables, parece relacionarse con su implicaci6n en el proceso evaluativo. La evaluacion, frente a l os proye ctos grandiosos de sus teoricos mas ilustres, se nos manifiesta entonces, mas modestamente, como un proceso de trunsformacion de las ideas y de los conocimientos que contribuye a una evolucion lenta o a unos cambios marginales de los programas sobre los que versa (esto es en el mejor de los casos, aquellos donde los actores reconocen que han jugado un papel nada desdcrlablc). Asi pues, la utilidad social de una evaluaci6n depende de las condiciones de upropiacicin de sus conclusiones por los actores sociules a l os que va destinada. Por ello sostenemos que las evaluaciones pluralistas son las mas i ndicadas cuando se trata de crear las condiciones para una apropiacion real, por tanto de una utilizaci6n de sus resultados. l3asandose en un diagnostico de las panes afectadas, de las posiciones vigentes y de las cuestiones innegables, el acercamiento pluralista recomienda suscitar un proceso interactivo e iterativo. Interactivo, en el sentido de que la implicaci6n activa de los actores en la interpretaci6n de los datos favorece la expresi6n de nuevos planteamientos, la entrada en escena de nuevos actores y Ileva a las partes a reconsiderar el conjunto de sus iniciativas con relaci6n al problema social que ha desencadenado originariamente el programa evaluado. Iterativo, ya que la participaci6n de los actores conduce, en sentido inverso, a redefinir las bases operativas de la evaluaci6n. Este tipo de evaluaci6n se desarrolla, pues, de acuerdo con un proceso analogo al del programa que ha sido descrito en el capItulo anterior; esto es, de acuerdo con un proceso evolutivo que debe converger hacia un compromiso sobre la interpretaci6n de los hechos entre observadores y observados, de un lado, y entre los diferentes protagonistas del programa, de otro lado. A nuestro entender, en ello es en to que se puede fundamentar la legitimidad de una evaluaci6n. Una evaluaci6n es creible (por canto, puede ser (nil socialmente), si goza de legitimidad ante los ojos de los actores sociales a quienes incumbira despues aplicar las mejoras sugeridas por la propia evaluaci6n. Existe una fuerte analogia entre el modelo de las evaluaciones pluralis- , tas y el de los Circulos de Calidad en la industria: Los industriales, en efecto, presionados por la competencia internacional (e influidos por el modelo japones, que relevo al modelo sueco), aprendieron las ventajas de enfocar los problemas de organizaci6n desde una 6ptica humanista (17). Al adoptar cl principio de los Circulos de Calidad, los industriales operaron una •revolucion cultural.: renuncian implicitamente al postulado tradicional segt n el cual existe una unica soluci6n tecnica preferible y llegan a la conclusion de que mas vale una solucion propuesta por aquellos que han de aplicarla, incluso a expensas de que parezca mediocre ante los ojos de los expertos tecnicos. La participaci6n de los destinatarios de la innovaci6n en su concepci6n facilita la adhesion de estos y, en consecuencia, recorta las dificultades posteriores de su aplicaci6n. Del mismo modo, las evaluaciones pluralistas renuncian a establecer conclusiones •r igurosas. (verificadas'cientificamente) en arcs de negociar, con Los actores implicados, un compromiso aceptable por quienes deberan sacar provecho de las conclusiones en su quehacer. La perdida de rigor (o de calidad cientifica) es el coste de cara a evitar el rechazo de toda la evaluaci6n por pane de sus destinatarios. (17) MmiiR, C., 1986: prendre, junio. •Logique de la mode manag6riale,en Annales des Mines, Gereret corn- 1 i3 V-3. EL DISPOSI'1'IVO DE EVALUACION ISVALUAC16N ENI X)FORMA77VA Y EVAL UC76N Rl.'cAl'rnp.177VA: LA 7t)AfA EN CONSIDI/RAC76N DF L1 S EXPI/CTA77VAS DI:' LOS DFSI7NATARIOS La distinci6n mas util entre las situaciones de evaluaci6n, y que prosper6 al otro lado del Atlantico, fire concebida por M. Scriven (18): si el proposito de evaluar consiste en informar a los protagonistas del programa para. que puedan modificar sus conductas, mejorar la accion y transformar asi su propio objeto, diremos que la evaluacion es endoformativa (formative evaluation); si la evaluacion esta destinada a favorecer que personas ajenas al programa -poderes publicos, representantes politicos, ciudadania en generalse formen una opinion global acerca del valor intrinseco de la accion, al margen de la opinion de sus protagonistas, diremos que es una evaluaci6n recapitulative (summative evaluation). Las dos situaciones pueden coincidir parcialmente, pero suelen ser radicalmente distintas. Para concretar algo mas, diremos que la evaluacion endoformativa se propone suministrar una ayuda operativa a los organizadores del programa, mientras que la evaluaci6n recapitulativa sirve, al mismo tiempo, para que quienes, ajenos a la organizaci6n, financian ei programa, decidan sobre su lanzamiento, su mantenimiento o su reproducci6n, y para (Iue otros actores sociales juzguen si es oportuno adoptar, para si mismos, el programa evaluado. Nuestros colegas Callon et al. Ilegaron a identicas conclusiones. No obstante, emplean una terminologia distinta -evaluacion interna y evaluacion externa- que, quiza, Ileve a engano. Dicha terminologia se utiliza frecuentemente para aludir, no ya a los destinatarios, sino a la pertenenciap no del equipo evaluador a la organizaci6n responsable del programa evaluado. De ahi que vayamos a recurrir a los terminos de evaluacion endoformativa o recapitulativa. Una u otra pueden ser Ilevadas a cabo indistintamente por un equipo de evaluaci6n interno o externo a la institucion responsable del programa. Como mucho, en el caso de una evaluaci6n recapitulativa, los actores no i mplicados en el programa desconfiaran si la evaluaci6n se realiza con personal interno. Por to demas, un equipo puede ser interno a una organizaci6n de diversas maneras. Asi, por ejemplo, la mayoria de las grandes instituciones internacionales, como el Banco Mundial o el Banco Interamericano, i ncluyen en su organigrama canto a un gabinete de evaluaci6n (Review and Evaluation office), dependiente de la Direcci6n General, como a diversos (18) Scxnrs, M., 1967: 7be Methodology of Evaluation, en Ty, ,. R., CAGNE, R. Y Sciuvm, M. (eds.), I'enpective of Curriculum Evaluation, Chicago, Rand McNally (Monograph Series in Curriculum Evaluation, num. 1). 144 gabinetes de evaluaci6n operativa (Operations Evaluation Office) en el sen4, de cada departamento sectorial. Como ya hemos visto, en concebir evaluaciones puramente recapitulativas residia la gran ambici6n de los experimentadores en EE. UU. a principios de los anos setenta. El caracter en pane esterilizador de tales experimentc>.' sociales, excesivamente centrados en resaltar el valor dntrlnseco • de uua innovacion, fue la causa de que se desarrollara la vertiente endoformativa de la evaluacion. El contenido de los dos tipos de evaluaci6n difiere sensiblemente segun el objetivo del programa innovador evaluado. Consideremos la distincion, anteriormente apuntada, entre los programas cuyo objetivo es poner en marcha un prototipo de innovacion y aquellos que se proponen adaptar un programa innovador a un contexto local distinto (los programas de transferencia de innovacion). En el caso ya citado de los programas locales de ahorro encigetico en Francia, conocidos como las .ciudades-piloto • (19), la Agencia, en un primer momento, habia seleccionado tres localidades donde fueron idcados y probados varios medios. Opt6 por una evaluaci6n endoformativa durante el curso del programa, y luego por una evaluaci6n recapitulativa para calibrar la oportunidad de reproducir esta modalidad de accion. Cuando, en una segunda fase, la Agencia decidi6 organizar una nueva serie de •ci udadespiloto •, se seleccionaron emplazamientos intencionadamente distintos de l o.s primeros. Como en tal caso no se habla previsto una evaluaci6n endoforinativa, los resultados fueron mas aleatorios. Uno de los lugares elegidos para i mplantar la innovacion tenia un caracter eminentemente rural: por bien porn se evit6 el fracaso, dado que los agricultores, destinatarios del programa, tildaron de escandaloso el lujo de una campalia de promoci6n que, sin embargo, habia sido favorablemente acogida en ciudades de tipo medio. Con otras palabras, la transferencia de un programa nuevo invita a preguntarse por el valor de un prototipo en un determinado contexto. Desde una perspectiva practica, se trata sin duda de situaciones totalmente dispares que resulta prioritario tener presentes. En el supuesto de que no se haya hecho el trabajo de construcci6n sistematica de los objetivos de la evaluaci6n, cane esperar que se enjuicie una accion en funci6n del sistema de valores de un actor local especifico y que ello entrane su rechazo, si su valor no ha silo reconocido en otros contextos. En el recuadro num. 2 se resumen las principales caracteristicas de las evaluaciones que son producto del cruce de una finalidad endoformativa o recapitulativa de la evaluaci6n y de una situacibn de establecimiento de un i E., 1985: • M atrise de I'energie clans le secteur domestique., en Cahien du CSTB, enero-febrero, num. 1972. (19) MONMER, 145 w - 'II r r % ww ®w® VV v prototipo y de transferencia de programas innovadores, explicitando tanto el tutelar, generalmente la que resolvi6 la financiaci6n del programs, encarga utilizables. Este ultimo concepto no se delimita facilmente, pues se carece de un metodo para resolver la dificultad inherente, pero es importante retener entrevista con los responsables de la acci6n y mide los efectos. La tercera fase propOsito de la evaluaci6n y sus destinatarios como las fuentes de referencia que pertenece al enunciado de la situaci6n. una evaluaci6n a un equipo independiente. En una segunda fase, e;ste sc la cubre la redacci6n de un informe final de evaluaci6n. Esta etapa constituye el eje de la misi6n de los -evaluadores. tradicionales. Por ultimo, y en cuarto lugar, el informe se publica, desencadenandose tormentas politicas, a no ser que (ermine prudentemente dentro de tin caj6n del que no volvera a sacarse. RECUADRO NUM. 2 CARACTERIS77CAS DE UNA EVALUACION SEGUN SUS FINALIDADES Tip. de evaluaci6n Endoformativa Recapitulativa Programas que persiguen La puesta a punto de un programs innovador Objetivos: concepci6n y mejora de la situaci6n Destinatarios: los protagonistas de la innovation Ohjetivos: validar a garuttlzar la innovaciOn Destinatarios: responsables nacionales, colegas,. expertos, profesionales, potenciales usuarios. _ La transferencia de un programs i nnovador ' Objetivos: adaptaci6n de una innovaci6n en un contexto determinado Destinatarios: el equipo local encargado de la adaptaci6n Objctlvus: ceniftcar o dclhnltar el campo de aplicaci6n de la i nnovaci6n Destinatarios: responsables l ocales interesados en la innovaci6n, responsables nacionales. Fuente: Guba, E., y Lincoln, Y., 1981: Effective Evaluation. San Francisco, Jossey Bass. Admitimos que esta discusi6n parezca abstracta, pero no deberia come- terse el error de pensar que, por ello, esta desprovista de importancia practica. Al contrario, al preguntarnos antes de iniciar un programa nuevo, even- t ualmente muy oneroso, lo clue dehe ser su evaluation, se pueden reducir costes y evitar disgustos innecesarios (cf. recuadro num. 3). LA LVALUACION PLURAUSTA: UN LUGAR DE NF.000UCLONES FN CASCADA En su modalidad mas tradicional, la evaluaci6n de una acci6n publica se ajusta a un procedimiento en cuatro Cases. De entrada, una Administraci6n RECUADRO NGM. 3 UNA 7RANSFERENCIA DE INNOVACION CON UN COS7E ELEYADO Hard diez ados, la ciudad de Nueva York, cuyo deficit presupuestario adquiria perfiles inquietantes, encarg6 a una gran empresa de estudios (ls Rand Corporation) que analizara la organizaci6n y el coste de la recogida de basuras domesticas. Tras un estudio operativo, se concluy6 que la eficacia en la tarea podria incrementarse considerablemente si se mejoraba la productividad de los basureros. Para ello bastaba con equiparlos de volquetes con un volumen superior y de un manejo bastante mas mecanizado. Convencida de la importancia del ahorro que esta iniciativa terminaria por suponerle, la ciudad de Nueva York compr6 una flotilla de camiones nuevos gracias a los cuales debia doblarse cl volumen de basuras recogldas por empleado, La puesta en servicio dv estos nuevos vehiculos ocasion6 una huelga de recogida de basuras cuyos cfectos tienen su parang6n en la altura de los rascacielos de Manhattan. En ultima i nstancia, se multiplic6 por dos al personal de servicio en cada volquete. Se preguntaran que relaci6n guards esta historia con nuestro tema: no pasa de ser una anecdota, y todos conocemos docenas de historias similares; no hay que it a America para encontrar situaciones dee esta indole. Para colmo, ini siquiera trata de evaluaciones! Precisamente, la alcaldia de la ciudad de Nueva York habia solicitado consejo a unos expertos, estos podian garantizar el valor intrinseco de una soluci6n tecnica y, por canto, la una y los otros creyeron que su acci6n equivalia a realizar una evaluaci6n en el contexto neoyorkino. Si hubieran sido mas circunspectos, habrian recordado que la puesta en marcha de una innovaci6n frecuentemente conlleva una disminuciOn en el rendimiento, y se habrian preocupado por establecer un dispositivo de evaluaci6n endoformativa, a fin de corregir el punto de mira si era necesario. Una reflexi6n previa a la implementaci6n del programs y una evaluaci6n endoformativa habrian revelado que el sistema sindical era parte integrante del contexto de dicha innovaci6n. La alcaldia de Nueva York no lo ignoraba sin duda, pero tambien habria puesto en evidencia a las restantes fuerzas sociales susceptibles de intervenir, ya que eran actores implicados en esta transformaci6n de la recogida de basuras. El riesgo del hloqueo politico de la innovaci6n hubiera podido motivar quo se alterara la forma tecnica. Esto quiza fuera lo que temian los responsables de l os servicios tecnicos de la ciudad de Nueva York y ide ahi que optaran por lanzarse a una piscina vacia! 14 7 Este procedimiento responde al modelo burocratico y tecnocratico; debe ser energicamente denunciado, pues atenta contra la productividad, ya que su coste es elevado. Sabemos por experiencia, en efecto, que la recopilaci6n de datos es mas dificil, mas cara y a veces hasta imposible dentro de la funci6n p6blica sin la cooperaci6n de los -evaluados.. Por otra pane, el riesgo de caer en un contrasentido, o de interpretar superficialmente los datos, es proportional a la resistencia de las panes interesadas en la evaluaci6n. De hecho, acabamos de verlo, la utilidad social de los resultados de las evaluaciones esta estrechamente vinculada con la relaci6n de confianza y de cola boraci6n entre analistas y analizados. Tales correlaciones, que los psicoanalistas conocen a fondo, fueron constatadas en el marco de la metaevaluaci6n de Freeman y Bernstein ya comentada (20). SegOn estos autores, en efecto, la calidad de una evaluaci6n correlaciona positivamente con el grado de interdependeocia entre el programa y la evaluaci6n. Con otras palabras, dichos autores comprobaron empiricamente que, en su conjunto, •las investigations en las que los responsables del programa y los de la evaluaci6n pertenecian a la misma organizaci6n, eran de mejor calidad que las producidas por evaluadores procedentes de una organizaci6n independiente de la del pr ograma •. Las evaluaciones realizadas por equipos totalmente ajenos a la organizaci6n carecen del conocimiento cualitativo ,esencial sobre lo que ha pasado realmente y fomentan un conflicto cr6nico entre los eyaluadores y los responsables directos del programa. Tales considerations nos Ilevan a criticar la recomendaci6n de la Comisi6n de la Comisaria del Plan en el sentido de adoptar la regla deontol6gica Ilamada de la •s eparabilidad... Segun esta, la calidad de una evaluaci6n (se entiende, su -objetividad.) depende de la independencia financiera e institucional, respecto al organismo evaluado, del equipo al que aquella se ha encomendado. iHay que concluir, en sentido inverso, que las evaluaciones deberian ser siempre Ilevadas a cabo en el seno del mismo programa? No es lo que defendemos, puesto que, si subrayamos las necesarias relaciones de confianza entre la persona encargada de evaluar, de yn lado, y el conjunto de los protagonistas de la acci6n, de otro lado, una gran proximidad con uno, y uno solo de entre ellos, podria comprometer la credibilidad de su trabajo con respecto a los demas protagonistas. Como, por otra pane, un mismo individuo raramente puedc pertenecer al mismo tiempo a varias organizaciones, su independencia institucional parece recomendable a fin de evitar'la colusi6n con uno de los protagonistas en detrimento de los restantes. (20) Citado por B rwo, M., Y Smmur1a,NG, E., 1983: Handbook ofEraluation Research, Londres, Sage. 1AQ Para que la evaluaci6n genere verdaderamente un espacio para negociar, se puede contar desde luego con la capacitaci6n profesional del evaluador, pero nosotros mas bien recomendamos establecer un dispositivo id6neo (cf. recuadro num. 4). RECUADRo NUM. 4 DISPOSI77VO DE EVALUACION PL URALISTA INSTANCIA DE EVALUACION Informe pCblico que integra destinatarios y socios de la acci6n i Financiad6n Relaciones contractuales t I Mktodo Interpretaci6n i Equipo encargado de evaluar C--- Recopilaci6n de datos El n6cleo del dispositivo propuesto es, sin duda, lo que Ilamamos un -comite de pilotaje., que agrupa a los diversos protagonistas, selecciona al equipo encargado de evaluar y hace un seguimiento de todos sus trabajos. Con un dispositivo de este tipo, quienes encargan la evaluaci6n no detentan un poder superior al de los demas miembros del comite sobre las orientations de la evaluaci6n y, en este marco, se informan de la progresi6n de la reflexi6n colectiva. El informe final se convierte asi en un documento meramente formal destinado s6lo a las personas extemas (redactado con el prop6sito de cumplir con las clausulas contractuales), donde se describen los instrumentos tecnicos del trabajo realizado, los datos recogidos y se refleja el compromiso negociado entre los protagonistas de cara a la interpretaci6n de los hechos y las mejoras posibles de la innovaci6n. Hay que precisar aqui que distinguimos entre, la negociaci6n y la concertaci6n, tal como se la practica habitualmente, puesto que no se trataria de buscar una perfecta representatividad de las diferentes partes en el comite de pilotaje, ni de creer en la igualdad de sus pesos respectivos en el marco de las negociaciones. 14 9 I En el caso de que una evaluaci6n endoformativa no hubiera podido ser Ilevada a cabo, entendemos que seria razonable realizar la evaluaci6n recapitulative sobre la base de varias evaluaciones paralcias confiadas a equipos seleccionados por coda uno de los protagonistas del programa (cf. los elementos que liguran ennlarcados en el recuadro nuns. 4). Si la financiaci6n no permite un dispositivo de este tipo, serdn suficientes, por ejemplo, dos eval uaciones: la primera hard de defensora del programa y la segunda, de detrac- tora (21). La evaluaci6n es (debe concebirse como) un proceso pluralista, sin dud4, pero tamhi6n evolutivo y con multiples finalidades. En vez de ello acostumbra a mantenerse como un procedimiento rigido, totalmente orientado hacia el exclusivo prop6sito de verificar el absoluto respeto a las reglas administrativas o la buena gesti6n de los medios empleados. La formulaci6n de las finalidades de la negociaci6n varia en funci6n de que la evaluaci6n tenga lugar antes, durante o despu6s de la acci6n. En el supuesto de una evaluaci6n endoformativa, podemos enumerar al menos siete finalidades de l as negociaciones (22): 1.' poner en prdctica un sistema integrado de recogida y tratamiento de las informaciones (econ6micas, sociales y operativas) gracias a la colaboraci6n activa de los participantes en la acci6n; 2.' desvelar las restricciones (o las dificultades encontradas) de orden t&cnico, econ6mico, cultural o politico, relacionadas con el entorno donde la innovaci6n se aplica; 3.' conceptualizar nuevos medios (o ajustes operativos), reconocidos por l os diferentes actores como susceptibles de aportar una soluci6n al prohlema social considerado; 4.' clarificar la naturaleza del problema social que motiv6 la reacci6n ori5. ' ginal; explicitar conflictos en la interpretaci6n de los hechos y definir los objetivos de la acci6n; 6.' aprender una terminologia y unos conceptos comunes por la aculturaci6n reciproca de los distintos protagonistas; en otras palabras, constituir y generalizar to que se ha convenido en Ilamar un r refe ents comun; (21) E.ste principio de investigaciones contradictorias fue sugerido por Rossi, citado en CRON. nani, L. J., 1980: Upv cit. (22) Esta enumeraci6n se ha adaptado a partir de las conclusions de L. Nizard sobre las dunciones. de l a elahoraci6n del 6° Plan. Nvwxn, L., 1974: Cbangement social et apparel! d Etat: du c ittrluieme tat s mente Plan, St. Martin d 'I lcres: CERAT. 1 50 7.' estimular el cambio social a partir de una confrontaci6n constructiva de los valores y de las expectativas, de los que son portadores los distintos componentes de la sociedad, poniendo en comun la capacidad creativa. Esta lista ni es exhaustiva ni estd jerarquizada; la presentamos aqui a titulo indicativo solamente, para subrayar la importancia del campo que cubren las negociaciones, asi como el interes, para quien encarga una evaluaci6n y para quien la Ileva a cabo, de reconocer su papei. La construcci6n de la legitimidad politica de la evaluaci6n implica: - crear una •Instancia de Evaluaci6n •, depositaria del mandato politico, distinta de los •Encargados de evaluar •, es decir: de los profesionales en Ciencias Sociales contratados para brindar una ayuda t6cnica; - en segundo lugar, aseguiarse de que los tres subsistemas de actores (legitimaci6n, acci6n, reacci6n; cf. capitulo IV-2) estdn representados en el seno de la instancia. En cualquier caso, son condiciones necesarias pero no suficientes, pues se plantea la cuesti6n de seleccionar a los individuos a quienes se invitar:i :t participar en la evaluaci6n. Normalmente, la tarea de analizar el sistema de actores, asi como la de proponer a tal o cual miembro a quienes la encargan, suele recaer en el evaluador. El terra de los criterios para seleccionar a los miembros de Ia instancia de evaluaci6n es delicado. En to que nos concicrne, nos esforzamos por integrar, entre los criterios, la actitud de los sujetos respecto a la idea de evaluaci6n. En concre to, procuramos que los elegidos reunan aptitudes para la •escucha•, vayan de •buena fe• y est6n disponibles (manifiesten •b uena volutad •) . Por -aptitudes para la escucha • queremos: indicar que •a ceptan el cardcter colectivo de la reflexi6n por encima de la acci6n •. Este criterio desaconseja a veces mantener a ciertas personas que hacen gala de una posici6n de autoridad condescendiente, siendo poco proclives, pues, a aceptar que los demds actores expresen su opini6n (23). Asimismo, los miembros de la instancia habrdn de convenir en que el debate se plant6e sobre la base de las caracteristicas concretas de la acci6n en cuesti6n y de las informaciones correspondientes. Por ello habrd que prescindir de algunas personalidades, o de algunos Iideres sindicales, encastillados en su jerga y en actitudes motivadas por consideraciones estrat&gicas excesivamente ajenas a la acci6n por evaluar. (23) En esta linea nos referia M. Patton el caso de ui a evaluaci6n de programa pare la prevenci6n de la delicuencia en el transcurso de la cual se vi6 obligado a sugerirle al juez ame ncano, que tutelaba el programa, la conveniencia de que abandonara la instancia de evaluaci6n por su actitud obstruccionista con relaci6n a la expresi6n de opiniones distintas a la suya. 151 Por otra parte, insistimos sobre el hecho de que la participaci6n en el proceso evaluativo exige una disponihilidad suficiente. No hay que comprometer las interacciones ni las iteraciones requeridas por la evaluacion a causa de un absentismo pronunciado. Los responsables de mayor nivel jerarquico, o quienes determinan la accion, pecan de falta de disponiblidad (a veces, de disponibilidad mental: no dan lugar a las reconsideraciones). Por tanto, la eleccion de los colaboradores mas proximos a estos jerarcas, o de quien merezca la confianza de estos y vaya a ser susceptible de defender sus intereses, equivale a una medida juiciosa y realista. V-4. LOS ACTORES Y SUS EXPECTATIVAS EN EL MARCO DE LA EVALUACI6N Segtin pertenezcan al subsistema de la legitimacian, de la accion o de la reaccion, los actores cuya participaci6n se solicita en el seno de una iniciativa pluralista albergan expectativas peculiares a tenor de la idea que se forman de la evaluacion. Conviene, por Canto, delimitar estas expectativas antes de aventurarse en la fase de la concepci6n, propiamente dicha, de la evaluacion. LA LFGlDMAC/ON DE L1 ACCION POR LOS -RESPONSABLFS CUAIIFICADOS-. L1 TEATACION DE CON7ROLAR Y LA NECESIDAD DE FEED-BACK Los actores que participan en el subsistema de la legitimacion aprueban la accion o ejercen un derecho de veto sobre ella. Detentan un poder institucional (legitimidad juridica, o ganada en las urnas), que no deriva exclusivamente de su estatuto, sino tambien de sus funciones y de su capacidad para i ntegrar y mediar entre las diferentes categorias de actores que, incluso si cuentan con representaci6n, dificilmente Ilegaran por si solos a elaborar compromisos (24). Los -responsahles cualificados- o -contratistas- no tienen por que ser, forzosamente, quienes han asumido la iniciativa de la accion. Al carecer de respunsabilidad operativa, en elios no se concentra todo el poder; muy al contrario, por indiscutible que sea su legitimidad, esta no les permite coaccionar facilmente a los actores que pertenecen a los restantes subsistemas. Ello no es obice para que muchos de estos responsables cualificados se aahieran al modelo hurocratico mecanicista de gestion de los asuntos publicos, cuyo corolario es cl control administrativo de la buena ejecuci6n de las actuacio(24) Qnno,w, M., y Twwm,., J., 1975: O/,. 15 2 cit. nes previstas. Otros expresan una desconfianza acentuada hacia los ejectitores, en quienes radican valores y estrategias diferentes. Por tanto, las evaluaciones que se efectuan a instancias de los responsables cualificados conlievan, a menudo, una dimension normativa o de control heredada de un pasado aun muy pr6ximo. En efecto, se manifiesta con mucha intensidad la tentacion (consciente o inconsciente) de dejar campo libre a los antiguos tioos de control de las practicas mientras se Ileva a cabo la evaluacion. Asi, pot ejemplo, los altos mandos policiales prodaman, sin duda de buena fe, la voluntad personal de comprometer a sus Administraciones en una iniciativa de evaluacion de la prevenci6n en sintonia con los responsables de la politica de la ciudad. Lo hacen aun cuando carezcan de la dotaci6n de medios necesarios para materializar dicha voluntad. La falta de profundidad, o de realismo, del diagn6stico que elaboran sobre el funcionamiento del sistema policial (considerado por muchos como la caja de Pandora), conduce a la situaci6n siguiente: a una desvalorizaci6n, a nivel de los agentes que patrullan, de las acciones preventivas; a una relaci6n exagerada y enganosa de los logros en la accion represiva; a una desconfianza con relaci6n a los demos actores intervinientes (25). Los controles, sobre todo a poslerlorl, resultan ineludibles en una democracia pluralista y deben it reforzandose a medida que la gesti6n se descentraliza. Se trata, no obstante, de un ejercicio independiente, sin duda cotnplementario, pero cuya aplicacion es incompatible con la defrnicion anteriormente presentada de la evaluacion como un espacio para negociar. Los responsables cualificados necesitan una retroalimentaci6n informativa en orden a redefinir y clarificar el enunciado de los problemas sociales que motivaron la accion. En efecto, la aplicacion concreta de los medios, igual que el examen, incluso parcial, de los impactos de la politica, invalidan, inevitablemente, una parte de la teoria de accion subyacente a la misma. En virtud de su papel especifico, la atenci6n de los responsables se centrara en determinados aspectos concretos; empiricamente se constata que suelen preocuparse mas por los objetivos generales (la estrategia global) o, en el polo opuesto, por impactos politicos a corto plazo (busqueda de un efecto anuncio maximo, por ejemplo). Con frecuencia dejan en manos del ejecutor l a responsabilidad de estructurar la accion y los terminos operativos. La desaparici6n de los circuitos tradicionales de feed-back debida, entre otras razones, a la descentralizaci6n, explica que el Gobierno se vea obligado a multiplicar las instancias de evaluacion: Comite Nacional de EvaluaciOn action (25) MUNJAMDrr, D., 1991: -De la difflcultN des policiers 3 rentrer daps la politique de prevention-, tioletin La revue de l sociale el de la justice, riumero monogrSfico -L"Flat de Ia police-, num. 26. 153 de las Universidades, de to lnvestigaci6n, Comite Interministerial de Evaluaci6n, etc... En el seno de la administraci6n francesa, la evaluaci6n parece abocada a suponcr, para los responsables cualificados, una suerte de reforzamiento de los circuitos de informacibn clasicos, sembrados ya de excesivos filtros territoriales o sectoriales. La ley alusiva al Salario Minimo Interprofesional ilustra, sin duda, una conciencia nueva de la necesidad de una informacibn retroactiva sobre la pertinencia de las decisiones publicas. Los CU,VS7XUC.~UIUS DL LA ACC76N: EvAfuACI6NAU1OLEGmMAN/E YNECISLDAD DE EIAL(ACIOWFS CONCOMITAN7TS El sushsistema de la acciOn es el que, paradbjicamente, presenta el proceso de decisi6n mas estructurado y, al mismo tiempo, menos explicito. Los valores y las finalidades de esta categoria de actores son complejos: metas latentes, multiples, incluso inconfesables (26). Tebricamente, el punto de vista de los ejecutores refleja el mandato del que son depositarios; no obstante, l os mandatos se definen de un modo muy impreciso, lo cual les otorga un margen de libertad importante. Los valores que prevalecen en el grupo de los ejecutores son la eficacia y la eficiencia operativas. La tentaci6n de estos estriha en zafarse de la tutel a de los responsables cualificados mediante la construcci6n de una legitimidad propia de tipo cognitivo (detencibn del saber, de una pericia). Asi, se observa que las evaluaciones, en el seno de instituciones como el Banco Mundial o la Comisi6n de las Comunidades Europeas, ejecutores institucionales sin una genuina legitimidad politica, tienden a fundamentar su autolegitimaci6n basandose en una pericia tecnico-cientifica (27). Para los ejecutores, los dispositivos de evaluaci6n quedan itacorporados a la modalidad de gesti6n rutinaria de la organizaci6n a fin de perfeccionar su coherencia interna y, a veces, a fin de limar su problematica de acci6n. Esto puede incitar a los actores a utilizar la aparente logica del sistema de informacibn para justificar una decisi6n ya tomada, o darle caracter definitivo (cf. el emblematico analisis -coste-benefcio •, gracias al cual se termina por concluir to que se quiera, ya que las hipbtesis basicas apenas si se cuestionan; o el caso de las variantes de los grander proyectos de transporte, que se elaboran de modo a que sea elegida la solucibn medianera) (28). (26) Podran encontrarse argumentos de peso para convencerse de ello poi' ejemplo en los excelentes analisis y casos concretos que se presentan en SrEz, L., 1981: Op. cit. (27) Toctrw,NUE, J., 1990: L "evaluation des effets economiques des programmes de recherche de la communaute europeenne, CEOPS/ENTPE, Commission des Communautes Europeennes (CD-NA-13146-FR-C). (28) Dtcroe:v,, O.; MoNNIER, E., Y SPENU:neurR, V., 1990: -L"evaluation comme outil de IEgiti- 15 4 La puesta en practica de la acci6n forzosamente conlleva una reformulaci6n de sus modalidades operativas en virtud de los recursos por movilizal se aun, en atenci6n al numero y a la importancia ale los objetivos todavia inalcanzados y en respuesta a las reacciones de los'destinatarios de la politica y de sus diferentes coparticipes, voluntaries o no. Con todo, en aras de sti caracter cientifico-tecnico, el sistema de representaci6n de los ejecutores adolece de una rigidez considerable; admite pocos ajustes sobre la marcha. Este hecho refuerza, en nuestra opini6n, la necesidad de concehir una iniciativa de evaluaci6n concomitante en funcibn de negociaciones, entre los tres subsistemas de actores, sobre las modalidades de secuenciaci6n de la acci6n. Sin ello, el subsistema •a ccion• no implementara mas que lo que ya sabe hacer; es decir, prescindira de consideraciones hacia ei contexto sociopolitico de la acci6n. Tenemos un ejemplo Ilamativo en el conjunto de las politicas de desarrollo del Mezzogiorno italiano (desde los anos cincuenta hasta nuestros dias). Estas siempre se evaluan ex past o ex ante, a tenor de sus resultados o de sus objetivos, pero nunca como proceso concreto de acci6n en un contexto especifico. En consecuencia, aunque tales politicas scan regularmente objeto de profundas renovaciones de acuerdos institucionales, no se arbitra mecanismo alguno de aprendizaje institucional, y una especie de fatalidad ante el fracaso se instala en el animo de la mayoria do los actores (29). LAS REACCIONls: CON17 APODERI-S, PRF_SIONFS DE LOS MFDIOS DE COMUMCAC/6N YAcTuAci6N DE LOS LOBBIES El subsistema de la -reacci6n- abarca principalmente el conjunto heterogeneo de los actores de la -sociedad civil sometidos a, o beneficiados por, la politica considerada. Este subsistema es el menos estructurado, el mas coyuntural, diriamos; basicamente, existe en estado latente. Puede ser -activado- ya por un efecto anuncio, ya por la puesta en practica de la acci6n, ya por un acontecimiento repentino (accidente, articulo en la prensa, etc.). La funda: mentaci6n de las politicas publicas reside en una definici6n de la demand social-; en otras palabras, en una identificaci6n e` interpretacibn de problemas sociales que requieren una intervenci6n de los poderes publicos. Por tant<,. el conjunto de los grupos sociales, o de las categorias de actores que disfrumation: le cas des grandes organisations internationales., en Politiques et Management Pub/i, volumen 8, n6m. 4. (29) Las evaluaciones ex ante (coste-beneficio) se cuentan por centenares. Para las evaluaciones ex post, menos frecuentes, el lector podr3 remitirse a los -estudios economicos dc la OCDE, por paises. En to que concierne a la - renovaciOn dt: acuerdos institucionales., picnscsr en las leyes relativas al Mezzogiorno de 1957, 1965... 1986; actualmente esta en curso un proyecto de referendum para modificar estas politicas. 1 55 RECUADRO NtJM. 5 ^R QUE EVALUAR DESDE ABAJO? . Cualquicr acercamiento a la evaluaci6n de las political p6blicas pane, implicita o explicitamente, de un determinado n6mero de postulados alusivos al an5lisis de las mismas. Por el coritrario, el desarrollo de las investigaciones generates sobre las political publicas deberia generar concepciones nuevas en el campo de la evaluaci6n (...). La puesta en practica de una politica nunca puede analizarse en terminos de ejecuci6n pasiva. La concepci6n meramente instrumental de la Administraci6n ha sido invalidada mediante un gran n6mero de estudios empiricos. Hay que descartar una via 6nica de implementaci6n de una politica. Cada una de las etapas se analizara como un proceso de reducci6n de hipotesis (...). Dicho proceso de reducci6n de hipOtcsis dcberfa situarse en el centro de los trabajos de evaluaci6n. La evaluaci6n tiene que aportailuz en cada una de las etapas de implementaci6n una vez estudiadas las implicaciones de las estrategias cruzadas de los diferentes actores (...). Puede suscitar interrogantes y la b6squeda de otras modalidades de funcionamiento. Tales cuestiones exigiran entonces que se busquen nuevas informaciones, las cuales vendran potencialmente a enriquecer la reflexi6n colectiva. En este sentido, la evaluaci6n se aproxima mss a una actividad de estimulaci6n del aprendizaje colectivo que a la experimentaci6n controlada de las ciencias duras. Ahora bicn, dicho proceso dc aprcndixije colectivo u tnincara si no contempla la especificidad del propio objeto de las Ciencias Sociales. En estos campos, la accibn del Estado va directamente dirigida a individuos y grupos sociales. Por tanto, el exito, la orientaci6n de las politicas p6hlicas, dependen estrechamente de c6mo interpreten, movilicen y seleccionen los productos y las reglas propuestas los grupos que, te6ricamente, son sus'benefciarios. La accibn del beneficiario es un factor productivo basico en la direcci6n de las politieassociales. El modelo burocratico que aCn impregna la organizaci6n de las politicas p6blicas se sit6a, no obstante, en las antipodal de dicha idea. En cambio, esta cuesti6n deberia servir de guia para las politicas de evaluaci6n desde abajo (...). Para que la evaluaci6n revierta en un aprendizaje colectivo, habria que it decodiflcando paulatinamente, con los actores, los mecanismos de formaci6n de los modelos de referencias de la accibn colectiva. Pero es preciso plantear la hip6tests de que no existe adecuaci6n entre el modelo de referencia propuesto y las representaciones del sector por pane de los beneficiarios. Parece importante analizar las divergencias entre el reference de las instituciones y los c6digos de los beneficiarios. Esta perspectiva presenta la ventaja de que evita la tentaci6n de evaluar una accibn p6blica en funci6n de los objetivos explicitos de quien decide que se Ileve a cabo (...). Si las politicas p6blicas no se hacen para los profesionales ni los dirigentes politicos, iacaso no habria que evaluarlas a tenor de los criterios de erfji iciamiento de aquellos a quienes van dirigidas?. Jobert, B., y Warin, Ph.: L evaluation par le bas? Actas del Seminario CERATPlan Urbano, Grenoble, 13-14 junio de 1989. Fuente. tan de una legitimidad demografica (capacidad para movilizar a las masas), o de una legitimidad econ6mica, pueden alzarse como un contrapoder eficaz y proponer nuevas definiciones de los problemas sociales (a falta de ejercer un poder compartido). En programas aun complejos, como las operaciones de Desarrollo Social de los Barrios (DSQ) (30), se han experimentado con 6xito m6todos encaminados a promover e integrar estas definiciones en la tarea de evaluaci6n. El subsistema de la reacci6n incluye tambi6n a las instancias que carecen de protagonismo en terminos de legitimaci6n o de accibn. Ante todo, son susceptibles de emitir una opini6n -de peso., dado que se remiten a una pericia especifica, o porque utilizan canales de informaci6n y medios de comunicaci6n poderosos. El papel de los periodistas y de los media puede ser considerable, aunque tambi6n los aprovechen con exito los otros subsistemas, seg6n lo ejemplifica el caso_de los acontecimientos en Rumania en 1990. Si la practica del lobbying ha alcanzado escaso desarrollo hasta el momento en Francia, existe, sin embargo, decde hace tiempo en algunas esfcras. En materia salarial, por ejemplo, patronal y sindicatos han desarrollado sus propias capacidades de pericia. De forma general, estas practicas evolucionan a partir de intereses corporativistas o sectoriales, puesto que sabemos que la sociedad civil y el Estado entran parcialmente en contacto a trav6s de las redes de los corporatismos (31). Dichas redes transforman la demanda social,bruta, llevandola mas alki de un umbral critico de relevancia politica. En este marco, las practicas de evaluaci6n no suelen estructurarse en tomb a un enfoque abierto o transversal de los problemas sociales (en el caso de Francia por to menos). No nos cabe mas que suscribir las recomendaciones de M. Viveret en lo que atane a la creaci6n de polos de evaluaci6n independientes en nombre de la sociedad civil. Tenemos que consignar, pese a todo, que el modelo americano de evaluaci6n por los lobbies no resulta inocuo desde un punto de vista democratico (lo cual llegaria a inquietar a los propios representantes politicos) (32). (30) Aludimos particularmente a la operaci6n DSQ de' la ciudad de Grande-Synthe (None), cuya evaluaci6n fue concebida y Ilevada a cabo por Helen Milet. En cuanto a la metodologia, remitimos a, 1986: Les politiques sociales trmnsversales, une ,ne:bodologie d "Evaluation de leer, effets locaux Paris, La Documentation Francaise. (31) JoBErr, B., 1985: -L'Etat en action: I'apport des politiques publiques, Revue Francaise de Science Politique, n6m. 4, vol. 35, pigs. 654-682. (32) Asi, en 1975, la mayoria de los representantes politicos y de los responsables de l a Administracibn pensaban que, de cars a concebir politicas y lograr acuerdos entre organizaciones, resultaba mas oportuno no asociar al proceso a la opini6n p6blica • (respectivamente, los porcentajes eran del 64 y 80 por 100); CRonER y TMOENG, 1975:'O, P. cit. 157 1w w "wee V o V V d V w d w LA 6tALUAL/GN I'LUHALTh7A Y LA CUL'S71)N Dl:'/. SA/3IR-//ACLR La creaci6n de instancias de evaluacion pluralista, en el marco de acciones publicas con un carscter coparticipativo, en apariencia mejoraria eficientemente la pcrtinencia del sistema de decision y del propio sistema concreto de acciOn. Apoysndose en un modo de gesti6n negociado, la evaluaci6n puede reducir cl ricsgo de acciones no contempladas o que entrar en efectos negativos irreversibles. No se trata, con todo, de una empresa fscil. Hemos de ser cuidadosos en el terra de la concepci6n y el use de los dispositivos de evaluacion. Algunos actores, especialmente quienes trabajan en funci6n del corto plazo, pueden considerar que la evaluacion es un ejercicio intelectual suplementario que reporta porn, perdiendo asi en seguida el interes por ella. Otros querrsn aduehirsela para convertirla en una herramienta de gesti6n estrategica exclusivanlente a su servicio. Algunos actores se dejarsn deslumbrar por el flujo de i nformaciones obtcnidas. Por otra pane, en la medida en que un dispositivo de evaluaci6n deli: scr animado sustancialmetlte por los propios actores, siempre tenders a calcar su sistema de informaci6n, sobre el del sistema de decision hasta fundirse progresivamente con este (lo. cual equivale a reducir l a informacion a la nada). Esta es la raz6n por la que, en las psginas anteriores, hemos intentado hacer el balance de las ultimas enseiianzas extraidas de nuestra praxis: el establecimiento de dispositivos de evaluaci6n pluralista utiles de cara a los procesos de decision, si bien conservando su entidad propia. Al nivel de nuestro acercamiento general a las politicas publicas, hemos mencionado la pluralidad de los actores, la necesidad creciente de coparticipes en la accion, la aceptacion de la ambigiiedad de las decisiones y de las acciones. Respecto a las condiciones favorables para llevar a cabo evaluaciones pluralistas, hemos subrayado la importancia de modalidades operativas como el conocimiento de los actores, la voluntad de estos en participar, la i nstauracion de un clima de confianza reciproca, etc. Pero siguen quedsndonos pendientes, de cara al futuro, muchas cuestiones: como asegurar un equilibrio adecuado en la rcprcsentaci6n de los puntos de vista; que significa el respeto a lo que los actores no suscriben; c6mo pueden ser congruentes, con l a temporalidad de las decisiones (ritmos y ciclos), los circuitos de informaciones evaluativas; cusl es el estatuto del contlicto en la evaluaci6n; c6mo l ograr que sea operativo en la evaluaci6n el concepto de sistemas de valores. Cuestiones, todas ellas, que requieren indudables perfeccionamientos metodol6gicos. CAPITULO VI IA CONCEPCION Y IA REAUZACION . DE UNA EVALUACION PLURALISTA VI-1. EL MANDATO DE EVALUACIONX LA POSICI6N DE LOS ACTORES La evaluaci6n pluralista es un espacio para la mediaci6n y la integraci6n donde se negocian distintas rejillas de interpretaci6n de la decisi6n y de la acci6n. En el seno del dispositivo de evaluaci6n quedan organizados los flujos de informaci6n; estos fomentan una reflexi6n colectiva sobre los modos de regular el proceso de decision y sobre la formaci6n de opiniones individuales fundamentadas. Por ejemplo, asi como durance el desarrollo de la evaluaci6n resuita ut6pico aspirar a que las estrategias de cada participante scan transparentes, debe negociarse c6mo se difundirsn los debates en el seno del colectivo de actores de cara al exterior. Tales negociaciones contribuyen a crear unas relaciones de confianza susceptibles de favorecer una participaci6n positiva respecto a la iniciativa de evaluaci6n y, a la vez, respecto al proceso de decision. El poder de decisi6n se reparte entre los tres subsistemas ya comentados, incluso si las decisiones de cada uno discrepan en su naturaleza y en su secuenciaci6n. El conjunto configura un sistema en el sentido de que un cambio que afecta a uno de los elementos afecta tambien a los restantes. Interesa resenar este dato, pues la inestabilidad polencial de la distribuci6n del poder de decisi6n puede perturbar profundalnente la realizaci6n de una evaluaci6n (irrupci6n de un nuevo responsable, promoci6n de un responsable, remodelaci6n ministerial, etc.) (1). En el marco de una evaluaci6n pluralista, conviene clarificar el mandato que reside en la Instancia de Evaluaci6n, coristitulda por actores que intervienen en la acci6n La instancia de evaluaci6n, estructura temporal - ad hoc, (1) Nosotros mismos hemos vivido la experiencia de ver interrumpida una evaluaci6n pluralista puesta en marcha, a titulo experimental, para un proyecto urbano de la Comunidad Urbana de Lyon. Remitimos al caso IV. 1 de la Tercera Parte. 1 58 159