Fuente: Martínez, Eduardo y Escudey, Mauricio (eds.) (1997), Evaluación y decisión multicriterio: reflexiones y experiencias, Santiago, USACH, UNESCO © 1997 EVALUACION Y DECISION MULTICRITERIO: UNA PERSPECTIVA Eduardo Martínez1 Errar es de humanos sin información precisa, ... o de tontos que sí la tienen La insistencia en la racionalización y formalización del análisis termina empobreciendo nuestro conocimiento de la realidad I. LA EVALUACION Y LA TOMA DE DECISIONES La búsqueda de la eficiencia, la productividad y la competitividad; la gestión por la calidad (total); la internacionalización de las economías y los procesos de integración regional (Tratado de Libre Comercio de America del Norte, Mercosur, etc.) están contribuyendo a la tímida introducción en América Latina de una 'cultura de evaluación' y de metodologías racionales de toma de decisiones. Hasta ahora, en la mayoría de las instituciones, programas y proyectos del sector público, de educación superior y de investigación no se ha desarrollado una cultura de evaluación; prevalece una racionalidad interna de auto-reproducción, con decisiones burocráticas y corporativas, sin una función de evaluación, y sin un juicio externo respecto a los fines, eficacia y eficiencia, capacidad, pertinencia, y calidad de los servicios y actividades. Por otra parte, los mecanismos estatales de asignación de recursos continuan operando frecuentemente en forma inercial y automática, manteniendo los subsidios a la oferta tradicional de servicios, sin una vinculación con la 'responsabilidad formal' ('responsabilización'-accountability), la calidad, el desempeño, la productividad, y los resultados. Tampoco se ha avanzado en la implantación de métodos racionales, de toma de decisiones multicriterio. Una situación similar, levemente atenuada, se observa en la mayoría de las empresas públicas y en no pocas privadas. La evaluación y la toma de decisiones contienen intrínsicamente una dimensión referida al ejercicio del poder (interno-externo) y al control. Naturalmente, las metodologías de evaluación y de toma de decisiones son implementadas en un marco de referencia, con subyacentes dimensiones conceptuales y valorativas. Las actuales transformaciones económicas, sociales, políticas, institucionales y organizativas ofrecen una oportunidad para la implantación de métodos de evaluación y de toma de decisiones, de garantia de calidad, de financiamiento asociado al desempeño. Aunque también pueden surgir nuevas formas de regulación y control político, institucional y administrativo. La evaluación y la toma de decisiones deben enmarcarse en un proceso continuo de "prospectiva–planificación estratégica": cada programa o proyecto se 1 Especialista Regional en Gestión de Ciencia y Tecnología, UNESCO (Luis Piera 1992, 11200 Montevideo, Uruguay; fax (598-2) 4132094; tel. 4132075; emartinez@unesco.org.uy) E. Martínez (1997), Evaluación y Decisión Multicriterio 2 debe analizar y gestionar como una unidad autocontenida. ¿Cuál es la evolución posible del entorno, de las variables sociales, ambientales, económicas, y tecnológicas directa y específicamente relevantes? ¿Cuál es: su misión, naturaleza, capacidad establecida (fortalezas y deficiencias), desafíos y oportunidades, potencialidades, la evolución de los campos (propios y afines) del conocimiento? Evaluación significa estimar la magnitud o la calidad de un hecho, de un proceso o producto. En consecuencia, la evaluación implica el análisis de contexto, la determinación de criterios, parámetros de referencia, variables, mediciones e indicadores, y la selección del agente evaluador. Por definición, la evaluación es relativa, está asociada a un marco conceptual/lógico de referencia, no es posible plantearla en términos absolutos. Una definición más operativa podría ser: Evaluación: proceso orientado a la toma de decisiones y a la acción, que busca determinar la pertinencia, eficiencia, efectividad, impacto y sustentabilidad del uso de recursos, actividades y resultados en función de objetivos pre-establecidos o criterios definidos. La evaluación, que puede ser 'ex-ante' o 'ex-post', constituye un proceso dinámico, técnico, sistemático, riguroso, transparente, abierto y participativo, apoyado en datos, informaciones, fuentes y agentes diversos y explícitamente incorporado en el proceso de toma de decisiones. La unidad de evaluación (evaluador) debe ser independiente de las instancias políticas y de los ejecutores e involucrados, y tener credibilidad y autonomía. Actualmente, los métodos multicriterio de evaluación se utilizan crecientemente en problemáticas muy variadas, obviamente incluyendo la evaluación de proyectos. La toma de decisiones es el proceso de convertir información en acción. Es un proceso de identificación y formulación de soluciones factibles, evaluación de las soluciones y selección de la mejor solución. Las decisiones pueden ser: estratégicas, administrativas y operativas. Los métodos de apoyo a la toma de decisiones persiguen eliminar las conjeturas improvisadas, el pensamiento no explicado, injustificado e intuitivo que subyace en la mayoría de las decisiones que se toman respecto a problemas complejos. Adicionalmente, sería útil distinguir, por su pertinencia, los siguientes conceptos: Proyecto: conjunto integrado de actividades orientadas a alcanzar objetivos y metas específicas, con un presupuesto definido, recursos asignados, personas/entidades responsables, y en un plazo determinado. Recientemente se reconoce la importancia de contar con un 'marco lógico' del proyecto para facilitar el proceso de conceptualización, diseño, ejecución y evaluación del mismo. Eficiencia: optimización de los recursos utilizados para la obtención de los resultados previstos (logro de los objetivos predefinidos). Esta noción resulta particularmente práctica ya que frecuentemente se utilizan recursos óptimamente en el logro de objetivos irrelevantes. Eficacia: contribución de los resultados obtenidos al cumplimiento de objetivos globales (de la sociedad); relevancia, pertinencia, validez o utilidad socio-económica de los resultados (objetivos predefinidos). Efectividad: generación sistemática de resultados consistentes integrando la eficacia y la eficiencia. II. LOS METODOS DE EVALUACION Y DECISION MULTICRITERIO E. Martínez (1997), Evaluación y Decisión Multicriterio 3 A principios de la década del 50, en los medios académicos estadounidenses, 2 del novel campo de la investigación de operaciones surgió el estudio sistemático acerca de las cuestiones teóricas y metodológicas de la decisión multicriterio, aunque tomando distancias de aquél, a través de la crítica de la noción de optimización. A partir de los inicios de la década del 70,3 se produjo una expansión continua del interés y los desarrollos teóricos y prácticos de los métodos de decisión multicirterio. Los métodos de evaluación y decisión multicriterio comprenden la selección entre un conjunto de alternativas factibles, la optimización con varias funciones objetivo simultáneas y un único agente decisor, y procedimientos de evaluación racionales y consistentes. Los métodos de Decisión Multicriterio Discreta se utilizan para realizar una evaluación y decisión respecto a problemas que, por naturaleza o diseño, admiten un número finito de alternativas de solución, a través de: i. un conjunto de alternativas estable, generalmente finito (soluciones factibles -que cumplen con las restricciones-, posibles o previsibles); se asume que cada una de ellas está perfectamente identificada, aunque no son necesariamente conocidas en forma exacta y completa todas sus consecuencias cuantitativas y cualitativas ii. una familia de criterios de evaluación (atributos, objetivos) que permiten evaluar cada una de las alternativas (analizar sus consecuencias), conforme a los pesos (o ponderaciones) asignados por el agente decisor y que reflejan la importancia (preferencia) relativa de cada criterio; las propiedades de una familia de criterios consistente son: exhaustividad, coherencia, no-redundancia (independencia), operacionalidad, mensurabilidad y economicidad iii. una matriz de decisión o de impactos que resume la evaluación de cada alternativa conforme a cada criterio; una valoración (precisa o subjetiva) de cada una de las soluciones a la luz de cada uno de los criterios; la escala de medida de las evaluaciones puede ser cuantitativa o cualitativa, y las medidas pueden expresarse en escalas cardinal (razón e intervalo), ordinal, nominal, y probabilística iv. una metodología o modelo de agregación de preferencias en una síntesis global; ordenación, clasificación, partición, o jerarquización de dichos juicios para determinar la solución que globalmente recibe las mejores evaluaciones, y v. un proceso de toma de decisiones (contexto de análisis) en el cual se lleva a cabo una negociación consensual entre los actores o interesados (analista -'experto'-, decisor, y usuario). La tasa (razón) de intercambio entre dos criterios (trade-off) representa la cantidad que se debe sacrificar en un criterio para obtener a cambio una unidad de incremento en otro criterio. Los métodos de evaluación y decisión multicriterio pueden ser compensatorios o no. Un método es compensatorio cuando, en la asignación de los pesos: (i) una mejora en un criterio permite compensar un deterioro en otro, o (ii) el conjunto de criterios es considerado en forma simultánea. Los métodos de Decisión Multiobjetivo se utilizan para realizar una evaluación y decisión respecto a problemas que pueden presentar un conjunto infinito de alternativas 2 3 T. C. Koopmans (1951), y H. W. Kuhn and A. W. Tucker (1951) 1st. World Conference on Multiple Criteria Decision Making (South Carolina University, U.S.A., 1972) E. Martínez (1997), Evaluación y Decisión Multicriterio 4 de solución. Las funciones objetivo (criterios) pueden adoptar un número infinito de valores (un continuo). Los métodos de evaluación y decisión multicriterio introducen una lógica de análisis con el fin de aprehender el conjunto de factores involucrados en la consecución de objetivos, y ofrecer una coherencia a las apreciaciones individuales o grupales para obtener conclusiones válidas. Dicha lógica, que debe ser simple y accesible, se contrapone al pensamiento y preferencias no explicitados, no justificados e intuitivos que subyacen en gran parte de las evaluaciones y decisiones relacionadas con programas, proyectos y actividades complejas. En general, no existe una alternativa (solución) que satisfaga y sea preferible en cada una de las funciones objetivo (criterios). Normalmente, se presenta el caso de alternativas factibles, o sea aquellas que cumplen las restricciones, que son mejores que otras en relación a algunos criterios y que son peores que otras respecto a los restantes criterios. Una alternativa dominante es superior a otra en al menos un criterio e igual en los restantes (o sea, no es superada en ninguno de los criterios). Obviamente, la identificación de una alternativa dominante resuelve 'ipso facto' el problema de decisión. Por el contrario, una alternativa dominada es inferior a otra en al menos un criterio e igual en los restantes (o sea, no supera a la otra en ninguno de los criterios). Estas soluciones pueden descartarse en problemas en que se busca la mejor alternativa, aunque no en aquellos en que se busca una ordenación del conjunto de alternativas (algunas alternativas pueden ser dominadas por otras pero no necesariamente por todas -respecto a las que podrían compararse ventajosamente). Una alternativa es eficiente o no-dominada4 cuando no existe otra alternativa que sea superior a ella en al menos un criterio e igual en los restantes (ninguna alternativa es dominante en relación a ella), es decir, o son iguales en todos y cada uno de los criterios, o la otra la supera en uno o más criterios y, a su vez, ella supera a la otra en al menos uno de los criterios restantes. La relación de dominancia definida previamente resulta útil como una primera aproximación, para la realización de un pre-análisis (de dominación), aunque, obviamente, es insuficiente. La toma de decisiones considera el conjunto eficiente de alternativas, de soluciones eficientes o no-dominadas, y busca la selección de la mejor alternativa a través de la revelación de las preferencias (subjetivas) del agente decisor. En términos estadísticos, e intuitivos, el número de alternativas eficientes crece conforme aumenta el número de criterios (con 10 o más criterios las alternativas serán casi todas no-dominadas). Los métodos multicriterio responden también a la necesidad de superar los análisis o evaluciones de criterio único (unicriterio), como el Análisis (Social) de Costo-Beneficio (AC-B). El AC-B constituye una estimación y evaluación de los beneficios netos asociados con alternativas destinadas a alcanzar un objetivo (público), particularmente el análisis sobre la conveniencia económica de emprender un proyecto de inversión. El incremento del ingreso nacional constituye el objetivo único con el cual se mide la 4 Optimo de Pareto: el estado óptimo de una comunidad se presenta cuando ninguna persona puede mejorar su situación sin que empeore la de otra (Vilfredo Pareto, 1896) E. Martínez (1997), Evaluación y Decisión Multicriterio 5 efectividad de las diversas alternativas. La utilización del AC-B, como una alternativa a la rentabilidad comercial (análisis financiero privado), surge de la necesidad de 'corregir' distorsiones en los mercados de productos y factores ocasionadas por distintos tipos de imperfecciones de mercado y políticas fiscales; el AC-B calcula los costos y beneficios de un proyecto con base en 'precios sombra' o 'precios de cuenta', que buscan superar las divergencias entre los precios de mercado y los valores sociales. El AC-B requiere la cuantificación monetaria de todos los costos y beneficios por medio de una común unidad de cuenta (numerario), aunque frecuentemente no es práctico ni posible evaluar alternativas con atributos exclusivamente en valores monetarios. Las metodologías principales son: LMST-OCDE/Banco Mundial, y ONUDI. El AC-B ha sido objeto de serias críticas (en particular sus supuestos básicos) y frecuentemente su aplicación es difícil,compleja e insegura. El AC-B ha sido utilizado en el ámbito de las grandes inversiones y decisiones del sector público y es preferido por los organismos internacionales de financiamiento, pero no es aplicable o apropiado para pequeños y medianos proyectos. Los métodos de evaluación y decisión multicriterio no consideran la posibilidad de encontrar una solución óptima. En función de las preferencias del agente decisor y de objetivos pre-definidos (usualmente conflictivos), el problema central de los métodos multicriterio consiste en: (i) seleccionar la "mejor" alternativa(s) (problema tipo ); (ii) aceptar alternativas que parecen 'buenas' y rechazar aquellas que parecen 'malas' (problema tipo ); (iii) generar una 'ordenación' (ranking) de las alternativas consideradas (de la 'mejor' a la 'peor') (problema tipo ). Para ello han surgido diversos enfoques, métodos y soluciones. Los principales métodos de evaluación y decisión multicriterio discretos son: A. Ponderación Lineal (scoring) Es un método con una fundamentación teórica ortodoxa y directa 5, que permite abordar situaciones de incertidumbre o con modestos niveles de información, y que consiste en construir una función de valor para cada alternativa. El método de Ponderación Lineal supone la transitividad de preferencias o la comparabilidad. Es un método completamente compensatorio, y puede resultar dependiente, y manipulable, de la asignación de pesos a los criterios o de la escala de medida de las evaluaciones. Es un método intuitivo y sencillo de utilizar y, por ello, ampliamente difundido. B. Utilidad multiatributo (MAUT) Para cada atributo se determina la correspondiente función de utilidad (parcial), y luego se agregan en una función de utilidad multiatributo de forma aditiva o multiplicativa. Al determinarse la utilidad de cada una de las alternativas se consigue una ordenación completa del conjunto finito de alternativas. El método de utilidad multiatributo supone la transitividad de preferencias o la comparabilidad, utiliza 'escalas de intervalo', y acepta el principio de 'preservación de orden' (rank preservation). La condición de independencia preferencial mutua entre los atributos suele aceptarse casi axiomáticamente, e implícitamente la no-interacción entre las 5 La Teoría de la Utilidad (y la Teoría del Valor) postula que un individuo puede elegir entre un conjunto de alternativas disponibles de forma que maximice su satisfacción. Ello implica que conoce cada una de las alternativas y es capaz de evaluarlas. En el caso de un individuo racional y consistente es posible definir una función de valor (determinística) o una función de utilidad (probabilística) que represente sus preferencias. E. Martínez (1997), Evaluación y Decisión Multicriterio 6 preferencias, cuando en realidad frecuentemente es cuestionable y no refleja la estructura de preferencias del agente decisor. El rigor y rígidez de los supuestos teóricos de este método, usualmente controvertidos y difíciles de contrastar en la práctica, lo que obliga a relajarlos, requiere un elevado nivel de información del agente decisor para la construcción de las funciones de utilidad multiatributo, aunque permiten abordar fluidamente cuestiones de incertidumbre y riesgo. No obstante las dificultades en su utilización, este método cuenta con una variedad de experiencias prácticas en el mundo anglosajón (Estados Unidos e Inglaterra). C. Análisis jerárquico (AHP-Analytic Hierarchy Process-Proceso de Jerarquía Analítica) El AHP descompone una situación compleja y no estructurada en sus componentes, los ordena en una jerarquía, realiza comparaciones binarias y atribuye valores númericos a juicios subjetivos (respecto de la importancia relativa de cada variable), y sintetiza los jucios, agregando las soluciones parciales en una sola solución. El AHP utiliza 'escalas de razón', no admite el principio de 'preservación de orden' (pueden producirse indeseables efectos de 'inversión de orden' -rank reversal-, aunque es posible evitarlos -Modo de Medición Absoluta o el Modo Ideal de Medición Relativa), y permite realizar un atractivo análisis de sensibilidad. Normalmente, los objetivos (criterios) son ordenados de los más generales y menos controlables a los más específicos y controlables. Es un método bastante intuitivo en su aplicación, difícilmente manipulable, posee un atractivo y robusto software de apoyo (Expert Choice), y probablemente sea el método más difundido y con la mayor gama de experiencias prácticas tanto en los Estados Unidos como en el resto del mundo. D. Relaciones de superación ('surclassement', sobreordenación, sobreclasificación, outranking) (ÉLECTRE-ÉLimination Et Choix Traduisant la REalité, PROMÉTHÉE-Preference Ranking Organization METHod for Enrichment Evaluations) Estos métodos constituyen instrumentos relativamente sencillos para obtener una preselección de grupos de alternativas (elecciones) muy amplios. El tamaño del conjunto de soluciones eficientes se reduce por medio de una partición en un subconjunto (núcleo) de alternativas 'más favorables' y otro de 'menos favorables'. Una relación de superación constituye un modelo de agregación de preferencias, y representa el caso particular de dos alternativas que son 'incomparables'. La construcción de relaciones de superación no necesita absolutamente efectuar comparaciones binarias de las alternativas, no supone necesariamente la transitividad de preferencias o la comparabilidad, utiliza escalas ordinales, es indiferentes al principio de 'preservación de orden', y no es fácilmente manipulable. Los enfoques más conocidos (Electre) se basan en los conceptos de 'concordancia' y 'discordancia', y otros se sustentan en el de 'tasas de sustitución' o en una familia de funciones de utilidad. El modelo de la relación de superación consiste en admitir para cualquier par de alternativas que una 'supera' a la otra cuando son satisfechas una condición de concordancia y una de discordancia (tests, índices). La concordancia cuantifica el 'grado de dominación' de la alternativa A sobre la alternativa B; la discordancia cuantifica el 'grado de no-dominación' de la alternativa B sobre la A. Conforme al nivel de incertidumbre, existen relaciones de superación determinísticas y 'difusas' (fuzzy). Los métodos de superación han surgido de la Escuela Francesa, y su uso también es favorecido en Bélgica, Holanda y el resto de Europa. REFERENCIAS E. Martínez (1997), Evaluación y Decisión Multicriterio 7 BARBA-ROMERO, Sergio (1991), Evaluación multicriterio de proyectos; en Eduardo Martínez (ed.)(1993), Ciencia, tecnología y desarrollo: interrelaciones teóricas y metodológicas (Nueva Sociedad/CEPAL/UNESCO/UNU/CYTED, Caracas, 1994, pp. 455-507) BARBA-ROMERO, Sergio y Jean-Charles Pomerol (1996), Decisiones multicriterio: fundamentos teóricos y utilización práctica (Universidad de Alcalá, España, 1997, pp. 5-36) BRANS, Jean-Pierre and Bertrand Mareschal (1992), How to decide with PROMETHEE DUCKSTEIN, L. and A. Goicoechea (1993), Value and utility concepts in multicriteria decision making, in Janos Bogardi and Hans-Peter Nachtnebel (eds.) (1993), Multicriteria decision analysis in water resources management (UNESCO, Paris, 1994, pp. 63-85) FLAMENT, Michel (1991), Evaluación multi-criterio de proyectos de inversión en ciencia y tecnología; en Eduardo Martínez (ed.)(1992), Estrategias, planificación y gestión de ciencia y tecnología teóricas y metodológicas (Nueva Sociedad, CEPAL/UNESCO/UNU/CYTED, Caracas, 1993, pp. 319-361) HIPEL, Keith (1992), Multiple objective decision making in water resources (Water Resources Bulletin, vol. 28, no. 1, Feb. 1992, pp. 3-12) KOOPMANS, T. C. (1951), Analysis of production as an efficient combination of activities; in T. C. Koopmans (ed.) (1951), Activity analysis of production and allocation (J. Wiley, U.S.A., pp. 33-97) KUHN, H. W. and A. W. Tucker (1951), Nonlinear programming; in J. Neyman (ed.) (1951), Proceedings of the 2nd. Berkeley Symposium on mathematical statistical and probability (University of California Press, U.S.A., pp. 481-91) MARTINEZ, Eduardo (ed.) (1994), Ciencia, tecnología y desarrollo: interrelaciones teóricas y metodológicas (Nueva Sociedad/CEPAL/UNU/UNESCO/CYTED, Venezuela, 1994, 523 p.) NACHTNEBEL, Hans-Peter (1993), Comparison of multi-criterion modelling techniques and guidelines for selection, in Janos Bogardi and Hans-Peter Nachtnebel (eds.) (1993), Multicriteria decision analysis in water resources management (UNESCO, Paris, 1994, pp. 203-234) NACHTNEBEL, Hans-Peter (1993), Multicriterion decision making methods with ordinal and cardinal scales: Electre I-III, in Janos Bogardi and Hans-Peter Nachtnebel (eds.) (1993), Multicriteria decision analysis in water resources management (UNESCO, Paris, 1994, pp. 113-138) ROMERO, Carlos (1992), Teoría de la decisión multicriterio: conceptos, técnicas y aplicaciones (Alianza, España, 1993, caps. 1-2, pp. 19-45) ROY, Bernard et Denis Bouyssou (1993), Aide multicritère à la décision: méthodes et cas (Economica, Paris, 699 p.) SAATY, Thomas (1994), How to make a decision; in Thomas Saaty and Luis Vargas (eds.) (1994), Decision Making in economic, political, social and technological environments (RWS/University of Pittsburgh, USA, pp. 1-25) SAATY, Thomas (1996), Toma de decisiones para líderes (RWS, Estados Unidos, 1997, pp. 21-42) STAKHIV, Eugene (1992), Does choice of multicriteria method matter ? An experiment in water resources planning ? (Water Resources Research, vol. 28, no. 7, Jul. 1992, pp. 1767-1779) TECLE, A. and L. Duckstein (1993), Concepts of multicriteria decision making, in Janos Bogardi and HansPeter Nachtnebel (eds.) (1993), Multicriteria decision analysis in water resources management (UNESCO, Paris, 1994, pp. 33-62) VARGAS, Luis (1994), Comparison of three multicriteria decision making theories: the Analytic Hierarchy Process, multiattribute utility theory and outranking methods (University of Pittsburgh, USA, photoc., 11 p.) YI-XIANG, Wei and Wang Xiao-Yuan (1989), Application of AHP in the evaluation and selection of the research projects applied to science foundations (A.I.T., Thailand, 1989, 13 p.)