Cada institución tiene su historia y construye concretamente sus

IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
IX CONGRESO INTERNACIONAL DEL CLAD SOBRE LA REFORMA DEL ESTADO Y DE LA ADMINISTRACIÓN PÚBLICA
PANEL: ¿ Hacia Adónde va la Modernización y el Cambio en la Administración Pública ?
Hacia un nuevo paradigma en la evaluación de la gestión pública:
mecanismos e indicadores institucionales
Roberto Avalos Aguilar 1
México, D.F., agosto de 2004
Introducción
El sector público de manera permanente tiene que enfrentar una serie de transformaciones, como
resultado de los debates en torno al grado de participación del Estado en las economías. El perfil de la
administración pública tiene un matiz peculiar desde la década de los 80. El cambio y la innovación de
las prácticas administrativas en el aparato público, son los ejes rectores de la nueva visión de la
administración pública. La administración pública va más allá de la propia estructura organizacional,
abarcando el proceso y resultado de las políticas públicas (Lahera, 1994). Cada institución tiene su
historia propia y construye concretamente sus formas y contenidos que deben ser respetados. En el
diseño de la regulación y de la evaluación cada institución deberá someterse al cumplimiento de las
normas oficiales y a los criterios, indicadores y procedimientos generales, pero, al mismo tiempo,
ejercitar su libertad para construir procesos de evaluación que correspondan a objetivos y necesidades
específicas. A parte de eso, la evaluación debe servir de instrumento para aumentar la conciencia sobre
la identidad y, por tanto, las prioridades y potencialidades de cada institución.
Se debe reconocer la necesidad e importancia de la evaluación institucional como elemento de autogestión las instituciones modernas ayudan a garantizar mayor transparencia para la sociedad del
cumplimiento de su misión, bien como ofrecer a la comunidad interna opciones alternativas en el
proceso de reflexión y transformación de su propio proyecto institucional. Por lo anteriormente
señalado, este trabajo tiene como objetivos: conocer y analizar diversos enfoques sobre la evaluación
de la gestión pública: Retos y Perspectivas; explicar la experiencia mexicana en instituciones
gubernamentales; comparar la evaluación aplicada con la normatividad inducida por la OCDE.;
recomendar criterios generales de evaluación con validez y criterios de carácter universal; y analizar la
propuesta de un modelo de evaluación gubernamental por medio de indicadores. Este documento se
compone de cinco partes. En la primera, se ofrece un diagnóstico, análisis y reflexión de las
aportaciones recientes en el campo de la evaluación gubernamental; en la segunda se expone una
metodología para la evaluación de la gestión pública; la tercera parte aborda los indicadores
institucionales como instrumentos para realizar la evaluación de la acción gubernamental; la cuarta
parte señala los principales criterios para la construcción de indicadores institucionales; y la quinta
parte analiza las dimensiones a valorar por medio de indicadores. El documento termina con un tópico
en el que a manera de conclusión se realizan sugerencias y recomendaciones para futuros trabajos de
naturaleza similar.
•
Advertencia Metodológica
Este documento está basado principalmente en referencias bibliográficas tanto nacionales como
extranjeras, el enfoque del artículo es básicamente teórico, y en algunos puntos, tiene un cariz
instrumental, que le imprime las experiencias recogidas por el propio autor. El objetivo de éste es
1
Doctor en Administración Pública por la Universidad de Alcalá de Henares, España; Coordinador del Programa de Maestría en
Administración Pública de la E.S.C.A. del Instituto Politécnico Nacional; Miembro del Sistema Nacional de Investigadores; Asesor de la
Contraloría Interna de la Cámara de Senadores del H. Congreso de la Unión. Catedrático e Investigador. Coordinador Administrativo del
Secretariado Técnico de Planeación, Comunicación y Enlace de la Secretaría de Economía.
1
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
contribuir al debate teórico en torno al papel que cumple la administración pública, haciendo énfasis en
el cambio y la innovación organizacional, con el fin de responder a las nuevas demandas
administrativas y ciudadanas en torno a investigar y proponer nuevas formas de evaluación integral de
la gestión pública considerando para ello diversos mecanismos e indicadores institucionales. Como
objetivos específicos, se tiene la intención de ofrecer un proceso de análisis y debate sobre programas
y/o proyectos institucionales en el contexto socio-político-económico y cultural, el hecho de
suministrar apoyos para la toma de decisiones que favorezcan el cumplimiento eficaz de dichos
programas y/o proyectos delineados para cada institución; Analizar la eficiencia, la eficacia y la
relevancia social y científica de los programas y/o proyectos institucionales y promover y estimular la
implantación de procesos evaluativos en todas las instancias de la organización a efecto lograr la autogestión, el perfeccionamiento y articulación continua, en la búsqueda de mejorar la calidad de las
funciones que se desempeñan.
•
Referencias Teórico-Metodológicas de la Evaluación Institucional
En este tópico se señalan algunas referencias que buscan imprimirle un soporte conceptual al proceso
de evaluación institucional, por tanto, se propone un evaluación orientada para la auto-gestión (Grego,
1999). Esa propuesta metodológica se basa en tres enfoques teóricos de evaluación: el modelo de
evaluación para el proceso de toma de decisiones, de orientación cuali-cuantitativa, propuesta por
Srufflebeam y Webster (1991): el paradigma de evaluación institucional, conforme proposición de
Mac Donald (1975) y Elliot (1991); y el paradigma de evaluación institucional critica y
transformadora de Kemmis (1989). El enfoque de evaluación orientada para la toma de decisiones
debe enfatizar la inclusión de todos los participantes del proceso evaluativo, tales como las distintas
instancias administrativas de carácter sustantivo, adjetivo y técnico administrativo, aparte de consejos
deliberativos y asesores, los cuales deben decidir lo que evaluar y como utilizar los resultados de
evaluación. Entendida como un servicio de información para toda la comunidad sobre las
características de su trabajo y se sus proyectos institucionales, la evaluación tiene como principal
ventaja influir decididamente en la comunidad que está vinculada a la institución, a usar la evaluación
de modo continuo y sistemático en sus esfuerzos de planear e implementar proyectos y programas
(Stufflebeam y Webster, 1991).
La metodología de evaluación institucional enfatiza la relevancia de la información para los sujetos
efectivamente interesados en los programas evaluados, los cuales serán por ella afectados; y de la
utilidad de los resultados generados por ella para todos los interesados. Para garantizar la relevancia de
las informaciones en ese enfoque, se da poder a los diferentes grupos participantes para decidir que
informaciones deben ser recopiladas, lo que garantiza el envolvimiento de una diversidad de
prospectivos usuarios en el planeamiento y en la conducción del estudio (Weiss, 1989). El presupuesto
es que esa forma de participación efectiva, de decisión sobre lo que evaluar, tiende a aumentar el
compromiso de los participantes en la utilización de los resultados de evaluación. En la perspectiva
critica y transformadora, la evaluación es extendida como un proceso que tiene por fin contribuir de
forma continua, orgánica y reflexiva para el debate y la intervención en proyectos y programas
institucionales. Cuando se busca dar cuenta del análisis y transformación en programas de éste tipo, se
verifica que la evaluación es un proceso complejo, no apenas por las dificultades instrumentales, pero
principalmente por las cuestiones que suscita, que necesitan de discusión y evaluación. La evaluación
significativa debe obligar a levantar las grandes cuestiones sobre los fundamentales temas de las
instituciones gubernamentales e impide responderlas, atribuyéndoles juicio y valor. (Dias Sobrinho,
2000). Los resultados de esa fase formativa y reflexiva interna deberán ser con-substanciados en
informaciones, elaborados por los responsables de la sistematización de resultados de la evaluación,
los cuales deben apoyar a los evaluadores externos – en el diagnóstico de la cualidad del trabajo
2
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
institucional – en la revisión critica y transformadora de políticas, programas y proyectos
institucionales incluyendo el propio proceso de evaluación racional institucional.
I.
ANÁLISIS Y REFLEXIÓN DE LAS APORTACIONES RECIENTES EN EL CAMPO
DE LA EVALUACIÓN INSTITUCIONAL GUBERNAMENTAL
El establecimiento de un sistema de evaluación institucional para la gestión pública deberá tener como
requisito fundamental el funcionamiento adecuado de una serie de condiciones básicas sin las cuales su
éxito puede ser muy relativo. En tal sentido, se destacan las siguientes:
a.
La existencia de un grupo coordinado de políticas económicas y sociales emanadas de un plan de
acciones identificadas y programadas a mediano plazo. Estas conforman la esencia del plan de
gobierno y deben ser intrínsecamente coherentes constituyendo la base de las políticas públicas a
instrumentar a través de las acciones presupuestarias anuales.
b.
Desarrollo adecuado de la programación presupuestaria que traduzca los objetivos de las políticas
públicas en perspectiva anual y de mediano plazo y que establezca anualmente una relación
conveniente entre todos los elementos involucrados, es decir: metas, volúmenes de trabajo,
recursos reales y recursos financieros. Es importante destacar la necesidad de una derivación
coherente entre políticas globales, sectoriales, públicas y presupuestarias y su transformación en
metas, que puedan ser medidas y evaluadas oportunamente, en función de su impacto sobre los
sectores sociales y económicos hacia las que están dirigidas.
c.
Incorporar sistemas de información adecuados, ya que la disponibilidad de estadísticas confiables
y oportunas a nivel institucional, sectorial y global es de primordial interés en todo el proceso.
Desde una perspectiva cuantitativa, un sistema de evaluación requiere de información detallada
que permita realizar mediciones a todos los niveles y que reflejen tanto las variables reales como
su expresión financiera.
d.
Actitudes favorables de los empleados en todos los niveles de la programación y ejecución. Ello
significa que la puesta en marcha del sistema de seguimiento y evaluación presupuestaria exigirá
en muchos casos un cambio de mentalidad de los funcionarios públicos y especialmente de
aquellos que tienen funciones directivas. En este cambio, los conceptos de eficiencia y eficacia
son un componente altamente significativo, impulsando al análisis crítico de actitudes y
comportamientos, lo cual permitirá decidir con oportunidad y rapidez las acciones correctivas a
aplicar.
1.1
Criterios de Medición de Resultados
La medición de la gestión es un requisito de la técnica de la formulación presupuestaria, y permite
cuantificar los resultados de los procesos de gestión, de cara a la sociedad en su conjunto, que es quien
aporta recursos económicos a la gestión del Estado a través de sus impuestos, y de los usuarios en
particular. En la moderna gestión pública, el concepto de servidor público, va tomando cuerpo cada vez
con mayor fuerza. Los contribuyentes desean conocer a donde van sus impuestos, y como éstos le son
revertidos en servicios públicos: seguridad ciudadana, educación, salud, vivienda, servicios
agropecuarios e industriales, servicios turísticos, etc. En la técnica del Presupuesto por Programas y
Resultados se considera lo anterior como esencial, vinculando la asignación de recursos con los
resultados y permitiendo hacer registros de indicadores de gestión en términos de eficiencia y eficacia
de dichos resultados. También permite, en el ámbito de los organismos identificar indicadores de
gestión sobre la base de "gastos por unidad de medida" de las metas y de desempeño de los recursos
humanos y materiales (eje: tiempo médico por consulta ó toneladas de cemento por km. de carretera
construida). Por otra parte, los planificadores de las políticas públicas se sirven de esos indicadores
3
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
para tener elementos objetivos a la vista para evaluar la ejecución pasada y proyectar nuevas políticas a
mediano plazo corregir aquellas cuyos resultados no son satisfactorios para la gestión del Estado. La
evaluación institucional permitirá de esta manera:
•
•
•
1.2
Facilitar la toma de decisiones
Generar las bases para la estimación de los recursos necesarios para producir los bienes y
servicios en cada institución.
Analizar la eficiencia y eficacia de la gestión pública.
¿Cómo Medir los Resultados Institucionales ?
Las instituciones deberán desarrollar una serie de acciones para generar cambios cualitativos en la
ejecución de las políticas dirigidas al sector que atienden en el país. Se han impulsado cambios
programáticos y un nuevo diseño y evaluación de procesos y programas para aumentar la eficiencia,
eficacia y pertinencia del quehacer institucional, con el propósito de consolidar una administración que
se conduzca con honestidad, transparencia y suficiencia. Para ello, se deberán proponer consolidar una
estructura racional y moderna, basada en el desarrollo humano especializado y en procedimientos
administrativos simplificados y flexibles, para alcanzar los fines institucionales y para fortalecer la
racionalidad y eficiencia en la consecución de sus metas.
La evaluación de la gestión pública deberá ser entendida como una medida importante que
complemente, fortalezca y oriente los procesos de planeación, seguimiento y control de las políticas
gubernamentales. Asimismo, deberá permitir conocer la forma, calidad y oportunidad con que son
atendidas las demandas económicas, políticas y sociales del país. En consecuencia, la evaluación no
debe ser un objetivo en sí misma, sino que adquiere sentido y dimensión en la medida en que actúa y
apoya el desarrollo adecuado de los programas institucionales. Su operación comprende la generación
de información, el análisis de la misma y crea las condiciones para favorecer la toma de decisiones.
Estas funciones enfatizan su carácter dinámico y continuo, que permite mejorar los procesos y recabar
información útil para identificar debilidades y fortalezas de los programas, lo que se traduce en su
reformulación, transformación y mejoramiento. La evaluación integral conlleva el desarrollo de un
sistema que promueva la transparencia de las acciones y la rendición de cuentas, como un imperativo
ético que debe estar presente en toda política de gobierno. La sociedad tiene derecho a ser informada y
a exigir la rendición de cuentas y las instituciones sociales tienen la obligación de crear y estimular los
mecanismos que garanticen este derecho.
La dinámica del cambio exige consolidar un gobierno y una administración moderna que avancen en la
erradicación de vicios y simulaciones, que promuevan mecanismos de atención a las necesidades
materiales, sociales, políticas y culturales de la población y, en particular, que atienda las demandas y
expectativas que debe cubrir cada institución. Por tal razón, la institución deberá promover un Sistema
Integral de Evaluación que permita mejorar la acción del gobierno dirigida a este sector, donde se
definan prioridades y se conozcan los logros alcanzados, las insuficiencias más notables y los recursos
utilizados en el desarrollo de los programas, para impulsar procesos de mejora continua en las
organizaciones y garantizar un mayor impacto de las acciones. Esto dará como resultado estrategias y
líneas de acción articuladas y horizontales que engloben el quehacer institucional y de la sociedad en el
corto, mediano y largo plazos, basadas en una institucionalidad que norme, coordine e impulse
programas operados a través de todas las estructuras del Estado y de la participación decidida de las
organizaciones sociales.
1.3
Mecanismos para una Evaluación Integral
Esta perspectiva integral de la evaluación permitirá sumar esfuerzos tanto en el diseño de políticas
4
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
como en la operación y el análisis de los resultados, para que a través de acciones incluyentes se
atiendan en mayor medida las demandas, aspiraciones y expectativas de la población objetivo que
atiende la institución. Para hacer congruente el carácter de las acciones institucionales, es necesario
diseñar y operar un Sistema de Evaluación Integral que considere la participación conjunta de los
diversos actores sociales, expresados en las dependencias de los distintos niveles de gobierno, las
organizaciones sociales y las distintas personas directamente relacionadas como sujetos de las políticas
institucionales. La evaluación en su dimensión integral se debe convertir así en un ejercicio analítico y
de reflexión que explicará los avances, resultados e impactos obtenidos, en función de los factores que
propiciaron o impidieron su desarrollo y construirá elementos para valorar el cumplimiento de metas,
objetivos y funciones institucionales. Este sistema integral que se propone sobre los programas
orientados al desarrollo y bienestar de la población objetivo deben atender los diversos programas
institucionales y además reunir los tres objetivos básicos:
1.4
a.
Desarrollar un instrumento de análisis, planeación y evaluación del quehacer institucional
dirigido a la población objetivo, que permita fortalecer los trabajos de coordinación,
articulación, integración y supervisión de los programas y de las políticas institucionales.
b.
Operar un instrumento de evaluación que permita cuantificar los avances cuantitativos y
cualitativos de los programas y construir información confiable y oportuna relativa a la
cobertura, la calidad de los servicios y el impacto de los programas y las políticas orientadas
a la población objetivo.
c.
Promover mecanismos de comunicación y de información que permitan desarrollar procesos
de mejora continua, con la participación del entorno público y privado de las tres instancias
de gobierno, las dependencias y organizaciones sociales que operan y coordinan programas
dirigidos a la población objetivo. Esto impulsará una cultura de la evaluación integral de los
programas y proyectos que integran las políticas y programas institucionales.
Carácter Social y Participativo de la Evaluación de los Programas y Políticas
Institucionales
El carácter participativo de la evaluación debe ser el resultado de la intervención directa de las
instancias y responsables de la operación de los programas, no sólo suministrando información, sino
participando en la reformulación de los procesos, en la obtención y análisis de la información y en la
elaboración de informes y recomendaciones. La política integral de la institución requiere, además,
ampliar el acercamiento entre la población objetivo y las instituciones sociales para operar mecanismos
de participación social que garanticen una evaluación participativa, sistemática e integral que impulse
la articulación de esfuerzos institucionales y de la sociedad civil. Todo ello en un esquema de acción
que promueva la corresponsabilidad en las acciones y la inversión de recursos financieros, materiales y
humanos, suficientes y necesarios para la gestión y operación de programas, proyectos y servicios,
orientadas a satisfacer las demandas más sentidas de la población objetivo. La participación de los
diversos actores sociales en las tareas de control, seguimiento y evaluación del programa institucional
sujeto de la evaluación, otorgará un sentido dinámico e integral a las responsabilidades públicas, al
posibilitar el cumplimiento de las actividades planeadas y el registro de los resultados alcanzados en el
corto, mediano y largo plazos.
1.5
Mecanismos de Participación para la Evaluación de los Programas Institucionales
Los principales mecanismos de participación que deberán impulsar las instituciones, mediante el
desarrollo de los programas y proyectos para los efectos del proceso evaluador son:
1. Reuniones de trabajo interinstitucionales, donde se analicen los avances, logros y problemas
5
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
más relevantes a que se enfrentan la operación y evaluación de las políticas y programas de la
población objetivo. En esta acción se determinarán las estrategias de observación, registro,
sistematización y análisis de la información generada por la operación de los programas.
2. Elaboración de un manual de procedimientos de evaluación, donde se determinen las
características de la misma y de los formatos para sistematizarla. Se establecerán también las
líneas de comunicación y de relaciones verticales y horizontales entre las dependencias y
organizaciones, para garantizar el cumplimiento de metas, compromisos y responsabilidades.
3. Integración de grupos de trabajo en coordinación con el Consejo de Seguimiento de Proyectos y
Programas de la institución, para analizar el avance y logro de objetivos de los programas y
proyectos y recabar las sugerencias y propuestas de parte de la población objetivo para
reformular y fortalecer las acciones institucionales.
4. Organización de foros de análisis de desarrollo y cumplimiento programático de los objetivos y
metas de los programas y proyectos, en la medida de lo posible y de acuerdo a las condiciones
de cada nivel de gobierno que cubran los programas institucionales.
5. Realización de reuniones de trabajo con los altos directivos de la institución, para informar de
los avances y logros alcanzados en la operación de los proyectos y programas que impulsa,
mediante los distintos programas y proyectos.
6. Elaboración de informes y recomendaciones a los órganos e instancias correspondientes, para
impulsar los procesos de mejora continua que permitan una mayor eficiencia, eficacia,
cobertura e impacto de los programas.
1.6
Determinación de Indicadores para una Evaluación Integral
Para favorecer el establecimiento de compromisos y de acciones comunes de las diversas dependencias
y organizaciones se programarán reuniones de trabajo donde se analicen, discutan y propongan los
elementos básicos para la construcción conjunta y consensuada de indicadores de tipo cuantitativo y
cualitativo, que reflejen la naturaleza y los alcances de los programas y proyectos que se operan en los
ámbitos de desarrollo de las condiciones que se atienden con la población objetivo. Una tarea
importante y de amplia participación será la selección y definición de los indicadores, por cada uno de
los objetivos rectores y programas de acción, de acuerdo con la definición de metas y a los
compromisos asumidos por las dependencias y organizaciones en la operación de los proyectos.
Adicionalmente es necesario establecer otros tipos de indicadores para integrar un sistema integral que
cumpla con los propósitos antes señalados. Entre otros, podemos enumerar:
i.
Indicadores de metas intermedias, procesos y recursos que midan el desempeño y avance de
los proyectos y programas de carácter interinstitucional y social.
ii.
Indicadores de desempeño que permitirán evaluar los resultados en términos de calidad,
costos unitarios y pertinencia de los servicios. También medirán los efectos positivos que
las acciones generen en la sociedad y en la población que se atiende mediante los programas
institucionales, harán visibles las insuficiencias y las inconsistencias y apoyarán una
adecuada toma de decisiones para el ajuste de las políticas y programas dirigidos a la
población objetivo.
iii.
Indicadores de gestión que proporcionarán información sobre las funciones y procesos
operativos con los que trabajan las organizaciones y cuantificarán avances de los programas
6
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
y su aportación al logro de los objetivos. También aportarán información sobre la calidad
con la que se están otorgando los servicios, en relación con las necesidades y expectativas
que manifiesta la población objetivo.
Estos indicadores buscarán la alineación con los propuestos, en su oportunidad por el programa
institucional en cuestión y que forman parte del Sistema Institucional de Indicadores, para responder a
las expectativas de la población objetivo.
1.7
Dimensiones a Evaluar en los Programas Institucionales
Las dimensiones a evaluar en la medida de lo posible y de acuerdo con las características de los
indicadores son:
•
Impacto, donde se valorará el cumplimiento de los objetivos y prioridades de los programas,
permitiendo cuantificar el alcance de objetivos políticos y sociales.
•
Cobertura, que medirá el alcance de los beneficios obtenidos por los jóvenes, en relación con el
universo potencial de usuarios.
•
Eficiencia, para cuantificar los costos unitarios y la productividad, para estar en posibilidades de
evaluar la racionalidad en el uso de los recursos financieros, materiales así como el área de
personal.
•
Calidad, donde se expresará en qué medida los servicios o productos, derivados de los
programas intersectoriales, satisfacen las necesidades de la población objetivo que se atiende
mediante los programas y proyectos institucionales.
Lograr una gestión más eficiente y comprometida con los resultados implica realizar transformaciones
importantes en el funcionamiento de las instituciones públicas. Se necesita, entre otras cosas,
desarrollar capacidad de gestión estratégica, establecer en un marco participativo, metas posibles de ser
medidas y evaluadas, y comprometer a las distintas instancias con una gestión de mejor calidad. Una de
las herramientas disponibles para desarrollar una gestión orientada a los resultados, es la medición y
evaluación del desempeño a través de indicadores. Por lo anteriormente señalado, un sistema de
indicadores que recopile información que permita dar seguimiento sobre una base regular y sistemática
al desempeño de las instituciones públicas, posibilita mayor eficiencia en la asignación de recursos
financieros, incrementa la autonomía y responsabilidad de las autoridades superiores a efecto de apoyar
el proceso de toma de decisiones, y ayuda a mejorar la coordinación entre los distintos niveles del
Estado.
II.
DEFINICIÓN DE UNA METODOLOGÍA PARA LA EVALUACIÓN DE LA GESTIÓN
PÚBLICA
El diseño de modelos de evaluación integral de carácter institucional, ha de ser resultado de un trabajo
continuo y permanente de investigación. Como un aspecto más novedoso la propuesta de una
metodología estándar deberá incorporar la evaluación de los elementos cualitativos del o los programas
institucionales y la forma como éstos han contribuido a los objetivos específicos de cada institución. En
este sentido, todo proceso de evaluación debe ser asumido por los propios gestores del programa como
algo fundamental de su trabajo diario, no como una obligación que viene impuesta e inevitable.
Tampoco deberá ser abordada desde un punto de vista de control o fiscalizador, sino como una etapa
más del proceso de planificación, que de garantías de que lo que se va a hacer, lo que se está haciendo,
o lo que ya se ha terminado, ha cumplido los objetivos que se habían marcado.
7
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
En primer lugar se debe hacer una reflexión sobre el papel de la evaluación en el ciclo lógico de la
planificación, y los distintos tipos de evaluaciones en función de los objetivos que se persigan. A
continuación se revisa la necesidad y obligación de realizar la evaluación en el marco institucional. A
continuación se describe la metodología adoptada para la evaluación de los programas institucionales,
de acuerdo con la experiencia acumulada; a partir de ello se sugiere la construcción de un Modelo de
Evaluación Institucional. Se intentará profundizar posteriormente en los aspectos metodológicos que
permiten conseguir la valoración objetiva incluso de elementos difíciles de medir, y en concreto su
aplicación a la evaluación de los programas institucionales.
2.1
BASES DE LA EVALUACIÓN: Cultura y Lógica de la Evaluación
Es necesario desarrollar una cultura de la evaluación que conduzca a sistematizar y ordenar la
información para mejorar los procesos de toma de decisiones. Esto exige, en primer lugar, entender qué
es la evaluación, como parte del proceso cíclico de planificación, distinguiéndola de otros significados
que tradicionalmente se le han asociado (fiscalización, control, auditoría).
PROCESO DE PLANIFICACIÓN: CICLO DE UN PROGRAMA DE DESARROLLO
Fuente: Elaboración propia
En la planificación se analizan, definen y diseñan explícitamente las distintas fases del proceso que nos
conducirán a modificar de forma más o menos amplia la realidad. Estas fases, que son concebidas
como pasos progresivos y necesarios, forman parte de un proceso cíclico que se retroalimenta de la
información obtenida de la evaluación sistemática. La evaluación, como parte del proceso de
planificación, responde a la necesidad de poner en valor los resultados alcanzados y la identificación de
los factores que han dificultado la consecución de los objetivos propuestos inicialmente, con el fin de
mejorar futuras planificaciones. No deberá ser confundida con el control de la gestión (fiscalización) o
la auditoría (externa o interna), mecanismos centrados en el análisis del uso de los recursos financieros
disponibles y de los procedimientos legales o administrativos, respectivamente. La evaluación supone
tener en cuenta una serie de aspectos:
8
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
•
•
•
•
•
•
•
•
Valorar el costo de oportunidad que existe.
Confrontar los objetivos de actuación con los resultados alcanzados (eficacia).
Confrontar las realizaciones en relación con los recursos empleados (eficiencia).
Medir, si es posible, los efectos negativos y positivos, con una metodología clara, analítica y
conocida.
Es un proceso de investigación y razonamiento destinado a asistir a los responsables de la
toma de decisiones, a fin de que realicen una elección racional.
Es una forma de hablar en un lenguaje común para comparar distintos programas y proyectos.
Obliga a recoger mucha información sobre el programa y sistematizarla para su análisis.
En definitiva, es un procedimiento para mejorar y ayudar a la toma de decisiones.
La evaluación tiene por tanto un enfoque eminentemente práctico, y su verdadera utilidad reside en la
información generada para mejorar la toma de decisiones sobre actuaciones en marcha o futuras. No
cabe la menor duda de que, en la evaluación de los programas institucionales, la sistematización y
articulación de instrumentos de análisis y seguimiento, deben ser elementos indispensables para la
puesta en valor de los logros conseguidos, tanto desde un punto de vista cuantitativo, como cualitativo.
2.2
Tipos de Evaluación
Para llevar a cabo cualquier evaluación es imprescindible la definición de los objetivos que se
pretenden alcanzar, así como diseñar una metodología que responda a las necesidades existentes, al
momento en el que se aplique, a sus destinatarios, y a los propios evaluadores. A continuación se citan
las cinco cuestiones básicas que determinan el tipo de evaluación a realizar: ¿Quién evalúa?, ¿Qué se
evalúa?, ¿Para quién se evalúa?, ¿Cómo se evalúa?, ¿Cuándo se evalúa?.
2.2.1 Quién la realiza
Según la pertenencia o independencia del evaluador a la organización responsable de la puesta en
marcha y ejecución del programa, se hablará de autoevaluación o evaluación externa. Cuando el equipo
técnico que realiza la evaluación forma parte del proceso evaluado, se consigue como valor añadido de
la misma la participación real de los actores involucrados en el proyecto, que se traduce en una mayor
eficacia a la hora de corregir los errores detectados y reconducir los procesos. En otras circunstancias,
cuando lo que se pretende asegurar es la independencia del evaluador al proceso evaluado, es
recomendable recurrir a la evaluación externa.
2.2.2 Cuándo se realiza
Las Evaluaciones a Priori (Ex_Ante) tienen por objeto analizar la coherencia y pertinencia del
programa/proyecto en el momento de la planificación. Ayuda a preparar el plan de desarrollo y facilita
su aplicación, precisando los objetivos y analizando la pertinencia del programa en relación con las
necesidades y la repercusión prevista.
Sin embargo, cuando la evaluación se desarrolla en un punto intermedio de la ejecución del programa
(Evaluación Intermedia), se analizan fundamentalmente los resultados de las primeras intervenciones,
de acuerdo con los plazos y medios previstos, y los objetivos propuestos inicialmente. Contribuye, en
caso de ser necesario, a tomar decisiones para la reformulación y reconducción del programa
institucional. Por último, la valoración de la eficacia y eficiencia de las intervenciones y su impacto se
consigue con la Evaluación Final (Ex_Post), así como la conclusión general sobre la forma como se ha
contribuido a objetivos más amplios de cohesión económica y social. Se analizan los factores de éxito o
fracaso de las actuaciones, así como en las realizaciones y resultados, incluida la continuidad
9
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
(durabilidad) de los mismos. La Evaluación es Continua realizada a lo largo del ciclo del
programa/proyecto, tiene carácter multidimensional y cuenta con la participación de las personas
evaluadas. Se considera un elemento más de la programación, centrándose en el seguimiento de los
procesos, y dotándose de medios sistemáticos para la recogida de información (informes periódicos,
comisiones de seguimiento, dinámicas participativas, etc.).
2.2.3 Cómo se realiza
Cuando la evaluación está dirigida a la integración de diferentes sectores y niveles de información es
denominada Evaluación Global. Su resultado es el establecimiento de relaciones de causalidad para la
determinación de los factores de éxito o fracaso del programa, en el contexto socioeconómico más
amplio. Por el contrario, es Sectorial cuando se centra en alguno de los aspectos sectoriales del
programa, siendo por tanto, parcial.
2.2.4 Para quien se realiza
La orientación técnica, institucional, financiera u organizativa de los indicadores y métodos de
evaluación, vienen determinados por la utilidad de la misma. Así por ejemplo en una evaluación
técnica, se analizan los distintos aspectos de carácter técnico que tienen importancia en el diseño y
ejecución del programa: tamaño físico de la zona a evaluar, disposición y localización de servicios, la
tecnología a emplear, normas técnicas aplicadas a las condiciones locales, calendario de ejecución..., de
forma diferente a una evaluación financiera, que tendría por finalidad el análisis de la racionalidad
económica de las decisiones en materia de inversión, según los objetivos y la procedencia de los
fondos.
2.3
El Enfoque de los Programas de Institucionales (Qué se evalúa)
La Evaluación de un Programa Institucional debe contemplar un triple enfoque dirigido al análisis del
programa en cuestión (como entramado de relaciones personales e institucionales), el Grupo Evaluador
(como órgano de gestión y movilización de los recursos) y el propio Programa Institucional (en cuanto
a la eficacia y eficiencia del uso de fondos públicos). Para la Evaluación de un Programa Institucional,
se deben analizar sus características y su evolución a lo largo del programa, haciendo un especial
hincapié en los criterios que definen el área de actuación, su identidad cultural y la disponibilidad de
recursos para propiciar un proceso de desarrollo. Por último la Evaluación del Programa se realizará
desde un doble punto de vista, por un lado, si se utiliza adecuadamente la metodología específica
utilizada en la evaluación del programa (analizando la medida en la que se ha contribuido a los
objetivos específicos del programa), y por otro, el análisis sectorial de las medidas y la intervención de
los distintos niveles administrativos. Los dos aspectos están íntimamente relacionados. El principal
activo para el desarrollo es el programa, articulado a través de su entramado institucional, en cuyas
relaciones sociales, se apoyan las relaciones socioeconómicas puestas en marcha a través del programa
institucional.
2.4
Metodología para la Evaluación Institucional
2.4.1 Aspectos generales
Uno de los primeros aspectos a destacar a la hora de abordar cualquier tipo de evaluación, en este caso
de los programas institucionales, es relativizar las actuaciones, es decir ponerlas en su contexto
adecuado, y no exigirle objetivos mucho más generales de la política global de cualquier Gobierno
10
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
estatal o regional, aunque estos objetivos también haya que tenerlos en cuenta. En este sentido, es
fundamental centrarse en aquellos aspectos que constituyen la esencia del programa. En el caso que nos
ocupa, su singularidad se centra en la propia naturaleza de las acciones a llevar a cabo y en la forma de
gestionar el programa institucional. Respecto a las características de las actuaciones, la cuestión
fundamental es la eficacia en el empleo de los recursos públicos, que se traduce en la consecución de
un mayor número de proyectos financiados, una mayor atención de esos proyectos, y un punto de vista
institucional integral.
Para la realización de la evaluación de los programas institucionales puede utilizarse la metodología
desarrollada por organismos internacionales, fundamentalmente el marco lógico del método ZOPP
alemán (Planificación de proyectos Orientados a Objetivos), y la propiamente elaborada por la
Comisión Europea, que ha hecho suyos los principios del método de planificación y evaluación por
objetivos. Si planteamos la evaluación con la lógica de la planificación, partimos de un objetivo
superior o global que definirá la perspectiva desde la que se deben realizar las intervenciones del
programa. Cada objetivo global se concretará en objetivos específicos que definan la forma de
conseguir el objetivo general. Para lograr los objetivos específicos será necesario obtener una serie de
resultados, que se alcanzarán una vez que se lleven a cabo determinadas actividades. La lógica vertical
del esquema sería:
Sin embargo, cuando se lleva a cabo el seguimiento, el esquema lógico es inverso (ascendente). En
cualquier proyecto de desarrollo se realizan determinadas actividades que emplean una cantidad de
recursos ya sean humanos, materiales, financieros.... Con estas actividades se logran obtener unos
resultados concretos (efecto de las actividades), que contribuyen a conseguir los objetivos específicos
fijados, que determinan, a su vez, el cumplimiento del objetivo global. Para contrastar la consecución
de los objetivos previstos en cualquier proyecto es necesario establecer medidores, que ayuden a
determinar de forma objetiva el grado de realización de cualquier programa de desarrollo. Se trata de
definir indicadores que sean verificables objetivamente, aunque como veremos habrá algunos de tipo
cualitativo que resultarán más difíciles de medir. Para que puedan ser verificables es necesario definir
de antemano las fuentes en las cuales vamos a contrastar el indicador. Finalmente habrá que tener en
consideración aquellos elementos ó supuestos externos al proyecto que pueden influir en la
consecución de los objetivos propuestos. De esta forma se impone una lógica horizontal, que se puede
exponer como sigue:
Objetivos/Actividades Indicadores Fuentes Supuestos
Los indicadores podrán ser cuantitativos (físicos y financieros) que medirán las realizaciones en
eficacia y eficiencia del programa, y de tipo cualitativo que se utilizarán para valorar aquellas variables
o parámetros que no sea posible cuantificar. Las fuentes de verificación tendrán que estar referidas a
11
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
los indicadores definidos, pudiendo ser estadísticas (información secundaria), elaboradas ex profeso
para el proyecto, de información primaria, o a partir de encuestas o entrevistas, que contrastarán
aquellos indicadores de tipo cualitativo. Otro elemento fundamental dentro del planteamiento
metodológico es la escala que consideramos en el seguimiento. Distinguiremos tres estados:
En el que se tendrán en cuenta las condiciones previas, la
coherencia con otras políticas sectoriales, los cambios
económicos, sociales, políticos y legislativos.
En el que se medirán los mecanismos de gestión
- El seguimiento de la gestión:
administrativa y financiera, la adecuación de criterios de
selección de proyectos...
- El seguimiento de las acciones Que consistirá en medir el grado de realización de cada
concretas ejecutadas:
actividad desarrollada.
- El contexto operativo:
En cuanto al desarrollo de indicadores se podrán denominar indicadores de base los referidos a
aspectos físicos y financieros de la realización y los resultados del programa, definido éste como un
conjunto de medidas o líneas de actuación dirigidos a conseguir unos objetivos específicos. Al mismo
tiempo, para los resultados de carácter cualitativo, se podrán elaborar otros indicadores de tipo
cualitativo, lo que permitirá obtener información sobre los resultados específicos del Programa
Institucional. Si la medida analizada ha sido eficaz, entonces se procederá a valorar la eficiencia y, en
caso contrario, habrá que determinar las causas de la ineficiencia.
CUADRO
BASE
INDICADORES DE BASE
INDICADORES COMPLEMENTARIOS
EFICACIA
Realización
física
Resultados
De resultados: Físicos
Resultados obtenidos previstos
obtenidos/costos
Resultados cualitativos
RESULTADO Financieros Especificidades del
Resultados
Programa Institucional
previstos
cualitativos
Impacto
Impacto específico obtenido
OBJETIVO
Impacto específico:
específico
/previsto
ESPECIFICO
obtenido/ costos
Impacto global
Impacto global /
OBJETIVO
Impacto global
obtenido/previsto
costos.
GLOBAL
MEDIDA
De realización: Ejecución
financiera Realización física
EFICIENCIA
Ejecución realizada/prevista
Realización hecha/prevista
VALOR AÑADIDO ESPECIFICIDADES DEL PROGRAMA INSTITUCIONAL
La realización de los objetivos específicos del programa de desarrollo y su repercusión permitirá
demostrar si el procedimiento de desarrollo local tuvo éxito. En este sentido, las actuaciones puestas en
marcha en el curso del programa deberán ser analizadas y valoradas no sólo por la acción en sí misma
sino por el procedimiento seguido, lo que informará sobre cada uno de los objetivos específicos
citados:
•
•
•
•
•
Aproximación territorial, basada en lo local.
La aproximación de abajo a arriba: enfoque ascendente.
Las acciones innovadoras, particular de cada comarca.
Las relaciones entre acciones, la integración, la aproximación multisectorial.
Los grupos de desarrollo rural.
12
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
•
•
Las redes de trabajo (a nivel europeo o nacional) y la Cooperación transnacional.
Modalidades de gestión y financiación.
Todas aquellas cuestiones que sean objeto de estudio, tanto por desviaciones que se puedan producir
respecto a los objetivos de la medida y su grado de consecución según los indicadores cuantitativos,
como por su contribución a los objetivos específicos, serán objeto de análisis cualitativo que se
ejecutará por medio de técnicas de investigación social, como la entrevista, la encuesta o la observación
directa a técnicos de la administración, técnicos o responsables del proceso evaluador, presidentes,
interlocutores sociales y la población en general.
III.
LOS INDICADORES COMO INSTRUMENTOS PARA LA EVALUACIÓN DE LA
ACCIÓN DE GOBIERNO
La definición de las fuentes de información determina en gran medida el grado de verificación de los
indicadores utilizados. Esta situación es más importante cuando la recogida de información cualitativa
es clave para el proceso de evaluación, siendo necesario disponer de diferentes fuentes para
contrastarla. En la Evaluación de Programas Institucionales se utilizarán las siguientes fuentes de
información para los indicadores cualitativos:
•
•
•
Administración Institucional: bases de datos, memorias anuales, informes del Comité de
Seguimiento, entrevistas personalizadas.
Grupo de Desarrollo Institucional: a través de entrevistas personalizadas y ejercicios de
autoevaluación.
Población Objetivo: a través de Grupos de Discusión con informantes cualificados y
entrevistas a líderes de opinión.
La triangulación de la información obtenida de estas tres fuentes garantiza la objetividad y
verificabilidad de los indicadores cualitativos, eliminando en cualquier caso la subjetividad del
entrevistado.
La objetividad de los indicadores cualitativos la dan las propias fuentes de información y la
verificación por contraste de los datos.
3.1
Estimación de Indicadores
En el planteamiento global de la metodología se han elaborado indicadores para las diferentes medidas
de que consta el programa institucional. Si se quiere comentar en este apartado que se cuenta con una
batería de indicadores probados en la evaluación intermedia del programa institucional, donde se
13
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
detectó el grado de dificultad existente para su estimación: bien por su poca relevancia, por no existir
información disponible, o por ser demasiado exhaustivo; algunos de estos indicadores no son incluidos
en el planteamiento metodológico de la evaluación institucional.
3.2
Reflexiones sobre la Evaluación de los Programas y Políticas Institucionales
1. La evaluación ayuda a homogeneizar la información.
2. La evaluación obliga a recoger y sistematizar información, lo que redundará en beneficio de la
consecución de los objetivos del programa institucional: mejor conocimiento del programa.
3. No existe un método único para evaluar las actuaciones públicas, cada método deberá ir
adaptándose a la realidad del propio programa, teniendo en cuenta que debemos dar resultados
rápidos, útiles, aplicables y contrastados con los implicados.
4. Es necesario adaptarse siempre al objeto de la evaluación, y tener en cuenta el contexto en el
que se realiza y las características del programa institucional.
5. Es fundamental explicitar los objetivos para poder evaluar. La evaluación obliga a ello.
6. Importancia de la información . La evaluación depende tanto del rigor de los instrumentos de
medida como de la calidad de la información recogida, del sentido práctico de las
valoraciones y de la comunicación permanente entre los evaluadores y evaluados.
7. Hay que llegar a un equilibrio entre el empleo de técnicas cuantitativas y cualitativas. Son
enfoques complementarios y no contradictorios.
8. El objetivo de cualquier evaluación es que permita, a partir del análisis de la realidad,
modificar aquellas cuestiones que sean mejorables, y aprender y potenciar los elementos
positivos de la gestión.
9. Es fundamental que los Grupos y la población vean como algo propio la evaluación. Se
debe hacer un esfuerzo permanente de autoevaluación. Es necesario encajar la premura y las
necesidades de la evaluación con las múltiples ocupaciones del día a día. La evaluación se
puede convertir en un elemento de refuerzo para los responsables.
10. Es necesario elaborar líneas directrices para la evaluación que permiten la homogeneización en
la aplicación de metodologías.
11. Es necesaria una cultura de la evaluación entre los responsables de la evaluación, las unidades
administrativas y la propia población afectada.
Para atender el problema de "medición" de los programas institucionales, se deben formular
indicadores asociados a la administración de los medios materiales con que cuentan las unidades
responsables encargadas de implementar y llevar a cabo funciones sustantivas, técnicas, adjetivas y
"políticas". Esta solución se sostiene en el supuesto de que las políticas a evaluar están bien definidas y,
por lo tanto, todos los posibles mejoramientos de gestión se pueden obtener por la vía de aplicar
eficientemente los recursos disponibles para su ejecución. No obstante lo anterior, es necesario avanzar
en la generación de información de carácter cualitativo que permita la evaluación y ajuste de dichas
políticas. En los países más avanzados en materia de evaluación de la gestión pública, se han estado
explorando y aplicando en esta área, metodologías que privilegian el análisis cualitativo por sobre el
cuantitativo.
IV.
CRITERIOS PARA LA CONSTRUCCIÓN DE INDICADORES INSTITUCIONALES
4.1
Propósitos de los Indicadores de Programas Institucionales
Los indicadores deben cumplir el doble fin de servir al Estado como instrumento de regulación las
instituciones para orientar sus procesos de mejoramiento y rendir cuentas a la sociedad sobre lo que
14
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
ellas hacen con los recursos públicos. En estos fines está implícito que cada entidad podrá emplearlos
para hacer la evaluación de su gestión y compararse con sus homólogas nacionales y del extranjero.
Desde la perspectiva del Estado, la construcción de un sistema de indicadores institucionales debe
concebirse con el propósito de servir como instrumento de regulación para el ámbito total que atiende
la institución. Por otra parte, los indicadores no pueden reemplazar la definición de políticas pues ellas
constituyen el marco conceptual de su diseño, y por tanto los indicadores son las herramientas que
permiten su seguimiento y control, con el fin de consolidarlas. Adicionalmente, los indicadores no
deben neutrales. En otro sentido, bien distinto, la misión de la institución debe estar comprometida,
precisamente, con los propósitos y anhelos de garantizar el cumplimiento de sus objetivos en tanto que
bien público equitativo. Así, su entorno relevante estará precisado según las respuestas que demandan
los problemas más sentidos de la sociedad en la forma de estudios, diagnóstico y propuestas de
solución, y no simplemente a la oferta que atiende la institución.
4.2
INDICADORES
DE
DIAGNÓSTICO,
SEGUIMIENTO
EVALUACIÓN
RESULTADOS. Elementos Conceptuales para su Definición y Aplicación
Y
El proceso de seguimiento de la función pública requiere información mínima que permita establecer el
cumplimiento de sus objetivos, en términos de su contribución al desarrollo territorial. Esa información
puede obtenerse a través de los indicadores de seguimiento y evaluación de programas y proyectos. Un
indicador se define como una medición cuantitativa de variables o condiciones determinadas, a través
de la cual es posible entender o explicar una realidad o un fenómeno en particular y su evolución en el
tiempo. Esta definición parte de reconocer que los procesos y sus relaciones son cambiantes en el
tiempo y que es posible observarlos y determinar su evolución. Los indicadores son herramientas útiles
para la planeación y la gestión en general, y tienen como objetivos principales los siguientes:
•
•
•
Generar información útil que permita mejorar un proceso de toma de decisiones relacionado
con la asignación y ejecución de los recursos de inversión.
Efectuar seguimiento de los diferentes procesos de la gestión de proyectos al interior de una
administración territorial y tomar los correctivos que permitan mejorar la eficiencia y la eficacia
del proceso general de la inversión.
Evaluar el impacto de la inversión sobre su contribución al desarrollo, en términos de
mejoramiento de la calidad de vida de una población
Los indicadores pueden ser sencillos o complejos de acuerdo con la situación a que se refieran.
Igualmente pueden clasificarse según sirvan como insumo a un proceso o sean resultado de un proceso
en particular2. Dentro del proceso de función pública los indicadores pueden clasificarse siguiendo el
ciclo del programa y/o proyecto, es decir, indicadores que apoyan la formulación de proyectos o de
diagnóstico; indicadores que apoyan el seguimiento de los mismos o de ejecución; y los indicadores de
resultado o impacto del proyecto. Con base en el documento de recomendaciones para el seguimiento
al proceso de inversión3, estas notas presentan algunas precisiones relacionadas con los indicadores de
seguimiento y evaluación.
4.2.1 Indicadores de Diagnóstico
2
Por ejemplo, el departamento del Cauca elaboró un sistema de indicadores sociodemográficos, compuesto por cerca de 150 indicadores
de diagnóstico que les permite conocer detalladamente las necesidades del departamento, en todos los sectores.
3
Recomendaciones para el Seguimiento al Proceso de Inversión”. Elaborado por el Area de metodologías y procedimientos de la Red
Nacional de Bancos de Programas y Proyectos. Marzo de 1997.
15
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
Un indicador es una variable cuantitativa cuya finalidad es entregar información acerca del grado de
cumplimiento de una meta de gestión. Siempre se debe tener presente que un indicador es solo un
instrumento que permite la medición y, por lo tanto, su calidad y su utilidad como tal, estará
determinada principalmente por la claridad y relevancia del objetivo o meta que tiene asociada. De lo
anterior se desprende que un requisito básico que debe cumplir un indicador es su relevancia
estratégica. Por lo tanto, debe ser la medición o expresión cuantitativa de una actividad que aporta
directamente al cumplimiento de alguna de las prioridades que las unidades responsables de realizar el
proceso de evaluación se deben proponer en sus cometidos sustantivos, en sus metas o en otro
instrumento de similar naturaleza.
Por su parte, los indicadores de diagnóstico son la base para la planificación del desarrollo, pues
permiten establecer el nivel de la calidad de vida de una población dada en un momento determinado.
Por lo tanto, su diseño se basa en el concepto de desarrollo y su definición deberá permitir identificar la
situación social y económica de la población y el territorio determinado. El análisis de estos
indicadores permite definir y precisar las necesidades y prioridades en los diferentes sectores, lo cual, a
su vez orienta la asignación de los recursos de inversión. La mayoría de sistemas de indicadores
existentes toman en cuenta las variables demográficas, de salud, educación, vivienda, saneamiento
básico, seguridad pública, etc. En este sentido se deberá tomar en cuenta la intervención del sector
público en todos los niveles territoriales, por cuanto, toda inversión, debe generar cambios en los
indicadores de diagnóstico.
4.2.2 Indicadores de Seguimiento
La ejecución de los programas institucionales requiere contar con indicadores que aporten información
relacionada con el comportamiento de las variables que intervienen en dicha ejecución. Estos
indicadores deberán medir la eficiencia y eficacia, de tal manera que sea posible introducir cambios
durante el proceso de ejecución. Para la elaboración de estos indicadores se recomienda:
•
•
•
•
Definir un objetivo: tener claramente lo que se pretende medir, y los casos en que es valioso
para el análisis de una situación y para la toma de decisiones. Se trata de tener claro qué se
persigue con la obtención del indicador y por lo tanto su contribución y utilidad práctica.
Definir el indicador: es decir, especificar la forma como se obtendrá el indicador, las fuentes de
información, las variables que intervienen y sus relaciones entre sí y, los resultados de dicha
medición.
Interpretación de los resultados: definir la forma de interpretar el resultado del indicador, para
efectos de su utilización práctica.
Establecer el procedimiento: para asegurar su obtención, actualización, aplicación y difusión.
De acuerdo con la metodología que se propone, los principales indicadores de seguimiento a la
ejecución física de los programas institucionales, son:
A. Indicador de Eficiencia
Relaciona la cantidad de la actividad específica con el tiempo de su desarrollo. El indicador se mide en
porcentaje de ejecución en los diferentes períodos de tiempo. Este indicador deberá compararse con lo
programado en el cronograma de actividades y con base en esta comparación se determina la necesidad
de ajuste o la continuación en iguales condiciones. Este indicador se puede obtener para el total del
16
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
proyecto, para cada componente y para cada actividad.
B. Indicador de Calidad
Este indicador mide el cumplimiento de las especificaciones técnicas de cada una de las actividades del
proyecto. Se obtiene mediante los informes de avance que presenta el área responsable de la
supervisión del programa y/o proyecto. El informe deberá contener el desarrollo, la calidad y cantidad
de los materiales e insumos utilizados o aplicados en el proyecto, según sea el caso. Este indicador se
expresa en términos de “alta, media, o baja calidad”. Este indicador relaciona las características de los
bienes o servicios producidos por el proyecto, en términos de calidad, de acuerdo con la aceptación por
parte de los usuarios. Este indicador se obtiene a través de encuestas o de sistemas de recepción de
sugerencias, quejas o reclamos, por parte de los usuarios. Se expresa como “buena, regular o mala
calidad”, de acuerdo con el contenido de dichos sistemas y las ponderaciones definidas para cada
variable que mida la calidad.
C. Indicadores de Evaluación y Resultados
Los indicadores de evaluación y resultado de los proyectos, permiten verificar el cumplimiento de los
objetivos del proyecto y su contribución al desarrollo. Para su definición se deberán tener en cuenta las
principales variables que determinan la operación, la producción y el efecto. Estos indicadores
expresan, de diferentes maneras, el grado de obtención de los beneficios previstos con el proyecto. Su
importancia radica en que suministran información para la obtención de parámetros de operación,
necesarios para la preparación de nuevos programas y proyectos. Con base en las recomendaciones
para el seguimiento al proceso de inversión, los principales indicadores de operación y resultados son:
D. Indicador de Cobertura
Este indicador relaciona el número de usuarios o beneficiarios del proyecto en un período de tiempo
determinado. Al igual que el anterior indicador, debe compararse con la población objetivo del
proyecto y las proyecciones de incorporación en el tiempo. Estos supuestos se tuvieron en cuenta en la
evaluación ex-ante del proyecto y contribuyeron a determinar su viabilidad socioeconómica. El
indicador obtenido se expresa como alta, media o baja cobertura, teniendo en cuenta la relación de lo
previsto con lo observado. Este indicador es numérico y para su interpretación, deberá especificarse los
rangos correspondientes a alta, media o baja.
E. Indicador de Impacto
Este indicador mide la contribución del proyecto al cambio en los indicadores de diagnóstico, como
resultado de su operación. Todos los proyectos se relacionan con el mejoramiento de las condiciones de
uno o varios sectores de desarrollo. Por lo tanto, los proyectos afectan de alguna manera los indicadores
de diagnóstico sectoriales, especialmente los de cobertura. Este indicador se obtiene comparando las
variables del indicador de diagnóstico con los resultados del proyecto en cuestión y su resultado es la
diferencia con el indicador de diagnóstico. Se expresa como “alto, medio o bajo impacto” dependiendo
de la mayor o menor diferencia con los indicadores de diagnóstico que se toman como base para el
análisis. El resultado de la suma de estas conexiones adicionales con las existentes, dividido por la
población total arroja un nuevo indicador de cobertura. La diferencia de éste con el indicador de
diagnóstico original, determina el indicador de impacto. Se recomienda que este tipo de indicador se
estime para la evaluación de programas de inversión, por cuanto éstos están orientados,
específicamente, a atender problemas sectoriales reflejados en los indicadores de diagnóstico. Es decir,
17
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
los programas tienen origen en el análisis de los indicadores sectoriales de diagnóstico. Por esta razón,
en algunos casos, este indicador se obtiene cuando la operación del proyecto alcanza su máxima
capacidad.
4.2.3
Beneficios Derivados de los Indicadores Institucionales de Gestión
Entre los diversos beneficios que puede proporcionar a una organización la implementación de un sistema
de indicadores de gestión, se tienen:
•
•
•
•
4.3
Satisfacción del cliente: La identificación de las prioridades para una empresa marca la pauta del
rendimiento. En la medida en que la satisfacción del cliente sea una prioridad para la empresa, así lo
comunicará a su personal y enlazará las estrategias con los indicadores de gestión, de manera que el
personal se dirija en dicho sentido y sean logrados los resultados deseados.
Monitoreo del proceso: El mejoramiento continuo sólo es posible si se hace un seguimiento
exhaustivo a cada eslabón de la cadena que conforma el proceso. Las mediciones son las
herramientas básicas no sólo para detectar las oportunidades de mejora, sino además para
implementar las acciones.
Benchmarking: Si una organización pretende mejorar sus procesos, una buena alternativa es
traspasar sus fronteras y conocer el entorno para aprender e implementar lo aprendido. Una forma
de lograrlo es a través del benchmarking para evaluar productos, procesos y actividades y
compararlos con los de otra empresa. Esta práctica es más fácil si se cuenta con la implementación
de los indicadores como referencia.
Gerencia del cambio: Un adecuado sistema de medición les permite a las personas conocer su aporte
en las metas organizacionales y cuáles son los resultados que soportan la afirmación de que lo está
realizando bien.
Selección de Indicadores
Es importante ajustar o administrar que el conjunto de indicadores de cada proceso esté alineado con los de
sus respectivas unidades de negocio y por tanto con la Misión de la organización, para lograr la efectividad
de los objetivos estratégicos propuestos. Tabla 1. Dimensiones de los Indicadores de Gestión
18
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
Algunos de los indicadores que son circunstanciales, su utilidad es limitada a un momento específico,
debido a que apoyan la solución definitiva de algún problema, tienen un inicio y un fin bien establecidos.
Cuando el programa termina, el objetivo se alcanza o el problema ha sido resuelto, el indicador puede dejar
de ser relevante y por tanto no es justificable su monitoreo continuo. De esta manera, el control se centra
sólo donde es necesario, pudiendo delegarse cuando sigue siendo relevante, pero no requiere de una
atención continua. La responsabilidad de las acciones que cumple una entidad pública y más
específicamente, los resultados que esta obtiene, por lo general están mediatizados por una gran
variedad de factores externos; tales como: la situación de las finanzas públicas, factores económicos, la
labor de legislativa del Parlamento, la acción conexa de terceros, sean estos públicos o privados, etc.
4.3.1
Mejoramiento Continuo
Es una estrategia para la supervivencia con un nuevo conjunto de valores que continuamente mejoran la
calidad y la productividad. Todo proceso busca en el tiempo optimizar sus recursos para alcanzar lo
propuesto; siendo necesario un proceso de innovación, el cual no va acompañado por una retroalimentación
oportuna, por ello al comenzarse con éste la mejora se sostiene determinado tiempo y luego empieza a
decaer, en este punto vuelve a hacerse una innovación iniciando nuevamente el ciclo. Esta forma de trabajar
requiere mucho tiempo y posiblemente no alcance el objetivo deseado. Trabajar con la filosofía del
Mejoramiento Continuo permite obtener beneficios como: mejoramiento en calidad, alta productividad,
mejor disponibilidad y confiabilidad de cada equipo, estandarización, servicios a los clientes y
competitividad en un futuro. Lo anterior muestra que el Mejoramiento Continuo es un camino hacia la
excelencia y ésta a su vez es la que permite la supervivencia de las instituciones. La aplicación continua y
sistemática del ciclo PHVA permite el aseguramiento y el logro de superiores niveles de desempeño. El
mejoramiento continuo se basa en el ciclo PHVA que se expone en la figura 1.
19
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
Figura 1. Ciclo PHVA.
El modelo P.H.V.A. (Planear, Hacer, Verificar y Actuar), ayuda de manera efectiva a adoptar y monitorear
los procesos en ajustar/administrar en una empresa, siempre y cuando se constituya en un proceso sin fin, es
decir, que se planee, se tome una acción, se verifique si los resultados eran los esperados y se actúe sobre
dichos resultados para volver a iniciar el proceso. El P.H.V.A., es una concepción gerencial que dinamiza la
relación entre las personas y los procesos y busca controlarlos con base en el establecimiento,
mantenimiento y mejora de estándares, tarea que se logra mediante la definición de especificaciones de
proyectos (estándares de calidad), especificaciones técnicas de proceso y procedimientos de operación. La
gerencia de procesos mediante el ciclo P.H.V.A. consiste básicamente en:
*
*
*
PLANEAR: entendido como la definición de las metas y los métodos que permitirán alcanzarlas.
HACER: consisten en ejecutar la tarea y recoger los datos, no sin antes haber pasado por un
proceso de formación (educar y entrenar).
VERIFICAR: evaluar los resultados de la tarea ejecutada; identificación de los problemas que
originan el no cumplimiento de las tares (formación, planeación).
ACTUAR: tomar medidas correctivas para lograr el cumplimiento de las metas.
4.4
El Balanced Scorecard (BSC) o Sistema Balanceado de Indicadores Institucionales de Gestión
*
El Balanced Scorecard es un enfoque multidimensional que mede el rendimiento organizacional y es visto
desde cuatro perspectivas: financiera, cliente, procesos internos y aprendizaje y crecimiento. Si son
suficientes o no estas cuatro perspectivas, depende del tipo de institución, las circunstancias y las unidades
estratégicas, entre otras. La perspectiva del accionista es expresada como metas financieras (utilidades sobre
el capital, utilidades sobre los activos netos, rendimientos, y otros). La perspectiva del cliente, es expresada
como metas del cliente (participación en el mercado, número de quejas o devoluciones, y otros). La
20
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
perspectiva institucional o de procesos, es expresada como metas operacionales (tiempo de entrega de
pedidos, tiempo del ciclo de desarrollo del producto, costos por unidad de producción, y otros). La
perspectiva de aprendizaje y crecimiento, es expresada como metas de aprendizaje e innovación (número de
personas capacitadas, porcentaje de puestos ocupados desde dentro, período entre rotaciones de trabajo,
número de innovaciones en productos o procesos al año, y otros).
Las instituciones deben basar sus sistemas administrativos y de medición dentro de sus estrategias y
capacidades. Desafortunadamente muchas organizaciones exponen estrategias acerca de las relaciones con
los clientes, la competencia y las fortalezas organizacionales, mientras motivan y miden el desempeño de la
gente sólo a través de indicadores financieros. El Sistema Balanceado de Indicadores de Gestión considera
la perspectiva financiera como un punto crítico del desempeño organizacional y de negocios, pero hace
énfasis en un conjunto más general e integrado de mediciones que unen el cliente corriente, los procesos
internos y los empleados, y un sistema de desempeño que garantice el éxito a largo plazo. El conjunto de
medidas balanceadas provee una adecuada forma de comunicar la visión y la estrategia de una compañía
dentro de un juego coherente de medidas de desempeño. Las mediciones no sólo pueden ser concebidas
como herramientas de medición y de desempeño; deben ser usadas para:
•
•
•
Definir la estrategia de la institución
Comunicar la estrategia de la institución
Lograr que el personal y la institución marchen en la búsqueda de una meta común.
En general, el Balanced Scorecard es usado, más como un sistema de comunicación, información y
aprendizaje, que como un sistema de control. Las cuatro perspectivas permiten un balance entre los
objetivos de corto y largo plazo, entre los resultados deseados y los conductores de desempeño de esos
resultados, y entre medidas de objetivos difíciles y medidas de objetivos más fácilmente alcanzables.
4.5
Implantación de un Sistema de Evaluación Integral por medio de Indicadores
El siguiente es un procedimiento para implantar un sistema de indicadores en una organización:
1.
2.
3.
Crear un grupo de trabajo de indicadores (PLANEAR).
Identificar de las actividades a medir (PLANEAR).
Establecer en un procedimiento de medición (Objetivo, asignación de responsabilidades preparación
21
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
de administración del sistema) (PLANEAR).
Ejecución del proceso (HACER).
Seguimiento al sistema a medir y puesta en marcha de las acciones correctivas (VERIFICAR).
Ampliar razonablemente el número de indicadores (ADMINISTRAR).
4.
5.
6.
La metodología que busque incorporar un sistema de indicadores debe considerar los elementos asociados
con un indicador, para permitir una adecuada retroalimentación, y presentar información complementarla
con otras herramientas de gestión que ayuden a analizar causas y a establecer puntos de mejora para
sustentar la decisión a tomar. Si es posible, debe señalarse la relación que presenta con otros indicadores.
•
•
•
•
•
•
•
V.
Objetivo. Muestra la mejora buscada, hace evidente el reto.
Definición. Debe ser simple y clara, e incluir además sólo una característica.
Responsabilidad. Indica el área dueña del indicador y por lo tanto la responsable de las acciones
que se deriven del mismo.
Recursos. De personal, instrumentos, informáticos, entre otros.
Periodicidad. Debe ser la suficiente para informar sobre la gestión.
Nivel de referencia. Pueden ser datos históricos, un estándar establecido, un requerimiento del
cliente o de la competencia, o una cifra acordada por consenso.
Puntos de lectura. Debe tenerse claro en qué punto se llevará a cabo la medición, al inicio, en
una etapa intermedia o al final del proceso.
DIMENSIONES A VALORAR POR MEDIO DE INDICADORES
En ese sentido podemos señalar que el indicador corresponde a un esquema de seguimiento en el que se
establecen criterios diversos, para acotar los múltiples hechos o efectos que las distintas acciones derivadas
de una decisión puedan generar. Atendiendo a este aspecto, el acento debe ser puesto en una observación
mediante la cual puedan derivarse las relaciones causales de los efectos producidos por diversas acciones,
incluso las de causalidades de tipo múltiple, comunes en varias de las políticas públicas. En este apartado
abordaremos la parte descriptiva para el diseño y construcción de los indicadores, la vinculación
programática, la identificación de factores determinantes que pueden ser sujetos de evaluación, y en suma,
los componentes de los indicadores.
5.1
El Programa como Objeto de Evaluación (Descripción del Programa)
En la administración pública el programa se considera como una categoría que se desprende de las
funciones o subfunciones que tienen encomendadas las dependencias y entidades. En ese sentido el
programa es un conjunto organizado de medios para conseguir un determinado fin u objetivo. Todo plan,
en el que se expresan los grandes objetivos y las líneas generales de actuación, necesita del concurso de los
programas para que su realización se haga efectiva. El programa se convierte, en este sentido, en objeto de
evaluación. En consecuencia los indicadores pueden ser manejados bajo una orientación programática. En
este caso se parte de la apertura programática y de las atribuciones que tienen encomendadas las unidades
de referencia. La base de la construcción de los indicadores son los objetivos y metas que tienen
registradas los programas, subprogramas, actividades o tareas. Para su construcción se parte de considerar
las variables relevantes y la existencia y disponibilidad de la información. El diseño y formulación de los
indicadores parte, en este caso, de las atribuciones que tienen encomendadas las dependencias y entidades
en cuestión, las cuales derivan de la Ley Orgánica de la Administración Pública Federal, del Plan Nacional
de Desarrollo, de los programas institucionales de trabajo, de los reglamentos internos, y de las aperturas
22
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
programáticas establecidas en cada una de ellas.
Mediante dichos documentos se expresan los diferentes objetivos que pretende alcanzar cada dependencia
o entidad. Las atribuciones, prerrogativas, funciones, así como la apertura programática permiten
determinar los objetivos sustantivos y las metas de cada unidad responsable, los cuales serán la base para
la construcción de los indicadores. Entender el programa o actividad institucional es indispensable para
poder elegir en forma pertinente, los indicadores que reflejen con mayor efectividad el logro de lo
objetivos. La naturaleza, enfoque y alcance de cada programa o actividad institucional son distintos y en
consecuencia los indicadores que se construyan deberán mostrar dichas características. Para construir los
indicadores será necesario definir o identificar las metas más relevantes existentes, esto es, analizar el
conjunto total de metas correspondientes al programa de cada dependencia o entidad, para de ahí
establecer cuales son las más relevantes que permitan alcanzar los objetivos.
Por lo antes expuesto, se considera necesario analizar los elementos relevantes implicados en las metas
identificadas, de donde podrán derivarse las variables vinculadas en los procesos. Estas variables
permitirán determinar el tipo de indicador adecuado que será necesario construir para tal propósito. Las
Unidades de Desarrollo Administrativo (UDAS) y las Contralorías de las Dependencias y/o Entidades
deberán tener muy claro:
*
*
*
*
El propósito del programa o actividad de cada dependencia y entidad
Los diferentes productos: bienes o servicios que genera
Las necesidades de los clientes: usuarios o beneficiarios
Sus principales factores de insatisfacción
Así, no bastará seleccionar unas cuantas metas para el seguimiento, si no será importante analizar los
procesos y pasos a seguir mediante los cuales se obtienen las metas seleccionadas. Un ejemplo, en un
programa educativo de la SEP, sería el desarrollo de la educación primaria, como propósito fundamental.
De ahí se pueden derivar objetivos como la construcción de escuelas, desarrollo de personal docente, etc.
Considerando solo el objetivo de construcción de escuelas, se puede determinar como meta la construcción
de 25 escuelas primarias en un periodo determinado. Para lograrlo se requieren trámites, apoyos, recursos,
diseños, etcétera, mismos que son definidos como elementos relevantes. De cada uno de ellos se
identifican las variables causales, esto es, los pasos a realizar para obtener los resultados buscados. En el
ejemplo anterior, las relaciones causales pueden ser: formatos a llenar, requisitos a cumplir, solicitudes,
esfuerzos para obtener recursos, encargo del proyecto, concursos de obras, licitaciones, búsqueda de
apoyos diversos como son los fondos de algún programa de corte federal, entre otras cosas. Con la
desagregación anterior, realizada solo para metas relevantes, se pueden construir fácilmente los
indicadores. Sin embargo para el seguimiento es necesario definir también la información relevante del
proceso, pues tampoco se trata de manejar todos los aspectos causales implicados, solo los más
importantes. También se debe verificar la existencia y disponibilidad de la información y, en última
instancia la viabilidad de su recopilación. Con ello se busca llegar a una desagregación del proceso que no
se limita solamente al cumplimento o no de las metas, pues esto no garantiza el cumplimiento de objetivos.
Además, dicha desagregación permite juzgar si los procesos y los medios previstos para alcanzar un
objetivo eran realmente los convenientes, incluso si el programa en cuestión era el adecuado.
5.2
Identificación de Factores Clave Sujetos a Evaluación por Indicadores
Existe una gran vinculación entre las actividades de control y las de evaluación, principalmente por ser las
primeras actividades que buscan sopesar logros, pudiendo incorporar diversos criterios para alcanzar dicho
23
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
objetivo. En cualquier caso, de una u otra forma el seguimiento implicará la incorporación de criterios de
evaluación, mismos que serán recuperados en los indicadores y estándares.
En cuanto a la información, el control utiliza de preferencia fuentes internas, mientras que la evaluación
recupera diversas fuentes de información, incluso basándose algunas de ellas en los diversos parámetros
determinados por los mismos métodos de evaluación. La base del control, en este sentido, corresponde a la
información registrada bajo una serie de indicadores (pudiendo éstos contener criterios de evaluación),
mientras que la evaluación puede hacer referencia a técnicas diversas, como el excedente de productividad,
los análisis del valor de la organización y los balances sociales, entre otros. En todo caso, el problema
básico de un estudio o análisis de control o evaluación consiste en encontrar referentes empíricos o
indicadores para aquellas dimensiones que, en principio, sólo han sido definidas teóricamente. Importará
asegurarse sobre la objetividad y fidelidad de los indicadores respecto de las dimensiones y realidades
sobre las cuales busca reportar.
Los indicadores pueden tener un impacto directo en el control y un uso inmediato para la evaluación, sin
embargo, las orientaciones son de diversa índole. No obstante lo anterior debe reconocerse que en el
control subyacen elementos de evaluación no siempre explícitos y manifiestos. Esto será conveniente
hacerlo, sobre todo cuando el interés corresponda a un seguimiento exclusivo sobre resultados, o en su
caso, se señala la importancia de contar con otro criterio, diferente al de eficacia.
5.3
Aspectos Medibles de los Factores Clave Seleccionados
Algunos de los aspectos a evaluar mediante los indicadores son: el impacto de los programas
gubernamentales; la cobertura de las demandas comunitarias; la eficiencia en el logro de los objetivos y
metas; la calidad de los servicios que se ofrecen; y la asignación de recursos de cada programa. A
continuación, identificaremos que es lo que mide cada uno de estos aspectos identificados.
i.
el impacto de los programas gubernamentales
Este aspecto mide el grado de cumplimiento de los objetivos y prioridades nacionales y sectoriales en el
contexto externo. Permite cuantificar valores de tipo político y social. El impacto puede medirse de forma
interna, cuando los servicios que se otorgan, son para usuarios dentro de la misma dependencia o entidad.
ii.
la cobertura de las demandas comunitarias
Este aspecto mide el alcance de beneficios a la población objetivo. La población objetivo debe ser
considerada en su dimensión real, para el desarrollo o cumplimiento de los objetivos de cada programa
asignado a las dependencias y entidades.
iii.
la eficiencia en el logro de los objetivos y metas
Con este aspecto se dimensionan los costos unitarios y la productividad alcanzada. Refleja la racionalidad
en el uso de los recursos financieros, materiales y humanos. Un proceso eficiente logra la mayor cantidad
de productos o servicios al menor costo y tiempo posibles.
iv.
la calidad de los servicios que se ofrecen, y
Mediante este aspecto se obtiene la estimación del grado en que los productos y/o servicios satisfacen las
necesidades, demandas y expectativas de los clientes y/o usuarios o beneficiarios de un programa
24
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
determinado ejecutado por las dependencias y entidades de la administración pública.
v.
la asignación de recursos de cada programa
Este aspecto considera la congruencia entre los recursos aprobados y suministrados (cantidad y
oportunidad), para la ejecución de un programa determinado. Esta dimensión, se refiere a la valoración que
pueden realizar las unidades controladoras del uso y aplicación de los recursos financieros.
5.4
Atributos y Valores de Referencia
Durante el proceso de construcción de los indicadores es necesario que la presentación de la información y
su manejo vayan mejorando constantemente. Ya que la información es el atributo o insumo más
importante durante el proceso de construcción de los indicadores. La comprensión de la información, no
siempre está garantizada, por lo cual deben buscarse formas de presentación claras y precisas, sin gran
sofisticación. En ocasiones se hacen presentaciones muy complejas y de múltiple conexión, llevando a una
difícil interpretación de los datos utilizados durante el proceso de construcción. A partir de la información
disponible se puede identificar una gran cantidad de valores de referencia para la construcción de los
indicadores. A continuación se ofrecen de manera genérica una serie de elementos o valores que será
necesario ordenar y sistematizar para que el proceso de construcción de los indicadores tenga sentido y
aplicabilidad.
Estos valores de referencia deben ser adecuados para cada caso en particular. Así tenemos, la producción o
productividad de cada dependencia y/o entidad; los resultados o logros alcanzados por cada programa; el
impacto interno y externo obtenido en el desarrollo del trabajo; la penetración y cobertura que alcanza
cada programa; la estructura de los medios o recursos disponibles, a través del ejercicio del gasto público;
la incidencia del cumplimiento de los objetivos en relación con otras dependencias y entidades; la
experiencia del personal; la eficacia y eficiencia en el cumplimiento de las metas; la motivación del
personal en el ejercicio de sus funciones; la estimación de los resultados probables que busca alcanzar cada
institución; el análisis de resultados obtenidos; la realización y desempeño de cada unidad administrativa;
la simulación y escenarios futuros previsibles; y la credibilidad de las fuentes de información, por citar
solo algunos ejemplos. Cada una de estos valores de referencia deberán ser ajustados a cada caso en
particular, por tanto, la información disponible será la base para la construcción de los indicadores.
5.5
Partes de un Indicador: Esquema Funcional de Comparaciones Contenidas en el Indicador
El uso de indicadores permite determinar los niveles de actuación y desempeño de los programas y
actividades que tienen encomendadas las dependencias y entidades, además de una adecuada evaluación a
través de los criterios establecidos en el nivel de los objetivos o en la orientación misma de las acciones, al
exigirse en el indicador la satisfacción de los valores o de las normas que orientan las acciones de los
distintos centros de responsabilidad. El indicador aparece, entonces, como un instrumento cuya aplicación
muestra las tendencias y desviaciones -favorables o desfavorables- de una actividad sujeta a distintas
influencias (tanto externas al centro de responsabilidad como al interior del mismo). Estas medidas o
valores deberán satisfacer varios requisitos, como son el uso de escalas de medición o referencia, la
determinación de los periodos de significación en los cambios reportados, la confiabilidad, la veracidad,
entre otros elementos.
Por lo expuesto, los indicadores permitirán llevar a cabo el control, seguimiento y evaluación, al grado de
avance y cumplimiento de los objetivos de cada uno de los programas que tienen bajo su responsabilidad
25
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
las dependencias y entidades. En un sistema del tipo programático-presupuestal, la determinación de
indicadores permitirá identificar tanto el grado de avance en el cumplimiento de las metas, como lo
adecuado o inadecuado del ejercicio presupuestario. Incluso, puede buscarse un conjunto de indicadores
capaces de juzgar la conveniencia o no del programa gubernamental en cuestión que desarrolle una
dependencia o entidad. Por ejemplo, una campaña de vacunación puede revelarse en algún momento como
inadecuada para alguna parte de la comunidad debido a una mala concepción o de la influencia de algunos
grupos, o simplemente por la idiosincrasia de la sociedad. Un sistema de evaluación y/o seguimiento debe
ser capaz de detectar estos aspectos.
CONCLUSIÓN: Sugerencias y Recomendaciones
En el leguaje común existe bastante confusión en el uso de los términos para la identificación de los
indicadores. Es frecuente encontrarse de manera indiscriminada y a veces hasta como sinónimos, la
utilización de los términos indicadores, parámetros, estándares, normas, reglas, políticas, ratios (razones o
proporciones), etc. Uno de los propósitos de este trabajo es reconocer y aceptar una definición que sea útil,
al menos para los propósitos de este documento, de lo que son los indicadores. Hacemos referencia
particularmente a los indicadores utilizados para medir y evaluar la acción gubernamental, a través de los
programas que tienen encomendadas las dependencias y entidades de la administración pública.
Adicionalmente se buscará establecer algunas diferencias significativas con los otros conceptos, tales
como, los parámetros y los estándares, a fin de dejar claramente establecida la importancia y la utilización
de los indicadores.
Las materias objeto del control y la evaluación en la administración pública son diversas y muy variadas.
Para identificar al menos las más importantes debemos primeramente señalar algunos factores críticos que
pueden dar pie para la identificación de dichas las materias. En consecuencia, las áreas o factores críticos
de las dependencias y entidades, son considerados espacios sobre los cuales se reconoce la necesidad de
actuación, ya que pueden existir síntomas que exigen decisiones, previsiones y acciones para su
relevamiento, o bien es el espacio donde se reconoce que puede haber problemas potenciales. La función
de evaluación consiste en determinar cuantitativa y cualitativamente la aportación real, los resultados, la
eficacia, eficiencia, calidad, oportunidad y demás rasgos de adecuación de los resultados conseguidos, con
respecto a los resultados esperados o definidos como óptimos. La apreciación de condiciones positivas de
los objetos que se evalúan, depende de lo que se entienda como optimo, de ahí que se requieran marcos o
parámetros de comparación que permitan establecer escalas de mínimos y máximos en rangos
preestablecidos para valorar un resultado en un margen razonable de resultados.
Los parámetros de evaluación se distinguen de los indicadores precisamente porque éstos prestablecen los
rangos de gestión, independientemente de los indicadores que miden los resultados, es decir que, un
parámetro es una convención o escala de valoración, en tanto que el indicador es la cuantificación de una
dimensión que existe de por si, a nivel de resultados, proporciones de los mismos resultados, volúmenes o
cuantía de productos, cobertura de servicios, etcétera. En éste sentido el indicador es la unidad de
cuantificación y el parámetro es la escala que dará un determinado lugar dentro de un rango a dicha
cuantificación. En la administración pública el programa se considera como una categoría que se
desprende de las funciones o subfunciones que tienen encomendadas las dependencias y entidades. En ese
sentido el programa es un conjunto organizado de medios para conseguir un determinado fin u objetivo.
Todo plan, en el que se expresan los grandes objetivos y las líneas generales de actuación, necesita del
concurso de los programas para que su realización se haga efectiva.
El programa se convierte, en este sentido, en objeto de evaluación. En consecuencia los indicadores
pueden ser manejados bajo una orientación programática. En este caso se parte de la apertura programática
26
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
y de las atribuciones que tienen encomendadas las unidades de referencia. La base de la construcción de
los indicadores son los objetivos y metas que tienen registradas los programas, subprogramas, actividades
o tareas. Para su construcción se parte de considerar las variables relevantes y la existencia y
disponibilidad de la información.
En cuanto a la información, el control utiliza de preferencia fuentes internas, mientras que la evaluación
recupera diversas fuentes de información, incluso basándose algunas de ellas en los diversos parámetros
determinados por los mismos métodos de evaluación. La base del control, en este sentido, corresponde a la
información registrada bajo una serie de indicadores (pudiendo éstos contener criterios de evaluación),
mientras que la evaluación puede hacer referencia a técnicas diversas, como el excedente de productividad,
los análisis del valor de la organización y los balances sociales, entre otros.
En todo caso, el problema básico de un estudio o análisis de control o evaluación consiste en encontrar
referentes empíricos o indicadores para aquellas dimensiones que, en principio, sólo han sido definidas
teóricamente. Importará asegurarse sobre la objetividad y fidelidad de los indicadores respecto de las
dimensiones y realidades sobre las cuales busca reportar. Los indicadores pueden tener un impacto directo
en el control y un uso inmediato para la evaluación, sin embargo, las orientaciones son de diversa índole.
No obstante lo anterior debe reconocerse que en el control subyacen elementos de evaluación no siempre
explícitos y manifiestos. Esto será conveniente hacerlo, sobre todo cuando el interés corresponda a un
seguimiento exclusivo sobre resultados, o en su caso, se señala la importancia de contar con otro criterio,
diferente al de eficacia.
El uso de indicadores permite determinar los niveles de actuación y desempeño de los programas y
actividades que tienen encomendadas las dependencias y entidades, además de una adecuada evaluación a
través de los criterios establecidos en el nivel de los objetivos o en la orientación misma de las acciones, al
exigirse en el indicador la satisfacción de los valores o de las normas que orientan las acciones de los
distintos centros de responsabilidad.
Bibliografía
DIAS SOBRINHO, J. Evaluación de la Educación Superior. São Paulo: Editora Vozes, 2000. 90 p.
ELLIOT, J. Mudando contextos para la evolución educacional: el desafío para metodología. Estudios
en evaluación educacional., v.17, p.216-238, 1991.
GREGO, S.M.D. Evaluación Institucional en la UNESP: una propuesta metodológica para a autogestión. Boletín Del Departamento de Didáctica, v. XVI, n.15, p.5-42, 1999.
KEMMIS, S. Siete principios por programa de evaluación en desenvolvimiento curricular y
desenvolvimiento e innovación. In: HOUSE, E. R. (Ed.) Nuevas direcciones en evaluación
educacional. 2 ed. London: The Falmer Press, 1989. p.117-140.
ABITBOL, Pablo (sin fecha, circa 1994) “La Evaluación como parte integral de la gestión pública en
Colombia”. Documento de trabajo de la División Especial de Evaluación, Departamento Nacional de
Planeación, Bogotá, Colombia.
CABRERO M., Enrique (1995) Del Administrador al Gerente Público. Instituto Nacional de
Administración Pública, México.
27
IX Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Madrid, España, 2 – 5 Nov. 2004
CEPAL (1998) El Pacto Fiscal: Fortalezas, debilidades, desafíos. Chile: Comisión Económica para
América Latina y el Caribe, Naciones Unidas.
CLAD (1998) “Una Nueva Gestión Pública para América Latina”. Centro Latinoamericano de
Administración para el Desarrollo, Caracas, Venezuela.
Dirección de Presupuesto (1999) Guía Metodológica para la Formulación de Programas de
Mejoramiento de la Gestión. PMG Ley 19.553. Santiago de Chile, Comité Técnico, Programa de
Mejoramiento de la Gestión, SUBDERE-SEGPRES-DIPRES.
GANDOUR, Miguel (1996) “La Evaluación de Resultados en el Contexto de un Proceso de
Democratización”. En: Hacia una Gestión Pública Orientada a Resultados,
PRATS, J. (1997) “La Reforma del Estado y de la Administración Pública”. Presentado en el Congreso
Internacional del CLAD, Venezuela, Octubre, 1997.
28