Sistemas de Evaluación del Desempeño en el Sector Público

Curso Planificación Estratégica y Construcción de
Indicadores:
Planificación Estratégica Gubernamental y Sistemas de
Evaluación del Desempeño
Marianela Armijo
Área de Políticas Presupuestarias y Gestión
Pública
ILPES/CEPAL
Marianela.armijo@cepal.org
Quién planifica y para qué
(hipotéticamente)?
• Los gobiernos …(para apoyar el establecimiento de
prioridades de política pública)
• Los Ministerios o Secretarías….(para
alinearse a los Planes Nacionales de Desarrollo o Lineamientos
Estratégicos de Gobierno, y como base para la programación
presupuestaria…
• Las Entidades y/o programas..(planifican pero
aisladamente…en la mayor parte de los casos planificación..)
Cuáles son algunos de los desafíos de la
Planificación hoy día….en el contexto de
América Latina…
• Apoyar el proceso de diseño e implementación de
políticas públicas (innovadoras, creíbles…y
efectivas)
• Apoyar la priorización del gasto público y su
calidad…(objetivos estratégicos…sectoriales
vinculados a los OEN)
• Servir como herramienta de apoyo para rendir
cuentas….(Sistemas de Indicadores de resultados de
uso estratégico..Presidencia..)
Planificación Estratégica: Conceptos y
orientación en el ámbito público
Consiste en un ejercicio de formulación y
establecimiento de objetivos de carácter
prioritario, para definir los cursos de
acción
(estrategias) que permitan alcanzar dichos
objetivos.
• PARA RESPONDER A LOS CAMBIOS Y A LAS
DEMANDAS Y LOGRAR LA MAYOR EFICIENCIA,
EFICACIA, CALIDAD EN LOS BIENES Y SERVICIOS
QUE SE PROVEEN.
Situación deseada
Situación Actual
Brechas
La Planificación no es un FIN en si mismo:
Apoya la identificación de las preguntas básicas para la toma de decisiones en el
ámbito público
Misión
Indicadores de
Indicadores
de o
Resultado
Desempeño
Impacto Final
Indicadores de
Como
sabemos
Como sabemos
Gestión
que
llegamos
que llegamos
Creacion de Valor Público:
Justificación Social
Objetivos
Productos y Servicios
Quienes
Quienessomos,que
somos,que
hacemos
hacemos yypara
para
quienes
quienes
Cómo
Cómopodemos
podemos
Análisis de las
prioridades
nacionales,
Que
esperamos
Que esperamos
sectoriales,
lograr,
donde
lograr,
donde
institucionales,
queremos
irir aspectos
entorno,
queremos
internos
llegar
llegar
EstrategiasCursos de Acción
Alternativos
Sistemas de Monitoreo y Evaluación
En qué ámbitos de decisión gubernamental
está aplicándose la Planificación
…..Estratégica?
•
Planeación Nacional de Desarrollo –Lineamientos Estratégicos
•
Prioridades Sectoriales (Metas Sectoriales)
•
Prioridades Estatales- Planificación Territorial
•
Planificación Estratégica Institucional- Ministerial
•
Planificación Estratégica Programa (Entidad descentralizada,
etc)
•
Programación Anual Operativa
La PE como herramienta que apoya el tránsito hacia
una Gestión Orientada a Resultados.
La fase de PE facilita “ priorizar “ objetivos y
asignación de recursos que permitan alcanzar
los resultados esperados.
La PE “permitiría” proveer información sobre lo
que las entidades “quieren” hacer con los
recursos asignados y cuales son los logros
esperados (productos, resultados intermedios y
finales)
La PE “permitiría” facilitar la identificación de
objetivos y metas asignando responsables por
la gestión
La PE posibilita generación indicadores
estratégicos que facilitan la transparencia
tanto al interior de la entidad como hacia
fuera)
Planes
PlanesEstratégicos
Estratégicos
acompañan
acompañanPolíticas
Políticas
Públicas,
Públicas,PGMP,
PGMP,
Formulación
FormulaciónPresupuesto
Presupuesto
La
LaPE
PEprovee
provee
información
informaciónsobre
sobre
indicadores
indicadoresyymetas
metaspara
para
monitorear
monitorearyyevaluar
evaluar
La
LaPE
PEprovee
provee
información
informaciónsobre
sobre
indicadores
indicadoresyymetas
metaspara
para
monitorear
monitorearyyevaluar
evaluar
Los
Losindicadores
indicadoresque
quese
se
crean
a
partir
de
la
PE
crean a partir de la PE
“permitirían”
“permitirían”mejorar
mejorar
transparencia
y
transparencia y
Rendición
Rendiciónde
deCuentas
Cuentas
Planificación Estratégica, como parte de las
innovaciones presupuestarias (ILPES, 2004)
Objetivos Presupuesto
Público
Para qué
Instrumentos
Objetivos
Macroeconómicos
Preservar la solvencia del
sector público
Estabilizar la demanda
agregada
Marco de programación
plurianual
Evaluación de Riesgos
PLANIFICACION
Fiscales
Eficiencia
distributiva
PLANIFICACION
Asignar
recursos deY
ESTRATEGICA
acuerdo a las prioridades
gubernamentales
Planificación
estratégica
Objetivos de Políticas
Desempeño
Operacional
y Accountability
ESTRATEGICA
PROGRAMACION
OPERATIVA!!!!!
Evaluación de Programa
Indicadores de
Desempeño
Maximización relación
costo- efectividad
Participación
ciudadana
Planificación estratégica
Indicadores de
Desempeño
Convenios de Gestión
Planificación Estratégica y Evaluación del desempeño desde
una perspectiva sistémica
Plan Nacional de
Desarrollo
I.
II.
PlanificaciónProgramaciónPresupuesto
Monitoreo y Evaluación
Planificación Sectorial
PlanificaciónProgramación
Presupuestaria con
enfoque a resultados
Sistema de Indicadores
de Gestión y resultados
Evaluación de Impacto
III.
Rendición de Cuentas
Ex –Post de Inversiones
y Resultados
Intermedios
Informes de Evaluación
Anual Resultados de la
Gestión, Congreso,
Órganos de Control
Que son los Sistemas de M&E
Conjunto de instrumentos y
procedimientos
Que entregan información para hacer el
seguimiento y evaluar el desempeño.
Indicadores de desempeño:
Evaluaciones
MONITOREO Y EVALUACION
Componentes
Instrumentos
Metodología
Uso de la
Información
Requerimientos
Evaluación de
Resultados
Evaluaciones
Complementarias
Econométricas,
Estadísticas
Complementada con
evaluación cualitativa.
Políticas,
Programas
Consultorías
especializadas, de
carácter externo
licitadas por el Órgano
responsable.
Evaluación de Impacto o
Resultados Finales
Marco Lógico
Evaluación de
Programas, o Evaluación
Institucional del Gasto
Público
Seguimiento y
Evaluación
Institucional
Rediseño de
Programas
Rendición de
Cuentas
Monitoreo y
Evaluación de la
Gestión (Operativa y
Presupuestaria)
Sistema de indicadores
de desempeño: producto,
resultado intermedio y
final, eficiencia, calidad,
ejecución presupuestaria
Planificación
estratégica.
Diseño de sistema de
control de gestión
Establecimiento de
marco metodológico.
Evaluación de Impacto
(12 meses)
Evaluación de
Programas (3-5 meses)
Procesos de definición
Monitoreo de indicadores de prioridades,
De gestión y resultados
objetivos estratégicos,
metas
Sistemas de
Información para el
monitoreo de los
indicadores
Uso de la información del desempeño en el Presupuesto
Indicadores año n-1 y
año +1
Indicadores de
Ejecución
presupuestaria,
Procesos
Discusión
Aprobación
Ejecución
Formulación
Evaluación de
Inversiones
Planificación
Programación
Evaluación
Indicadores
Evaluaciones
Complementarias
INFORMES
Retroalimentación
Para la toma de
decisiones
Gobierno
Sectores/ Ministerios
Jerarcas
Rendición de Cuentas
Asamblea
Legislativa
Órganos de Control
Ciudadanía
Evaluación de
Impacto
Evaluación de
Programas
Que han hecho los países
• Países con intentos de integración entre
niveles de decisión gubernamental
–
–
–
–
–
–
Colombia:
Costa Rica:
Uruguay
Brasil
México
Chile
– Perú
– Ecuador
SINERGIA
MAPI-POIS
SEV
Plan Plurianual. PPA
SED
Sistema de Control de
Gestión y Presupuesto por
Resultados
Plan Nacional de DesarrolloSectorial…
Plan de Desarrollo de Gobierno
MEXICO
COSTA RICA
INSTRUMENTOS DE CONTROL DE GESTIÓN EN
CHILE
Fuente: www.dipres,cl
EVALUACIÓN DE
INVERSIONES
DEFINICIONES
ESTRATÉGICAS
EVALUACIÓN
INDICADORES DE
DESEMPEÑO
D is
i s c u s ió
ió n
A p r o b a c iió
ón
F o r m u lla
a c iió
ón
E je
j e c u c ió
ió n
E v a llu
u a c ió
ió n
PRESENTACION DE
PROGRAMAS
AL PRESUPUESTO
BGI
MECANISMOS DE INCENTIVO REMUNERACIONAL INSTITUCIONAL
• PROGRAMA DE MEJORAMIEnTO DE LA GESTIÓN
• METAS DE EFICIENCIA INSTITUCIONAL
• LEY MEDICA
Caso Uruguay
Planificación Estratégica y Sistemas de Evaluación de Desempeño
como apoyo a la gestión orientada a resultados
Principales Problemas identificados a partir de la
experiencia
en países de la región
Principales Problemas
1.
Dificultad para articular los instrumentos de evaluación y utilizarlos
adecuadamente para la toma de decisiones
2.
Las instituciones o entes que tienen un mandato público no siempre saben
que hacen y donde van… los instrumentos de monitoreo y evaluación se
aplican sobre bases débiles
3.
Sistemas de Evaluación débiles en su diseño y uso
4.
Institucionalidad de los SEV no generan incentivos
adecuados
1.
•
Dificultad para articular los instrumentos de
evaluación y utilizarlos adecuadamente para la
toma de decisiones
Plan Nacional de Desarrollo:
• Indicadores Macro nivel país
•
Planes Sectoriales
• Indicadores de Impacto y resultados
intermedios de los Programas
Indicadores agregados y
articulación con los
Sectores?
Indicadores de Impacto y
atribución a Programas,
especialmente “seguridad,
competitividad, etc” ?
– Tasas de Desnutrición
– Deserción escolar
– Disminución de déficit viviendas, etc.
•
Planes Institucionales
•
Indicadores de Objetivos Estratégicos
Institucionales
vinculados a Sectores Y Programas
Indicadores de Objetivos
Estratégicos desarrollados y
Planificación Estratégica y
vínculo con lo sectorial ?
PLANIFICACION-PROGRAMACION
PRESUPUESTO
Plan Nacional de
Desarrollo
Plan Financiero Multianual
Plan Nacional de Inversiones
METAS SECTORIALES
Planes Estratégicos Institucionales
Plan Operativo Institucional
Presupuesto
Planificación
PlanificaciónEstratégica
Estratégica
Programas???
Programas???
2.
Las instituciones o entes….no siempre saben que hacen
y donde van… los instrumentos de monitoreo y
evaluación
se aplican sobre bases débiles
• Identificación de Prioridades
• Misión, Visión
• Objetivos Estratégicos
( Y las estrategias,
metas, actividades para lograrlos)
• Indicadores que permiten medir el
desempeño logrado
• EVALUACION del DESEMPEÑO
3. Sistemas de Evaluación débiles en su diseño y
uso
• Confusión entre el monitoreo y la evaluación
• Se utilizan indicadores de proceso monitoreo trimestral,
anual para tratar de medir “ïmpacto”
• La información de desempeño está siendo más
un fin que un medio.
• Los indicadores como herramientas para
mostrar lo que debiera hacerse que lo que se
hace …. escaso apoyo como retroalimentación
para los directivos
4. Institucionalidad de los SEV no generan
incentivos adecuados
• Marcos Institucionales
responsabilización”
no
facilitan
hacer
“gerencia”
y
• Con excepciones los liderazgos de Órganos Rectores
(Hacienda, Planificación…) poco consolidados y son poco
creíbles en esta nueva función “evaluadora”
• Los modelos de GpR son adecuados en el “deber ser”, pero
poco comprendidos en su lógica en las organizaciones
• Con excepciones hay poca evidencia de aplicación de los SEVd
y su relación con la Eficiencia Asignativa y Eficacia Operativa….
Qué hacer
1. Mejorar articulación entre
la Planificación
La información
sobre desempeño
Nacional, Sectorial: Uso
de información
debiera
tener una demanda
permanente y sistemática desde
estratégica para las políticas….
los
Organos Centrales, de Control
Externo, Grupos de Interés
2
información de los SED se utiliza
Implementar incentivos La
para
el uso de la
para retroalimentar las decisiones
información de evaluación
en la toma
de
de directivos
de
decisiones: Contractualización,
consecuencias
Programas..(suponiendo
que están
definidas las responsabilidades)
e incentivos
Qué hacer?
Tipología de indicadores:
Qué rol juegan los indicadores de
desempeño (Resultados y gestión
(Eficiencia, Economía)
1. Mejorar las técnicas de evaluación…y
los sistemas de informaciónmetodologías
Qué rol juegan las evaluaciones..(de
impacto..de resultados intermedios)
Informar lo que interesa conocer…
Cumplimiento de Metas físicas de
productos?
Mejoramiento del marketing del presupuesto..
2. Mejorar los sistemas
deinformación
rendición
de y
Que
de desempeño
deseable y posible …?
cuentas….
Mayor expertise para presentación de
“Informes sobre Resultados” al Congreso y
ciudadanos…
3.
La información relevante para la rendición de
cuentas… cuesta obtenerla… y cuando se tiene a
veces no se usa
• Distintos tipos de indicadores para distintos usos
Indicadores de Desempeño
INSUMOS (INPUTS)
PRODUCTOS
(OUTPUTS)
RESULTADOS
(OUTCOMES)
De interés para la
Asamblea Legislativa,
Ciudadanía
Baja
Media
Alta
De
interés
para
Ministros, Directivos
Baja
Medio
Alta
De
interés
para
Instituciones, Entidades,
Organos de Control
Alta
Alta
Media
Dificultad
medición
Baja
Media
Alta
para
la
INSUMO
CUANTOS
RECURSOS
OCUPAMOS
I
N
D
I
C
A
D
O
R
E
S
T
I
P
O
U
S
O
I
N
F.
Costos planilla
Costos unidades
de productos
Número de
funcionarios
Licitaciones
realizadas
Actividades
Insumos
Inptus
Sistema de
Información
Interna
Entidades
Contraloría
PROCESO
CUAN BIEN LO
HACEMOS
Costo por
vivienda
Costo por
kilómetro
construido
Tiempo de
respuesta
inspecciones
PRODUCTO
RESULTADO
INTERMEDIO
RESULTADO
FINAL
HAY ALGUNA MEJORIA
QUE HACEMOS
Número de viviendas
Kilómetros
construidos
Inspecciones
realizadas
COMO CAMBIAN LOS
COMPORTAMIENTOS DE
LA VARIABLE, USUARIOS
COMO CAMBIAN LAS
CONDICIONES INICIALES
Porcentaje de viviendas con
estándares de calidad en la
normal
Disminución del
déficit habitacional
Provincia X
Porcentaje de viviendas con
entorno urbano
mejorado
Porcentaje de usuarios
que reciben vivienda
declaran satisfacción
por calidad y entorno
Eficacia
Eficiencia
Calidad
Gasto
administrativo/
Gasto Total
Gasto
Ejecutado/Gasto
programado
Eficiencia
Calidad
Economía
Eficacia
(Cobertura,
Focalización)
Calidad
Eficacia (Cobertura,
Focalización)
Eficiencia
Calidad
Presupuesto
Presupuesto
Presupuesto
Presupuesto
Sistema de
Información
interna
(Productos
intermedios,
Productos finales,
no relacionados
con
O.Estratégicos)
Sistema de Información
Directivo
Sistema de
Información
Directivo
(Productos
Finales)
Sistema de
Información
Interna
(Productos
Intermedios)
ORGANISMO DE
PLANIFICACION
Indicadores de desempeño más cerca de las
decisiones y como herramientas de mejoramiento
de la gestión
Requisitos de los Sistemas de
M&E
– Pertinencia y Relevancia: capacidad de proporcionar la
información que se precisa o demanda para adoptar decisiones
debidamente fundamentadas
– Confiabilidad: asegurar que la información corresponda a la
realidad del proyecto, programa o institución que se observa
– Oportunidad: asegurarse que la información esté disponible en
el momento en que lo requiere el proceso de toma de decisiones
– Legitimidad: que la información y los juicios que el sistema
genere sean respetados por los actores relevantes, sustentando
las decisiones que de ellos se desprendan
– Eficiencia o Costo razonable: que la información se genere al
menor costo posible, en función de los beneficios del uso de la
información
Sistemas de Evaluación del
Desempeño a nivel Subnacional
Análisis de Experiencias
Internacionales
Experiencias Internacionales
•
Estados Unidos
• Estudio de implementación de Sistemas de M&E en 489 municipios de
USA
From Measuring to Managing Performance:
Recent Trends in the Development of Municipal Public Sector Accountability
www.ipac.ca
•
Canadá
• Estudios de Mejores Prácticas de implantación de Sistemas de M&E
en Canadá. Experiencias Gobiernos Federales
Treasury Board Secretariat Canada.
www.tbs-sct.gc.ca
•
Reino Unido
• Experiencia de Audit Commission
http://www.audit-commission.gov.uk/
http://www.bvpi.gov.uk/pages/Index.asp
Principales errores en el diseño e implementación de los
Sistemas de M&E
• Medición del desempeño:
– Como ejercicio técnico con poca consideración a los
aspectos organizacionales y a la realidad
gestión local.
de la
– Implementado como instrumento de control
que
para mejorar el desempeño, como herramienta para
los directivos.
Principales problemas en el diseño e implementación de
los Sistemas de M&E a nivel subnacional
• Medición del desempeño:
– Frecuentemente implementado
unilateralmente
desde la dirección, sin
participación de los
funcionarios que están a
cargo de la provisión de
servicios. Se generan
indicadores irrelevantes
para los usuarios y ciudadanos
– Particularmente en los gobiernos locales, existe
dificultad para acordar cuales son las medidas
correctas: satisfacción del usuario, grupos de interés,
rendición de cuentas, etc.
Estudio de Sistemas de M&E en municipios:
Factores que deben ser potenciados
• Debe haber una interconección entre el alto
nivel de decisión y el desempeño operacional
• El Sistema de M&E debe incluir Indicadores de
desempeño estratégicos en cascada desde el
cuerpo Directivo hacia los departamentos, los
indicadores operacionales apoyan a los
niveles de gestión senior.
Estudio de Sistemas de M&E en municipios:
Factores que deben ser potenciados
• Capacidad de empoderamiento a los
directivos
• Desarrollo de Sistemas de Información
• Rendiciones de Cuentas en un marco de
participación ciudadana
Canadá: Experiencia de
Ontario,
• Existen contratos de desempeño entre el
ámbito federal y municipal, con referencia
a sistemas de indicadores
• El interés principal de los esfuerzos de
monitoreo y evaluación son los
ciudadanos y el mejoramiento de los
servicios a éstos.
Elementos comunes
• Todos los Sistemas tienen un componente
básico de Planificación Estratégica articulado
con los sistemas de control de gestión.
• Están claramente identificados los responsables
por el cumplimiento de las metas asociadas a
los indicadores
• Los sistemas de indicadores se apoyan de
procesos de benchmarking y buenas prácticas
Elementos comunes
• En el ámbito local los sistemas de
monitoreo y evaluación tienen un fuerte
componente de escrutinio público y están
más expuestos a enfoques donde prima la
perspectiva política.
– Difícil llegar a consensos sobre los
estándares
– Distintos intereses de los stakeholders
(calidad v/s costo…)
Elementos Comunes
• Si bien el foco de la gestión estratégica son los
resultados……
• La dificultad de medición de éstos en el ámbito
público…pero…si no se avanza en …
• Considerar los indicadores de operacionales o
de gestión, la implementación, el mejoramiento
y la generación de capacidades, los
RESULTADOS no se producirán