Sistema de evaluación ex-post y de seguimiento del proceso

Sistema de evaluación ex-post y de seguimiento
del proceso inversor: La experiencia Chilena
Fernando Cartes Mena
Jefe División Evaluación Social de Inversiones
Ministerio de Desarrollo Social . Chile
10 Junio 2014
Contenidos
1. SNI Chile y Ev. Ex Post
2. Aspectos Metodológicos
4.1 Costos
3. Estadística descriptiva
4.2 Plazos.
4. Resultados de la evaluación
4.3 Magnitudes
4.4 Gestión Administrativa
4.5 Indicadores de Resultado
4.6 Reevaluaciones, Operación y Recepción del
Proyecto
Gobierno de Chile | Ministerio de Desarrollo Social | Evaluación ex post simplificada
2
Sistema Nacional de Inversiones (SNI)
El SNI norma y rige el proceso de inversión pública de
Chile. Reúne las metodologías, normas y procedimientos que
orientan la formulación, ejecución y evaluación de las
Iniciativas de Inversión (IDI) que postulan a fondos
públicos.
Evaluación Ex
Ante
Evaluación Ex
Post
Formulación
Presupuestaria
Ministerio de Desarrollo Social
Ministerio de Hacienda
Ejecución
Presupuestaria
Marco Legal: Ley 1.263 (Administración Financiera del Estado),
Ley 20.530 (Crea Ministerio Desarrollo Social) y Ley de
Presupuestos.
1. OBJETIVO GENERAL DE LA EVALUACIÓN EX
POST
Determinar la eficacia y eficiencia del uso de los recursos de inversión
pública y comprobar si efectivamente las iniciativas de inversión, una vez
ejecutadas, cumplieron con los objetivos esperados de acuerdo a lo estimado
en la evaluación ex ante, en cuanto a productos, procesos y
procedimientos, a partir del análisis de resultados en el corto, mediano y
largo plazo.
OBJETIVOS ESPECÍFICOS DE LA EVALUACIÓN
EX POST
 Identificar los resultados de las inversiones, el grado de cumplimiento
de los objetivos planteados y la validez de las proyecciones ex ante.
 Verificar el cumplimiento de los procesos y procedimientos técnicos
y administrativos establecidos en la evaluación ex ante;
 Determinar la contribución de la ejecución de las iniciativas de inversión al
logro de las políticas públicas.
 Derivar acciones correctivas para mejorar los procesos de inversión
vigentes.
 Generar información para apoyar el proceso continuo de actualización de
metodologías, capacitación, criterios de formulación y evaluación ex ante.
EVALUACIÓN EX POST DE CORTO PLAZO
• Se efectúa una vez finalizada la fase de ejecución de una iniciativa de
inversión.
• Debido al corto plazo de operación de éstas se mide resultados a nivel de
productos, costos, tiempo de ejecución y especificaciones técnicas
(tamaño, localización, magnitudes etc.).
• En algunos casos, se podrá estimar el cambio en la rentabilidad social de
las iniciativas, atribuible sólo a la variación en los montos de la inversión.
Objetivos Evaluación Ex Post de Corto Plazo
• Conocer el proceso de ejecución de las iniciativas de inversión, a través
del análisis de los tiempos involucrados en el proceso administrativo, de
los costos y tiempos reales de ejecución, y de los productos obtenidos.
• Identificar variaciones en la etapa de ejecución, entre lo propuesto y lo
real, e identificar y analizar sus causas.
• Identificar aspectos que permitan retroalimentar el Subsistema de
Análisis Técnico Económico (Evaluación Ex Ante), básicamente en lo que
se refiere a las metodologías y parámetros utilizados en la estimación de
costos de inversión, plazos y productos de las iniciativas.
Evaluación
Programado
Real
2. Aspectos Metodológicos
Aspectos
Proceso 2013
Modalidad de Evaluación
100% de proyectos
N° de proyectos evaluados
676
Fuente
FNDR y Sectoriales
Período de Referencia
El año anterior a la evaluación (2012)
Informes
Nacional, Regional, Sectorial, fuente financiera e
Individual
Sistema
Automático
Registro por proyecto evaluado
Informe Individual en el BIP
Fuente: Ministerio de Desarrollo Social. Informe de evaluación ex post simplificada proceso 2013.
Variables de Evaluación
Variables
1. Costos
4. Rentabilidad
2. Plazos
5. Gestión Administrativa
3. Magnitudes
6. Reevaluaciones, Operación, Recepción del
Proyecto.
Gobierno de Chile | Ministerio de Desarrollo Social | Evaluación ex post simplificada
9
3. Estadística Descriptiva
El universo de proyectos evaluados fue de 676 proyectos que terminaron su ejecución
durante el año 2012, financiados con recursos del Fondo Nacional de Desarrollo
Regional (F.N.D.R) y Sectorial; siendo los principales sectores transporte y multisectorial
(desarrollo urbano ), educación y cultura, agua potable y alcantarillado .
224
452
F.N.D.R.
SECTORIAL
Gobierno de Chile | Ministerio de Desarrollo Social | Evaluación ex post simplificada
10
3. Estadística Descriptiva
Distribución de proyectos por monto gastado (MM$)
La mayor parte corresponden
a proyectos de bajo monto de
inversión
(pequeños),
mientras que las grandes
inversiones son más bien
excepcionales
correspondiendo
en
su
mayoría
al
sector
de
transporte.
Fuente: Ministerio de Desarrollo Social. Informe de evaluación ex
post simplificada proceso 2013.
Gobierno de Chile | Ministerio de Desarrollo Social | Evaluación ex post simplificada
11
3. Estadística Descriptiva
Proyectos según plazo de ejecución
En casi 50% de los proyectos
el plazo de ejecución fue
menor a 1 año. 23% proyectos
tardaron más de 3 años en
terminar su ejecución.
90
65
337
184
1 año
2 años
3 años
más de 4 años
Fuente: Ministerio de Desarrollo Social. Informe de evaluación ex
post simplificada proceso 2013.
Gobierno de Chile | Ministerio de Desarrollo Social | Evaluación ex post simplificada
12
Categorización Montos de Inversión
Para verificar la compatibilidad del
registro de la información de ejecución
de gasto ingresada al BIP con la que
contiene el Sistema de Información y
Gestión Financiera del Estado (SIGFE),
se subdividió el total de proyectos
evaluados en 3 grupos :
 BIP = SIGFE
Por
lo
tanto
 BIP > SIGFE y
validados los datos
BIP < SIGFE
en las 3 categorías,
Inicialmente, del universo de se
proyectos
efectúa
el
evaluados, la compatibilidad del
registro
análisis
de
los
de información fue la siguiente:indicadores
Con de
base a la información de gasto del
gastos con elSIGFE
100% y la proporcionada por la Unidad
de los proyectos.
Financiera, durante el proceso de
evaluación, se validó esta información y
fue factible incorporarla principalmente a
los
121 proyectos que registraban
información
BIP < SIGFE.
Gobierno de Chile | Ministerio de Desarrollo Social | Evaluación ex post simplificada
13
4. Resultados de la evaluación
4.1. Variación de gasto real con respecto al monto recomendado
250
La distribución de las variaciones del gasto real respecto del monto recomendado, los
proyectos tienden a ubicarse en torno al cero, indicando que los montos gastados fluctúan en
torno a los montos recomendados.
64%
de
los
proyectos
se
encuentra en el
rango +/- 10%.
100
150
155
92
47
50
N° de Proyectos
200
233
15
985
4112111
2111
1
0
1
1352
35
24
15
9
-100 -75
-50
-25
0
25
50
75
100
125
150
175
200
225
250
275
300
Variación Porcentual
Fuente: Ministerio de Desarrollo Social. Informe de evaluación ex post simplificada proceso 2013.
Gobierno de Chile | Ministerio de Desarrollo Social | Evaluación ex post simplificada
14
4. Resultados de la evaluación
4.1 Costos
Grado de
predicción
DETALLE
País
Aceptable
Aceptable grado de predicción (desviación +-10%
de lo estimado)
64%
(429)
Sobreestimación
Estimaciones del monto recomendado estuvieron
sobrevaloradas, ya que los contratos fueron
suscritos por un monto menor a lo recomendado.
19%
(129)
Causas:
a. Menores precios logrados en las licitaciones.
b. Menor gasto por NO utilización o utilización parcial del ítem
Consultorías y gastos administrativos cuyos ítems fueron
asumidos por la Unidad Técnica con recursos propios.
c. Reducción en la magnitud de la obra principal u obras anexas.
d. Incremento del costo del proyecto producto del terremoto del 27F,
situación que no se dio en la realidad al momento de contratar el
proyecto.
e. Se adelantó la ejecución de algunas obras emergentes producto
del terremoto del 27F, financiadas con recursos propios o también
hubo reducción de partidas u obras extraordinarias producto de la
emergencia
f.
Sobre estimación efectiva de costos.
4. Resultados de la evaluación
4.2 Plazos
Se estima con base a tres indicadores, que dan cuenta de la variación que
existe entre el plazo real de ejecución y el plazo recomendado.
1. Plazo Total
2. Plazo de Ejecución de Obra Civil, Equipos, Equipamiento, Consultorías, Terreno.
3. Plazo de Ejecución de Gastos Administrativos, Expropiaciones y Otros Gastos sin
contrato.
Los plazos reales de ejecución del proyecto se calculan considerando los
tiempos muertos que se producen durante la ejecución del proyecto, esto
sucede por lo general en 2 momentos:
• Entre el primer gasto administrativo y el primer contrato
• Entre el término de la obra civil y la adquisición del equipamiento, para
proyectos que consideren equipamiento.
Pero también, en general, se producen tiempos muertos en casos
excepcionales por la quiebra de la empresa constructora y frecuentemente
por condiciones climáticas.
Gobierno de Chile | Ministerio de Desarrollo Social | Evaluación ex post simplificada
16
4. Resultados de la evaluación
Meses
4.2 Plazos
Comparación plazos recomendados v/s ejecutados (meses)
20
15
18
16
11
10
10
4
5
5
0
Obra
Gastos
Adminsitrativos
Recomendado
Total
Ejecutado
Fuente: Ministerio de Desarrollo Social. Informe de evaluación ex post simplificada proceso 2013.
Nota: Obra incluye los ítems: Obra civil, equipos, equipamiento, consultoría y terreno;
Gastos administrativos incluye: gastos administrativos, expropiaciones y otros gastos.
Gobierno de Chile | Ministerio de Desarrollo Social | Evaluación ex post simplificada
17
4. Resultados de la evaluación
4.2 Variación plazo real obra civil con respecto al recomendado
Gran concentración de datos alrededor del cero, pero también se puede
observar que los proyectos están cargados hacia el lado derecho de
éste, indicando una tendencia a que el plazo real sea mayor al
recomendado.
200
191
160
120
95
80
51
45
35
40
1310
8
12
5 4
5
50
0
41
40
0
N° de proyectos
144
1 2 1 2 2
1 3
1
1
2
1
14
00
15
00
11
00
12
00
13
00
10
00
90
0
80
0
70
0
60
0
30
0
20
0
10
0
0
-1
00
0
Variación Porcentual
Fuente: Ministerio de Desarrollo Social. Informe de evaluación ex post simplificada proceso 2013.
Gobierno de Chile | Ministerio de Desarrollo Social | Evaluación ex post simplificada
18
4. Resultados de la evaluación
4.2 Plazos de ejecución
Resultados
Detalle
Se ajusta a lo
Recomendado
Plazo real de ejecución se ajusta a lo recomendado
No se ajusta a lo
Recomendado
Los plazos de ejecución reales superan en 6 meses a
los recomendados.
Causas Plazo
Obra
País
10 %
(66)
66%
(444)
1. Ampliación de plazo otorgada por la Unidad Técnica por modificaciones
al contrato y paralización de obras por condiciones climáticas
2. Subestimación de plazo, ya que las licitaciones consideraron plazo
mayor a lo estimado.
3. Existencia de tiempos muertos entre el término de obra civil y
adquisición del equipamiento; en promedio se registra un tiempo
muerto de 6 meses, considerando 126 proyectos en los que existe una
brecha entre la adquisición del primer equipo y el término de la obra civil.
4. Reevaluaciones del proyecto una vez iniciada su ejecución lo que
estuvo asociado a una ampliación del plazo de ejecución.
5. Reiteradas licitaciones declaradas desiertas por lo cual hubo que
reevaluar el proyecto.
Gobierno de Chile | Ministerio de Desarrollo Social | Evaluación ex post simplificada
19
4. Resultados de la evaluación
4.3 Indicador de Magnitud
DETALLE
País
Proyectos que se ajustaron a la magnitud estimada en
la evaluación ex – ante.
Magnitud
 Pero hubo modificación de obras complementarias.
(136 proyectos)
70 %
(472)
Modificación del emplazamiento (2)
Proyectos que terminaron su ejecución con mayores
magnitudes que lo recomendado.
Mayores
Magnitudes
Causas
17%
(114)
Estos proyectos son principalmente de los sectores:
transporte (32), agua potable y alcantarillado (26),
educación y multisectorial (14) y deportes (11)
a. El proyecto sufre modificaciones que no son informadas al SNI
b. Aumenta el número de beneficiarios del proyecto
c. Se producen modificaciones al proyecto, las mismas que no alteran en
más de un 10% de gasto, por lo tanto no son reevaluados.
d. Ajustes del diseño en obras complementarias
4. Resultados de la evaluación
4.3 Indicador de Magnitud
DETALLE
Proyectos que terminaron su ejecución con menor
magnitud que lo recomendado.
Menores
Magnitudes
 13 proyectos presentaron un indicador y/o valor de
magnitud erróneo.
 56 proyectos efectivamente presentaron menor
magnitud que lo recomendado
País
8%
(56)
Estos proyectos pertenecen principalmente a los
sectores: transporte (21), multisectorial (10), salud
(6); agua potable y alcantarillado (5)
a.
b.
Causas
c.
d.
e.
Parcialización en tramos, no se ejecuta el proyecto original y
se subdivide para ejecutar parte del proyecto original en otra
iniciativa.
Reevaluación y modificación en tramos menores al
presupuestado originalmente.
Cambio de especificaciones técnicas del diseño
Reducción del número de beneficiarios
Adecuaciones menores durante la ejecución del proyecto sin
modificar la aprobación original.
4. Resultados de la evaluación
4.4 Indicadores de resultado
El análisis de los indicadores de resultados se presenta por tipo de evaluación
ex ante, es decir, indicadores Costo Beneficio y Costo Eficiencia
Categoría
General
24% ; (160)
Costo Eficiencia
48%; (326)
Costo Beneficio
28%; (190)
Gobierno de Chile | Ministerio de Desarrollo Social | Evaluación ex post simplificada
22
4.5 Gestión Administrativa
1. Primer RS de la etapa de ejecución
2. Al RS que da origen a la ejecución presupuestaria
3. A la Presentación del GORE al CORE para financiamiento
4. Al acuerdo del CORE aprobando el financiamiento
5. A la solicitud de asignación presupuestaria que da origen a la ejecución
6. A la creación de asignación presupuestaria que da origen a la ejecución
7. A la toma de razón contraloría asignación presupuestaria
8. Al convenio mandato.
9. A la toma de razón contraloría convenio mandato
10. Al primer gasto administrativo
11. AL primer contrato del proyecto
12. A la publicación primera licitación de obra civil
13. A la adjudicación del oferente seleccionado de obra civil
14. Al primer contrato del proyecto de obra civil
15. A la toma de razón contraloría para adjudicación del contrato
16. A la entrega del terreno
17. Al primer gasto con cargo al proyecto del primer contrato de obra civil
4.5 Gestión Administrativa
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
Transcurren casi 7 meses en
promedio luego que la
iniciativa obtiene el primer RS
 Transcurren en promedio 12 meses (370 días)hasta
en total
el RSdesde
que da origen a
el RS que da origen a la ejecución y el primer gasto
del proyecto
ejecución.
Para el 75% de los
proyectos hubo una reducción
de 33 días respecto al proceso
2012.
Se registra un tiempo importante
13. entre la licitación y la adjudicación
14.
del proyecto con el oferente
15. seleccionado. En comparación al
16. proceso 2012 hubo una reducción de
prácticamente 3 meses en el tiempo
17.
de ejecución de este hito.
5 meses transcurren en
promedio luego de la firma
del Convenio Mandato, entre
la toma de razón del mismo y
el primer gasto administrativo,
lo que no favorece para la
iniciación de los trámites de
licitación.
4.6 Otros Resultados: Reevaluaciones
DETALLE
País
Se efectúan debido a que los proyectos cambiaron o sufrieron
Reevaluaciones modificaciones de costos en más del 10% del costo original o por
de Proyectos
ítem. Pueden ser en 2 momentos: a) antes del último RS que da origen a
la ejecución, b) durante la ejecución.
IDI con Reevaluación
Proyectos
Reevaluados
Causas de
Reevaluación
En promedio los proyectos se reevalúan 1 vez pero
existen casos en los cuales los proyectos ingresaron
a reevaluación 3, 4 y hasta 5 veces.
232 proyectos
a. Aumento de obras y/u obras complementarias ubicándose la
mayoría de las iniciativas en ésta categoría.
b. Cambio presupuestario que supera el 10% .
c. Ajustes en la programación financiera o modificaciones del
contrato.
d. Adecuación de obra a nueva norma sísmica a partir del 27F.
e. Reevaluado sólo para cambios en la Ficha IDI, sin modificar
montos
f. Incumplimiento de la empresa
4.6 Otros Resultados: Recepción
DETALLE
País
Recepción del
Proyecto
Recepción provisoria sin observaciones y/o
Recepción definitiva
93%
(626)
Recepción Provisoria con Observaciones
5.3 %
(36)
Sin Recepción Provisoria:
 Liquidación de contrato
 Decreto de la recepción provisoria está en
trámite
 Pendiente emisión de la resolución,
empresa se declara en quiebra
 Sin antecedentes informados
0.9%
(6)
Recepción definitiva con reserva
(principalmente de los sectores transporte,
deportes y educación y cultura)
1.2%
(8)
4.6. Otros Resultados: Operación
En Operación
DETALLE
País
Es importante conocer si una vez terminada la
ejecución del proyecto, el mismo se encuentra en
operación y prestando servicios a los beneficiarios
94 %
(635)
Proyectos que no han entrado en operación pese a
estar finalizada su construcción.
Sin Operar
Causas
Sector: Transporte (17), Multisectorial (7), Educación
y Cultura (6), Vivienda y Salud (3), Deportes y
Energía (2), Defensa y Seguridad (1)
6%
(41)
Para la mayoría de los proyectos que no están en operación, los
antecedentes entregados no son claros respecto de la causa de no
operación.
Gracias.