Evaluación Externa Programa de Incentivos Estatales Segundo Informe Metodológico

Red para el Desarrollo Sostenible
de México, A.C.
Evaluación Externa
Programa de
Incentivos Estatales
Segundo Informe Metodológico
Octubre, 2004
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
ÍNDICE
Presentación. ..........................................................................................................................................................3
Introducción ...........................................................................................................................................................4
Capítulo 1. D i s e ñ o.............................................................................................................................................5
Capítulo 2. O p e r a c i ó n ...................................................................................................................................8
Capítulo 3. Focalización y Cobertura ................................................................................................................18
Capítulo 4. Resultados (Beneficios Económicos y Sociales) .............................................................................21
Capítulo 5. Percepciones de los beneficiarios ....................................................................................................23
Capítulo 6. Planes de Trabajo y Estructura de Informe Final .......................................................................25
Anexos. Instrumentos para recopilar la información......................................................................................36
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
2
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Presentación.
El presente constituye el segundo informe de la evaluación externa del Programa de
Incentivos Estatales. Se trata de un informe de carácter eminentemente técnico ya que
contiene esencialmente la metodología para responder a los objetivos de la evaluación.
Igualmente, da cuenta del plan para efectuar la prueba piloto así como del trabajo de campo
y del análisis de la información cuantitativa y cualitativa. Incluye también una propuesta de
estructura del Informe final.
El documento consta de una Introducción y seis capítulos: Capítulo 1, Diseño; Capítulo 2,
Operación; Capítulo 3, Focalización y Cobertura;
Capítulo 4, Resultados;
Capítulo 5
Percepción de los beneficiarios. En el Capítulo 6 se detallan los planes para la prueba piloto,
de trabajo de campo y el procedimiento para el análisis de la información así como una
propuesta de estructura del informe final. Finalmente se incluye un apartado de Anexos.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
3
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Introducción
Teniendo como punto de partida la propuesta técnica que presentó
la RDS para dar
cumplimiento a cada uno de los objetivos de la evaluación el presente documento
esencialmente profundiza la propuesta metodológica. La estructura seguida es similar en
cada una de los capítulos: se señala el objetivo de la evaluación y posteriormente el
procedimiento metodológico, presentando las preguntas principales a responder con la
evaluación e indicando los instrumentos y fuentes de información a utilizar; enseguida se
presenta la muestra, cuando es el caso. Finalmente, en cada capítulo se describen los
productos a obtener y las principales acciones a realizar.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
4
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Capítulo 1. D i s e ñ o
Objetivo: Analizar la formulación del Programa en términos de su consistencia interna y
congruencia con los principios y líneas de acción de la Estrategia General de Política Social
en México (CONTIGO) y la Estrategia de Microrregiones.
Procedimiento metodológico
1. Se analizará la congruencia del diseño del Programa con los principios y líneas de
acción de la Estrategia General de Política Social en México (CONTIGO) y la
Estrategia de Microrregiones, así como la congruencia interna entre los objetivos,
lineamientos, componentes y mecanismos de operación del Programa.
2. Con base en lo anterior, se dará contestación a las siguientes preguntas
propuestas por la Dirección General de Evaluación y Monitoreo de los Programas
Sociales (DGEMPS):
¿El diseño del Programa cumple con los principios de equidad, transparencia,
corresponsabilidad, cohesión social e integralidad, planteados en la Estrategia
CONTIGO?
¿Están previstos en las ROP los mecanismos necesarios y suficientes para
garantizar el cumplimiento de cada uno de estos principios?
¿Es congruente el diseño del Programa con los objetivos de la Estrategia de
Microrregiones?
¿Hay una definición clara y adecuada de los elementos clave del diseño del
Programa tales como objetivos, población objetivo, tipo y monto de los apoyos
otorgados, criterios de elegibilidad y requisitos, entre otros?
¿Existe congruencia entre los distintos elementos del diseño del Programa
según las ROP: objetivos, lineamientos generales y específicos, apoyos
otorgados, operación y seguimiento?
¿Las ROP son claras y equitativas para todos los estados? (Pregunta de
cuestionario a Gobiernos estatales)
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
5
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
¿El diseño del Programa fomenta que los estados lleven a cabo programas
que tengan sinergias con otros programas de la SEDESOL?
Además de dar respuesta analítica a las anteriores preguntas, la RDS se propone hacer:
Un análisis crítico del marco teórico conceptual del PDIE, a fin de aportar
algunos elementos que enriquezcan dicha conceptualización.
Responder a la pregunta: ¿El diseño del Programa permite lograr sus
objetivos?
Un análisis sobre la pertinencia del Programa, entendida como el grado y la
forma en que éste contribuye a lograr los objetivos y metas planteadas en los
documentos de Estrategia General de Política Social en México (CONTIGO) y
la Estrategia de Microrregiones.
El análisis del Diseño se hará mediante una revisión del conjunto de documentos básicos,
lineamientos y reglas de operación, seguida de un análisis de congruencia que examine
cómo y en qué medida el diseño del programa resulta coherente con las estrategias de
planeación y desarrollo gubernamentales.
Fuentes de información:
Plan Nacional de Desarrollo 2001-2006. Presidencia de la República. 2001.
Programa Nacional de Desarrollo Social 2001-2006. Secretaría de Desarrollo Social.
2001.
Estrategia: Contigo. Secretaría de Desarrollo Social, Subsecretaría de Desarrollo
Social y Humano. México 2002.
Estrategia de Micro Regiones
Lineamientos Específicos Año 2003 para el ejercicio de los Programas de Desarrollo
Social. SEDESOL
Reglas de Operación del Programa de Incentivos Estatales.
Producto:
Análisis del diseño del programa,
recomendaciones
para
superarlas,
incluyendo el análisis de fortalezas, debilidades y
así
como
la
formulación
de
conclusiones
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
y
6
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
recomendaciones que contribuyan al mejoramiento del programa, a su readecuación o a su
conclusión.
Actividades:
Recopilación y revisión de cuando menos los siguientes documentos:
Comparación y análisis de congruencia entre las reglas de operación y los
documentos del Programa, con los documentos arriba mencionados.
Recopilación y revisión bibliográfica sobre programas similares en México y en el
exterior (al menos tres).
Revisión crítica y comparación de programas similares
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
7
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Capítulo 2. O p e r a c i ó n
Objetivo: Verificar el cumplimiento de las Reglas de Operación (ROP) que regulan las
acciones del Programa y la adecuada operación del mismo.
La evaluación de la operación del programa contempla cuatro aspectos:
a. Verificación y existencia de sistemas de información y seguimiento de
acciones del Programa, y su validación en campo.
b. Análisis de los procesos operativos,
c. Verificación del cumplimiento de metas físicas y financieras
d. Análisis de costos.
a. Verificación y existencia de sistemas de información y seguimiento de acciones del
Programa, y su validación en campo. Se tratará de responder a las siguientes
preguntas:
•
¿El Sistema Integral de Información de los Programas Sociales (SIIPSO)
opera en las delegaciones?
•
¿Su operación es confiable?
•
¿En qué grado se utiliza para realizar una buena gestión del Programa?
Procedimiento metodológico
Se hará:
Síntesis documental: sobre el Sistema Integral de Información de los Programas
Sociales (SIIPSO).
Entrevistas a profundidad a los responsables de los sistemas de información y
seguimiento de Dirección General de Políticas Sociales así como a los responsables
del Sistema Integral de Información de Programas Sociales (SIIPSO, únicamente
para 2004)1.
Encuesta a Delegados Federales de la Sedesol en los Estados. Se constatará el
funcionamiento de los sistemas de información y seguimiento mediante la inclusión
en la encuesta de una serie de preguntas al respecto. 2
1
Véase Anexos. Guión de entrevista a funcionarios en oficinas centrales y encuesta a funcionarios de las Delegaciones
Federales de la Sedesol en los Estados.
2
Ibid.Cuestionario para funcionarios de las Delegaciones Federales de la Sedesol modalidades de apoyos a la innovación a
través de concurso abierto y corresponsabilidad y rendición de cuentas.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
8
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Indicadores
Porcentaje de delegaciones en las que opera el SIIPSO
Grado en la que se utiliza para mejor la gestión
Fuentes de Información:
Datos Administrativos del Programa (SIIPSO 2004 y el sistema de
seguimiento de la Dirección General de Políticas Sociales).
Entrevistas a operadores de SEDESOL a nivel central.
Encuestas a operadores de SEDESOL a nivel estatal.
b. Análisis de los procesos operativos.
La evaluación de los procesos operativos comprende tres aspectos:
b.1. Operación de las modalidades del Programa
b.2. Cumplimiento de Reglas de Operación
b.3. Análisis de las evaluaciones 2003
b.1. Operación de las modalidades del Programa. Teniendo como base el diagrama de
flujo3 se analizarán los dos procesos operativos fundamentales que tiene el programa y que
se refieren a la asignación de recursos para cada una de las dos modalidades:
Corresponsabilidad y Rendición de Cuentas y Apoyos a la Innovación a través de Concurso
Abierto. Se verá si el desarrollo de los procesos es el adecuado, señalando claramente si
existen cuellos de botella operativos. La valoración se hará por separado para cada
modalidad.
Procedimiento Metodológico:
Para efectuar lo anterior se hará:
Revisión documental. Para identificar los principales procesos operativos del Programa y
elaboración de los diagramas de flujo de los mismos.
3
Ibid. Diagramas de flujo de los principales procesos operativos del programa que fueron reelaborados por la RDS, teniendo
como fuentes de información las Reglas de Operación del Programa, los Lineamientos Específicos de los Programas de
Desarrollo Social para el año 2003 y entrevistas con operadores del Programa a nivel central.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
9
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Entrevistas a profundidad con los responsables de la operación del Programa en el nivel
central; entre ellos, a los funcionarios de la Dirección General de Política Social (DGPS),
de la General de Medición y Seguimiento de Programas Sociales (DGMSPS), así como a
los responsables del SIIPSO 4
Encuesta a los responsables del Programa en las Delegaciones Federales de la
Sedesol.5
Encuesta a autoridades estatales que presentaron proyectos.6 Para la evaluación de la
operación del Programa.
La pregunta central a responder es: ¿El programa opera según lo establecido en las reglas
de operación?
Indicadores
% de cumplimiento de procesos básicos de la operación: a) promoción, b) difusión, c)
asignación de recursos, d) ejecución de proyectos y e) mecanismos de control y vigilancia.
b.2. Cumplimiento de las Reglas de Operación. Se constatará el cumplimiento de las
ROP mediante la revisión documental de los 143 proyectos de infraestructura en
muestra.
La pregunta a contestar en este aspecto será:
¿El proyecto cumple con los requisitos administrativos y de elegibilidad que marcan las
ROP?7
Indicadores
% de cumplimiento de requisitos administrativos y de elegibilidad.
4
5
Ibid. Guión de entrevista a funcionarios en oficinas centrales.
Ibid. Cuestionario para funcionarios de las delegaciones federales de las Sedesol, en sus dos modalidades.
6 Ibid. Cuestionario para funcionarios de los gobiernos estatales que presentaron proyecto en cualquiera de las dos
modalidades.
7 Ibid. Ver Cédula de Monitoreo de Proyectos Sección I y II
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
10
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
b.3. Análisis de las evaluaciones 2003. Se complementará la evaluación sobre la
operación mediante la revisión documental de 29 evaluaciones realizadas en 2003. Se
hará un análisis de las evaluaciones de los programas llevadas a cabo en el nivel estatal,
para lo cual se analizará fundamentalmente el tipo de evaluación de que se trata,
objetivos que se proponen, información relevante que presentan sobre el programa, su
utilidad práctica para la mejora en la operación del mismo. Se buscará conocer si está
sistematizada la información de las diversas evaluaciones y si se cuenta con una visión
homogénea para su manejo en todos los estados, etc. Algunas de las preguntas
centrales a las que responderá el análisis de las evaluaciones serán:
¿Qué porcentaje de proyectos participantes en el Programa cuenta con una
evaluación, por modalidad y por estado?
¿Existen Términos de Referencia estándares para las evaluaciones
estatales?
¿Qué tipo de información contienen las evaluaciones? ¿Es útil? ¿Es
relevante? (por ejemplo: información socioeconómica de las localidades y de
los beneficiarios). Aquí se identificarán los principales temas que abordan la
evaluaciones y se sistematizarán en una matriz de información básica que
permita un manejo ágil de los resultados obtenidos del análisis documental.
¿Esta información es homogénea en todos los estados?
¿Las evaluaciones cuentan con un análisis sobre la operación, focalización,
la efectividad de los proyectos, los resultados, las percepciones de los
beneficiarios?
¿Se puede conocer dónde se invirtieron los recursos y si los proyectos se
operaron adecuadamente?
¿En qué grado reflejan las evaluaciones estatales la realidad de los
proyectos visitados?
¿Se atendió a la población objetivo?
¿Existe continuidad y autosostenibilidad de los proyectos?
¿Los padrones son claros, identificables, coherentes?
Indicadores
% de proyectos que cuentan con evaluación.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
11
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Fuentes de Información:
Datos Administrativos del Programa (SIIPSO 2004 y el sistema de
seguimiento de la Dirección General de Políticas Sociales).
Documentos base del Programa. ROP y Lineamientos específicos
Entrevistas a operadores de SEDESOL a nivel central.
Encuestas a operadores de SEDESOL a nivel estatal.
Expedientes técnicos de la muestra de 143 proyectos de infraestructura.
Evaluaciones de los proyectos realizadas en el nivel estatal 2003.
Muestra.
Instrumentos
Informante autorizado
Tamaño de
Con estas
muestra
encuestas
de recolección
de datos
se medirán:
Entrevista a
Servidores públicos de nivel central (Dirección General de
profundidad con
Políticas Sociales de la SEDESOL).
8 entrevistas
Operación
62 encuestas
Operación
operadores
Encuesta a
Servidores públicos de las delegaciones federales de la
operadores
Sedesol (subdelegado de desarrollo social y humano).
Encuesta a
Se encuestarán a los siguientes miembros del COPLADE y
63 encuestas
Operación,
gobiernos
autoridades estatales: al titular, al representante de la
a
percepciones
estatales que
oficina responsable del desarrollo social en el estado, a un
Funcionarios
y resultados
hayan
representante de otra Secretaría estatal o en su caso otra
presentado
autoridad estatal que haya presentado más proyectos
proyectos en
aprobados (por ejemplo alguna autoridad municipal).
2003
Producto:
Análisis sobre los sistemas de información del Programa y sobre sus principales procesos
operativos. Así como análisis de las evaluaciones estatales realizadas sobre el programa.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
12
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Actividades:
a. Diseño de guión de entrevista a funcionarios en oficinas centrales y realización de
las mismas.
b. Diseño de encuesta a operadores del programa de las Delegaciones Federales de
la Sedesol.
c. Diseño de encuesta a funcionarios de los gobiernos estatales.
d. Realización de prueba piloto de las encuestas.
e. Aplicación, sistematización y análisis de entrevistas y encuestas.
f.
Revisión y análisis de las evaluaciones realizadas en los estados.
g. Elaboración de informe.
c. Verificación del cumplimiento de metas físicas y financieras
En este apartado se evaluará el cumplimiento de metas físicas y financieras del programa
en sus diferentes modalidades. Para ello se requiere comparar el desempeño del programa
para los ejercicios de 2003 y 2004 con las metas que se fijaron ex ante. Un problema
metodológico que se enfrenta en este punto, que es producto de una deficiencia en la
manera de operar de los programas, es que con frecuencia las metas no se fijan con
claridad antes de los ejercicios y por tanto la comparación con lo realizado enfrenta
dificultades; otro asunto también de importancia es la definición precisa de las unidades de
medida de las metas, ya que por lo común no existe un sistema estandarizado de metas por
programa y para cada una de las acciones específicas que se llevan a cabo.
Se evaluará el cumplimiento de metas físicas y financieras del Programa, por modalidad a
través de:
a.
Revisión documental. Se examinarán los procesos del Programa, con el fin de
verificar el cumplimiento de las metas físicas y financieras a nivel estatal y nacional.
Utilizando información del SIIPSO 2004 y del sistema de seguimiento de la Dirección
General de Políticas Sociales se revisarán y analizarán los informes de avances físicofinancieros y bases de datos del cierre de ejercicios 2003 y 2004. Para ello, se requerirá
investigar los recursos empleados por tipo de apoyo contra los recursos programados.
Siendo éste último el indicador pertinente del tema.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
13
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
b.
Entrevistas a informantes clave como son los responsables del SIIPSO, de la
Dirección General de Política Social y de la Dirección General de Medición y Seguimiento de
Programas de Desarrollo Social.
c.
Monitoreo de las obras de infraestructura a través de la realización de un censo de
los 143 proyectos realizados en 2003. Con lo anterior se podrá verificar la consistencia entre
los registros del sistema y la evidencia en campo del avance físico de todos los proyectos de
infraestructura correspondientes al 2003.
Producto:
Análisis de cumplimiento de metas físicas y financieras del Programa.
Actividades:
a.
Recopilación y análisis, de informes de avances físico-financieros y bases de datos
del cierre del ejercicio 2003 y 2004 y su discusión respectiva.
b.
Aplicación del censo de proyectos de infraestructura, sistematización y análisis del
mismo.
c.
Redacción del apartado correspondiente.
Preguntas a responder
Las preguntas que se busca responder en este tema son las siguientes:
1.
2.
3.
¿Cuáles fueron las metas que se fijó el programa para ambos ejercicios?
¿Las formas en las que se fijaron las metas son adecuadas y suficientes para hacer
una evaluación ex post?
¿Cuáles son las etapas y los diferentes momentos de fijación de metas en el curso
de la operación del programa?
4.
5.
¿Cuáles fueron las metas logradas por el programa en los dos ejercicios?
¿Son consistentes y adecuadas las formas en las que se reportan las metas
realizadas?
6.
7.
¿Cuál fue el grado de cumplimiento de metas?
¿Cuáles fueron las razones por las que no se cumplieron (en su caso)?
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
14
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Indicadores
Los indicadores que se usarán dependen de la naturaleza de las metas. Para el caso de las
metas financieras el asunto es un tanto más sencillo ya que el indicador fundamental es el
monto de recursos ejercidos, el cual se puede distinguir en monto total, y el monto por sus
diferentes fuentes, es decir, federal, estatal, municipal, beneficiarios y crédito.
En el caso de las metas físicas el asunto se complica ya que el programa lleva a cabo obras
y acciones de naturaleza muy heterogénea, por lo que es difícil encontrar indicadores que
puedan ser usados de manera generalizada. Uno de ellos es el número de beneficiarios,
que será un indicador utilizado para el análisis. Aquí, sin embargo, existe también cierta
imprecisión, ya que resuelta diferente la valoración de los beneficiarios de obras y proyectos
dirigidos específicamente a personas o grupos de personas, que los beneficiarios de obras
de infraestructura generalizada (pavimentaciones, alumbrados públicos, caminos, etc.) en
donde los beneficiarios son más genéricos ya que abarcan a la población total que utiliza el
servicio. Sin embargo, el indicador resulta útil con esa salvedad. Se puede distinguir por
género, en hombres y mujeres.
Un indicador de metas físicas que se utiliza con frecuencia es número de proyectos
realizados que también puede ser generalizado, aunque en realidad es muy engañoso, ya
que no considera el asunto del tamaño y características cualitativas de los proyectos. Así,
que se hagan muchos proyectos no quiere decir necesariamente que se logren muchas
metas, ya que puede darse el caso de que se lleven a cabo un número grande de proyectos
de tamaño pequeño, que pueden tener un menor desempeño que pocos proyecto de gran
tamaño. Se usará de todas maneras este indicador con las reservas del caso.
Para el análisis de metas específicas logradas se intentará llevar a cabo un proceso de
agrupación de los diferentes acciones y proyectos para tratar de definir indicadores
específicos por grupos de proyectos, aunque este proceso enfrenta dificultades mayores
derivadas de la inexistencia por parte de la Secretaría de un sistema homogéneo y
estandarizado de metas y tipos de obras y proyectos; con frecuencia un mismo tipo de
proyecto recibe nombres diferentes en estados diversos, y aun en una misma delegación
existen diferentes formas de medir metas para los mismos tipos de proyectos (por ejemplo,
a veces se usa el indicador sistema para medir los logros en el tema de agua potable, y a
veces metros lineales de tubería, por dar un ejemplo). Por ello, se hará un análisis de la
consistencia de las formas de definición de esos indicadores y se generarán las
recomendaciones conducentes.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
15
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
En el caso específico de las acciones que hayan implicado construcción de obra civil, se
utilizará el indicador metros cuadrados de construcción.
Fuentes de información
Las fuentes de información que se utilizarán serán las siguientes:
1.
2.
3.
4.
Documentos en donde se hayan establecido las metas de los ejercicios.
Bases de datos de cierre de ejercicio y de avance de ejercicio.
Entrevistas a informantes clave.
Visitas de campo a las obras civiles.
Instrumentos
Los instrumentos serán dos: los guiones de entrevista a funcionarios responsables del
programa, en los que se incluirá un punto relativo a las formas de establecimiento de metas
ex ante y las cédulas de visita a las obras civiles, las cuales se presentan en los Anexos.
d. Análisis de costos.
La estimación y valoración del costo beneficio del programa se hará por medio de un
análisis detallado de los recursos que son empleados para su operación (recursos
logísticos) y hacer una comparación de los mismos con los recursos que son destinados a
las actividades sustantivas, es decir a los proyectos y acciones que realmente llegan a los
estados beneficiarios (recursos de inversión) a fin de especificar el porcentaje del
presupuesto ejercido destinado a la operación del Programa, y el costo para la SEDESOL
de hacerle llegar un peso a manos de los estados a través del Programa Incentivos
Estatales. Se espera que la gran mayoría de los recursos del programa consistan en estos
últimos; así, el programa tendrá un mejor desempeño en costo efectividad en la medida en
la que sus costos operativos sean menores en relación con la inversión total.
Por ello se procederá a hacer una cuantificación de cuánto está gastando la institución en su
conjunto para hacer posible la operación del programa, en el conjunto de sus fases y en
todas sus instancias, desde el nivel central, el de las delegaciones y el que corresponde a
las actividades de campo en las regiones; igualmente se hará una estimación de los costos
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
16
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
invertidos por otros agentes que participan en la operación del programa, como es el caso
de otras dependencias federales, los gobiernos estatales, los municipales y los beneficiarios.
La estimación del costo administrativo de las actividades que el aparato central realiza se
hará considerando solamente la proporción en la que las unidades administrativas utilizan
del tiempo, recursos y capacidades totales en la operación del programa, ya que algunas
unidades realizan funciones para diversos programas.
Producto:
Análisis de los recursos financieros y logísticos utilizados en la operación del programa y su
comparación y valoración con respecto a la totalidad de los recursos invertidos en las
actividades sustantivas del programa.
Actividades:
a. Elaboración de un esquema general de flujo de la operación del programa (un
mapeo preliminar de procesos) e identificación de las unidades
administrativas que intervienen, el personal ocupado, los recursos usados en
los diferentes conceptos administrativos y el porcentaje en el que lo
atienden. Esta información será proporcionada por la Sedesol, y también se
obtendrá a partir de un conjunto de entrevistas a los diferentes responsables
de la operación del programa así como de la recopilación y revisión de
diversos documentos.
b. Estimación de los costos administrativos del programa. Con la información de entrevistas
y documentos recabada en el punto anterior.
c.
Comparación de los costos de operación con los de inversión y su valoración.
d.
Redacción del apartado correspondiente.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
17
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Preguntas que se busca responder:
1 ¿Cuáles son los costos de operación en los que incurren las instituciones en la operación
del programa?
2. ¿Cuál es la proporción de estos costos con relación a las inversiones sustantivas?
Indicadores
El indicador principal de este análisis es el Costo de Operación del programa, el cual se
puede desagregar en Recursos Humanos, Materiales e insumos diversos, Inversiones en
Bienes de Capital. Asimismo, es posible desagregar este indicador en función de los
diferentes participantes en la operación del programa: oficinas centrales de Sedesol,
delegaciones, gobiernos estatales, gobiernos municipales y beneficiarios. El análisis se hará
por lo menos para los costos incurridos por la Sedesol y se buscará complementar en la
medida de lo posible la información acerca del resto.
Capítulo 3. Focalización y Cobertura
Objetivo: Determinar en qué medida, las acciones del Programa se enfocan a mejorar el
bienestar de la población en situación de pobreza.
Procedimiento metodológico:
Con base en revisión documental se hará un análisis comparativo de cobertura y
focalización de los años 2003 y 2004, por tipo de apoyo otorgado en el ámbito nacional, por
entidad federativa y por localidad así como a nivel urbano y rural.
Focalización
Utilizando el índice de marginación del Consejo Nacional de Población (CONAPO) a nivel
municipal y de localidades, y la asignación de la inversión del Programa, se determinará en
qué medida los recursos y las acciones del Programa se han dirigido a las zonas más
marginadas del país, comparando las cifras del 2003 al 2004 . El análisis se desagregará
por vertiente o por tipo de apoyo.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
18
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
El análisis anterior se realizará también a nivel de localidad en los casos pertinentes.
Utilizando datos a nivel de localidad –inversión, número de acciones, proyecciones de
población 2004 e índice de marginación-, y se comparará la focalización del programa
durante el período 2003-2004.
Cobertura
En términos de cobertura se dará cuenta del número de estados, municipios y localidades
atendidas con acciones del programa. Adicionalmente se considerará el índice de
focalización donde se identificarán errores de inclusión y exclusión del Programa,
considerando el criterio de que la población objetivo es la que se encuentra en pobreza y
esta es la que habita en localidades o colonias marginadas. Así, se asumirá que los errores
de inclusión serán aquellos que se incurren cuando se atiende a población que no se
encuentra en localidades o colonias marginadas y la exclusión es la diferencia entre el total
de beneficiarios de zonas marginadas y la población nacional que habita en esas zonas.
Esos datos serán analizados en un marco de carácter cualitativo que considere el carácter y
alcances del programa.
La evaluación reportará el número de localidades beneficiadas con proyectos de
infraestructura que se llevaron a cabo en el ejercicio 2004. Se analizará su variación con
respecto al año anterior por tipo de modalidad, a nivel nacional y por entidad federativa.
Cuando sea posible, se determinará si existe un padrón para cada proyecto, que no sea de
infraestructura, que permita identificar a las localidades y/o los beneficiarios directos.
Producto:
Análisis sobre cobertura y focalización del Programa 2004 y su variación respecto a la
obtenida en el año anterior
Actividades:
a.
Recopilación y análisis estadístico y cualitativo de las bases de datos del cierre 2003
y 2004 del Programa de Incentivos Estatales, para determinar indicadores de
focalización.
b.
Análisis de la información generada y discusión de la misma.
c.
Redacción del apartado correspondiente.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
19
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Preguntas a responder
1.
¿En que medida las acciones del programa se destinan a la población que habita
localidades o colonias marginadas (población en pobreza)?
2.
¿En cuántos estados, municipios y localidades se realizaron acciones del programa?
Indicadores
En primer lugar el indicador de cobertura será el número de estados, municipios y
localidades en las que se realizaron obras del programa.
En segundo lugar se usarán los indicadores: número de proyectos, monto de inversión y
número de beneficiarios atendidos en estados, municipios, localidades, según su grado de
marginación. Es importante mencionar que en el caso de localidades urbanas grandes el
indicador presenta problemas, ya que el concepto “localidad” no es suficiente para describir
el grado de marginación de la población, ya que en estas localidades se presenta en general
un bajo índice de marginación, que muchas veces no describe la situación de las
poblaciones empobrecidas en el interior de ciudades grandes. Por ello se buscará bajar el
análisis a nivel de colonia o barrio, pero eso dependerá de que se pueda contar con la
información que la Sedesol ha generado para ese nivel.
Fuentes de información:
Bases de datos de cierre y avance de ejercicio.
Índices de marginación por estado, municipio y localidad. (CONAPO)
Colonias y barrios en pobreza (Sedesol)
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
20
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Capítulo 4. Resultados (Beneficios Económicos y Sociales)
Objetivo: Medir los resultados del Programa en relación con los cambios o acciones que
estén llevando a cabo los estados en materia de política social.
La evaluación de resultados se enfocará en los estados que son beneficiarios del Programa,
para generar un análisis comparativo 2003-2004 que permita la construcción de una línea
basal en torno a los resultados esperados.
Procedimiento metodológico
Se hará de dos maneras, atendiendo a los objetivos particulares del programa, mediante:
a) Encuesta a funcionarios de los gobiernos estatales.8
b) Entrevistas a profundidad a informantes calificados en el estado. De manera
complementaria se ahondará en los principales temas de la encuesta, sobre todo
con el propósito de documentar los procesos más importantes en la operación y de
ejemplificar los beneficios e impactos.
Muestra
Instrumentos
Informante autorizado
de
Tamaño de
Con estas
muestra
encuestas
recolección
se medirán:
de datos
Encuesta a
Se encuestarán a los siguientes miembros del
63
Operación,
gobiernos
COPLADE y autoridades estatales: al titular, al
encuestas a
percepciones
estatales que
representante de la oficina responsable del desarrollo
Funcionarios
y resultados
hayan
social en el estado, a un representante de otra
presentado
Secretaría estatal o en su caso otra autoridad estatal
proyectos en
que haya presentado más proyectos aprobados (por
2003
ejemplo alguna autoridad municipal).
8
Ver apartado 6.2.1. Evaluación de Procesos en este mismo documento.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
21
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Producto:
Análisis de resultados: beneficios económicos y sociales.
Actividades:
a. Diseño de encuesta
b. Aplicación de la prueba piloto
c. Aplicación de la encuesta, sistematización y análisis estadístico de la misma
d. Entrevistas a profundidad a funcionarios estatales
e. Revisión y análisis documental y estadístico
f.
Elaboración de reporte sobre resultados
Preguntas a responder:
¿El programa contribuye a reducir la pobreza en los estados?
¿Qué porcentaje de recursos destina el estado a gasto social?
¿El programa incentiva a los gobiernos estatales a: a) la innovación, b) invertir en
gasto social, d) a una mayor corresponsabilidad, e) a una mayor coinversión, f) a la
coordinación interinstitucional, g) sinergias y mayores impactos en la atención a la
pobreza.
Indicadores
Monto estatal para gasto social/ monto total del gasto de la entidad
% de respuestas positivas a las preguntas anteriores.
Proporción de la inversión federal/inversión estatal en programas sociales
Proporción del gasto estatal destinado a: educación, atención a la salud y
reducción de la pobreza.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
22
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Capítulo 5. Percepciones de los beneficiarios
Objetivo: Conocer las percepciones de los estados beneficiarios sobre la operación y los
resultados del Programa.
Procedimiento metodológico:
Este objetivo se abordará de dos formas:
a. A través de una encuesta se medirá la percepción de las autoridades estatales, que
presentaron y que no presentaron proyectos en 2003 en las dos modalidades.9
Las principales preguntas que se buscará responder serán:
¿Cuál es la percepción que tienen sobre el Programa de Incentivos Estatales los
estados participantes y no participantes en el mismo en 2004?
¿Cómo valoran los criterios y procedimientos con los que opera el Programa?
¿Qué valoración general hacen sobre el Programa?
b. Por medio de revisión documental se indagará sobre el porcentaje de estados que
recibieron apoyos del Programa respecto al número de aquellos que lo solicitaron con base
a la información de Cierre de Ejercicio 2004.
Porcentaje de estados
que recibieron apoyos
del programa respecto a
aquellos que lo
demandaron
Estados que recibieron apoyo
Estado que solicitaron apoyo
Estados que recibieron apoyo
Número total de estados
Fuente de datos:
Encuestas a autoridades estatales que presentaron proyectos.
Encuestas a integrantes de Coplades que no presentaron proyectos (en cada
modalidad).
9
Ver apartado 6.2.1. Evaluación de Procesos en este mismo documento.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
23
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Muestra:
Instrumentos
Informante autorizado
Tamaño de
Con estas
muestra
encuestas se
de recolección
de datos
medirán:
Encuesta a
Se encuestarán a los siguientes miembros del
63 encuestas
Operación,
gobiernos
COPLADE y autoridades estatales: al titular, al
a
percepciones y
estatales que
representante de la oficina responsable del
Funcionarios
resultados
hayan
desarrollo social en el estado, a un
presentado
representante de otra Secretaría estatal o en
proyectos en
su caso otra autoridad estatal que haya
2003
presentado más proyectos aprobados (por
10 encuestas
Percepciones
ejemplo alguna autoridad municipal).
Encuestas con
Encuesta al titular o al secretario técnico del
los gobiernos
Coplade.
estatales que no
presentaron
proyectos en
2003 (10
estados)
Producto:
Análisis de la percepción, satisfacción y valoración sobre el programa que hacen y tienen los
gobiernos estatales
que presentaron y no presentaron proyectos en 2003 en sus dos
modalidades.
Actividades:
Recopilación, revisión documental y aplicación de indicadores para medir el grado de
satisfacción de los estados a los apoyos del Programa.
Aplicación de encuestas a funcionarios estatales y análisis estadístico de la misma
para determinar la percepción, el grado de satisfacción y valoraciones sobre el
programa que hacen los estados que presentaron y no presentaron proyectos en
200310
10
Redacción del apartado correspondiente.
Ibidem.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
24
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Capítulo 6. Planes de Trabajo y Estructura de Informe Final
En el presente capítulo se abordan cuatro aspectos:
a. Plan para la prueba piloto
b. Plan de trabajo de campo
c. Plan para el análisis de la información
d. Propuesta de estructura del informe final
a. Plan para la prueba piloto
La realización de una prueba piloto cumple varios propósitos dentro del proceso de la
evaluación del programa Incentivos Estatales:
a) Permite valorar la confiabilidad y funcionalidad de los diversos instrumentos de
recolección de datos: encuestas, entrevistas a informantes clave y cédulas de
monitoreo
de
proyectos
y
hacerles
los
ajustes
pertinentes
para
cumplir
adecuadamente con los objetivos de la evaluación, antes de su aplicación extensiva
a la muestra definitiva.
b)
Pone a prueba la logística necesaria para cumplir en tiempo, forma y costos el
levantamiento de la información requerida, y
c) Permite correr y ajustar las rutinas y salidas del procesamiento de la información
levantada de modo tal que arrojen resultados confiables y significativos para la
evaluación.
Los datos generales de referencia que se toman en cuenta para definir el tamaño y
localización de la prueba piloto son los siguientes:
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
25
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
•
Operación del programa en 2003 y 2004, a través de dos modalidades:
Corresponsabilidad e Innovación.
•
Participación de 20 entidades federativas en 2003 y 12 en 2004.
•
Los tipos de proyecto más apoyados por el programa son los de infraestructura y los
sociales, y en mucho menor medida los productivos.
•
La no participación aun de algunas entidades en el programa o que bien lo han
intentado y no han logrado el apoyo.
Tomando en cuenta la información anterior y considerando limitaciones de tiempo, logística
y costos, se propone llevar a cabo la prueba piloto en un conjunto de entidades en las que
se pueda apreciar el desempeño tenido en las dos modalidades del programa,
de
preferencia en ambos años y que a la vez tengan proyectos de infraestructura, sociales y
productivos en 2003. Asimismo, en entidades que no hayan intentado o no hayan logrado
recibir el apoyo del programa.
De tal modo, la propuesta de prueba piloto considera trabajar en los siguientes 7 estados:
Estados participantes en el programa en 2003 y 2004: Aguascalientes, Guerrero, Morelos y
México.
Entidades que no han participado o no han recibido el apoyo en ningún año: Nuevo León,
Oaxaca, Veracruz.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
26
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Proyectos propuestos a monitorear en la prueba piloto
Entidad
Mpio./Localidad
2003/Modalidad
Proyecto
Tipo de
proyecto
Aguascalientes
Aguascalientes
Corresponsabilidad
Juan Escutia #
Centro de
Social
Desarrollo Indígena
311 Col. Héroes
Aguascalientes
Aguascalientes
Corresponsabilidad
Suministro e
Social
instalación de
cisternas
Aguascalientes
Aguascalientes
Innovación
TV a mayores
Social
Guerrero
Chilpancingo
Innovación
Pensión
Infraestructura
Guerrero, atención a
adultos mayores
Guerrero
Chilpancingo
Corresponsabilidad
Encauzamiento
Infraestructura
del Río Huacapa
tramo TecnológicoReclusorio
Morelos
Jojutla
Corresponsabilidad
Rehabilitación del
Infraestructura
Puente Fundición
Morelos
Jojutla
Encasquillamiento
Productivo
de canal del riego El
Jicarero
Morelos
Huitzilac
Innovación
Equipamiento de
Infraestructura
planta potabilizadora
México
Tejupilco
Innovación
Construcción de
Infraestructura
Centro de Desarrollo
Comunitario y
Familiar
Requerimientos de apoyo de la UARP y de la Dirección de Evaluación:
a) Retroalimentación para afinar instrumentos de levantamiento de información.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
27
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
b) Proporcionar directorio y gestionar colaboración de los funcionarios estatales de
Sedesol, del gobierno estatal, de Coplade, de los operadores de los servicios u
obras y de los representantes de beneficiarios.
Calendario de actividades:
•
Ajuste a instrumentos, elaboración de manual de encuestas y preparación de
logística para prueba piloto: 22 de octubre a 2 de noviembre.
•
Realización de la prueba piloto: 3-21 de noviembre.
•
Procesamiento de información, ajustes a instrumentos y redacción de
informe: 22-29 de noviembre.
•
Entrega del Informe de la Prueba Piloto: 30 de noviembre. Incluye un
resumen de los resultados alcanzados, versiones finales de los cuestionarios
y sus manuales correspondientes, con descripciones de todas las
modificaciones realizadas.
Cronograma de actividades prueba piloto
2004
Año
Acción / mes
Ajuste a instrumentos, elaboración de manual de encuestas y preparación de
logística
Realización de la prueba piloto
Procesamiento de información, ajustes a instrumentos y redacción de informe
IV. Entrega del Informe de la Prueba Piloto (30 noviembre de 2004)
Oct
Nov
b. Plan de trabajo de campo
El trabajo para recolectar información de campo se llevará a cabo a través de tres
instrumentos que conllevan un conjunto de actividades, no necesariamente sincrónicas. A
continuación analizaremos cada tipo de instrumento, señalando los responsables de su
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
28
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
aplicación y las principales actividades involucradas. El método para procesar la información
colectada se aborda en el apartado correspondiente.
a) Entrevistas a profundidad con operadores del programa: se llevarán a cabo directamente
por el conjunto de investigadores-evaluadores del equipo consultor. Si bien se considera
realizar 8 entrevistas a los operadores a nivel central tanto del programa como de los
responsables de los sistemas de información y seguimiento, también se contempla llevar a
cabo, en los casos que sea necesario, entrevistas en los estados con operadores,
ejecutores y beneficiarios que permitan complementar y profundizar la información derivada
de la encuesta.
b) Encuestas: serán aplicadas directamente por cinco de los investigadores-evaluadores del
equipo consultor, durante los meses de diciembre y enero (ver cronograma). Un total de 135
encuestas se aplicarán a:
•
Operadores del programa en las delegaciones de Sedesol: una encuesta por
modalidad del programa, para dar un total de 62 encuestas.
•
A los funcionarios responsables de las 21 entidades que presentaron
proyectos en 2003: titular del Coplade, Secretaría a cargo del Desarrollo
Social y otra secretaría o municipio ejecutor del proyecto, para dar un total de
63 encuestas.
•
Al titular del Coplade o al secretario técnico en las 10 entidades que no
presentaron proyectos en 2003, para dar un total de 10 encuestas.
c) Monitoreo de obras: se aplicarán 143 cédulas de monitoreo de obras en 10 entidades
del país (ver cuadro anexo), durante los meses de diciembre de 2004 y enero de
2005 (ver cronograma).
Partiendo del conocimiento de la base de datos de los proyectos realizados en 2003,
en 6 de los 10 estados en que se concentra un número bajo de proyectos en pocos
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
29
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
municipios y localidades, el levantamiento de la cédula de monitoreo la hará también
el investigador-evaluador que lleve a cabo la aplicación de la encuesta. Para 4 de los
10 estados en donde se concentra el mayor número de proyectos, en número
también alto de municipios y localidades, se reclutará a profesionistas o pasantes
que tengan el perfil y la experiencia que les permita monitorear adecuadamente el
tipo de proyectos predominantes en esas entidades. Asimismo, Se llevará a cabo un
proceso de capacitación del personal que va a levantar la información para afinar y
homogeneizar el conocimiento y las habilidades
necesarias para llevar a cabo
adecuadamente su actividad; se le proporcionará un
instructivo para apoyar su
trabajo en campo.
Distribución de obras 2003 a monitorear por entidad
Estado
No. de
No. de Mpios.
No. de localidades
proyectos 2003
Aguascalientes*
10
4
4
Baja California
40
5
5
Durango*
2
2
2
Guanajuato*
3
3
3
Guerrero*
1
1
1
Jalisco
38
10
10
México*
5
5
5
Morelos
32
18
30
Nayarit*
2
2
2
San Luis Potosí
10
7
8
* Cédulas de monitoreo que serán también aplicadas por los investigadores-evaluadores.
Cronograma de actividades de campo
Año
Acción / mes
Integración y capacitación de monitores de obras o proyectos
Revisión de expedientes técnicos de proyectos
Aplicación y captura de cédulas de monitoreo de obras
Procesamiento información cédulas monitoreo obras
Aplicación y captura de las encuestas
Entrevistas a funcionarios y operadores
Procesamiento de la información
IV. Reporte de la evaluación de operaciones e informe
sobre trabajo de campo (15 de febrero de 2005)
Oct
2004
Nov
Dic
Ene
2005
Feb
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
Mar
30
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
c. Plan para el análisis de la información
En este apartado se detalla de manera general la forma como se sistematizará la
información cuantitativa que se origina en la aplicación de encuestas
a funcionarios y
monitoreo de las obras de infraestructura 2003. Se desarrolla también de manera general la
forma en que se procesará la información cualitativa que tiene como fuentes primordiales, la
revisión bibliográfica y documental así como la revisión de las evaluaciones realizadas para
cada una de las proyectos u obras apoyadas por el Programa; las entrevistas a profundidad
realizadas con operadores y funcionarios del programa a nivel central y las realizada en los
estados con informantes locales.
Análisis de la información cuantitativa
1. Programa de captura de la información
Una vez que se cuente con los cuestionarios definitivos para las encuestas y la cédula de
monitoreo de obras, se diseñará un programa de captura en Visual Basic 6.0 teniendo como
base de datos Access 2000. Se generará una base de datos para cada una de las
encuestas y otra para las cédulas de monitoreo de obras.
En todos los casos, el valor de las respuestas Sí será codificado como 1, el valor de No será
2 y el valor de no respondió será 9.
Para las preguntas en donde se pueda seleccionar más de una opción, se generará un
campo por cada opción donde el nombre del campo se compone del prefijo “Preg”, el
número de pregunta, un guión bajo y un número consecutivo (Ej. Preg18_1).
En todos los casos, la longitud máxima de cada caja de texto de captura se condicionará a
la longitud que tiene el campo en la base de datos.
En la preguntas donde se puede seleccionar una sola opción, se generará solamente un
campo.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
31
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
2. Distribución del programa.
Tanto a los investigadores-encuestadores como a los monitores de obras se les entregará
un CD con el programa desarrollado, un instructivo para su instalación en una PC o laptop y
un manual para la captura de la información, para que sean ellos los que lleven a cabo dicho
proceso, lo que reducirá grandemente errores de transcripción al pasar la información a
forma magnética.
Los requisitos mínimos para instalar el programa son:
Sistema operativo:
Windows 98
Memoria RAM:
24 Mb
Espacio en disco duro:
10 Mb
3. Captura de la información.
Las principales Instrucciones para el llenado del cuestionario en la PC o laptop son las
siguientes:
Todos los campos están limitados, es decir, sólo podrán capturarse el número de
caracteres que permita el campo. Si la información no cabe (en el campo) ésta debe
resumirse para su captura.
En los campos donde se pide una sola opción, sólo se permite seleccionar una de
ellas, si hubo algún error en la captura, es posible modificar cualquier campo.
En los campos de opción múltiple, es posible seleccionar más de una opción.
En los campos donde se debe capturar información numérica, sólo es posible
capturar este tipo de datos, es decir, el programa no permite capturar algún otro
carácter que no sea un dígito.
Para cambiarse de un campo a otro, puede hacerlo con la tecla de tabulación (tab) o
dando un clic con el ratón en el campo que desea capturar.
Para cambiarse de una hoja a otra, puede hacerlo con el ratón dando un clic sobre el
nombre de la hoja o dando un clic sobre los botones siguiente o anterior.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
32
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Siempre que haga una modificación o agregado, al terminar de capturar el
cuestionario, no olvide guardar la información dando un clic en el botón guardar.
Para agregar un nuevo registro debe dar un clic en el botón agregar.
4. Proceso para reunir la información.
Se recibirán las bases de datos por correo electrónico y los paquetes de encuestas o
cédulas por paquetería o personalmente. Se llevará a cabo una revisión final de estas
bases, cotejando la información contenida en ellas con la información que se recogió en
campo.
Para reunir las bases de datos enviadas por los encuestadores-investigadores o monitores
de obra, se generará una rutina en el lenguaje Visual Basic 6.0. Esta rutina agrega los
campos de cada tabla de la base de datos a las tablas de una base inicial en blanco, este
paso se repite con cada una de las bases de los estados.
5. Proceso estadístico de la información.
La información reunida en las dos bases de datos (la de las encuestas y la de las cédulas de
obra) se exportará tanto a hojas de cálculo de Excel como al formato SPSS Ver. 11 y se
procederá a su análisis estadístico mediante este último programa En un primer momento
se harán tablas de frecuencias para todas las variables de las encuestas y a partir de ellas
se diseñarán procedimientos específicos para atender las preguntas, hipótesis y objetivos
planteados para la evaluación.
Una vez obtenidos todos los estadísticos, se exportarán los resultados de cada etapa a
archivos HTML, y estos últimos se exportarán a su vez a formato WORD XP para la
reedición final y presentación de los resultados.
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
33
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Sistematización de la información cualitativa
La sistematización de la información cualitativa se propone sistematizar de la siguiente
forma:
La información derivada de la revisión documental de los documentos Normativos
del Programa y bibliográfica se hará a través de fichas de trabajo organizadas por
tema y subtema para posteriormente proceder el hacer el análisis.
La información producto de las entrevistas a profundidad con informantes clave se
hará a través e fichas temáticas.11 Organizadas igualmente por tema y subtema.
La información obtenida de los informes de evaluación se vaciará en una matriz de
datos básicos que facilite la lectura el manejo de datos y el análisis. La estructura
de contenido final de la matriz se hará luego de contar con el resultado de las 29
evaluaciones sin embargo inicialmente se pueden considerar los siguientes grupos
de datos:
Estado
Nombre del Proyecto
Modalidad del Proyecto
Informe de Evaluación si /no
Aspectos que aborda:
Principales resultados: realización del proyecto u obra,
operación,
beneficios
económicos
y
percepciones
y
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
34
valoraciones generales
Observaciones
11
Ver apartado de anexos. Ficha técnica para entrevista
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
d. Propuesta de estructura del informe final
Se propone la siguiente estructura para el informe final
Resumen Ejecutivo
Presentación
Abreviaturas
Introducción
El Programa de Incentivos Estatales
Resultados
Diseño
Operación
Focalización y Cobertura
Resultados (beneficios económicos y sociales)
Percepción de los beneficiarios
Conclusiones
Fortalezas
Retos y recomendaciones
Literatura consultada
Anexos
a. Anexo metodológico
b. Anexo estadístico
c.
Anexo fotográfico
d. Anexos estatales
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
35
Segundo Informe Metodológico de Evaluación Externa
Programa de Incentivos Estatales 2004
Anexos. Instrumentos para recopilar la información.
GUIÓN DE ENTREVISTA A FUNCIONARIOS EN OFICINAS CENTRALES
a. CUESTIONARIO PARA FUNCIONARIOS DE LAS DELEGACIONES
FEDERALES DE LA SEDESOL MODALIDADES DE APOYOS A LA
INNOVACIÓN
A
TRAVÉS
DE
CONCURSO
ABIERTO
Y
CORRESPONSABILIDAD Y RENDICIÓN DE CUENTAS
b. CUESTIONARIO PARA FUNCIONARIOS DE LOS GOBIERNOS
ESTATALES QUE PRESENTARON PROYECTO MODALIDAD APOYOS
PARA LA INNOVACIÓN A TRAVÉS DE CONCURSO
c. CUESTIONARIO PARA FUNCIONARIOS DE LOS
ESTATALES
QUE
PRESENTARON
PROYECTOS
CORRESPONSABILIDAD Y RENDICIÓN DE CUENTAS
GOBIERNOS
MODALIDAD
d. CUESTIONARIO PARA FUNCIONARIOS DE LOS GOBIERNOS
ESTATALES QUE NO PRESENTARON PROYECTO MODALIDAD APOYOS
PARA LA INNOVACIÓN A TRAVÉS DE CONCURSO ABIERTO
e. CUESTIONARIO PARA FUNCIONARIOS DE
LOS
ESTATALES QUE NO PRESENTARON PROYECTO
CORRESPONSABILIDAD Y RENDICIÓN DE CUENTAS
f.
GOBIERNOS
MODALIDAD
CÉDULA PARA EL MONITOREO DE OBRAS DE INFRAESTRUCTURA
g. FICHA TÉCNICA_CLAVES_IE
_______________________________________________________________________________________________________________
Calle 7 No. 1, esquina Carretera Picacho Ajusco. Col. Ampliación Miguel Hidalgo
Delegación Tlalpan; México 14250 D.F.
Tel/FAX: 54 46 39 16, 54 46 45 59; c.e.: toledocarlos@prodigy.net.mx; www.rds.org.mx
36