ANEXO IV. Instrumentos de recolección de información Universidad Autónoma Chapingo Guía de entrevista. Preguntas de Evaluación 1. DISEÑO 17. ¿El programa ha identificado los medios de verificación para obtener cada uno de los indicadores? 19. ¿De qué manera el programa valida la veracidad de la información obtenida a través de los medios de verificación? 1.4 Población potencial y objetivo 25. ¿Cuál es la justificación que sustenta que los beneficios que otorga el programa se dirijan específicamente a dicha población potencial y objetivo? 27. ¿Los criterios y mecanismos que utiliza el programa para determinar las unidades de atención (regiones, municipios, localidades, hogares y/o individuos, en su caso) son los adecuados? (Señalar principales mecanismos). 28. ¿Existe información sistematizada y actualizada que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios), cuáles son las características socio-económicas de la población incluida en el padrón de beneficiarios y con qué frecuencia se levanta la información? 1.6 Posibles coincidencias, complementariedades o duplicidades de acciones con otros programas federales 34. ¿El programa cuenta con información en la que se hayan detectado dichas complementariedades y/o posibles duplicidades? 70. Considerando las complementariedades del programa, ¿tiene una colaboración y coordinación efectiva con los programas federales con los cuales se relaciona y se complementa? 2. PLANEACIÓN ESTRATÉGICA 2.1 Mecanismos y herramientas de planeación estratégica 35. ¿El programa cuenta con planes estratégicos actualizados de corto, mediano y largo plazo? 36. ¿En los planes se establecen indicadores y metas, se definen estrategias y políticas para lograr estas metas, y se desarrollan programas de trabajo detallados para asegurar la implementación de las estrategias y así obtener los resultados esperados? 2.2 Orientación para resultados 39. ¿El programa recolecta regularmente información oportuna y veraz que le permita monitorear su desempeño? 43. ¿Están los requerimientos de presupuesto explícitamente ligados al cumplimiento de las metas de desempeño? Fuentes: SIAFF, PROGRAMA OPERATIVO ANUAL 2006 (P.O.A) 3. COBERTURA Y FOCALIZACIÓN 3.1 Análisis de cobertura 49. ¿El programa cuenta con algún método para cuantificar y determinar la población potencial y objetivo? 53. ¿El programa cuenta con una estrategia de cobertura de corto, mediano y largo plazo? 3.2 Análisis de focalización 55. En relación con la información de gabinete disponible se debe evaluar si el programa ha logrado llegar a la población que se deseaba atender. Para esto es necesario utilizar indicadores consistentes con los criterios analizados en la pregunta 27 4. OPERACIÓN 4.1 Análisis de las ROP o normatividad aplicable 57. ¿Existen procedimientos estandarizados y adecuados para la selección de proyectos y/o beneficiarios? 59. ¿El programa cuenta con información sistematizada que permita: conocer la demanda total de apoyos y las características de los solicitantes y 63. dar seguimiento oportuno a la ejecución de obras y/o acciones 4.3 Organización y gestión 68. ¿El Programa cuenta con una estructura organizacional que le permita entregar y/o los componentes y alcanzar el logro del Propósito? El análisis deberá incluir las diferentes instancias relacionadas con la operación del programa. 4.6 Sistematización de la información 86. ¿Cuáles son los principales sistemas de información utilizados en la gestión del programa? Fuentes: SIPAAM, SIAFF, SIPREC, SIGITEL 87. En caso de que el programa cuente con un padrón de beneficiarios, ¿existen mecanismos de actualización y depuración del padrón de beneficiarios o listado de beneficiarios? Fuentes: SIPAAM, DIRECCION GENERAL DE GEOESTADISTICA Y PADRONES DE BENEFICIARIOS 88. ¿Los mecanismos de actualización son los adecuados? 5. PERCEPCIÓN DE LA POBLACIÓN OBJETIVO 93. ¿El programa cuenta con instrumentos que le permitan medir el grado de satisfacción de la población objetivo? 6. RESULTADOS 96. ¿El programa recolecta regularmente información veraz y oportuna sobre sus indicadores de Propósito y Fin? Guía de entrevista para la Evaluación de Consistencia y Resultados, 2008. FUENTE i 4. OPERACIÓN Programa 4.1 Análisis de las ROP o normatividad aplicable 57. ¿Existen procedimientos BASE DE DATOS DE estandarizados y adecuados para la selección de proyectos y/o beneficiarios? 58. ¿La selección de proyectos y/o beneficiarios cumple con los criterios de elegibilidad y requisitos establecidos en las ROP o normatividad aplicable? 59. ¿El programa cuenta con información sistematizada que permita conocer la demanda total de apoyos y las características de los solicitantes? 60. ¿Existen procedimientos estandarizados y adecuados para recibir y procesar solicitudes de apoyo? ADULTOS MAYORES (SIPAAM) REGLAS DE OPERACION REGLAS DE OPERACIÓN BASE DE DATOS DE ADULTOS MAYORES(SIPAA M) Procedimiento: 213PR-DAM-01 ELABORACIÓN DEL PADRÓN y ENAM 2005 Y 2006 ROP PREGUNTAS CONEVAL ROP Manuales de procedimientos Documentos oficiales y de trabajo ROP, lineamientos del programa o reglamento. Manuales de operación y procedimientos, Expedientes, documentos de trabajo y oficiales ROP, cédulas de información de beneficiarios, padrón de beneficiarios, sistemas de información y bases de datos. ROP Manuales de operación y procedimientos. Procedimientos estandarizados, existe una definición con la que se tenga que cumplir. ? Cuáles son los procedimientos para seleccionar a los adultos mayores? ? Cuáles actividades contemplan dichos procedimientos? ? Cuál es la documentación que contiene lo mencionado NOTA: aunque ya se contesto solo se quiere corroborar Del padrón de beneficiarios identificar los documentos con los que se da cumplimiento a los requisitos. (Identidad, edad y domicilio) Cotejar lo q establecen las ROP con la documentación que avala la selección de beneficiarios. Nota: Anotar los nombres de la documentación revisada. ? Demanda total de apoyos, definir y saber si cuentan con esté dato. ? Preguntar por las características de los solicitantes ? Especificar con que cuenta y que le hace falta NOTA: aunque ya se contesto se quiere corroborar y precisar algunos datos ? Cómo se reciben y procesan las solicitudes ? Cuáles son las actividades que involucran ? Ver la documentación en la que se describen los procedimientos NOTA: aunque ya se contesto se quiere corroborar y precisar algunos datos 61. ¿Los apoyos otorgados (incluyendo obras y acciones) cumplen con las características establecidas en las ROP o normatividad aplicable? 62. ¿Se respetaron los montos de apoyos estipulados en las ROP o normatividad aplicable? 63. ¿Se tiene información sistematizada que permita dar seguimiento oportuno a la ejecución de obras y/o acciones? 64. ¿Existe evidencia documental de que el programa cumple con los procesos de ejecución establecidos en las ROP (avance físico-financiero, actas de entrega-recepción, cierre de ejercicio, recursos no devengados)? 60, 61, 65 SIPAAM ROP actas de terminación, actas de entrega LINEAMIENTOS ESPECIFICOS recepción, convenios, acuerdos, encuestas de satisfacción y documentos oficiales y de trabajo. ROP, REGLAS DE convenios, acuerdos, OPERACION documentos oficiales y de trabajo. Padrón de BASE DE DATOS DE El Beneficiarios del ADULTOS MAYORES Programa, Anexos (SIPAAM) técnicos de BASE DE DATOS concertación (formatos SIGITEL PDSH-01). SIIPSO, (TELECOMM) Formato de Verificación de Pagos e Informes mensuales y de cierre de ejercicio. REGLAS DE OPERACIÓN AVANCE FÍSICO FINANCIERO MENSUAL CIERRE DE EJERCICIO ROP Manuales operación procedimientos y expedientes de y ? Ver la documentación; que describa las características que mencionan las ROP ? En qué meses reciben las transferencias y cuantas veces al año. NOTA: aunque ya se contesto se quiere corroborar y precisar algunos datos Solicitar documentación q acredite el monto que recibió el beneficiario. formato de verificación de pago??? (cantidad anual, cantidad por cuatrimestre) NOTA: aunque ya se contesto se quieren algunos datos ? Cómo se da seguimiento a la entrega de apoyos? Quién lo hace? ? Esté seguimiento está sistematizado? ? Cuándo se genero la información generada de la ejecución NOTA: aunque ya se contesto se quieren algunos datos ? Cuáles son los procesos, explicarlos ? Cotejar los procesos de ejecución con los documentos que nos muestren. Detallar la documentación revisada. 65. ¿Dichos procesos de ejecución funcionan de acuerdo a la normatividad? AVANCE FISICO FINANCIERO MENSUAL CIERRE DE EJERCICIO 67. Reportar los principales beneficios y resultados alcanzados con la implementación de acciones de mejora comprometidas. Enunciar únicamente el título de las acciones de mejora (Ejemplo: Reducción de tiempos de atención, disminución de cantidad de requisitos, etc.) 4.3 Organización y gestión 68. ¿El programa cuenta con una estructura organizacional que le permita entregar y/o producir los Componentes y alcanzar el logro del Propósito? El análisis deberá incluir las diferentes instancias relacionadas con la operación Ver documentación que acredite el procesos de ejecución se de realizan conforme a las ROP y SIAFF 4.2 Mejora y simplificación regulatoria. 66. ¿Se han implementado o REGLAS DE modificado en los últimos tres años normas internas, políticas, acciones o estrategias institucionales con el fin de lograr una mejora y simplificación regulatoria o de procesos en el programa? Describa las más importantes. ROP Manuales operación procedimientos. OPERACIÓN MANUAL DE ROCEDIMIENTOS MANUAL DE ORGANIZACIÓN REGLAS DE OPERACIÓN MANUAL DE PROCEDIMIENTO S ROP y MIR: Manifiesto de Impacto Regulatorio establecida por la Comisión de Mejora Regulatoria (COFEMER) Manuales de operación y procedimientos. ? Las siguientes modificaciones o adiciones que mejoras o impactos se realizaron, pero cual fue su finalidad? *La adición de “Derechos y obligaciones de los beneficiarios”, “Causas de incumplimiento, retención y suspensión de recursos”, “Participación de otros sectores” y “Gastos indirectos asociados a la operación del Programa” * elaboración del Avance financiero, de entregas mensuales a trimestrales *el cambio de instancias auxiliares NOTA: aunque ya se contesto se quieren algunos datos ROP Beneficios relacionados con el incremento del nivel de cumplimiento de metas y objetivos. Ejem. Reducción de MIR: Manuales de operación tiempos, costos de operación, cantidad de requisitos. y procedimientos. MANUAL DE ORGANIZACIÓN REGLAS DE OPERACIÓN MANUAL DE PROCEDIMIENTO S MANUAL DE ORGANIZACIÓN ROP Manuales de operación y procedimientos estructura orgánica Se obtuvo información de la evaluación del Programa 2006 pero aún se requiere ver los manuales que se mencionan y realizar entrevista. NOTA: aunque ya se contesto se quiere corroborar del programa. 69. ¿Los mecanismos de transferencias de recursos operan eficaz y eficientemente? 70. Considerando las REGLAS DE OPERACIÓN SIAFF SIPREC SIIPSO SIGITEL complementariedades del programa, ¿tiene una colaboración y coordinación efectiva con los programas federales con los cuales se relaciona y se complementa? 4.4 Administración financiera 71. ¿Existe evidencia de que el programa utiliza prácticas de administración financiera que proporcionen información oportuna y confiable para la toma de decisiones de los responsables de la administración política y administrativa? 72. ¿Existe una integración entre los distintos sistemas de información que conforman la administración financiera? ROP Manuales de operación y procedimientos, registros de entrega de apoyos ROP Manuales de operación y procedimientos ? El Programa ha identificado otros programas con los cuales complementarse. ? Tiene documentación que muestre colaboración y coordinación NOTA: aunque ya se contesto se quiere corroborar REGLAS DE OPERACIÓN SIAFF Sistemas financieros, documentos oficiales y de trabajo ? Evidencia documental o informática de las prácticas Documentos oficiales y de trabajo ? Cuáles son los sistemas de información que conforman la SIPREC SIIPSO SIAFF SIPREC SIIPSO 4.5 Eficacia, eficiencia, economía operativa del programa 73. Presentar el avance de los AVANCE DE indicadores a nivel de DUDA: Se refiere a la transferencia de recursos desde hacienda hasta los beneficiarios? O del la liquidador al beneficiario? Cómo y cuando se hace la entrega de recursos VER pregunta 61 y 62 DUDA: cómo saber que la transferencias de recursos se hace al menor costo? Talvez se tenga que comparar con el costo de otros programas, el porcentaje que representa del PIB… INVERSION Y financieras ? En qué tiempo se genera la información ? Con la información que se genera que decisiones se toman administración financiera ? Cómo se vinculan Solicitar esté avance Componente del programa, ¿este avance es el adecuado para el logro del propósito? 74. ¿Se identifica algún 75. ¿Se identifican componente o actividad que no es producido en la actualidad y que podría mejorar la eficacia del programa? Componentes, Actividades o procesos que se llevan a cabo en la actualidad y que podrían ser prescindibles o posibles de sustituir por otros más eficaces? 76. ¿Existen indicadores de eficacia en la operación del programa? Presentar un listado de estos indicadores. 77. ¿El programa ha identificado y cuantificado costos de operación y costos unitarios dependiendo del Propósito y de sus Componentes? Si fuera el caso, presentar dichos costos. 78. ¿El programa tiene procedimientos para medir costo-efectividad en su ejecución? METAS (INFORME MENSUAL TRIMESTRAL Y DE CIERRE DE EJERCICIO) MATRIZ DE MARCO LÓGICO MATRIZ DE MARCO LÓGICO Documentos donde se identifiquen indicadores de eficacia. AVANCE DE INVERSION Y METAS (INFORME MENSUAL TRIMESTRAL Y DE CIERRE DE EJERCICIO) ? Solicitar información donde el programa cuantificó costos de operación y costos unitarios. CIERRE DE CUENTA PÚBLICA EVALUACIONES EXTERNAS (de preferencia 2005 y 2006 (www.sedesol.go b.mx) DUDA: Cómo considero las actividades que se están haciendo para formar las redes? Se están llevando a cabo o se pospuso? Cómo que no es producido (pregunta 74) o cómo que se está llevando acabo? (pregunta 75) Manuales de procedimientos, documentos oficiales y de trabajo ? Preguntar si tiene procedimientos para medir el costoefectividad. ? Solicitar documento en caso de que exista o al menos el nombre -En las evaluaciones no tienen el procedimiento ni el cálculo, al menos en la evaluación 2006. 79. ¿Se identifica algún componente, actividad o proceso que no se esté llevando a cabo en la actualidad y que podría mejorar la eficiencia del programa? 80. ¿Se identifican Componentes, Actividades o Procesos que se llevan a cabo en la actualidad y que podrían ser prescindibles o posibles de sustituir por mecanismos de menor costo? 81. ¿Existen indicadores de eficiencia en la operación del programa? Presentar un listado de estos indicadores. 82. Cuantificar el presupuesto ejercido al término del presente ejercicio fiscal en relación al presupuesto asignado. ¿Cuáles son las razones de la situación que se observa? MATRIZ DE MARCO LÓGICO MATRIZ DE MARCO LÓGICO MATRIZ DE MARCO LÓGICO No se identificó. DUDA Se destinaron recursos económicos y humanos a la puesta en marcha del componente dos? Si se omite el componente dos, se mejoraría la eficiencia del programa? SIPREC AVANCE DE INVERSION Y METAS (INFORME MENSUAL TRIMESTRAL Y DE CIERRE DE EJERCICIO) ¿??? Los indicadores de la MML relacionados con la operación del Programa o los indicadores que el Programa maneja, si es esté último se requiere solicitar. Se parece a la 76. Documentos donde se identifiquen indicadores de eficacia. ? Solicitar información relacionada con presupuesto ejercido y asignado. ? Si existen diferencias, cuáles fueron las causas? 83. ¿Cuál es el monto o porcentaje de aportaciones de terceros (otras instituciones, NO APLICA 84. En función de los objetivos del programa, ¿se han aplicado instrumentos de NO APLICA otros niveles de gobierno, beneficiarios, etc.) en relación al presupuesto ejercido? recuperación de costos (gasto que le genera al Estado la producción/entrega de servicios del programa)? 4.6 Sistematización de la información 85. ¿Existe una sistematización MANUAL adecuada en la administración y operación del programa? 86. ¿Cuáles son los principales sistemas de información utilizados en la gestión del programa? 87. En caso de que el programa cuente con un padrón de beneficiarios, ¿existen mecanismos de actualización y depuración del padrón de beneficiarios o listado de beneficiarios? 88. ¿Los mecanismos de actualización son los adecuados? ORGANIZACIONAL MANUAL DE PROCEDIMINTOS SIPAAM SIAFF SIPREC Sistemas de información, administración y/u operación, documentos oficiales y de trabajo Sistemas de información y manuales de los sistemas SIGITEL DIRECCION GENERAL DE GEOESTADISTIC A Y PADRONES DE BENEFICIARIOS ? En qué consisten y el periodo de actualización y depuración Sólo corroborar la informar que se tiene. oficiales y de trabajo Solicitar información: indicadores de gestión 2006 y 2007. Detalla por indicador el avance DUDA: los vamos a estimar nosotros EVALUACIONES EXTERNAS (www.sedesol.go b.mx) 4.8 Rendición de cuentas y transparencia 90. ¿Existe un Sistema de SIAFF Rendición de Cuentas y Transparencia para los funcionarios que administran los fondos públicos del programa? ? Cuáles son los nombres de dichos sistemas ? Principales características actualización y depuración del padrón EVALUACION EXTERNA (www.sedesol.go b.mx) AVANCE DE INVERSION Y METAS Programa ? Sólo corroborar la informar que se tiene. ? Solicitar videncia documental de los mecanismos de SIPAAM 4.7 Cumplimiento y avance en los indicadores de gestión y productos POA, documentos 89. Con base en los SIPREC indicadores de gestión y productos del programa, ¿el programa mostró progreso en la realización de sus Actividades y en la entrega de sus Componentes en 2006? ? Sistemas informáticos para administrar y operar el Manuales de procedimientos, cartas compromiso, documentos oficiales y de trabajo ? Cuál es el procedimiento por el cual se da a conocer al público los resultados de la gestión, procesos y operación del programa 91. ¿Existen y funcionan los mecanismos de transparencia establecidos en las ROP? 92. ¿El programa cuenta con mecanismos para difundir interna y externamente las evaluaciones y sus resultados? www.sedesol.gob.mx REGLAS DE OPERACIÓN Página de internet de SEDESOL Invitación a presentaciones de resultados de evaluaciones. Sistema de Seguimiento a las Evaluaciones Externas (SISEE) i La Fuente se divide según la institución que la mencionó. ROP, documentos oficiales y de trabajo Evidencia documental. Cómo funcionan los mecanismos de transparencia? *publicar la lista general de beneficiarios en la página de internet y * la lista local de beneficiarios Señalar los mecanismos de difusión