Informe Metodológico de Gabinete 1. Del diseño La metodología utilizada en la evaluación del diseño del PAAM consistió en analizar la oferta institucional de apoyo a los adultos mayores, analizar la demanda social, cruzar oferta y demanda y verificar su correspondencia. A partir de los resultados se propuso un nuevo modelo de operación para el programa. 1) La oferta institucional de apoyo a la población de la tercera edad, incluyendo una revisión teórica y de los modelos de intervención con sus ámbitos de acción 2) La demanda social, con proyecciones sobre el crecimiento poblacional y el cambio demográfico 3) Cruce entre oferta institucional y demanda social Se analizó el tema de género y la exclusión, y se revisaron y contrastaron las reglas de operación 2003 y 2005, para analizar su operatividad y proponer mejoras. 2. De la operación De acuerdo a los términos de referencia de la evaluación, se evaluaron los principales procesos de operación del PAAM: 1) solicitud de apoyos, 2) selección de beneficiarios, 3) contraloría social, y 4) entrega de apoyos. Estos procesos sustantivos forman un ciclo que obliga a que la evaluación sea integral, con el propósito de detectar la existencia de posibles cuellos de botella que podrían estar limitando la operación de del programa y afectando su eficiencia. 1. Para la evolución de la solicitud de apoyos se estableció una comparación entre los criterios de elegibilidad y los requisitos para ser considerado beneficiario. Se compararon los documentos solicitados con los criterios para acreditar a los beneficiarios y los requisitos que exige el programa. 2. En la selección de los beneficiarios, se revisaron todas las acciones que deben efectuar los encargados del PAAM para determinar a los individuos que cumplen con las características para recibir los beneficios del Programa. Se estableció una relación documentos para la elaboración del Padrón de beneficiarios del PAAM y funcionarios responsables. 3. En el caso de contraloría social, se establecieron los procesos más relevantes, y se calculó en Índice de Contraloría Social y Transparencia (ICST) conforme a la metodología solicitada por la SEDESOL. 4. En la entrega de apoyos., también se calcularon tanto el monto de la transferencia en efectivo, como el monto destinado a ala capacitación nutricional, conforme a la metodología solicitada por la SEDESOL 3. De la focalización La evaluación de la focalización consistió en determinar en qué medida los recursos y las acciones del programa se han dirigido a la población objetivo. Este análisis lo hacemos por medio de una caracterización de las entidades, los municipios y las localidades, a partir de los índices de marginación municipal elaborados por el Consejo Nacional de Población (CONAPO), determinando el porcentaje de población objetivo que habita en ellos. De igual forma se calcula la inversión ejercida tanto para el año 2006 como para el histórico (2003-2006) con el propósito de verificar su evolución, y calcular la inversión per cápita de acuerdo al nivel de marginación Para evaluar la focalización, se propuso llevar a cabo los siguientes pasos metodológicos para poder cubrir de manera satisfactoria los objetivos. 1. De acuerdo con las Reglas de Operación el programa debe de apoyar a las personas de las zonas de mayor marginación en el país de acuerdo con los criterios de marginación municipal establecidos por la CONAPO. Por consiguiente se analiza en qué medida el programa, con este criterio de marginalidad, logra una adecuada focalización de sus apoyos por Entidad Federativa, Municipio y localidad. . 2. Especificar el número de los municipios y localidades atendidos según nivel de marginación durante el período de estudio, así como la población objetivo correspondiente de acuerdo con los índices de marginación de CONAPO (IMM). 3. Analizar los montos de inversión real (anual y acumulada) que ha realizado el programa por nivel de marginación, determinando la inversión per cápita, para verificar si a mayor marginación ha correspondido mayor inversión, y en el mismo sentido, se determinará la inversión per cápita real (anual y acumulada). De manera adicional se propone una metodología de focalización que consideramos más adecuada al objetivo del programa (ver apartado de focalización). Esta metodología se basa en no sólo en los criterios ya establecidos por el PAMM, sino que además utiliza los criterios del Presupuesto de Egresos de la Federación (PEF), estableciendo medidas de focalización: Muy buena, buena y mala. 4. De la cobertura En la evaluación de cobertura se midió cuales son los alcances físicos del programa, que tanto porcentaje de personas atiende respecto de la población objetivo; y como, referencia que tanta población se alcanza a atender respecto de la población que se programa atender para cada año.. La finalidad de conocer los datos y hacer las mediciones requeridas, es encontrar cuales son realmente las faltantes que hay en cuanto a la cobertura que tiene el programa, es decir, que tanto le hace falta para lograr niveles óptimos de cobertura en la población objetivo. Los niveles óptimos de cobertura los podemos establecer, como la atención de toda la población de adultos mayores que habitan en zonas rurales de alta y muy alta marginación. Adicionalmente, se analiza la cobertura acumulada del Programa durante el periodo de operación del programa. La metodología para analizar la cobertura general del programa consistió en identificar a toda la población de adultos mayores que se concentra en los municipios de muy alta y alta marginación a nivel nacional. Una vez hecho esto, se analizó la cobertura por medio de un coeficiente de cobertura, en donde el denominador representa el número de beneficiarios de PAAM y el numerador la población de adultos mayores concentrada en los municipios de muy alta y alta marginación, este coeficiente se calculó a nivel estatal y por localidad. La metodología establece las siguientes definiciones: Población Objetivo: Total de Adultos Mayores que viven en Zonas Rurales. Población de Adultos Mayores (AM) que reciben apoyo de otro programa Federal: en esta población se consideran todo aquel AM que es beneficiado por: Oportunidades, Liconsa y/o Apoyo Alimentario (DICONSA). Remanente: es la diferencia entre la población objetivo y los AM que reciben apoyo de otro programa federal. Cobertura del Remanente: los beneficiarios del PAAM entre el remanente. Para el análisis de la cobertura acumulada se utilizó una metodología que nos permite hacer el análisis de forma anual por medio de la estimación factorial: Estimación del factor (K) de la proporción de adultos mayores en el Municipio n del Estado j, en base al Censo de Población y Vivienda 2000. INEGI.. Aplicación del factor K a la población de la localidad Z del Municipio n, obteniendo el resultado W. Aplicación de la tasa anual de crecimiento de la población de 60 años y más (2003-2006) del Municipio n al resultado W. Además se realizó la normalización de la cobertura estatal, la cual consistió en tomar el promedio nacional de cobertura de cada año como numerador común entre el promedio de cobertura estatal. Arrojando resultados menores que 1, igual a 1 y mayores que 1. Cuando el resultado es menor a 1 se establece que la cobertura fue menor que el promedio nacional, si es mayor a 1 nos indica que en estas entidades la cobertura fue mayor al promedio nacional. 5. De los resultados de campo Metodología general de trabajo de Campo. 1. Restricciones. La evaluación tuvo las siguientes cracterístuicas: a. Las encuestas fueron levantadas en localidades que INEGI cataloga como de alta y muy alta marginación en comunidades rurales. b. Las encuestas fueron levantadas a la población objetivo del programa que son: adultos mayores de sesenta años en situación de pobreza alimentaria. c. Se realizaron entrevistas a funcionarios Operadores del Programa de Atención a Adultos Mayores. d. Las encuestas fueron supervisadas de manera directa el 10% del total de las encuestas levantadas. e. Deben estar llenas correctamente el 100% de las encuestas a levantar. f. Debe cumplirse con el total de encuestas representativas por la muestra para la evaluación. g. Las encuestas fueron codificadas para presentar solo datos numéricos, y no datos alfanuméricos; para así facilitar el manejo y presentación de los mismos y con sus respectivos indicadores. h. Las encuestas fueron capturadas en documentos electrónicos i. Los datos recolectados de las encuestas deben formar una base de datos general, la cual, a su vez, debe ser depurada y verificada por un especialista en estadística, así, pues, esta debe presentar las características básicas de fácil lectura y manejabilidad. De la muestra La muestra fue proporciona por la Dirección General de Evaluación y Seguimiento de la SEDESOL, la cual contenía las siguientes características: • Nivel de confianza: 95% para proporciones de máxima varianza. • Con un error: ± 2.2%. • Muestra Total: 2,052 beneficiarios en 101 localidades, distribuidos en 60 municipios y 16 estados. Como se puede observar, la muestra estadísticamente esta bien estructurada, sin embargo la muestra a nivel localidad no presentó correspondencia con los beneficiarios registrados para el año 2005, esto se presento en 32 localidades, a continuación se presenta el tamaño de la muestra, lo beneficiarios registrados y las encuestas aplicadas. No de localidades. Tamaño de muestra. 31 No de beneficiarios registrados 2005. 638 Encuestas Déficit de Aplicadas. Encuestas 485 388 250 Como se puede observar en el cuadro anterior no se pudieron aplicar 250 encuestas, las cuales estaban registradas en la muestra, dado la falta de beneficiarios 2005 registrados en el padrón del PAAM. Para solucionar la situación anterior, el equipo evaluador, optó por diseñar una estrategia complementaria, para poder obtener el número solicitado por la muestra, dicha estrategia se baso en: 1. Identificar en el padrón de beneficiarios, si una localidad a visitar del mismo municipio, contaba con un número mayor de beneficiarios al número de encuestas solicitadas en la muestra original para esa localidad. 2. Si la localidad más próxima, cumplía con la anterior condición, se realizaban las encuestas, tratando de cubrir el déficit. 3. Si este no era cubierto en esa localidad, se procedía a buscar una nueva localidad ya fuera considera en muestra o registrada en el padrón de beneficiarios 2005. Con la anterior estrategia, se logro reducir en un 70% el déficit, quedando en 74 encuestas no realizadas. BASE DE DATOS La base de datos presentada por las autoridades del PAAM muestra ser eficiente debido a que las personas enunciadas en esta, existen y en general las personas reportan haber recibido el apoyo durante el período evaluado (2005). Por lo cual, la base de datos representó el eje estructural para la adecuada realización del trabajo de campo, por lo cual se considera una mejor práctica, el sistema con el cual se opera la construcción de esta base de datos.