Anexo 1 PDHO. Evaluación ¿Cómo se explica el Impacto Educavo del Programa Oportunidades? Actores, Factores y Procesos. Nombre del programa: Programa de Desarrollo Humano Oportunidades (PDHO) Año de evaluación: 2008 Nombre de la evaluación: ¿Cómo se explica el Impacto Educa!vo del Programa Oportunidades? Actores, Factores y Procesos. Tipo de evaluación: Cualitativa Objetivos de la evaluación: Conocer si el PDHO tiene un impacto similar en poblaciones indígenas y no indígenas o si, por el contrario, podemos hablar de un impacto diferencial. Metodología utilizada: Los escenarios de investigación son los estados de Chiapas, Oaxaca, Chihuahua y Sonora. La selección de las microrregiones y localidades del estudio se realizó para cubrir la muestra analítica de hogares indígenas y mestizos, beneficiarios y no beneficiarios. Sin embargo, también se buscó incluir en el escenario de cada microrregión a localidades con distinto grado de lejanía de los servicios de salud y educación para contrastar a las localidades apartadas y mal comunicadas con localidades con relativo acceso a dichos servicios. La muestra se diseñó a partir de un total de 16 hogares por municipio estudiado, lo que significa 48 hogares en cada estado de acuerdo con los siguientes criterios por municipio: Primaria • Indígenas beneficiarios (n=4): 2 hogares con primogénito y 2 con ultimogénito entre 2-4 primaria en 1998 • Indígenas no beneficiarios (n=4): 2 hogares con primogénito y 2 con ultimogénito entre 2-4 primaria en 1998 • No indígenas beneficiarios (n=4): 2 hogares con primogénito y 2 con ultimogénito entre 2-4 primaria en 1998 • No indígenas no beneficiarios (n=4). 2 hogares con primogénito y 2 con ultimogénito entre 2-4 primaria en 1998 La selección de los ocho hogares no beneficiarios en cada municipio o microrregión se realizó en función del pareo con los beneficiarios, respecto de los siguientes criterios: • Cabecera vs. periféricos • Condición socioeconómica • Tamaño del hogar en 1998/1999. Secundaria De la muestra primaria, se obtuvo información de todos los hijos sobre escolaridad, ocupación, uniones y embarazos de los hogares. Además, se seleccionó para un estudio de caso completo al hijo(a) sobre trayectorias escolares y laborales y salud reproductiva si los hijos vivían en el hogar de origen; cuando vivían en otro hogar dentro del mismo municipio, se recabó información adicional para completar el estudio de caso y se hizo un estudio comparativo intergeneracional; y si los jóvenes vivían fuera del municipio, se obtuvo información a través de sus familiares. Los instrumentos de evaluación fueron el Guión para la obtención y sistematización de información sobre grupos domésticos y sus trayectorias educativas, de salud y ocupacionales para entrevistas informales y semiestructuradas; el Guión para el seguimiento de los ex becarios indígenas y no indígenas y sus comparables (jóvenes no ex becarios); el Guión de entrevista a las mujeres vocales del Programa; el Guión de entrevista a otros actores relevantes. Finalmente, los cuatro estudios regionales sumaron 183 estudios de caso de hogares: 60 indígenas beneficiarios, 44 indígenas no beneficiarios, 44 no indígenas beneficiarios y 35 no indígenas no beneficiarios. Valoración técnica: Datos y muestra En general, la metodología para la selección de microrregiones y hogares se considera adecuada. No obstante, el estudio se concentró en estados del norte y sur de México, sin incluir al centro del país, lo que puede sugerir una debilidad del estudio, al considerarse que cada región de México tiene condiciones y particularidades que son perfectamente diferenciables. Conclusiones Se considera que los resultados, así como el análisis FODA del estudio son adecuados y pertinentes. Principales Resultados: El PDHO ha contribuido a alargar las trayectorias educativas—el impacto es mayor en el caso de los indígenas. • Una mayor cobertura de escuelas primarias y la reciente creación de centros educativos ayuda a explicar las diferencias generacionales en las carreras escolares en un mismo núcleo domés!co. • Desde la perspectiva de los padres, los problemas socioeconómicos y las estrategias de supervivencia a corto plazo superan la necesidad de prolongar la educación de los hijos—las becas sólo constituyen un incentivo que se dispersa ante dichos problemas. • Es común que los hogares no cuenten con un espacio para hacer las tareas y los padres tengan baja escolaridad. Esto es una amenaza del PDHO, ya que las trayectorias educativas y laborales de los padres repercuten en la de los jóvenes. • No se reportan las inasistencias de los becarios para no perjudicarlos o no enemistarse con los padres. De tal forma, el impacto sobre los índices de reprobación, podría reflejar una inclinación por reprobar menos a los BPDHO. • Las prác!cas pedagógicas docentes en indígenas no son suficientes. • En hogares que reciben remesas, contribuciones monetarias y hay presencia o proximidad de escuelas, la escolaridad alcanzada por los BPDHO aumenta cuanto más tarde empiecen a recibirse las becas. • Se recomienda aumentar el personal y la capacitación en los centros existentes y facilitar el transporte de los alumnos. • Los grupos de estudiantes constituyen redes sociales donde se transmite información sobre oportunidades de estudio y financiamiento. Se sugiere adoptar a estos jóvenes como promotores educativos del PDHO que suplan a las vocales—constató que estas no cumplen su función como proveedoras de información. Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: Fortalezas y Oportunidades • Existen instituciones y programas que compensan la baja cobertura educativa y del PDHO en las regiones del norte. Estas ayudan a prolongar las trayectorias educativas de los BPDHO. • Los factores que causan y el ausentismo escolar tienen menos peso donde hay becas del PDHO. • El PDHO ha contribuido a cerrar la brecha étnica y de género en la educación. • La prolongación de trayectorias escolares tienen lugar de manera especial cuando existe una oferta educativa suficiente. Debilidades o Amenazas • Existen comunidades rurales indígenas que no cuentan con servicios de salud y no pueden ser BPDHO (Chihuahua). • La escasez de escuelas primarias es aun persistente en muchas zonas (Sierra Tarahumara). • Los costos de transporte para acudir a los centros de educación. • Pocas secundarias y preparatorias cuentan con servicio de albergue sin apoyo estatal o federal. • La calidad de la enseñanza (rural e indígena) reproduce el rezago en educación superior y en el desempeño laboral. • Métodos poco adecuados o inexistentes en educación indígena bilingüe. Recomendaciones: • Sustituir a las vocales por ex becarios que podrían ser capacitados como promotores. • Ampliar la cobertura a hogares indígenas que puedan asistir a escuelas aunque no cuenten con servicios de salud. • Promover ante las autoridades del CONAFE la apertura de nuevas promotorías y escuelas en núcleos de población apartados. • Introducir un sistema de becas diferenciadas para alumnos que tengan que desplazarse para estudiar y sobre se desempeño. • Crear albergues para educación secundaria y media superior. • Reemplazar el sistema de educación indígena bilingüe por uno intercultural y heterogéneo desde la educación básica. PDHO: Programa de Desarrollo Humano Oportunidades BPDHO: Beneficiarios del Programa de Desarrollo Humano Oportunidades Anexo 1 PDHO.Padecer la Pobreza: un Análisis de los Procesos de Salud, Enfermedad y Atención en Hogares Indígenas y Rurales bajo la Cobertura del Programa Oportunidades Nombre del programa: Programa de Desarrollo Humano Oportunidades (PDHO) Año de evaluación:2008 Nombre de la evaluación:Padecer la Pobreza: un Análisis de los Procesos de Salud, Enfermedad y Atención en Hogares Indígenas y Rurales bajo la Cobertura del Programa Oportunidades Tipo de evaluación:Cualitativa de percepción Objetivos de la evaluación: Objetivos a. Describir las condiciones de la atención a la salud en el primer nivel. b. Determinarsiéstas,enconjuntoconel PDHO estánincidiendoenlascondiciones generales de salud de los hogares beneficiariosy en las pautas de atención— dónde, cuándo y cómo se busca la atención a la salud. c. Caracterizarelimpactoquelasaccionesdel paquetebásico garantizadode saludhantenidoeneldesarrollo de capacidades, orientadas a la prevención y el autocuidado en los hogares estudiados, de manera comparativa con la población no beneficiaria del PDHO, todo lo anterior, a partir de la experiencia y calidad percibida por los usuarios. Metodología utilizada: La información se levantó por medio de los siguientes métodos: 1) Entrevistas a médicos, enfermeras y asistentes rurales de CSen 12 microrregiones delos estados de Oaxaca, Chiapas, Chihuahua y Sonora (3 por cada estado). Las entrevistas se basaron enuna Guía para el Trabajo Etnográfico de Campo con el fin de estandarizar y acotar las fuentes de información y el universo observable.Las microrregiones donde se realizaron las entrevistas son por Oaxaca, Mazateca, Mixe y Costa; por Chiapas, las Margaritas, Tumbalá y San Cristóbal de las Casas; por Chihuahua, Tepachi-Maycoba, Samachique y Norogachi; y por Sonora, Yaqui, Mayo y Guarijía. 2) Observación de 47 centros médicos de primer y segundo nivel (casas de salud, CS, consultorios médicos, clínicas y hospitales). 3) Trayectorias de atención para describir la experiencia del padecimiento y rescatar el punto de vista de los usuarios sobre: a. La calidad de la atención recibida y percibida, así como la forma en que influye en las condiciones de salud de las familias y las pautas de búsqueda de atención que manifiestan. b. El impacto de los procesos de SEA en las economías domés!cas y las estrategias económicas. c. Las consecuencias sociales propiciadas por los procesos de SEA en loshogares de estudio. d. La influencia del PDHOen el acceso a la salud, prác!cas de autocuidado y prevención. Para las trayectorias de atención a hogares se consideraron variables como etnicidad, exposición, localidad, sexo, edad, tipo de padecimiento y explicación del padecimiento, escenarios y modelos de atención, costos del tratamiento y búsqueda de atención, condiciones de saneamiento básico y opinión sobre los servicios locales de salud. La población para el análisis de trayectorias fue de 183 casos, 104 beneficiarios y 79 no beneficiarios, de los cuales 104 eran indígenas. De los 183 hogares, se documentaron 348 trayectorias de atención: 98 en Oaxaca, 85 en Chiapas, 92 en Chihuahua y 73 en Sonora. Los itinerarios fueron protagonizados principalmente por padres e hijos, y en ocasiones abuelos. 4) Historias reproductivas aplicadas a todas las mujeres de 15-55 años que habitaban en los hogares seleccionados. El objetivo fue registrar la calidad de los servicios médicosen temas de embarazo, parto y planificación familiar. Con esta información se realizó una base de datos considerando como ejes de análisis; la atención materno infantil, la muerte infantil, el acceso y las percepciones relativas al Papanicolaou ymétodos anticonceptivos. Las variables incluidas en la base de datos fueron etnicidad, exposición, localidad, sexo, edad en 2008, edad en la que tuvo al primer y último hijo, tipo de atención recibida durante el embarazo y el parto, número de partos (vivos, muertos y abortos), tipo de anticonceptivos, concepciones y acceso a métodos anticonceptivos.En total se documentaron 229 historias: 38 en Oaxaca, 44 en Chiapas, 92 en Chihuahua y 55 en Sonora. Valoración técnica: Datos y muestra La metodología para la selección de microrregiones, instituciones y hogares se considera adecuado. Sin embargo, mantiene limitaciones debido a que el estudio se concentró en estados del norte y sur de México, sin incluir al centro del país.Esto se considerauna debilidad del estudio, ya que no incorpora regiones del país con condiciones y particularidades perfectamente diferenciables. Dado que es una evaluación cualitativa, el número de trayectorias se considera pertinente y el desarrollo en la exposición de casos se considera relevante. Conclusiones Los resultados del estudio son adecuados y pertinentes, dada su naturaleza cualitativa, salvo en algún caso aislado que se registra más un resultado cuantitativo que uno cualitativo. El análisis FODA se considera adecuado, aunque hay algunas recomendaciones en las cuales no se especifica claramente la forma en que dicha recomendación supera o alivia la debilidad o amenaza detectada. Por ejemplo, al señalar que el impacto del PDHO está determinado por las condiciones en que operan los SPN y por ello, el PDHO se debe coordinar con la capacidad resolutiva de los centros rurales de salud. O cuando se indica que para tener más efectividad y confianza por parte de los BPDHO en los servicios de salud, se debenincorporar a promotores con un contexto rural oindígena como curanderos, hueseros, hierberos, etc.— quienes por el contrario, podrían tener incentivos para no fomentar los servicios de salud. Principales Resultados: Hallazgos en microrregiones • A mayor grado de marginación, los servicios públicos de salud son más deficientes. Los esfuerzos del PDHO se ven limitados por barreras geográficas, culturales, étnicas y prácticas médicas. • Los CStienen limitaciones de mobiliario e instrumental médico. Casas de salud y auxiliares o asistentes de salud • Infraestructura precaria. • Los encargados enfrentan obstáculos que impiden cumplir con sus responsabilidades. • • • • La falta de capacitación de las asistentes rurales de salud limitalas demandas de atención. La falta de salario para las auxiliares de salud determina su desempeño. Las condiciones de trabajo desincentivan laparticipación en este tipo de servicios voluntarios. Las casas de salud están generalmente cerradas o tienen horarios de atención limitados PAHIB • Los HI presentan las condiciones más desfavorables de acceso a los servicios de salud y atención. • Las acciones del PBGS propician unamayordemanda de servicios en primer nivel y asistencia deatención regular. • Los hogares indígenasconsideran que el PDHO ha tenido un cambio positivo en sus hogares y comunidades. PAHINB • Los HINB visitan con menos frecuencia los centros locales de salud. • Uso limitado de los CS, tendencia ala autoatención y al uso de medicina tradicional en enfermedades menores. • Mayores necesidades de atención médica en los hijos de familias no beneficiarias. PAHNINB • Los hogares mestizos no BPDHO prefieren la medicina tradicional que los servicios de salud del Estado. • La autoatención, los remedios caseros y las resoluciones religiosas son prácticas comúnes—particularmente en Chiapas. • Desconocimiento las condiciones de salud, menores visitas al medicoen comparación con los HINB. Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: ( máximo 1,500 caracteres) Fortalezas y Oportunidades • Impacto favorable en la salud de los BPDHO. • El PDHO ha incrementado la demanda,el acceso de los servicios de salud y las prác!cas de saneamiento. • Impacto positivo en la detección temprana de factores de riesgo, diagnós!co y atención de la población infantil. Debilidades y Amenazas • Las desventajas estructurales del sistema de salud implican una debilidad en la operación del PBGS. • El PDHO no ha mejoradola capacidad de resolución de servicios en los CS. • Necesidad de atender mujeres migrantes que inician su vida sexual y vuelven a su comunidad de origen. • Las condiciones de los CS y la baja credibilidad en los mismos, limita el desarrollo de capacidades deprevención. • Ladetección de cáncer no va acompañada de consejería y la respuesta del sector salud desincentiva las practicas de detección. • Hay rechazo de los SPN debido a lapercepción de poca efectividad. • Los temas de los TCCAS son repetitivos. Recomendaciones • Garantizar el abasto de insumos, medicamentos y personal médico. • Continuar la promoción de la salud sexual y reproductiva a través del PBGS y garantizar el acceso a métodos anticonceptivos. • Vincular las agencias rurales y urbanas para garantizar el seguimiento de pacientes BPDHO. • Incorporar promotores de salud con prestigio local para fomentar las relaciones con los usuarios de los CS. • Fortalecer y garantizar la atención de las pacientes con cáncer. • Comunicar los resultados de las pruebas de cáncer y reforzar las labores de consejería. • Impulsar una lógica de trabajo (PBGS)que incluya agentes rurales e indígenas (curanderos, hueseros, hierberos, etc.). • Dar apoyos diferenciados para jóvenesque viven en hogares donde se concentran casos de enfermedad. CS: Centros de salud HB: Hogares beneficiarios HI: Hogares indígenas HINB: Hogares indígenas no beneficiarios IRA: Infecciones respiratorias agudas PAHIB: Pautas de atención en hogares indígenas beneficiarios PAHINB: Pautas de atención en hogares indígenas no beneficiarios PAHNINB: Pautas de atención en hogares no indígenas no beneficiarios PDHO: Programa de Desarrollo Humano Oportunidades PBGS: Paquete Básico Garantizado de Salud SPN: Servicios de primer nivel TCCAS: Talleres Comunitarios de Capacitación para el Autocuidado de la Salud VSO: Vida suero oral Anexo 1.Ficha Técnica del Estudio sobre los Efectos de Oportunidades a Diez Años de Intervención en el Consumo e Inversión de las Familias Beneficiarias en Zonas Rurales con Base en la Encuesta de Evaluación de los Hogares Rurales 2007 Nombre del programa: Programa de Desarrollo Humano Oportunidades (PDHO) Año de evaluación:2008 Nombre de la evaluación:Estudio sobre los Efectos de Oportunidades a Diez Años de Intervención en el Consumo e Inversión de las Familias Beneficiarias en Zonas Rurales con Base en la Encuesta de Evaluación de los Hogares Rurales 2007 Tipo de evaluación: Impacto Objetivos de la evaluación: Determinar y analizar los efectos de largo plazo que pudiera tener el PHDO sobre el consumo y sobre las decisiones de inversión y ahorro de las familias beneficiarias en las zonas rurales. Los resultados se obtienen a partir de los datos de la Encuesta de Evaluación de los Hogares Rurales 2007 (ENCEL 2007). Metodología utilizada: La fuente de información principal es la ENCEL 2007, la cual contiene datos para tres grupos de localidades: lasincorporadas en 1998 (283), las incorporadas en el año 2000 (176) ylas incorporadas en 2003 (95). Los primeros dos grupos de localidades fueron constituidos a partir de una muestra de forma aleatoria y el tercer grupo se han ido incorporando paulatinamente. Aunque la ENCEL tiene no beneficiarios elegibles, en el estudio no se consideró como grupo de control por ser un número relativamente bajo. Por ello, se consideró calcular el efecto de largo plazo como la diferencia entre el resultado por la exposición temprana (1998) y la exposición tardía (>2004). En la estimación, el autor utilizó un método desarrollado porHeckmanen dos etapas para corregir el error de autoselección, el cual consiste en estimar en una primera regresion la elección del PDHO en un modelo tipo Probit, a partir de la cual se obtienen los términos de corrección de autoselección de la ecuación principal—controla la autoselección por medio de variables observables. Finalmente para calcular el efecto promedio del tratamiento en los tratados se utilizó el método de Propensity Score Matching, con cuatro modalidades; vecino más cercano, por radio, por kernel y por estratificación. Con estos métodos, se esperaba calcular los efectos en el consumo y la inversión (bienes del hogar, bienes productivos y ahorro). En la estimación para obtener el impacto del consumo total (la diferencia entre el consumo de hogares con LE en comparación con hogares de CE, en términosper cápita) por el método del Kernel, se u!lizó una distribución normal y un ancho de banda igual a 0.06. La es!mación de Radius Matching, se hizo con un radio de 0.1. Para el impacto en la inversión, se consideró el efecto del PDHO en la probabilidad de que los hogares beneficiarios adquieran determinados activos, a través de un modelo dicotómico Logit, para calcular la diferencia entrehogares similares con LE y CE. Valoración técnica: Datos y muestra Las fuentes de información se consideran pertinentes, ya que la ENCEL 2007 contiene módulos que permiten realizar las estimaciones planteadas. Sin embargo, carece de la representatividad nacional que una encuesta para evaluar los efectos e impactos del PDHO requiere. Lo anterior surge porque en su primer levantamiento, la ENCEL fue representativa en términos nacionales con los estados que fueron incorporados al inicio de la operación del PDHO. No obstante, con la incorporación de otras entidades federativasy el aumento de los beneficiarios, la representatividad se perdió, ya que los levantamientos subsecuentes se diseñaron para seguir la trayectoria de los beneficiarios levantados en la primera ronda. Para compensar en alguna medida la pérdida natural en el seguimiento de beneficiarios se incorporaron otras localidades en posteriores levantamientos—sin que se resolviera el problema de la representatividad. Otra de las limitaciones que mantiene la ENCEL radica en que el número de no beneficiarios elegibles es reducido, de forma que podrian derivarse resultados sin significancia estadística al usarse como grupo de control. Este hecho guía a que las mediciones de efectos e impactos sean por tiempo de exposición al PDHO. Modelo El modelo se consedera adecuado, de acuerdo con los objetivos planteados en la evaluación. De hecho, los modelos y métodos empleados en esta evaluación son ampliamente utilizados en la literatura para realizar mediciones de impacto—incluyendo evaluaciones previas del PDHO. Sobre el uso de estas metodologías en estudios similares se puede mencionar que los autores justifican su uso al mencionar que en Colombia y Nicaragua se han estudiado los efectos de las transferencias condicionadas en el consumo. En Colombia Attanasio et. al. (2005) calculó los efectos del Programa Familias en Acción; y en Nicaragua se calcularon los efectos del Programa de Red de Protección Social—en ambos casos con motodologías diferentes. Por otro lado, AOanasio y Mesnard (2005) comparan los resultados de la metodología de diferencias en diferencias, contra los de la de emparejamiento por puntajes de propensión. Conclusiones En cada capítulo se considera que las conclusiones son adecuadas en alcance y dimensión, de acuerdo con la metodología empleada. Principales Resultados: • La probabilidad de tener una LE al PDHO tiende a disminuir a mayor es el número de personas en el hogar; cuando el jefe del hogar es hombre; cuando la vivienda posee agua entubada, electricidad y gas. La probabilidad tiende a aumentar si la vivienda posee piso de !erra y un mayor número de cuartos. Estos resultados sugieren que los hogares que se incorporaron inicialmente al PDHOeran más pobres. • En consumo total de LP, elmétodo de estra!ficación y radio indican impactos positivosy significativos de680 y más de 1,300 pesos anuales para 2007—1,000 en promedio. • En el consumo de alimentos, los métodos de estra!ficación, radius y kernel indican un efecto entre 384 y 786 pesos anuales en 2007—520 en promedioanual para 2007. • De los resultados se obtiene que,de no haber ingresado al PDHO, el grupo 1998 tendría undiferencia en consumo menor a 2,000 pesos, en comparación al grupo que entro al PDHO en 2003. • En consumo distinto a alimentos, los métodos de estra!ficación y radius indican un efecto que varía entre 300 y 550 pesos—420 en promedio anual para 2007. • El gasto per cápita anual de las familias más pobres ha aumentadode la siguiente forma: 60 pesos en educación;115 en salud e higiene; 43 en vestido y calzado; 95 en transporte; y 74en otros bienes. En energía no se tiene evidencia de impactos, ni en alcohol y tabaco. No se encuentran resultados concluyentes que indiquen efectos del PDHO en la inversión en activos. El PDHO no parece tener efecto en actividades microempresariales. La diferencia en la probabilidad de ahorro paragrupos de LE y CE, los métodos del vecino más cercano y Kernel ofrecen resultados significativos—en ambos casos es menor al 1%. • Si la población es indígena el PDHO tiene mayor impacto en elevar el consumo. Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: (máximo 1,500 caracteres) Fortalezas y Oportunidades • El PDHO ha afectado positivamente la satisfacción de necesidades básicas de los BPDHO, en particular en el aumento del consumo y en la disminución de las brechas entre los beneficiarios menos pobres y más pobres en dichos rubros. • Se registraron efectos en el autoconsumo, posiblemente a través de la compra en algún activo. • • • Debilidad o Amenaza • No se han mostrado efectos importantes en la inversión en activos productivos, actividades empresariales y ahorro, ya que no se han logrado crear los incentivos adecuadas para fomentar el ahorro e inversión en activos productivos o porque los hogares no han alcanzado un nivel de consumo que les permita ahorrar. Recomendaciones • Diseñar estrategias que aprovechen el capital humano que se ha creado para que los BPDHOparticipen en el mercado y generar mayores ingresos por su cuenta. Se podría agregar una vertiente que se encargara de aumentar la capacidad de generación de ingresos de la población beneficiaria, a través de inversiones en infraestructura económica, el otorgamiento de créditos y capacitacióntécnica. CE: Corta exposición LE: Larga exposición ENCEL: Encuesta de Evaluación para los Hogares Rurales PL: Largo plazo PDHO: Programa de Desarrollo Humano Oportunidades BPDHO: Beneficiarios del Programa de Desarrollo Humano Oportunidades Anexo 1 PDHO. Evaluación sobre Transferencias Condicionales en Efectivo y Gasto en Energéticos: Posible Impacto del Componente Energético de Oportunidades Nombre del programa: Programa de Desarrollo Humano Oportunidades (PDHO) Año de evaluación: 2008 Nombre de la evaluación: Transferencias Condicionales en Efectivo y Gasto en Energéticos: Posible Impacto del Componente Energético de Oportunidades Tipo de evaluación: Impacto Objetivos de la evaluación: Términos de Referencia 2007: Indican que la Evaluación de Impacto del Componente Energético del PDHO forma parte de las actividades propuestas en los apartados de Levantamiento de Información y Elaboración de Documentos de Evaluación. Objetivo general: Medir el impacto de un incremento exógeno en el ingreso de los hogares beneficiarios del PDHO (como aproximación del impacto del componente energético) en su bienestar y en el gasto que estos realizan en energéticos. Objetivo secundario: Medir el impacto que este subsidio tiene en la cantidad de conexiones formales o legales de electricidad. Asimismo, este estudio busca evidencia del impacto que puede tener el componente energético en las decisiones de los hogares de cambiar de fuentes de energía más baratas y contaminantes hacia otras más costosas pero más eficientes y menos contaminantes, con la consecuente repercusión en el mejoramiento de la salud de los integrantes de los hogares. Metodología utilizada: Las bases de datos utilizadas provienen de las encuestas de la Evaluación del PDHO para Zonas Urbanas (ENCELURB) para los años 2002, 2003 y 2004 que recogen información de 16 mil hogares para cada año. La asignación de grupos de tratamiento y control en dicha encuesta no se llevó a cabo aleatoriamente. También se utilizaron las Encuestas de Evaluación de los Hogares Rurales (ENCEL) para 1998, 1999, 2000m, 2000n, 2003 y 2007, que recoge información de los bienes durables de los hogares para 10,753 hogares en cada año. Finalmente se utilizó la encuesta de sobre el Consumo de los Energéticos por las Familias de Oportunidades (ECEFO) 2007, que contiene información del gasto en energéticos—excluyendo gasolina para el transporte. La ECEFO es representativa a nivel nacional, por estado y por región (urbana y rural). La información de la ECEFO es reportada por el titular de los 15,715 hogares encuestados en 3,189 localidades de los 32 estados. El modelo teórico considera los supuestos básicos de la teoría neoclásica sobre racionalidad y maximización de la utilidad a partir de una función de demanda de energéticos que depende de los precios y del ingreso. Se incorpora además, el concepto de elasticidades precio e ingreso para medir efectos del componente energético. El modelo empírico está basado en la relación condicional entre el gasto de los hogares en energéticos y la posesión de activos. Se utiliza esta estrategia porque Dubin y McFadden (1984) encontraron una interdependencia entre la elección de activos y la demanda de energéticos, indicando que es posible obtener resultados sesgados si se modelan de forma separada ambas decisiones. El modelo, como lo indica Dubin y McFadden (1984) presenta problemas de endogeneidad por la influencia de los activos en la ecuación. Una alternativa para eliminar este problema es utilizar efectos fijos, que además permite una similitud con la estimación difference in difference—el cambio en el logaritmo natural de las transferencias mensuales de los beneficiarios del PDHO es comparado con el cambio en el logaritmo natural del gasto mensual en energéticos de los hogares que son potenciales beneficiarios pero que decidieron no aplicar al PDHO o viven en zonas en donde no se tenia alcance o cobertura. También se utilizó un modelo alternativo con variables instrumentales, que en este caso fueron las transferencias potenciales, calculadas como el monto máximo que un hogar puede recibir, dada su estructura y la edad de los niños. La especificación utilizada incorpora como variable dependiente la proporción del gasto total del hogar destinada a la fuente de energía, que puede ser gas o electricidad. Como variables independientes se incorporan características observables del hogar en el tiempo, bienes durables que utilizan energéticos. Valoración técnica: Datos y muestra El uso de fuentes de información se considera pertinente para realizar una simulación de una evaluación de impacto, ya que no se cuenta con información de grupos de tratamiento y control antes y después de la exposición al PDHO. No obstante, las bases de datos permiten un análisis del tipo panel con importante valor técnico. De la información de las encuestas para los años 2002, 2003 y 2004 de la ENCELURB, es posible observar un mismo hogar a lo largo del tiempo, incluso en periodos posteriores a la pertenencia al PDHO. Para la encuesta ENCEL de los años 1998, 1999, 2000m, 2000n, 2003 y 2007, es de atención la sección sobre los activos del hogar. La encuesta ECEFO 2007 es un levantamiento específicamente diseñado para observar el consumo de energéticos. Finalmente, para el caso de las tres fuentes de información, se considera que el número de hogares encuestados es más que suficiente para obtener resultados pertinentes. Modelo El modelo utilizado se considera pertinente, de acuerdo con los objetivos planteados en la evaluación. El problema más común que responde a este tipo de especificación es la endogeneidad, que es eliminado manteniendo efectos fijos en la estimación y por utilizar variables instrumentales. El modelo utilizado en la Evaluación del Componente Energético, ya había sido empleado por Dubin y McFadden, aunque con ligeras diferencias, principalmente en la selección de la variable instrumental. Sin embargo, mientras la variable no este correlacionada con el error y si con las variables a instrumentar, técnicamente la estimación es adecuada. Por otro lado, Baker et. al. encontraron que la demanda de energéticos puede ser vista como una función de producción de los hogares, donde la demanda final refiere a los servicios que proveen los energéticos. De tal forma, esta demanda puede ser analizada de forma conjunta, por el acervo de activos y su tasa de utilización. Conclusiones En términos generales, se observa que las conclusiones son adecuadas y delimitadas en alcance, de acuerdo con el modelo utilizado. Aunque el documento es técnicamente robusto, se considera que si 94.8% de los beneficiarios del PDHO reportan que cuentan con electricidad y 74% gas LP, aunque 73% de los hogares señalan que utilizan leña como fuente de energía, apriori se espera difícil que las transferencias del componente energético tengan incidencia sobre las decisiones en el consumo de energía. Esto se espera así porque ya son consumidores de electricidad y gas LP y porque para dejar de utilizar leña para cocinar, calentar el hogar o iluminar es necesario una inversión en activos que no es cubierta por dicha transferencia. En el caso del objetivo secundario, si 94.8% de beneficiarios tenía electricidad y de ellos, 95.3% tienen conexiones legalmente adquiridas, el impacto del PDHO sobre las conexiones formales, tal como lo señalan los propios evaluadores, sería marginal. Principales resultados: 1. Análisis econométrico • El gasto promedio mensual en energía, por parte de los hogares beneficiarios es de aproximadamente 280 pesos, equivalente al 17.8% del gasto en el hogar. • Las elasticidades ingreso de la demanda por energéticos son cercanas a cero para hogares que no tienen activos o bienes durables, de 1.6% para hogares que tienen estufa de gas y 0.9% para los que tienen algún tipo de activo que usa energía eléctrica. Las elasticidades de largo plazo son menores. • Las elasticidades de largo plazo para hogares sin reporte de activos en la línea basal, resultaron bajas. En parte, porque se puede suponer que en la población urbana, el tiempo de exposición es bajo. Para la población rural, el impacto es positivo y significativo, por lo cual, si las transferencias tienen un impacto en la adquisición de refrigeradores y estufas, indirectamente tendrán un impacto en la demanda de energéticos—se encontró que los hogares beneficiarios se vieron afectados, hasta cierto punto por las transferencias para obtener refrigeradores. • En diversas especificaciones que incluyen efectos fijos y variables instrumentales, se observa que las transferencias del PDHO tienen un efecto positivo (1%-2%) y estadísticamente significativo sobre el gasto en gas LP, sobre todo si los hogares cuentan con estufa de gas. Para el caso de la electricidad, los parámetros están entre 0.9% al 1.2% para especificaciones que condicionan por año, activos durables e incluyendo efectos fijos. Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: Fortalezas y Oportunidades • La focalización del PDHO permite ayudar a los individuos con menores recursos, ya que cubre virtualmente a todos los hogares que viven por debajo de la línea de pobreza alimentaria. • Apoya a las familias que gastan más, proporcionalmente en energéticos. • El componente energético tiene bajos costos de focalización, ya que cuenta con padrones de beneficiarios. Debilidades o Amenazas • El componente energético puede generar efectos indeseados sobre decisiones de los hogares beneficiarios. • Posible impacto negativo en la salud de hogares beneficiarios, ya que enfrentan un efecto ingreso, que implica consumir más de lo que ya consumen (leña) y un efecto sustitución, que es consumir menos (sus!tuir leña). Si el efecto ingreso domina el sustitución en el corto plazo puede generar consecuencias en la salud. • Si el PDHO incrementa la probabilidad de adquirir electrodomésticos, contribuye a incrementar la demanda de gas y electricidad, aunque si se adquieren bienes poco eficientes, se puede generar una demanda de energéticos mayor a la estimada. Recomendaciones • Ampliar el contenido de talleres que promuevan el uso de fuentes de energía eficientes y limpias. • Ampliar la coordinación entre los sectores Salud y Energía para implementar estrategias que tengan como propósito hacer más eficiente el consumo de energéticos. • Implementar políticas intersectoriales tendientes a lograr un consumo de energéticos más eficiente en hogares beneficiarios. • Crear vínculos institucionales para ampliar la información de precios y consumo de energéticos para profundizar los análisis sobre el tema. PDHO: TdR PDHO: Programa de Desarrollo Humano Oportunidades Términos de Referencia de la Evaluación Externa 2007-2008 del Programa de Desarrollo Humano Oportunidades Anexo 1. Evaluación de los Efectos a Diez Años de Oportunidades en el Desarrollo, Educación y Nutrición en Niños entre 7 y 10 Años de Familias Incorporadas desde el Inicio del Programa Nombre del programa: Programa de Desarrollo Humano Oportunidades (PDHO) Año de evaluación: 2008 Nombre de la evaluación: Evaluación de los Efectos a Diez Años de Oportunidades en el Desarrollo, Educación y Nutrición en Niños entre 7 y 10 Años de Familias Incorporadas desde el Inicio del Programa Tipo de evaluación: Impacto Objetivos de la evaluación: Objetivo general Investigar si el PDHO ha incrementado el capital humano de los niños pobres de zonas rurales de 7 a 11 años de edad, mediante su exposición al Programa durante la ventana crí!ca de oportunidad para el crecimiento y el desarrollo infan!l cuando tenían menos de tres años de edad. Objetivos específicos Evaluar cuando los niños !enen alrededor de 7 a 11 años de edad, el impacto que tuvo su par!cipación en el PDHO en los primeros años de vida, sobre: 1. La educación medida por la tasa de progresión de grado, los grados alcanzados y las habilidades de lectura y escritura reportadas. 2. El estado nutricional (pasado y presente) con base en la estatura, puntaje Z de talla para la edad (HAZ), iMC (índice de masa corporal) y puntaje Z del iMC (ZiMC), probabilidad de sobrepeso (iMC> percentil 85) y anemia. 3. El desarrollo cogni!vo, lingüís!co y conductual de los niños. Metodología utilizada: La fuente principal de información fue la ENCEL 2007, que recolectó información socioeconómica y biológica de localidades con tratamiento temprano (1998) y tardío (1999) con una asignación aleatoria entre estos grupos. La muestra para educación incluye 272 localidades rurales con una población de menos de 2,500 habitantes, en tratamiento temprano y 168 en tratamiento tardío con las mismas características. En el caso de las características nutricionales, cognitivas, linguisticas y conductuales, se incluyó 234 localidades en tratamiento temprano y 152 localidades en tratamiento tardío. La muestra incluyó a todos los niños de la ENCEL 2003 que tenían de 0-3 años al momento de la puesta en marcha del PDHO que fueron 1,887 niños para indicadores nutricionales y 1,514 para evaluar el desarrollo cogni!vo, lingüís!co y conductual—descartando los que nunca se incorporaron al PDHO (96), los que estaban en localidades donde no llego la ENCEL (385) y los que no se encontraron (532). Cabe mencionar que el desarrollo cognitivo y linguistico de los niños fue evaluado por medio de las pruebas de la escala de Wechler de Inteligencia (WASI). En el caso de los problemas de desarrollo conductual se utilizó el Cuestionario de Fuerzas y Dificultades (SDQ) y para los puntajes de la estatura, edad y masa corporal se basaron en los estándares de OMS. La estimación se basa en el diseño experimental de la ENCEL con diferencias básicas entre niños de 0 a 3 años al momento de iniciar el PDHO para una exposición de tratamiento temprano contra tratamiento tardío que implica 20 meses de diferencicas. El modelo utilizado fue una regresión logit y probit, en donde la variable dependiente es un vector de resultados infantiles de la ENCEL, explicada por una variable dicotómica para definir si es del grupo de tratamiento o de control y una serie de variebles de control para refinar las estimaciones. En caso de un sesgo por pérdidas en la muestra durante el seguimiento, se probó si las muestras de la ENCEL 2007 estaban balanceadas (las caracterís!cas basales no diferían de manera significa!va entre los niños expuestos a tratamiento temprano contra el tratamiento tardío). Si una muestra no estaba balanceada, se u!lizó el pareamiento por puntaje de propensión en el que se estructuraron pares entre los grupos de tratamiento y control. También se realizaron estimaciones basadas en la ENNVIH, la cual no tiene una asignación aleatoria para el PDHO. En este caso se utilizó un pareamiento por puntaje de propensión (SCM) para controlar las diferencias. Además, dado que la ENNVIH no cuenta con información basal previa a la implantación del PDHO, para el pareamiento sólo se emplearon las variables de 2002, que tienen pocas probabilidades de haber sido alteradas por el PDHO. En la ENNVIH, la ronda de 2002 y 2005 incluyó 8,400 hogares en 150 localidades, aunque la muestra solamente utiliza las localidades consideradas rurales, de los cuales 35% de estós hogares pertenecían al PDHO. Valoración técnica: Datos y muestra Las fuentes de información (ENCEL) son adecuadas y contienen información específica para capturar los efectos planteados. Sin embargo, debido a que no se contaba con información para construir grupos de control, se decidió realizar comparaciones por el tiempo de exposición al PDHO para observar el efecto sobre los beneficiarios. El problema de esta alternativa radica en que la diferencia de 20 meses de exposición para cada grupo puede ser un periodo corto de tiempo, y por esta razón pueden no encontrarse efectos en largo plazo. Ver Anexo A. Una aparente limitación para las estimaciones de variables educativas radica en que los hogares de la ENNVIH que recibieron beneficios en periodos subsecuentes al inicio del PDHO, tienden a mantener una condición socioeconómica más alta y es menos probable que sean indígenas. Estas diferencias podrían hacer que las estimaciones de diferencias simples subestimen los impactos del PDHO si los controles no lo hacen adecuadamente. Metodología Las técnicas utilizadas en el modelo se consideran adecuadas, ya que han sido utilizadas en otras evaluaciones similares. Por ejemplo, el método de ponderación aplicado, fue similar al enfoque de pareamiento con caracterís!cas observables u!lizado en la literatura— se usó el teorema de reducción de dimensionalidad de Rosenbaum y Rubin (1983) para implementar un es!mador de reponderación. No obstante, los autores encuentran que sus estimaciones de pareamiento fueron afectadas al incorporar la edad y sexo, probablemente a causa del tamaño de muestra, especialmente en la ENNVIH. Behrman y Hoddinott (2005), Behrman, Sengupta y Todd (2005) y Rivera et.al. (2004) y Schultz (2004) encontraron impactos en el crecimiento lineal preescolar, en las tasas de progresión escolar y los logros escolares con exposiciones a los complementos alimenticios durante tiempos similares. Hoddinott Maluccio, et.al (2008) encontraron en Guatemala que puede ser difícil identificar de manera exacta es espacio de exposición critico pero el periodo que va de los 6 a los 24 meses de edad, tiene más impacto en algunos resultados a largo plazo, como el impacto de periodos más largos que comienzan cuando los niños son más pequeños o continúan hasta que son un poco mayores. Conclusiones Las conclusiones son adecuadas en alcance y dimensión, de acuerdo con la metodología empleada. Sin embargo no señalan de forma explícita la no representatividad de la muestra. Principales Resultados: (máximo 1,500 caracteres) 1. ANÁLISIS ECONOMÉTRICO: Educación • ENCEL. En grado escolar concluido, progresión a tiempo y capacidad de leer, no se encuentran impactos significativos ni positivos en niños de 0-36 meses que recibieron los beneficios hasta 20 meses más temprano al inicio del PDHO. Los es!mados para niños nacidos con bajo peso (<2.5kg) dentro del PDHO no arrojan impactos estadís!camente significa!vos o posi!vos. • ENNVIH. Ninguna variable educativa registró impactos significativos, (indican el signo esperado) en el pareo entre hogares de 1998 y 2001. Nutrición • ENCEL. Las estadís!cas de nutrición infan!l, no indican diferencias significativas entre niños expuestos a tratamiento temprano y tardío. Puntos de estatura por edad (-1.09 y -1.10 respectivamente), puntos de IMC por edad (-0.00 y 0.04), estatura (130.7 y 130.6) y concentración de hemoglobina (sin diferencias con 14.0). No se encontró impacto en talla para la edad, puntaje de iMC para la edad o sobrepeso. • ENNVIH. Existe un impacto significa!vo en la reducción de la anemia (β =-0.129 g/dL) en la muestra T1998 frente a la muestra T2001. En ambas comparaciones (T1998 vs T2001 y T1998 vs la que no recibía el PDHO en 2005), el programa muestra una reducción de la obesidad y el sobrepeso proporcional en 2005 y la reducción de la obesidad y el sobrepeso proporcional entre 2002 y 2005. Desarrollo cognitivo, linguistico y conductual • ENCEL. Se observó un impacto significativo en las capacidades lingüís!cas (2.3) y en problemas de conducta (-0.15) al incluir edad, sexo y 17 covariantes a nivel de hogar (ENCASEH 1997). • ENNVIH. Se encontró un impacto posi!vo en la capacidad cognitiva de 2002 al pertenecer al grupo T1998, contra el grupo T2001 (0.832). Para 2005 los resultados ya no son significativos. Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: (máximo 1,500 caracteres) FORTALEZAS Y OPORTUNIDADES: • Impacto en logros escolares de CP y MP, y en el crecimiento inicial infan!l en análisis de CP. • Reducción de problemas de conducta en análisis de MP y LP. • Aumento inicial en el desempeño lingüís!co y capacidad cogni!va. • Apoyos para vínculos potenciales con otros programas de gobierno (CONAFE). • Interés polí!co y compromiso para reducir la transmisión intergeneracional de la pobreza. DEBILIDAD O AMENAZA: • Sin impactos en el rendimiento cognitivo y en la capacidad escolar. • Impactos limitados en la estatura por edad y en la prevalencia de la desnutrición crónica y anemia (ENCEL). • Variaciones en la prevalencia de desnutrición crónica y sobrepeso, que complica una estrategia unitalla. • Prevalencia de anemia en niños de edad escolar, lo que contribuye al bajo desempeño en pruebas cogni!vas y el rendimiento escolar. • Prevalencia persistente y alta en desnutrición crónica en niños de edad escolar, de manera par!cular en zonas indígenas remotas. • Muy bajo desempeño en pruebas cogni!vas y lingüís!cas comparadas con normas internacionales. RECOMENDACIONES: • Probar estrategias para suplementar hierro y reducir la anemia. • Introducir un esquema de incentivos para impulsar el desempeño de estudiantes y maestros (SEP-PDHO). • Fortalecer el componente nutricional por micronutrientes (SSA-PDHO). • Incrementar los beneficios en zonas con alta desnutrición crónica y/o la anemia. • Promover patrones de alimentación en regiones con alta prevalencia de sobrepeso. • Focalizar el PDHO en las familias y niños más necesitados. CP: Corto plazo MP: Mediano plazo LP: Largo plazo OMS: Organización Mundial de la Salud PDHO: Programa de Desarrollo Humano Oportunidades ENNVIH: Encuesta Nacional sobre Niveles de Vida de los Hogares ENCASEH: ENOE: ENCEL: LP: ncuesta de Características. Socioeconómicas de los Hogares Encuesta Nacional sobre Ocupación y Empleo Encuesta de Evaluación para los Hogares Rurales Largo plazo Anexo 1. PDHO: Evaluación de Seguimiento de Adultos Jóvenes en Hogares Incorporados desde 1998 a Oportunidades: Impactos en Educación y Pruebas de Desempeño Nombre del programa: Programa de Desarrollo Humano Oportunidades (PDHO) Año de evaluación: 2008 Nombre de la evaluación: Seguimiento de Adultos Jóvenes en Hogares Incorporados desde 1998 a Oportunidades: Impactos en Educación y Pruebas de Desempeño Tipo de evaluación: Impacto Objetivos de la evaluación: Objetivo general: Inves!gar si Oportunidades está incrementando el capital humano de los jóvenes de 19 a 22 años de edad de familias pobres en zonas rurales gracias a su exposición al Programa por casi una década. Objetivos específicos: Es!mar los impactos a largo plazo de Oportunidades en logro escolar y logro cognosci!vo. El grupo de edad principal contaba con 9 a 12 años de edad previo al inicio del Programa y, por tanto, al momento de participar en la Encel 2007 contaba con 19 a 22 años. También se presentan es!maciones complementarias para el grupo de edad de 17 a 18 años en 2007. Metodología utilizada: Se utilizó el módulo de la ENCEL 2003 para jóvenes entre 19 y 22 años que incluyó 506 localidades—320 se asignaron aleatoriamente al grupo de tratamiento (T1998) y 186 al grupo de control, que en T2000 era el grupo de tratamiento. En 2007 se levanto información de 278 localidades para T1998 y 172 para T2000. Para la ENCEL 2007, se aplicaron exámenes de lectura y matemá!cas a una submuestra de adolescentes de 15 a 25 años de edad en 2007. La prueba de matemá!cas es una versión en español de las pruebas Woodcock Johnson, que se aplican en Estados unidos para medir el logro académico. La prueba de lectura forma parte de los estándares nacionales, desarrollados por el INEE. La línea de base se tomo de la ENCASEH 1997. La es!mación u!lizada fue el es!mador de dobles diferencias, que controla por las caracterís!cas fijas, no observadas que pueden afectar la pérdida de muestra o el !empo de exposición al PDHO. En par!cular, se u!lizaron es!madores de pareamiento por puntaje de propensión con dobles diferencias (DiD PSM) que también controlan por los efectos fijos no observables. En la estimación se u!lizó tanto el pareamiento lineal local como el del vecino más cercano aunque sólo se reportaron los resultados del pareamiento lineal local, ya que los resultados son similares. Valoración técnica: Datos y muestra Las fuentes de información contienen módulos que permiten realizar las estimaciones planteadas. Sin embargo, aunque no se hace explícito el tamaño de la muestra, se considera que no es suficientemente amplia para capturar efectos de algunos subgrupos, ya que al separar resultados significativos por características del individuo, se obtuvieron resultados sin significancia estadístca. Una desventaja adicional de la ENCEL es que el módulo de jóvenes, incluye sólo aquellos que permanecieron en el hogar de la familia, sin que exista seguimiento para migrantes en la misma localidad, mismo estado, para migrantes nacionales o que salieron del país. Modelo El modelo se consedera adecuado, de acuerdo con los objetivos planteados en la evaluación. De hecho, los modelos y métodos empleados en esta evaluación son ampliamente utilizados en la literatura para realizar mediciones de impacto—incluyendo evaluaciones previas del PDHO. En todo caso, solamente se menciona que las estimaciones de LP no se basan en un experimento controlado, sino en métodos estadís!cos para controlar efectos fijos no observables que varían en el !empo y podrían afectar los resultados—que incluso con métodos correctivos, los supuestos pueden cambiar o no ser totalmente correctos. Conclusiones En cada capítulo se considera que las conclusiones son adecuadas en alcance y dimensión, de acuerdo con la metodología empleada. Principales Resultados: (máximo 1,500 caracteres) 1. ANÁLISIS ECONOMÉTRICO: • Impacto positivo en la escolaridad de jóvenes BPDHO con 0.9 más grados escolares que los no BPDHO de 19-20 años y de 0.6 grados de 17-18 años. Los jóvenes de 19-20 años con una exposición de 6 años, muestran un impacto de 0.65 grados, con 10 años el resultado es de 0.9. • Impacto en la inscripción y terminación de la secundaria y bachillerato. En la terminación de secundaria, las niñas registraron resultados más altos que los niños (2.7% vs 0.9%). En preparatoria se invierten los resultados (15.9% en niños vs. 5.4% en niñas). • No se encontró impacto en la inscripción a la universidad—la población con!núa siendo baja (cerca de 2%). • El impacto de 0.64 grados de escolaridad para mujeres indígenas contra 0.44 grados para las no indígenas. • Dobles diferencias: El impacto entre T1998 y T2003 es estadís!camente significa!vo e implica un incremento de 10% en el puntaje de matemá!cas para los BPDHO. • Diferencias simples: Sólo el grupo de mujeres muestra un impacto posi!vo en las pruebas de rendimiento de matemá!cas—5% preguntas correctas adicionales. En los hombres, no existe un impacto positivo o importante del PDHO en las pruebas de matemá!cas ni en comprensión de lectura. Para el grupo de 21-22 años de edad, existe un valor negativo del PDHO en comprensión de lectura, lo que refleja que los estimadores de diferencias en este contexto tienden a subestimar el impacto. Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: (máximo 1,500 caracteres) FORTALEZAS Y OPORTUNIDADES: • Impacto de la escolaridad en corto y medio plazo para niños y niñas. • Impactos positivos en la escolaridad para jóvenes indígenas y no indígenas y en el rendimiento en matemá!cas. • Impactos más grandes en escolaridad para quienes estuvieron más !empo cubiertos por el PDHO. • Interés en ubicar y entrevistar a la población migratoria. DEBILIDAD O AMENAZA: • No registrar impactos positivos en las pruebas de lectura. • Las limitaciones asociadas a dar el seguimiento longitudinal a una muestra de evaluación muy grande. • Bajo rendimiento entre la población beneficiaria. • Los beneficiarios acuden a escuelas de baja calidad. RECOMENDACIONES: • Poner énfasis en mejorar los resultados de los niños que están creciendo en la pobreza. • Continuar evaluando rigurosamente el PDHO con énfasis en mejorar el trabajo de campo y darle seguimiento a los migrantes jóvenes. • Utilizar las pruebas ENLACE para calcular el impacto sobre el rendimiento académico. • Aprovechar el trabajo de campo de los migrantes para obtener información acerca de la educación y trabajo de los adultos jóvenes. • Analizar las formas en que el PDHO puede abordar el bajo rendimiento de sus beneficiarios y solucionar problemas asociados con la baja calidad de las escuela. PDHO: Programa de Desarrollo Humano Oportunidades BPDHO: Beneficiarios del Programa de Desarrollo Humano Oportunidades ENCEL: Encuesta de Evaluación para los Hogares Rurales ENCASEH: Encuesta de las Caracterís!cas Socioeconómicas de los Hogares INEE: Ins!tuto Nacional para la Evaluación de la Educación Anexo 1 PDHO: Evaluación de Efectos sobre la Utilización de Servicios y el Estado de Salud de sus Beneficiarios Nombre del programa: Programa de Desarrollo Humano Oportunidades (PDHO) Año de evaluación: 2008 Nombre de la evaluación: Evaluación de Efectos sobre la Utilización de Servicios y el Estado de Salud de sus Beneficiarios Tipo de evaluación: Impacto Objetivos de la evaluación: Documentar la tendencia de los indicadores de salud más importantes entre la población beneficiaria y distinguir tendencias entre grupos de beneficiarios, caracterizando la heterogeneidad observada en diferentes tipos de indicadores de servicios y gasto en salud, para grupos determinados por condición indígena, sexo y año de incorporación al PDHO. Metodología utilizada: Las fuentes de información son la ENCEL 2003 y 2007. Los grupos de hogares elegidos, a partir de la ENCEL (2003), estuvieron determinados por su incorporación al PDHO—se identificó el grupo que recibió el apoyo desde su inicio (1998), el grupo que se incorporó en 2000 (ambos constituyen la muestra original, el primero como grupo tratamiento y el segundo como control) y el grupo de hogares incorporados en 2003 (grupo de comparación, una vez que los controles originales fueron incorporados en 2000). La identificaron de hogares siguió un método cuasi experimental, mediante una aproximación de pareo (propensity score matching), que toma en cuenta caracterís!cas observables de los hogares. El análisis se basó en dos modalidades para determinar la correlación del PDHO y los niveles de las variables de interés: Análisis multivariado (ENCEL 2007) Para encontrar la correlación del PDHO con el estado de salud, la u!lización de servicios de salud y las barreras para usar dichos servicios, se utilizó un modelo lineal que incorpora como variable explicativa, un vector de características del individuo (sexo, edad, educación, etc.), un vector de características del hogar (nivel socioeconómico, condición indígena, etc.), un vector de características de la localidad (servicios y sus precios), un índice de la calidad de los servicios por clínica, un vector de variables de control y una variable para identificar el tratamiento. En objetivo en esta especificación es identificar diferencias entre dos características individuales: sexo y condición étnica. Cabe mencionar que en cada sección de análisis se utilizó la misma estructura del modelo aunque con cambios para mejorar el análisis. • • En el análisis de salud reproductiva se u!lizó un modelo Poisson para revisar los determinantes del uso de consultas prenatales. Adicionalmente, se ajustaron los errores estándar con conglomerados por localidad para corregir una potencial correlación dentro de cada localidad por la presencia de mujeres con características similares. El análisis sobre acceso a servicios obstétricos, la decisión de las mujeres sobre el lugar donde se a!enden su parto, se es!mó a través de un modelo logístico con variable dicotómica sobre atenderse o no con un médico o enfermera. • • En el análisis sobre el síndrome metabólico se incluyó la obesidad y otros predictores del nivel de presión arterial, así́ como un índice de bienes y el indicador de la calidad de atención en la clínica. En el uso, gasto y el autorreporte del estado de salud, el análisis tuvo como objetivo identificar diferencias entre el sexo y su condición indígena, así como los factores asociados a dichas diferencias. Análisis de las trayectorias (ENCEL) Para esta sección se utilizaron diferentes rondas de la ENCEL. El análisis buscó identificar la trayectoria de diversas variables de interés, así como la heterogeneidad inducida por el PDHO, a partir de los grupos de incorporación y características individuales. El análisis de esta sección se basa en diferencias de promedios (de variables de interés), ya que identificar al mismo individuo sólo se pudo hacer para la ENCEL 2003 y 2007—en rondas anteriores sólo se pudo identificar hogares. Este análisis sólo fue posible en las secciones de salud reproductiva y utilización de servicios de salud. Valoración técnica: Datos y muestra: Una desventaja sobre el diseño de la base de datos para este caso en particular, es que al no ser específica para esta evaluación, puede limitarse en términos del número de observaciones para algunos subconjuntos de individuos, y por lo mismo en la significancia en algunos parámetros. Ver Apéndice A para revisar la calidad de las fuentes de información. Esta desventaja no es tan amplia para explicar el número de visitas prenatales, la persona que atiende el parto o las mediciones biológicas de las mujeres, ya que se reportaron pocos parámetros sin significancia estadística. Para el caso de la ENCEL 2007, que se utilizó para explicar la búsqueda de un proveedor público y para algunas relaciones sobre las condiciones de salud reportadas, hubo parámetros que no se reportaron significativos, lo cual pudo requerir de sub-muestras más grandes. El reporte de evaluación no incluye referencias sobre el tamaño de la muestra, ni de los subgrupos asociados, lo cual representa información muy importante. Metodología: El modelo utilizado construye a los grupos de tratamiento y de control a partir de una comparación de los mismos hogares en diversas rondas de la ENCEL, identificando la antigüedad a la exposición del programa. Este es un método que ha sido utilizado en la literatura sobre evaluaciones de impacto e incluso en otras evaluaciones del PDHO. Por tal motivo, se considera pertinente su utilización en cada una de las variables de interés. Conclusiones: El estudio concluye que el PDHO tiene efectos positivos sobre la salud de los beneficiarios. Esta conclusión se considera pertinente, dados los resultados en cada especificación y acordes a los alcances del modelo presentado. Sin embargo, como lo indican los autores, una posible debilidad de los resultados se basa en las respuestas que auto reportan los encuestados, que pueden tener incentivos para responder con relativo sesgo o no reconocerse dentro de un grupo socioeconómico o condición étnica. Por tal motivo es recomendable hacer una evaluación con una muestra específica para las variables de interés y que no fue posible encontrar efectos. Principales Resultados: Salud Reproductiva • El 36% de las mujeres en edad reproductiva usaron un método anticonceptivo en 1998 y 57% en 2007. El mayor incremento se registró en las mujeres con al menos un hijo, 37% en 1998 y 56% en 2007. • Las mujeres que visitaron un médico o enfermera para atención prenatal es de 90%. La mayor proporción de atendidas por una partera con más frecuencia fue en indígenas con 5.4%, no indígenas fue de 3.4%. Acceso a Servicios Obstétricos • El 51% de las mujeres indígenas fueron atendidas por un médico en su último parto y 39% por una partera. En contraste, 79% de no indígenas fueron atendidas por un médico y 14% por una partera. • Se encontró́ una asociación de uso de servicios a mayor educación de las mujeres. En secundaria hay una RM de 2.55 y en educación superior de 5.26 con respecto a la primaria y la atención del parto con un médico o enfermera. • La condición indígena se asocia con la atención del alumbramiento con una partera (RM=0.43). Salud ENCEL • Ser BPDHO tuvo un efecto positivo en el uso de servicios públicos de salud, controlando por la calidad estructural de la localidad y sin dicho control (0.081 y 0.079). Tener un centro de salud en la localidad incrementó la probabilidad de acudir con un proveedor público, en 4 diferentes especificaciones (0.112, 0.123, 0.137 y 0.136). • La población indígena tiene un mayor riesgo de descontrol hipertensivo entre par!cipantes sin diagnós!co (RM=1.74). • No se encontró́ una relación significa!va entre el descontrol hipertensivo por ser BPDHO. Uso de Servicios, Gasto en Servicios y Autorreporte de Estado de Salud • El año de incorporación tiene un efecto sobre la utilización de servicios (totales y públicos). • Controlando por pobreza, educación y grado de marginación, ser indígena no implica una menor utilización de servicios. • Ser beneficiario (por autorreporte) no tiene impacto sobre el uso de servicios ambulatorios. Sin embargo, al incluir la condición indígena sí favorece la utilización— 60% de los hogares que se autor reportaron como beneficiarios se ubican en localidades tratamiento 1998 y 2000. Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: Fortalezas y Oportunidades: • Alta proporción de mujeres atendidas por médicos durante la atención prenatal (>90%). • Las mujeres (auto reportadas) BPDHO utilizan en mayor medida los servicios prenatales y a mayor tiempo de exposición, son más propensas a ser atendidas por un médico en el parto. • Los niños BPDHO tienen menos problemas de salud. • Los BPDHO usaron la clínica con mayor frecuencia (47 vs. 37%) y acudieron menos al medico particular (14 vs. 25%). • • • Los BPDHO se inclinan por los servicios médicos públicos. Adecuada cobertura de exámenes para detección de HTA (>50% en par!cipantes sin diagnós!co). El grupo (auto reportado) de BPDHO no!ficó una mayor proporción de exámenes de presión arterial. Debilidad o Amenaza: • Alta proporción de mujeres (en atención prenatal) van con un segundo proveedor de salud (36%)—indígenas es 61%. • Las mujeres indígenas o con menor educación utilizan menos los servicios prenatales y se atienden con parteras (vs. médicos). • Alta proporción de mujeres no tuvo información sobre signos de alarma en la atención prenatal. • Alta proporción de padres utilizan proveedores de salud no adecuados (farmacia) en enfermedades percibidas como graves. • Prevalencia relativamente alta de DT2 (5.6%) y HTA (10.2%) en adultos. • Alta proporción de posibles pacientes no diagnosticados con HTA (30%) o DT2 (20%). Recomendaciones: • Aumentar la información sobre los signos de alarma en el embarazo. • Indagar por qué las mujeres indígenas no tienen confianza en servicios de salud formales y por qué los padres van con un médico particular para atender enfermedades percibidas como graves. • Reforzar la estrategia de prevención de obesidad y detección de enfermedades crónicas, así como DT2 y HTA. PDHO: Programa de Desarrollo Humano Oportunidades BPDHO: Beneficiario del Programa de Desarrollo Humano Oportunidades DT2: Diabetes tipo 2 HTA: Hipertensión arterial ENCEL: Encuesta de Evaluación para los Hogares Rurales RM: Relación de momios BPDHO: Beneficiarios del Programa de Desarrollo Humano Oportunidades SD: Desviación estándar Anexo 1. Evaluación de los Efectos de Oportunidades en la Economía e Infraestructura Local en Zonas Rurales a Diez Años de Intervención Nombre del programa: Programa de Desarrollo Humano Oportunidades (PDHO) Año de evaluación: 2008 Nombre de la evaluación: Evaluación de los Efectos de Oportunidades en la Economía e Infraestructura Local en Zonas Rurales a Diez Años de Intervención Tipo de evaluación: Impacto Objetivos de la evaluación: Realizar, a par!r de las Encuestas de Evaluación de Oportunidades, un análisis exploratorio e inferencial de los posibles efectos del Programa sobre la presencia y mejora de infraestructura social pública, de los servicios básicos en los hogares y en el aumento en el dinamismo de los mercados locales, controlando por el tiempo de exposición al Programa. Metodología utilizada: El análisis se basó en la información de la ENCASEH 1997 y de las ENCEL 1998, 2003 y 2007. La ENCASEH se aplicó antes de iniciar el PDHO, en todos los hogares de las localidades intervenidas y en las localidades control. La base de datos de localidades de la ENCEL 2007 contiene información de 722 localidades: 270 (37.4%) corresponden a la línea basal de 1998 (tratamiento 1998); 168 (23.3%) al grupo control de 1998 que fueron incorporadas en el 2000 (control 1998); 80 (11.1%), al grupo control que se incorporó en la encuesta de evaluación de 2003 (control 2003); y 204 (28.5%) son localidades que ya eran BPDHO pero que se incorporaron adicionalmente para esa encuesta (Nuevas 2007). La ENCEL 2007 contiene información de 44,036 hogares ubicados en 808 localidades, que contiene a los grupos tratamiento y control 1998, control 2003 y nuevas 2007 incorporadas para esa encuesta de evaluación. La ENCASEH 1997 presenta información de 24,077 hogares en las 506 localidades de los grupos tratamiento y control 1998. La base del análisis sobre las mejoras en los hogares (entre 1997 y 2007) se obtuvo mediante la identificación de aquellos que estuvieran en ambas encuestas. Se encontraron 26,123 hogares en ambas encuestas distribuidas en 542 localidades. Para estimar el efecto del PDHO, se hizo una exploración de la ENCEL 2007 para analizar el estatus en materia de infraestructura social en la localidad (agua, drenaje y electricidad); infraestructura social en los hogares (agua potable entubada, escusado o letrina y electricidad); y la actividad económica principal de la localidad, principales empleadores y lugares de compra. Posteriormente, se especificó una regresión del tipo Logit para estimar la probabilidad, tanto a nivel de hogar como de localidad, de que localidades o BPDHO tengan los indicadores de infraestructura básica y hayan mejorado de 2003 a 2007. Los indicadores a nivel de localidad son drenaje, electricidad y agua potable; y a nivel de hogar son agua potable entubada, sanitario, letrina o excusado. Para el modelo de mejoras en la economía local se consideró como indicador el número de tiendas de abarrotes. En los modelos estimados, las variables dependientes son dicotómicas construidas como indicadores de mejora—valor de 1 si la localidad ha mejorado en términos de infraestructura y el valor de 0 en otro caso. En lo que respecta al análisis del número de negocios nuevos abiertos, el modelo se estima por mínimos cuadrados ordinarios ya que esta variable no es dicotómica. Para cada estimación se calculan tres especificaciones, la primera calcula el modelo con todas las variables que se creen relevantes; en las siguientes se van eliminando las variables que no salieron significativas en la anterior. Finalmente, para analizar el aumento si el numero de negocios nuevos está determinado por el !po de localidad, se es!mó un modelo de mínimos cuadrados ordinarios—la variable endógena es el numero de negocios abiertos en los últimos cuatro años. Valoración técnica: Datos y muestra Las fuentes de información se consideran pertinentes pero limitadas, ya que como lo señalan los propios autores, los resultados deben tomarse con cautela, entre otras cosas por las limitaciones de las bases de datos. Incluso, las recomendaciones que se incorporan al documento refieren a la construcción de información que sirva para evaluar infraestructura y dinamismo económico derivado de la exposición al PDHO. Modelo En caso de la estimación para medir el efecto del PDHO sobre el dinamismo económico, no se considera que el modelo sea suficiente para dicho propósito. Es probable que con otras especificaciones y variables se pudieran tener resultados diferentes—además de resaltar las limitantes de información con las que se contaba para poder medir dicho efecto. En el modelo que incluye la medición de posibles efectos en la infraestructura de la localidad, es probable que la hipótesis este fuera de los ámbitos del PDHO, ya que esto sería a través de un mecanismo indirecto que influenciarían los BPDHO o la administración local. En todo caso, para probar dicha hipótesis es probable que la especificación no sea la más adecuada, así como las variables seleccionadas. Conclusiones Las conclusiones que señalan los autores sobre los resultados de los modelos se consideran pertinentes. No obstante, las recomendaciones que señalan solamente hacen alusión a la falta de información del PDHO para realizar una evaluación de este tipo. Principales Resultados: (máximo 1,500 caracteres) • Las mejoras en infraestructura básica fueron similares para todos los grupos de localidades, por lo que no están asociadas a la presencia del PDHO ni al tiempo de exposición. Los parámetros estimados no fueron significativos. • Se observó una relación positiva entre la presencia de agua potable en la localidad y el PDHO, ya que el coeficiente del porcentaje de BPDHO en la localidad es positivo (0.003), lo que implica que el número de BDHO en la localidad aumenta la probabilidad de contar con agua potable entubada. • En la mejora de agua potable, el modelo mostró como variables posi!vas y significa!vas: hogar BPDHO del grupo tratamiento 1998 (0.1805), el porcentaje de BPDHO en la localidad (0.0083), la jefatura de hogar indígena (0.2260), marginación de la localidad (0.2910) y mejoras en el hogar en el mismo periodo de letrina o escusado (0.1832). • Ser BPDHO no tiene relación con tener letrina o escusado en 2007. El porcentaje de beneficiarios en la localidad fue significativa (0.0046). • Sobre la mejora en sanitario, letrina o escusado, se obtuvo que ser BPDHO, independientemente del tipo de localidad, aumenta la probabilidad de mejora (0.0046 para el grupo de tratamiento), aunque el coeficiente de los BPDHO del grupo de tratamiento 1998 resultó menor al del grupo de control 1998. • Pertenecer a alguna de las localidades estudiadas disminuye el número de negocios abiertos, ya que los coeficientes de las localidades del grupo de tratamiento 1998 y de control 1998 resultaron significativos y negativos. El porcentaje de hogares BPDHO en la localidad tampoco resultó significa!vo. • El incremento en el número de tiendas de abarrotes en el periodo 2003-2007 en las localidades entrevistadas no se explica por la existencia del PDHO. Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: (máximo 1,500 caracteres) FORTALEZAS Y OPORTUNIDADES: • El 93.3% reportan tener alumbrado público. DEBILIDAD O AMENAZA: • Se observa un gran rezago en infraestructura básica de las localidades; 22.6% de las localidades reportan tener agua potable entubada y 18.2% red pública de drenaje. • Sobre los servicios de agua potable y saneamiento, en 2007, 69.8% de los hogares tenían agua potable entubada en el terreno (sólo 27.5% tienen agua entubada al interior de la vivienda) y 68.0% de los hogares tienen letrina o escusado. RECOMENDACIONES: • Modificar los cuestionarios de los levantamientos, establecer criterios de validación de información e integrar módulos de información en las fuentes de información (establecimientos comerciales) PDHO: Programa de Desarrollo Humano Oportunidades ENCASEH: Encuesta de Características. Socioeconómicas de los Hogares ENCEL: Encuesta de Evaluación para los Hogares Rurales Anexo 1 PDHO. Evaluación de Movilidad Social Intergeneracional de los Jóvenes Beneficiarios de Oportunidades Provenientes de Hogares en Zonas Rurales Nombre del programa: Programa de Desarrollo Humano Oportunidades (PDHO) Año de evaluación: 2010 Nombre de la evaluación: Evaluación de Movilidad Social Intergeneracional de los Jóvenes Beneficiarios de Oportunidades Provenientes de Hogares en Zonas Rurales Tipo de evaluación: Impacto Objetivos de la evaluación: Objetivo general: Elaborar un análisis cuantitativo sobre la movilidad ocupacional intergeneracional de los jóvenes de 15 a 24 años de hogares rurales que recibieron los apoyos de Oportunidades a partir de 1997 o en una fecha posterior, y que incluya la información de los jóvenes que emigraron de sus localidades de origen. Objetivos específicos: 1. Analizar los posibles efectos de Oportunidades en la movilidad intergeneracional de los jóvenes de 15 a 24 años de edad en hogares rurales beneficiarios, considerando su posición actual en la jerarquía ocupacional en comparación con sus orígenes sociales (representado por la ocupación de sus padres). 2. Integrar en el análisis anterior el tiempo de exposición al Programa de dichos jóvenes así́ como su condición de emigrante y no emigrante. Metodología utilizada: La muestra consiste de 6,983 beneficiarios del Programa (no se incluye la muestra de no beneficiarios) todos ellos jóvenes que tenían alguna ocupación laboral y ya no estudiaban. La base de datos es la ENCEL 2007 y una encuesta especial de seguimiento para 2008, con datos para jóvenes entre 14 y 24 años, levantados en rondas anteriores (1998, 2000 y 2003) así como un subconjunto de nuevas localidades. La ENCEL incluye un módulo con preguntas sobre la inserción laboral de los entrevistados, utilizando un cuestionario muy similar al de la Encuesta Nacional de Ocupación y Empleo (ENOE); adicionalmente, se incluyen preguntas acerca de la ocupación del jefe del hogar cuando éste tenía 15 años, para analizar el cambio intergeneracional. El análisis de la dinámica laboral entre generaciones se basó en un modelo probabilístico para determinar el efecto del Programa en la posición ocupacional de los jóvenes beneficiarios con respecto a la de sus padres, con diferentes versiones en función de variables que utiliza como controles. El modelo busca asociar una probabilidad cuando la ocupación de los hijos sea comparativamente más calificada que la de los padres, de acuerdo con características específicas del trabajador, del hogar, de la localidad del hijo, la educación de los padres y las condiciones previas al PDHO. La clasificación de las capacidades laborales utiliza un esquema piramidal con 8 niveles definido en De la Rocha (2008), que inicia con actividades agrícolas, hasta llegar a las actividades profesionales. Para capturar el cambio ocupacional se utiliza una matriz de Markov o matriz de transición. La especificación es un modelo dicotómico (ya que la variable dependiente puede tomar solamente dos valores) del tipo Probit, que utiliza una función de distribución normal estándar (Cameron y Trivedi, 2005). Adicionalmente, se incorpora una variable instrumental debido al posible sesgo por las salidas endógenas del PDHO— ya que la posibilidad de ocuparse en una actividad determinada puede inducir a la salida del Programa, reduciendo el tiempo de exposición a los beneficios — que es el tiempo planeado de permanencia del beneficiario en el PDHO, a partir de que éste empezó a operar en la localidad. Para capturar el efecto del PDHO sobre los salarios de los individuos dentro de un rango determinado, se utiliza un modelo probabilístico alternativo que separa los efectos del tiempo de exposición al PDHO de los efectos educativos y migratorios. Este es un modelo cuasiexperimental conocido como regresión discontinua (RDD), método reconoce que existe un umbral definido de forma exógena que separa a los beneficiarios de los no beneficiarios—en este caso, el puntaje para elegibilidad--pero que ambos grupos comparten características muy similares alrededor del umbral. Esta diferencia definida arbitrariamente es utilizada para estimar los efectos del Programa. Valoración técnica: Datos y muestra: La base de datos original—ENCEL—es una encuesta que tuvo las condiciones técnicas para ser representativa de los hogares beneficiarios del Programa en 1998. Actualmente, su utilización tiene ventajas de costo pero—como también sugiere el evaluador—se requiere información adicional que proporcione elementos para hacer generalizaciones sobre los resultados. Modelo: El modelo de estimación aplicado en la evaluación se considera pertinente, dados los objetivos de la misma. Si bien existen otras metodologías para la medición de impactos que implican requerimientos de información muy diversas así como grados de robustez distintos, los modelos probabilísticos específicados son utilizados ampliamente en la literatura para estimar la probabilidad de que un evento se presente bajo ciertas características predefinidas—es este caso, la movilidad laboral de los hijos de las familias beneficiarias. Finalmente, el modelo utilizado permite estimaciones robustas—considerando que se tengan los datos adecuados—y las conclusiones obtenidas son acordes con la capacidad predictiva de dichos modelos. Las metodologías empleadas en esta evaluación han sido utilizadas en estudios similares. Como se señala en el propio documento, el esquema piramidal fue utilizado por De la Rocha (2008) en una evaluación de impacto del PDHO a 10 años de su creación. Los modelos probabilísticos han sido utilizados por Bladen (2005) para determinar el efecto intergeneracional en el trabajo. Becker y Tomes (1986) siguieron un modelo que utiliza la educación de los padres y la estructura del hogar para calcular la movilidad laboral. Kluve et al (2007) identificó las variables instrumentales que se especifican en este trabajo. Finalmente, Behrman, Parker y Todd (2005) han utilizado un modelo similar para medir el efecto del PDHO sobre la escolaridad. Conclusiones: Las conclusiones del evaluador son consistentes con los resultados obtenidos. Además, se contextualizan adecuadamente los hallazgos y se reconoce la incapacidad de los datos y el modelo para estimar ciertos efectos e impactos. Principales Resultados: • En el modelo básico, el efecto directo del PDHO sobre la movilidad ocupacional es positivo pero limitado. Los beneficiarios que recibieron los apoyos durante el ciclo completo del Programa (1997-2007) tienen una mayor probabilidad (4.4%) de encontrar un mejor empleo que los padres, sobre los que nunca recibieron los beneficios. • En el modelo completo, que controla por nivel del hogar y condiciones iniciales, se encuentra que el efecto sobre la movilidad laboral se genera a través de la acumulación de años de escolaridad, de forma que los beneficiarios del Programa tienen mayor probabilidad (2.7%) de encontrar un mejor empleo que sus padres, porque tienen más años de escolaridad en promedio que los no beneficiarios. El tiempo de exposición al Programa de los beneficiarios no tiene efecto significativo sobre la movilidad. • En el modelo completo con la muestra restringida y la simulación de la escolaridad adicional imputable al Programa, se encontró que 7.4% de la movilidad ocupacional observada en los beneficiarios se puede atribuir al efecto del Programa sobre la educación. • En general, los mayores efectos significativos del Programa sobre la movilidad laboral intergeneracional a través de la educación, se encontraron en mujeres, jóvenes no migrantes y en los migrantes a otro lugar del país. • En el modelo de regresión discontinua, los resultados sugieren un impacto significativo y positivo del Programa sobre los salarios de los beneficiarios, pero la limitación de información es tal que se deben interpretar con reservas. Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: Fortalezas y Oportunidades: • Impactos moderados pero significativos del Programa sobre la movilidad laboral intergeneracional, a través del efecto en años de escolaridad adicionales. • Mayores efectos significativos encontrados para mujeres, jóvenes no migrantes y en los migrantes a otro lugar del país. Debilidades y Amenazas: • No hay efectos importantes del tiempo de permanencia de los beneficiarios en el Programa la movilidad laboral intergeneracional. • La mayoría de los jóvenes reciben una educación de baja calidad, lo que limita su movilidad laboral. • Los jóvenes no migrantes tienden a permanecer en ocupaciones de bajas habilidades. • No se encuentran efectos significativos sobre la movilidad laboral de los hombres, de los migrantes dentro de la misma localidad y los migrantes hacia Estados Unidos. Recomendaciones: • Fomentar de forma coordinada con la SEP y CONAFE, programas de mejora en calidad educativa de acuerdo con la densidad de becarios. • Valorar acciones de coordinación del PDHO con la Secretaría de Economía y la STPS, para promover actividades de mayor calificación en las localidades de origen. • Ampliar la muestra de jóvenes migrantes beneficiarios y no beneficiarios a través de un módulo en la ENOE. PDHO: ENCEL: ENOE: Programa de Desarrollo Humano Oportunidades Encuesta de Evaluación de los Hogares Rurales Encuesta Nacional de Ocupaciones y Empleos Anexo 1. PDHO: Evaluación de Consistencia y Resultados 2011 del Programa de Desarrollo Humano Oportunidades Nombre del programa: Programa de Desarrollo Humano Oportunidades Año de evaluación: 2011-2012 Nombre de la evaluación: Evaluación de Consistencia y Resultados del Programa de Desarrollo Humano Oportunidades Tipo de evaluación: Consistencia y Resultados Objetivos de la evaluación: Analizar la lógica y congruencia en el diseño del programa, su vinculación con la planeación sectorial y nacional, la consistencia entre el diseño y la normatividad aplicable, así como las posibles complementariedades y/o coincidencias con otros programas federales; identificar si el programa cuenta con instrumentos de planeación y orientación hacia resultados; examinar si el programa ha definido una estrategia de cobertura de mediano y de largo plazos y los avances presentados en el ejercicio fiscal evaluado; analizar los principales procesos establecidos en las ROP o en la normatividad aplicable; así como los sistemas de información con los que cuenta el programa y sus mecanismos de rendición de cuentas; identificar si el programa cuenta con instrumentos que le permitan recabar información para medir el grado de satisfacción de los beneficiarios del programa y sus resultados; y examinar los resultados del programa respecto a la atención del problema para el que fue creado Metodología utilizada: 51 preguntas a evaluar en 6 temas diferentes, conforme a los Términos de Referencia elaborados por Coneval. Trabajo de gabinete con base en los documentos del programa y otras fuentes secundarias, y entrevistas a operadores. Valoración técnica: No aplica Principales Resultados: 1. Deseño: • Problema identificado en diagnóstico • Vinculado al PND, PSDS, PSE y PSS • PP y PO definidas y cuantificadas 2. Planeación estratégica • Planeación sólo a corto y mediano plazo 3. Cobertura y focalización: • • • Sin estrategia de cobertura a mediano y largo plazo En 10 años los hogares beneficiarios fueron de 2.56 millones (2000) a 5.82 (2011). En 2011 había 25.7 millones de beneficiarios individuales; 52.3% mujeres y 47.7% hombres. 4. Operación: • Información sistematizada sobre beneficiarios. • La selección de beneficiarios y el otorgamiento y seguimiento de apoyos están estandarizados y sistematizados 5. Percepción de la población objetivo: • Instrumentos adecuados para medir la satisfacción de los beneficiarios • 6. Resultados (generales y por componente) 6.1 Generales • Reporta resultados a nivel de Fin y Propósito de la MIR, pero no siempre con evaluaciones de impacto y periodicidades adecuadas. • Cuenta con estudios y evaluaciones de impacto rigurosas • Impactos positivos relevantes: Pobreza intergeneracional: movilidad laboral. Nutrición: capacidades verbales y lingüísticas; desnutrición (talla y anemia). Educación: asistencia y trayectoria escolar, escolaridad de las mujeres indígenas. Salud: asistencia a centros de salud, embarazo temprano, planeación familiar • Impactos de mayor magnitud tienden a concentrarse en etapas tempranas (nutrición y cognición); plazos largos de exposición (escolaridad); variables con mayores brechas (media superior); y poblaciones o grupos con mayores carencias (niveles más bajos de la escala laboral, mujeres indígenas, localidades de alta y muy alta marginación) • Las indígenas enfrentan más dificultades que los mestizos para mantenerse como beneficiarios 6.2 Educación • Impacto positivo en la reducción de problemas conductuales y las capacidades verbales y lingüísticas. • No se encontró evidencia de impactos significativos en otros indicadores de capital humano para niños en edad escolar relacionados con cognición, estado nutricional y logros educativos. • Impactos importantes y positivos en la escolaridad de los jóvenes. Al diferenciar por sexo se observan impactos ligeramente más fuertes en las mujeres. • No se encontró ningún impacto sobre la inscripción a la universidad. • Hay un impacto en los grados de escolaridad de las mujeres indígenas. • Incremento de las trayectorias educativas de niños y jóvenes—dicho impacto es mayor en el caso de los indígenas. • El PDHO incide en la asistencia y prolongación escolar. Sus ex becarios salen con relativamente mayores capacidades (y titulación • • • • de estudios) que posibilitan empleos bajo condiciones ligeramente mejores. Los jóvenes con mayor exposición al PDHO alcanzan mayores grados de escolaridad. La brecha entre hijos/hijas y padres/madres en la trayectoria escolar fue dos años mayor en los BPDHO. Los efectos más notables en la educación, se observaron en las mujeres y en los indígenas. Para incentivar las trayectorias educativas es necesario tener fácil acceso a los centros educativos. 6.3 Nutrición • Ganancias en estatura al comparar niños que reciben los beneficios desde 1998 contra niños que no habían recibido los beneficios para 2005. • Reducción de problemas de conducta en los niños atendidos por el PDHO. • La prevalencia de desnutrición en los BPDHO se redujo considerablemente en los últimos años. • El PDHO puede lograr que los niños menores de dos años alcancen una prevalencia de anemia 10% menor mediante suplementos e ingesta adecuados. • La prevalencia de talla baja cayó en las localidades de muy alta marginación en 4.9 puntos porcentuales y en las localidades de alta marginación 10.3 puntos porcentuales. 6.4 Salud • El PDHO ha contribuido al acercamiento de los BDHO con el sistema médico del Estado. Sin embargo, los recursos humanos y materiales son insuficientes para atender la demanda de atención médica. • Las zonas con mayores grados de marginación son también aquellas en donde los servicios públicos de salud son más deficientes. • Los BPDHO tienen una mayor probabilidad de llevar al centro de salud a sus hijos cuando presentan síntomas de alguna enfermedad. • La probabilidad de embarazo en la adolescencia y juventud temprana es significativamente mayor en las jóvenes con menor tiempo de exposición al Programa. • Resultados significativos en la mejora de la salud infantil y en métodos de planeación familiar. • La mayoría de las unidades de servicios de salud tienen baja capacidad. • Las familias BPDHO, demostraron mayor conocimiento sobre su estado de salud. 6.5 Otros • Efecto en la probabilidad de obtener empleo sólo en la medida en que incrementa la probabilidad de tener mayor escolaridad. • El diseño del PDHO no permite inferir un efecto sobre cuestiones laborales de forma directa, sino a través de mejorar los niveles de educación y de salud. • El PDHO contribuye a disminuir la desigualdad de género y la desigualdad étnica. • En BPDHO hay un 40% de movilidad hacia mejores ocupaciones que el jefe de hogar y un 47% que sigue en ocupación de habilidad similar. Para las mujeres y mujeres indígenas existe una mayor movilidad entre generaciones a mejoras ocupacionales. Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: Fortalezas y Oportunidades • El diagnóstico identifica el problema que justifica la intervención, así como sus causas y efectos • Define adecuadamente la lógica vertical y horizontal • Documenta resultados a nivel de Fin y Propósito • Muestra la alineación y aportación al PSDS y al PND • El PB está sistematizado y recolecta información relevante • Recolecta información para monitorear su desempeño de manera oportuna, confiable y sistematizada • Los procedimientos para otorgar apoyos son estandarizados, sistematizados y cuentan con mecanismos de verificación • El procedimiento de selección de BDHO es estandarizado y sistematizado, y está especificado y publicado en las ROP • El PDHO obtiene información por medio de 5 tipos de encuestas Debilidad o Amenaza • La redacción del problema no es suficientemente clara • No se documenta la vinculación del Propósito con las Metas del Milenio • El plan de trabajo anual no incluye acciones para mejorar su desempeño, ni metas para los indicadores de la MIR • No hay un mecanismo que verifique la recepción, registro y trámite de solicitudes dentro de los MP • El mecanismo para la recepción de solicitudes no se encuentra sistematizado Recomendaciones: • Redactar el problema como: Bajo capital humano de los integrantes de los hogares cuyas condiciones socioeconómicas impiden el desarrollo de las mismas • Documentar su vinculación con las Metas del Milenio • Incluir en el DE, los indicadores para medir el avance en el logro de los resultados • Elaborar un plan de trabajo anual que incluya las metas establecidas en los indicadores de la MIR • Incorporar en el MP los mecanismos para la recepción, registro y trámite de solicitudes • Sistematizar el mecanismo de la recepción de solicitudes • Establecer de forma explícita los mecanismos de verificación para la entrega de apoyos CONEVAL: Consejo Nacional de Evaluación de la Política de Desarrollo Social MIR: Matriz de Indicadores para Resultados ROP: Reglas de Operación PSDS: Programa Sectorial de Desarrollo Social PSE: Programa Sectorial de Educación PSS: Programa Sectorial de Salud PO: Población Objetivo PA: Población Atendida PP: Población Potencial DE: Documento estratégico PB: Padrón de beneficiarios MP: Manuales de procedimientos Anexo 1. PDHO: Evaluación Específica de Desempeño 2008 del Programa de Desarrollo Humano Oportunidades Nombre del Programa: Programa de Desarrollo Humano Oportunidades. Año de evaluación: 2008 Nombre de la Evaluación: Informe de la Evaluación Específica de Desempeño 2008. Programa de Desarrollo Humano Oportunidades Tipo de la Evaluación: Específica de Desempeño Objetivos de la Evaluación: • Reportar los resultados y productos del Programa de Apoyo Alimentario durante el año 2009, mediante el análisis de los indicadores de resultados, de los indicadores de servicios y gestión, así como de los hallazgos de las evaluaciones externas. • Analizar los avances a través del tiempo en materia de indicadores acorde a la información disponible. • Identificar avances en los aspectos susceptibles de mejora del programa derivados de las evaluaciones externas y las acciones establecidas por el programa para atenderlos. • Mostrar los avances del programa en materia de cobertura. • Identificar las principales fortalezas y retos del programa. Metodología utilizada: Trabajo de gabinete, únicamente con base en la información contenida en el SED y la proporcionada por el CONEVAL. Valoración técnica: No aplica Principales Resultados: RESULTADOS/PRODUCTOS: • 5 de 5 indicadores estratégicos seleccionados corresponden a Fin y Propósito, de los cuales dos no muestran ni meta ni el valor del indicador. Los otros tres indicadores superaron la meta de 2008, rango entre 18 y 112.5 puntos porcentuales • 5 de 5 indicadores de gestión seleccionados corresponden a Componentes y Actividades, de los cuales, tres indicadores se encuentran por arriba de la meta, rango entre 8.2 y 9.3 puntos porcentuales. Hay un indicador para el cual no se tiene su valor, por lo que no se sabe su comportamiento respecto a la meta. • Se reportan resultados de cuatro Evaluaciones de Impacto 2008, dos Evaluaciones de Impacto 2006 y una Evaluación de Seguimiento a Beneficiarios 2006 • Valoración: - Los resultados muestran un buen desempeño en relación con su Fin, Propósito y objetivos - Se evidencian áreas críticas que el programa debe atender con el fin de mejorar su intervención y los impactos en el desarrollo de capacidades de sus beneficiarios. - En lo general, los indicadores de la MIR son pertinentes, relevantes, claros y confiables. Se hacen comentarios específicos respecto a aspectos que se sugiere revisar de algunos indicadores. - Puede considerarse la inclusión de indicadores adicionales que amplíen las expectativas respecto a los resultados que podría lograr el programa. COBERTURA: • La PP, PO y PA están definidas claramente—en 2008 la PA excede a la PO. • De 2002 a 2007 la cobertura del programa ha sido del 100%. En 2008 la cobertura fue del 100.9% (Pob Atendida/Pob Objetivo) ASM: • Integrar un equipo de trabajo con expertos con objeto de implementar una serie de intervenciones para mejorar la calidad de la educación; crear una vertiente de apoyo para aspectos que incidan en calidad educativa; introducir cursos de renivelación y remediales en competencias lecto-escritoras y matemáticas. • Realizar una agenda de evaluación del impacto en la transmisión intergeneracional de la pobreza • Revisar la definición de la PP y PO y hacer un cambio en los criterios y metodologías para la cuantificación e identificación de la PP. • Elaborar un programa estratégico • Elaborar un diagnóstico actualizado y adecuado a la problemática que sustenta la razón de ser del programa Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: FORTALEZAS: • En lo general, los indicadores de la MIR son pertinentes, relevantes, claros y confiables • Incrementa las capacidades básicas de sus beneficiarios (educación, salud y nutrición) y genera mejoras en su nivel de vida. • La eficiencia de sus procesos operativos es satisfactoria en lo general. • Su cobertura alcanza los 5 millones de familias que es la meta de atención. DEBILIDADES: • Si bien se ha mostrado que el programa ha mejorado la educación, salud y nutrición de sus beneficiarios, las evaluaciones de impacto realizadas señalan algunas áreas en las que se puede incrementar o mejorar este impacto en los beneficiarios (calidad de los servicios de salud y educación y el funcionamiento de Jóvenes con Oportunidades). • Existen familias elegibles que no han sido incorporadas al programa y habitan en localidades con acceso a servicios de educación y salud. RECOMENDACIONES: • Mejorar la calidad de los servicios de educación y salud para incrementar el impacto potencial sobre los beneficiarios. • Incorporar a familias que son elegibles que no han sido incorporadas y que habitan en localidades con acceso a servicios de educación y salud. PO: Población Objetivo PP: Población Potencial PA: Población Atendida ASM: Aspectos Susceptibles de Mejora Anexo 1. PDHO. Evaluación Específica de Desempeño 2009-2010 del Programa de Desarrollo Humano Oportunidades Nombre del Programa: Programa de Desarrollo Humano Oportunidades. Año de evaluación: 2009-2010 Nombre de la Evaluación: Informe de la Evaluación Específica de Desempeño 2009-2010. Programa de Desarrollo Humano Oportunidades Tipo de la Evaluación: Específica de Desempeño Objetivos de la Evaluación: • Reportar los resultados y productos del Programa de Apoyo Alimentario durante el año 2009, mediante el análisis de los indicadores de resultados, de los indicadores de servicios y gestión, así como de los hallazgos de las evaluaciones externas. • Analizar los avances a través del tiempo en materia de indicadores acorde a la información disponible. • Identificar avances en los aspectos susceptibles de mejora del programa derivados de las evaluaciones externas y las acciones establecidas por el programa para atenderlos. • Mostrar los avances del programa en materia de cobertura. • Identificar las principales fortalezas y retos del programa. Metodología utilizada: Trabajo de gabinete, únicamente con base en la información contenida en el SED y la proporcionada por el Coneval. Valoración técnica: No aplica Principales Resultados: Resultados/Productos: • 5 de 5 indicadores estratégicos seleccionados corresponden a Fin y Propósito, de los cuales dos indicadores no cuentan con información sobre el valor y la meta del mismo. Dos indicadores se encuentran por encima de la meta, rango entre 4.9 y 5.8 puntos porcentuales. El indicador restante se encuentra por debajo de la meta en 1.6 punto porcentual. • 5 de 5 indicadores de gestión seleccionados corresponden a Componentes y Actividades, de los cuales 4 indicadores se encuentran por encima de la meta, rango entre 3.5 y 4.7 puntos porcentuales. El indicador restante se encuentra por debajo de la meta en cerca de 31 puntos porcentuales • Se reportan resultados de la Evaluación de Impacto 2009 y la Evaluación de Impacto 2010. • Valoración: - Evaluaciones de impacto en el medio rural muestran efectos positivos en el logro escolar de los jóvenes beneficiarios, así como en la salud y nutrición de la población infantil menor de 2 años. - El desempeño escolar en Español de los becarios de educación básica se ve afectado por factores de índole individual y familiar que requieren de tratamientos alternativos. - En 2009 instrumentó cambios importantes en su operación (esquema distinto en el manejo de Jóvenes con Oportunidades, modelo alternativo de focalización, gestión y atención para zonas urbanas) - En 2008 y 2009 hubo un incremento moderado de cobertura Cobertura: • PP, PO y PA se encuentran claramente definidas—la PA excede a la PO en 2008 y 2009. • La cobertura con relación a la PP (es decir PA/PP) ha estado por encima del 92% desde 2004, alcanzando en 2009 una proporción superior al 97%. ASM: • Ausencia de mecanismos formales para la interacción entre personal de Oportunidades y el Sector Salud a nivel local impiden el flujo de información sobre la situación de los beneficiarios • Identificar áreas de oportunidad para expandir las becas educativas • Las vocales no tienen los incentivos suficientes para su participación en la operación • Dado que los encuestadores y el personal del Programa no hablan la lengua indígena de la zona, el monolinguismo y las barreras culturales provocan que las familias indígenas estén en condiciones de desventaja y sean más propicias a la exclusión • Ampliar la información a la población beneficiaria sobre la disponibilidad de servicios de salud de segundo y tercer nivel • Avances: - En el seguimiento de los ASM se reportan 4 aspectos: 2 específicos y 2 institucionales - Específicos: dos cumplidos en fecha (documento para sistematizar los mecanismos para el establecimiento de indicadores y metas; indicadores de la MIR en temas sobre el mejoramiento de la salud, el tránsito a la educación media superior y la recepción de apoyos alimentarios) - 2 institucionales: uno concluido 6 meses después de la fecha comprometida (diagnóstico actualizado y adecuado de la problemática que sustenta la razón de ser del programa); el otro rebasó la fecha de término y se encuentra en proceso con un avance del 50% al 31 diciembre 2009 (Programa Estratégico) Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: Fortalezas: • Impactos positivos en el mejoramiento de indicadores básicos del desarrollo humano (incremento en la escolaridad, reducción de la desnutrición infantil y mejoramiento de las condiciones de salud). • Es el programa federal más importante en la superación de la pobreza y de los mejor operados en el país. • En 2009 implementó cambios importantes en su operación que derivaron en la instrumentación de un esquema distinto en el manejo de Jóvenes con Oportunidades y en la implementación de un modelo alternativo de focalización, gestión y atención para zonas urbanas distinto del rural. Debilidades: • La cobertura en educación de Jóvenes con Oportunidades se redujo sensiblemente y aunque el porcentaje de becarias en educación media superior sigue siendo mayor con relación a la matrícula nacional, en 2009 esta ventaja disminuyó de manera importante. • El desempeño escolar en Español de los becarios de educación básica se ve afectado por factores de índole individual y familiar que requieren de tratamientos alternativos. • Las estimaciones de la PP datan de 2006. • Existen áreas que requieren mayor investigación o el desarrollo de nuevas estrategias de atención como en el caso del aprovechamiento escolar en las escuelas rurales de educación básica • Es necesario un análisis sobre los indicadores que muestran un desempeño no adecuado (otorgamiento de incentivos de Jóvenes con Oportunidades y porcentaje de becarias en la educación media superior) Recomendaciones: • Incrementar la cobertura en educación de Jóvenes con Oportunidades y el porcentaje de becarias en educación media superior. • • • • • Desarrollar tratamientos alternativos para incrementar el desempeño escolar en Español de los becarios de educación básica. Reforzar la operación de Jóvenes con Oportunidades y realizar un estudio específico para identificar y comprender las situaciones que limitan el impacto del componente educativo. Actualizar las estimaciones de la PP en 2010. Incrementar la investigación y desarrollar nuevas estrategias de atención en las áreas que así lo requieran (aprovechamiento escolar en las escuelas rurales de educación básica). Analizar los indicadores con desempeño no esperado. ASM: Aspectos Susceptibles de Mejora PO: Población Objetivo PP: Población Potencial PA: Población Atendida Anexo 1. PDHO: Evaluación Específica de Desempeño 2010-2011 del Programa de Desarrollo Humano Oportunidades Nombre del Programa: Programa de Desarrollo Humano Oportunidades. Año de evaluación: 2010-2011 Nombre de la Evaluación: Informe de la Evaluación Específica de Desempeño 2010-2011. Programa de Desarrollo Humano Oportunidades Tipo de la Evaluación: Específica de Desempeño Objetivos de la Evaluación: • Reportar los resultados y productos del Programa de Apoyo Alimentario durante el año 2009, mediante el análisis de los indicadores de resultados, de los indicadores de servicios y gestión, así como de los hallazgos de las evaluaciones externas. • Analizar los avances a través del tiempo en materia de indicadores acorde a la información disponible. • Identificar avances en los aspectos susceptibles de mejora del programa derivados de las evaluaciones externas y las acciones establecidas por el programa para atenderlos. • Mostrar los avances del programa en materia de cobertura. • Identificar las principales fortalezas y retos del programa. Metodología utilizada: Trabajo de gabinete, únicamente con base en la información contenida en el SED y la proporcionada por el CONEVAL. Valoración técnica: No aplica Principales Resultados: (máximo 1,500 caracteres) RESULTADOS/PRODUCTOS: • 5 de 5 indicadores de resultados seleccionados corresponden a Fin y Propósito, de los cuales tres no cuentan con información, por lo que no es posible saber su desempeño con respecto a la meta. Uno de los indicadores restantes se encuentra en 1.5 punto porcentual por debajo de la meta, y el último indicador se encuentra en 1.3 punto porcentual por arriba de la meta. • 5 de 5 indicadores de gestión seleccionados corresponden a Componentes y Actividades, de los cuales tres se encuentran por arriba de la meta, rango: 0.33 y 3.8 puntos porcentuales. Un indicador se encuentra por debajo de la meta en alrededor de un millón de niños, y el último indicador se encuentra por arriba de la meta en cerca de 19 mil familias. • Se reportan resultados de Evaluación Externa 2008, Evaluación de Impacto 2008, Evaluación Estratégica 2009 COBERTURA: • PP, PO y PA definidas • No existe cuantificación de la PP para 2010 • Las definiciones de PP y PO son diferentes entre 2009 y 2010 • Evolución de la Cobertura: ASM: • • • • Fortalecer los procesos de formación pedagógica de los docentes de telesecundaria, a fin de que cuenten con mayores recursos para establecer procesos de enseñanza-aprendizaje exitosos. (Aspecto Intergubernamental) Introducir apoyos y compromisos entre autoridades, escuelas y padres de familia para el buen mantenimiento de la infraestructura y para la dotación de equipamiento educativo; priorizar la inversión en las escuelas primarias indígenas, primarias generales rurales y telesecundarias rurales; y revertir la caída presupuestal de los programas compensatorios y fortalecer la cobertura de los programas educativos que refuerzan la calidad. (Aspecto Intergubernamental) Actualizar la cuantificación de la PP con la información disponible más reciente. Avances: - Se han atendido todos los aspectos específicos de los mecanismos 2008 y 2010 Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: ( máximo 1,500 caracteres) FORTALEZAS: • La atención de la pobreza de una manera integral, al atacar las causas estructurales de la misma como la baja inversión en capital humano a través de apoyos complementarios de educación, salud y alimentación. • El fomento de la corresponsabilidad de los beneficiarios. • Los impactos de corto y largo plazo sobre nutrición y educación. • La gran cantidad de información y evaluaciones que el programa ha generado desde su inicio sobre una multiplicidad de aspectos. • Su continuidad a lo largo de 14 años; aspecto fundamental para programas de inversión en capital humano. DEBILIDADES: • En los últimos años, el programa ha aumentado de forma significativa los tipos y montos de apoyos así como su cobertura, sin un diagnóstico que sustente estos cambios • Las evaluaciones señalan grandes variaciones en calidad y deficiencias importantes con respecto a la cobertura y calidad de los servicios de salud y educación • La coexistencia de Oportunidades y el PAL a nivel de localidad • La cobertura y calidad de los servicios de salud y educación no se reflejan en un aumento de las capacidades de los beneficiarios • No se establece claramente en las ROP que su PP y PO es la pobreza extrema y estructural. • Hay una reducción acelerada del número de becarios por hogar beneficiario. RECOMENDACIONES: • Elaborar un diagnóstico que sustente los cambios realizados (por ejemplo, tipo y montos de apoyos, cobertura) y por realizar al programa. • Debido a las variaciones en calidad y deficiencias encontradas, se recomienda hacer un diagnóstico amplio que sustente y evalúe: a). Oportunidades a 15 años de su diseño, b). los diferentes tipos de apoyo que han sido añadidos al programa desde su inicio; c). los impactos de los niveles de transferencias actuales sobre la participación laboral de los beneficiarios; d). la congruencia y consistencia de las diferentes políticas públicas para el combate a la pobreza; e). la pertinencia, temporalidad y PO de Oportunidades, PAL y el resto de los programas alimentarios. • Eliminar la coexistencia de Oportunidades y PAL; se sugiere dejar a PAL sólo en localidades rurales marginadas sin acceso a servicios • Establecer a nivel de las Secretarías (SEDESOL, Salud y SEP) una estrategia intergubernamental para mejorar la cobertura y calidad de los servicios de salud y educación, con el fin de que el aumento en asistencia a los servicios de salud se traduzca realmente en un aumento de capacidades. • Aclarar en las ROP que su PP y PO es la pobreza extrema y estructural. • Es necesario analizar la reducción acelerada del número de becarios por hogar beneficiario porque puede indicar que se tiende a atender a hogares envejecidos y a no incorporar jóvenes, o que los becarios están perdiendo la beca por alguna razón. ASM: Aspectos Susceptibles de Mejora PO: Población Objetivo PP: Población Potencial PA: Población Atendida Anexo 1.PDHO:Ficha técnica de laevaluación externa del programa oportunidades 2010en zonas urbanas (2002 - 2009); Nombre del programa: Programa Desarrollo Humano Oportunidades (PDHO) Año de evaluación:2008 Nombre de la evaluación:Evaluación efectos de oportunidades en nutrición. Tipo de evaluación: Impacto Objetivos de la evaluación: Objetivo general: Describir la situación nutricionalen niños y mujeres en zonas urbanas y algunos factores que la influyen y analizar su asociacióncon el estado de nutrición, siete años después de la implementación de Oportunidades enzonas urbanas. Objetivosespecíficos: Analizar la situación nutricional actual de la población beneficiaria en zonas urbanas, mediante el estudiode la talla, peso con relación a la talla (índice de masa corporal, IMC) y concentración de hemoglobina,así como sus respectivas prevalencias de mala nutrición en niños de 5 a 10 años y sus madres. Explorar la situación actual de un factor que influye sobre el estado de nutrición de los niños en la etapacrítica para el crecimiento (0 a 2 años de edad), específicamente la lactancia materna, así como de unfactor importante para el estado de nutrición de la familia: la inseguridad alimentaria del hogar. Documentar las tendencias en el tiempo del estado nutricional de los niños y sus madres y la asociacióncon algunos aspectos del Programa (pobreza y transferencia) para los mismos indicadores nutricionales: 1) Talla, IMC y concentración de hemoglobina en niños de 5 a 10 años de edad y la prevalencia de losproblemas nutricionales asociados (talla baja, bajo peso, sobrepeso y anemia). 2) IMC y concentración de hemoglobina en mujeres, madres de los niños, y la prevalencia de los problemasnutricionales asociados (sobrepeso, obesidad y anemia). Metodología utilizada: La información utilizada para los análisis presentados aquí fue recolectada como parte de las Encuestas de Evaluación de Oportunidades en Zonas Urbanas (ENCELURB) 2002, 2004 y 2009 (ver documento introductorio Aspectos Generales de la Evaluación de Mediano Plazo de Oportunidades en Zonas Urbanas para mayor detalles sobre la muestra de 2009). Previo a cada ronda, el protocolo de investigación fue revisado y aprobado por las Comisiones de Ética, Bioseguridad e Investigación del Instituto Nacional de Salud Pública. Para 2009, se contó con una muestra de 5 498 hogares que fueron incorporados alguna vez al Programa, los cuales respondieron a 11 preguntas (8 en caso que no hubiera niños menores de 18 años en el hogar), sobre la percepción de inseguridad alimentaria. El módulo de inseguridad alimentaria no se había implementado en las ENCELURBanteriores por lo que la capacidad de realizar comparaciones en el tiempo es limitado. Se contó con el seguimiento de un panel longitudinal, participante en las tres Encuestas de Evaluación de Hogares Urbanos (ENCELURB2002, 2004 y 2009). Oportunidades inició en las localidades de intervención inmediatamente después del levantamiento de la ENCELURB2002, y las localidades de no intervención fueron programadas para ser incorporadas al Programa después del levantamiento de la ENCELURB2004. En 2009, se buscó específicamente a los mismos participantes de esa cohorte (i.e. niños que habían participado en la ENCELURB2002 y/o 2004) que residían en las comunidades de intervención únicamente y que habían sido incorporados en algún momento al Programa (ver documento introductorio Aspectos Generales de la Evaluación de Mediano Plazo de Oportunidades en Zonas Urbanas para mayor información sobre la muestra). En 2002 y 2004 se incluyó a todos los niños de 0 hasta 4 años de edad, por lo que en el 2009 tenían entre 5 a 10 años de edad. Para 2009, se reclutó nuevamente a todos los niños que habían sido medidos en 2002 y/o 2004. Se tomó una muestra de sangre capilar para la medición de la concentración de hemoglobina utilizando el fotómetro portátil y la misma metodología utilizada para las encuestas anteriores. Se les midió el peso y la talla utilizando básculas electrónicas y estadiómetros portátiles, se utilizaron métodos antropométricos estándares, de la misma manera que para las encuestas previas. Las mediciones fueron hechas por duplicado y la media entre las dos fue utilizada para el análisis. Para analizar la situación de inseguridad alimentaria, mediante análisis factorial, los factores fueron extraídoscon el método de factor principal iterado. Primero se describió cómo se distribuyen las respuestasa las preguntas de inseguridad alimentaria en los hogares beneficiarios que han recibido el Programaen algún momento. El índice de inseguridad alimentaria se recalculó tanto para la muestra de niños comopara la muestra de mujeres y se obtuvieron terciles de inseguridad alimentaria, los cuales se utilizaron para definir las tres categorías de inseguridad. De esta manera, los que contestaron negativamente a todas laspreguntas se clasificaron sin inseguridad y el resto se clasificó en tres categorías con inseguridad leve, moderaday severa, y se definieron de acuerdo a los terciles del índice creado. Para estimar la asociación entre la participación en el Programa y la situación de inseguridad alimentaria en el hogar se utilizó la metodología de regresión discontinua. Esta metodología es apropiada para analizar variables que tienen una clara relación con los criterios de elegibilidad para el Programa. En este caso, la inseguridad alimentaria está correlacionada con la pobreza, es decir, el puntaje de pobreza (2002) define la condición de elegibilidad para el Programa. Para este análisis se centró el puntaje para tener el punto de corte o de elegibilidad en cero. Se dividió la muestra entre los que fueron elegibles y recibieron el Programa en algún momento (n=3310) y los que no fueron elegibles y no recibieron el Programa (n=621), de acuerdo con el puntaje de pobreza en 2002. Todos los modelos se ajustan por la edad y sexo de los niños para estimar las tendencias enla situación nutricional. Debido a que la muestra es una combinación de cohortes transversales (muestrasde niños distintos en 2002, 2004 y 2009) y panel longitudinal (mediciones de los mismos niños en 2002y/o 2004 y/o 2009), la edad representa una combinación de tendencias sectoriales (cambios en losindicadores en el tiempo) y cambios debido al avance de la edad en los individuos. En el caso de variables de respuesta continua, se ajustaron modelos multinivel de efectos mixtos.El primer nivel lo constituyen las medidas repetidas en el tiempo; el segundo, los individuos; y finalmente eltercero, la unidad primaria de muestreo. Únicamente fueron agregados efectos aleatorios de constante. Enel caso de variables de respuesta dicotómicas se utilizaron modelos de ecuaciones estimadoras generalizadas(GEE), y con el logit como función de enlace, se especificó una covarianza entre medidas repetidas noestructurada debido a la separación en tiempo de las encuestas. En la especificación inicial de todos los modelos se incluyeron variables indicadoras de tiempo, la edad, lavariable de pobreza, la variable de transferencias, la interacción entre pobreza y transferencias. En los modelospara niños se incluyó también el sexo y sus respectivas interacciones. Dado que la relación entre edad y losdesenlaces nutricionales no es lineal en el intervalo de edad de los niños incluidos en las encuestas, se incluyela edad al cuadrado. Para algunos modelos (por ejemplo: talla para la edad y riesgo de talla baja) se ajustan por factores adicionales conocidos por ser fuertes predictores de talla, específicamente, talla de la madre. Valoración técnica: Datos y Muestra: La muestra que se utilizó para la evaluación tiene problemas de validez, comparabilidad y representatividad para medir los efectos del programa. Modelo: Los modelos y métodos de estimación aplicados en la evaluación se consideran pertinentes, dados los objetivos de la misma. Si bien existen otras metodologías para la medición de impactos que implican requerimientos de información muy diversos así como grados de robustez distintos, los modelos especificados son utilizados ampliamente en la literatura para estimar la prevalencia de una condición—es este caso, el estado nutricional de los beneficiarios del programa. Finalmente, el modelo utilizado permite estimaciones robustas— considerando que se tengan los datos adecuados—y las conclusiones obtenidas son acordes con la capacidad de dichos modelos. Sin embargo, dadas las características de la muestra, los resultados que se obtienen no son generalizables ni comparables. Conclusiones: En general el diseño metodológico es adecuado y consistente con el tipo de evaluación realizada; sin embargo subsisten limitaciones y posibles efectos con potencial de afectar las estimaciones, deribados de los datos que se utilizaron. Las conclusiones del evaluador no contextualiza los hallazgos y no reconoce la incapacidad del levantamiento muestral para ciertos efectos. Dadas las caracteristicas del analisis realizado, no se considera confiables las inferencias con relación a los posibles efectos que tiene el programa. Principales Resultados: • La prevalencia de talla baja y anemia ha disminuido, y se observa un aumento en la prevalencia de sobrepeso conforme aumenta la edad de los niños. • Las prevalencias de sobrepeso y obesidad en niños beneficiarios de Oportunidades son menores a las observadas en la población general urbana y menores a la del primer quintil socioeconómico urbano. • La prevalencia de obesidad en las mujeres jóvenes (20 a 29 años) es mayor a la de la población general urbana y mayor a la del primer quintil socioeconómico urbano. • La prevalencia de anemia en mujeres ha disminuido de manera importante (i.e. 13.6 puntos porcentuales desde 2002 y 2.3 puntos porcentuales desde 2004). En mujeres beneficiarias de 30 a 39 años la prevalencia de anemia es menor que la del primer quintil socioeconómico urbano. • El 54.2% de los hogares entrevistados fueron clasificados con inseguridad alimentaria. • El nivel de pobreza y las transferencias están asociados con la talla para la edad; entre las familias más pobres se observa un mayor de puntaje Z de talla de 0.1 (equivalente a 0.5 cm en la edad promedio de 5 años) por cada 100 pesos adicionales de transferencias recibidas bimestralmente. • El riesgo de obesidad es significativamente mayor en los niños de hogares menos pobres. Desde 2002 hasta 2009, existe un aumento en la probabilidad de obesidad, la cual es significativamente mayor en los niños. Asimismo, el riesgo de anemia es mayor para los niños de hogares con mayor pobreza. • Se observa que conforme aumenta la edad de las mujeres aumenta el riesgo de sobrepeso u obesidad. Sin embargo, las mujeres de hogares menos pobres tienen un mayor riesgo de sobrepeso u obesidad. • La probabilidad estimada de anemia bajó cerca de la mitad entre 2002 y 2009 Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: Fortalezas y Oportunidades: • Existe una asociación entre la talla para la edad y el promedio de las transferencias bimestrales, que depende del nivel de pobreza. Se observa un mayor puntaje Z de talla de 0.1 (equivalente a 0.5 cm en la edad promedio de 5 años) por cada 100 pesos adicionales de transferencias. • El riesgo de talla baja está asociado con el promedio de las transferencias bimestrales. • No existe diferencia entre la prevalencia de anemia en niños y niñas beneficiarios de zonas urbanas y la prevalencia en la población general urbana ni respecto a la de la población general urbana del primer quintil socioeconómico. De 2002 a 2009, la probabilidad estimada de anemia en los niños se redujo de 0.383 a 0.115 y en las niñas de 0.321 a 0.099. Debilidades y Amenazas: • • • • • • • Aumento de la prevalencia de obesidad de 2002 a 2009, especialmente, en niños, aunque es menor que la prevalencia de la población general urbana. Se observa un mayor riesgo de obesidad en niños que en niñas y en los niños de hogares menos pobres. Alta prevalencia de obesidad en mujeres de 20 a 29 años (30.1%) y mayor a lo observado tanto en la población general urbana como en el primer quintil socioeconómico urbano. Disminución en la iniciación de la lactancia materna (82.9%, IC95% 77.1, 88.7) con respecto a lo observado hace 5 y 7 años (alrededor del 95%), en la población beneficiaria de zonas urbanas. Riesgo de anemia mayor en los hogares más pobres y en niños. Alta prevalencia de anemia en mujeres. Alta proporción de familias que aún presentan algún grado de inseguridad alimentaria (54.2%). La inseguridad alimentaria severa está asociada con mayor prevalencia de desnutrición en niños. Recomendaciones: • Desarrollar una estrategia integral para el control del peso que incluya el monitoreo del peso anual adecuado en niños desde los 5 años y a lo largo de la vida. • Implementar a nivel nacional una campaña educativa para personal de salud y beneficiarios para la promoción de la lactancia materna y alimentación complementaria. • Implementar en todo el país un sistema, para detectar y tratar la anemia en niños de edad escolar y mujeres en edad fértil. • Entender con mayor detalle lo que significa “inseguridad alimentaria” para las familias. Anexo 1. PDHO: Evaluación externa del programa oportunidades 2010en zonas urbanas (2002 - 2009); Nombre del programa: Programa Desarrrollo Humano Oportunidades (PDHO) Año de evaluación:2008 Nombre de la evaluación:Evaluación efectos de oportunidades en salud. Tipo de evaluación: Impacto Objetivos de la evaluación: Objetivo general: Mostrar la evidencia sobre las tendencias en los indicadoresde utilización de servicios de salud y estado de salud de la población urbana beneficiaria deOportunidades para el periodo 2002-2009. Asimismo, y a través de dos alternativas metodológicas,se presentan estimaciones de los efectos del Programa en los mismos indicadores:la primera es una aproximación de pareamiento de hogares casi elegibles con hogares algunavez incorporados en zonas de intervención del Programa; mientras que en la segunda se aplicauna aproximación de regresión discontinua para identificar un grupo de control. Metodología utilizada: Considerando la muestra seleccionada para la ENCELURB 2009, se identificaron 6,534 hogaresalguna vez incorporados, y 1 142 hogares casi elegibles que no se ubicaron entre losalguna vez incorporados (algunos hogares originalmente identificados como casi elegiblesfueron incorporados al PDHO en algún momento entre 2004 y 2009), para un total de 7 676hogares, de los cuales se obtuvo información efectiva del 78% (las pérdidas de seguimientoentre 2004 y 2009 se deben a la dinámica poblacional). En un primero momento se estimaron los indicadores en las rondas de evaluación disponibles (2002, 2004, y 2009), lo que permite examinar los niveles de los indicadores en cada uno de los años, así como los cambios ocurridos durante el periodo 2002-2009. Posteriormente se estimaron las tendencias usando un modelo de regresión simple para calcular la magnitud y significancia de los cambios de las variables en el tiempo. Se implementaron dos tipos de análisis cuasi-experimental; en primer lugar, se utilizó el puntaje de propensión a ser parte del grupo de los alguna vez incorporados al PDHO para el pareamiento, con el fin obtener un grupo de individuos “semejantes” en características observables, a los alguna vez incorporados al Programa pero que permanecieron como casi elegibles; en un segundo momento, se realizó un análisis de regresión discontinua, basado en tener un puntaje de pobreza mayor a un punto de corte establecido por los administradores del Programa. En ambos análisis, se estimó usando un modelo general de diferencias-en-diferencias con observaciones múltiples. Valoración técnica: Datos y Muestra: La muestra que se utilizó para la evaluación tiene problemas de validez, comparabilidad y representatividad para medir los efectos del programa. Modelo: Análisis de Pareamiento: En este caso, la técnica de pareamiento se usó para obtener un grupo entre los casi elegibles que fuese muy similar a los integrantes del grupo de los individuos alguna vez incorporados. El criterio de “similitud” usado fue la probabilidad de pertenecer al grupo alguna vez incorporado (también llamado puntaje de propensión) el cual se estimó usando características de los individuos y de sus hogares, que fueron medidas en 2002 (encuesta basal). Sin embargo, el pareamiento no resulta completamente significativo, atribuible a que las condiciones de los beneficiarios no son completamente comparables dadas las características de los datos utilizados. No obstante que se utilizó la técnica Kernel, la relación entre la semejanza de las características usadas para el pareamiento entre ambos grupos y el tamaño de muestra del soporte común, probablemente se encuentre viciada de origen. Regresión discontinua: la estimación se pudo haber realizado con distintos abordajes y especificaciones; de igual forma, se pudieron haber realizado pruebas estadísticas que demostraran la confiabilidad de los supuestos en el que se basó el modelo. Ello cuestiona la robustez de los resultados obtenidos. Conclusiones: Las conclusiones a las que se llegan no reflejan las debilidades metodológicas que la evaluación tiene. Sin embargo, es importante reconocer las limitaciones del abordaje cuasiexperimental, en el que no es posible asegurar la identidad de los grupos en características no observables bajo los supuestos metodológicos de los mismos, lo que permiten aproximar los efectos de la intervención. Principales Resultados:(máximo 1,500 caracteres) • En 2009, los niños menores de 6 años del grupo de intervención,y que se identificaran en adelante como Grupo I, presentaron un menor número de díasenfermedad que los del grupo que se utiliza como comparación (los casi elegibles), y que seidentificaran en adelante como Grupo C. La diferencia en los cambios de tendencias en el númerode consultas de niño sano entre 2002 y 2009 mostró un incremento en la tendencia enel nivel de prevención infantil en el Grupo I en comparación con el Grupo C. • En cuanto al grupo de niños y jóvenes de entre 6 a 18 años, se encontró que aquellos en elGrupo I fueron atendidos menos veces en servicios ambulatorios de salud privados en los tres años de estudio (2002, 2004 y 2009), en comparación con el Grupo C. Además, en 2004, el gasto en hospitalización es menor en el Grupo I que en el Grupo C. Asimismo, el Grupo C mostró un incremento en la asistencia a consultas médicas preventivas, en comparación con el Grupo I. • En el caso de los individuos de 19 a 49 años, entre 2004 y 2009 el Grupo I presentó unaumento en el uso de servicios de salud ambulatorios públicos, a diferencia del Grupo C. En el incremento en la asistencia a consultas preventivas, el Grupo C mostró un mayor número que el Grupo I. Por su parte, el Grupo I mostró un mayor nivel de consciencia en la salud entre 2002 y 2009 con un aumento en la tendencia de realizarse pruebas para diagnosticar diabetes, así como hipertensión arterial, contrario al Grupo C. • Entre 2004 y 2009 lasacciones referidas al cumplimiento de las corresponsabilidades en los hogares adscritos al Programa (asistencia a consultas preventivas), en general han tendido a decrecer, mostrando así un efecto del agotamiento en este indicador en los hogares que participan en el PDHO en zonas urbanas. En este sentido, el agotamiento debe ser entendido como la ausencia de efectos adicionales a los observados en el corto plazo (e incluso la desaparición de los mismos). Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: ( máximo 1,500 caracteres) FORTALEZAS Y OPORTUNIDADES: • Se observa un incremento importante en laafiliación al Seguro Popular en los hogares en zonas urbanas • No se observan efectos negativos en los indicadores de estado de salud, lo que sugiere que los efectos positivos observados en el corto plazo se sostienen. En lo que se refiere a la utilización de servicios preventivos, hay evidencia de una mayor realización de pruebas de detección de diabetes e hipertensión en el grupo de intervención. DEBILIDAD O AMENAZA: • Se observa un estancamiento en los efectos del Programa, que sugieren un agotamiento de los hogares. Este agotamiento se refleja en un cambio negativo con relación al grupo de comparación para la utilización de servicios de salud, y ausencia de diferencias en indicadores de estado de salud. • La asistencia a servicios preventivos muestra un efecto negativo del Programa. Este efecto negativo implica que el cambio en el grupo de intervención es menor al cambio en el grupo de comparación. • Se observa un efecto negativo en la atención al parto por médicos, y en este caso en la atención prenatal por personal capacitado en el análisis por pareamiento; en el análisis de discontinuidad, el resultado muestra la misma tendencia, pero no es significativo. RECOMENDACIONES: • El Programa requiere una reformulación para las zonas urbanas; esta recomendación está en línea con los ajustes que ya se llevan a cabo en el contexto del Modelo Alternativo de Salud. • Es importante reforzar la afiliación al Seguro Popular. • Reforzar las acciones en salud materna e infantil. • Analizar las características de los hogares que se asocian con un mayor o menor nivel de asistencia a los servicios preventivos, para estudiar si hay factores, que podrían considerarse para incentivar la asistencia. • Actualizar el diagnóstico sobre el perfil con relación a salud de la población que participa en el PDHO, para identificar y focalizar de forma más efectiva las medidas de prevención. • Anexo 1. PDHO: Evaluación de Resultados de Oportunidades en Aspectos Sociales 2002-2009 Nombre del programa: Programa de Desarrollo Humano Oportunidades Año de evaluación: 2010 Nombre de la evaluación: Ficha Técnica de Evaluación de Resultados de Oportunidades en Aspectos Sociales 2002-2009 Tipo de evaluación: Impacto Objetivos de la evaluación: Examinar las tendencias de mediano plazo del comportamiento de los hogares beneficiarios del Programa de Desarrollo Humano Oportunidades en las Zonas Urbanas. Específicamente, se estudian las tendencias observadas en los siguientes aspectos sociales: el consumo alimentario y no alimentario, las condiciones de vivienda, la inversión en activos del hogar, el empleo infantil y juvenil, y la toma de decisiones en los hogares desde un enfoque de género. Metodología utilizada: La encuesta del PDHO en áreas urbanas está compuesta por una línea basal ENCELURB y tres encuestas de seguimiento para 2003, 2004 y 2009. En la línea basal se reporta información sociodemográfica para clasificar a los hogares como BPDHO o no BPDHO. La ENCELURB es una muestra no aleatoria porque a) la asignación de áreas geográficas se hizo con muestras de las manzanas en las áreas de tratamiento que fueron pareadas con las manzanas por medio de puntajes de propensión y b) para establecer la elegibilidad de los hogares se instalaron oficinas en donde los BPDHO potenciales asistían y contestaban un cuestionario para fijarse un primer nivel de elegibilidad y posteriormente se les visitaba en el hogar para comprobar los datos proporcionados. El tamaño muestral de las encuestas es de 57489, hogares de los que 39,164 son hogares tratados y 18,325 eran hogares de control. Para este estudio, la muestra seleccionada fue de 10,515 hogares tratados y 5638 hogares de control. Para examinar las tendencias de mediano plazo en los indicadores de aspectos económicos y sociales de los hogares que han sido BPDHO durante siete años y contrastar las tendencias, se realizó un análisis compara!vo de entre el grupo de BPDHO y no BPHHO. Debido a que el diseño fue no aleatorio, se esperaban diferencias en las caracterís!cas de ambos grupos en la línea basal, por lo cual se realizaron pruebas de hipótesis para diferencias de medias del mismo grupo en el tiempo. Estas pruebas permitieron evaluar la significancia del cambio en la media de los diferentes indicadores en el tiempo para el periodo 2002-2009. La prueba consiste en una diferencia de medias para el grupo tratado en dos anos dis!ntos, con lo cual podrá verificarse si existe un cambio estadís!camente significa!vo en las tendencias (heterogeneidad en el tiempo). La hipótesis nula indica que la diferencia de medias no es estadís!camente significa!va, por lo que no existe un cambio en la tendencia del indicador de bienestar (consumo, inversión, empleo, etc.) para el grupo tratado en el periodo 2002 y 2009. El no rechazo de la hipótesis alterna!va sería interpretada como un cambio en las tendencias en dicho periodo. Para evitar el sesgo por las características observables y no observables se estimó la media, en cada momento del !empo, controlando por las diferentes caracterís!cas observables por métodos de regresión, para que posteriormente se lleven a cabo la pruebas de diferencias de medias condicionadas. Valoración técnica: La base de datos se considera parcialmente adecuada, ya que no se levantó aleatoriamente y la estimación de las diferencias con significancia estadística se considera adecuada, dada la información disponible. Principales Resultados: 1. Consumo • En 2002, los hogares BPDHO tenían un mayor consumo total ($2,405) que los no BPDHO ($2,262). • Entre 2003 y 2009 los BPDHO aumentan en 9.5% la probabilidad incrementar el gasto en alimentos en comparación con los no BPDHO. • En el consumo total alimentario, los BPDHO gastaron $599 en 2002 y los no BPDHO $622; en 2009, los BPDHO gastaron $602 y los no BPDHO $469. En cereales y granos, en 2002 los BPDHO gastaban $104 y los no BPDHO $114; en 2009, los BPDHO gastaron $146 y los no BPDHO $128. En el gasto de otros alimentos, el consumo de los BPDHO en 2002 fue de $39 y en no BPDHO de $41, en 2009 gastaron $55 y $53 respectivamente. • De 2002 a 2009, hay cambios positivos ES en la probabilidad de aumentar el consumo total alimentario de los BPDHO (9.5%), en el consumo de cereales y granos (33.3) y otros alimentos (32.7%). El aumento en el consumo de alimentos chatarra es de 3.9% en los no BPDHO. 2. Consumo no alimentario • Los BPDHO gastaron $100 en educación y los no BPDHO $109 en 2002; en 2009, $237 y $393. En salud, los BPDHO gastaron $841 y los no BPDHO $919 en 2002; para 2009, $1,403 y $1,618. En combustibles, los BPDHO gastaron en 2002, $177 y los no BPDHO $175; en 2009, $241 y $242. En transporte, los BPDHO gastaron $82 y los no BPDHO $112 en 2002; en 2009, $113 y $138. En enseres del hogar para 2002, el gasto de BPDHO fue de $3,249 y los no BPDHO $2,702; en 2009, $2,169 y $2,864. En cultura los BPDHO gastaron en 2002, $282 y los no BPDHO $318; en 2009, el gasto es de $376 y $282. • De 2002 a 2009, los BPDHO incrementaron su probabilidad de consumo en educación (68.8), en salud (64.6) y combustibles (66.9). Por el contrario, en transporte, el cambio es negativo (-10.4), enseres del hogar (-44.4%) y cultura (-16.7%). 3. Condiciones de vivienda y activos • Las familias BPDHO aumentaron su probabilidad de reparar su hogar de 2002-2009 (5.8%). Más familias aumentaron la probabilidad de tener casa propia en 6.9%, piso de concreto en 15.9%, techo firme en 20.9%, paredes solidas en 28.7%, servicio sanitario en 17.6% y baño con conexión de agua en 24.1%. • La probabilidad de tener un automóvil es baja y decreciente de 2002 a 2009. Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: Fortalezas y Oportunidades: • Tendencia creciente en el consumo alimentario total (especialmente en productos de origen animal) y en el consumo de bienes de salud y educación. • El PDHO aumentó el consumo de enseres del hogar, aunque presenta una tendencia decreciente. • Los BPDHO han realizado mejoras en el hogar y se percibe una tendencia positiva en la compra de activos del hogar (limpieza y cocina). La inversión en activos productivos se realiza en mayor proporción en medios de transporte. • El trabajo infantil y juvenil, así como las horas destinadas se han reducido entre los BPDHO (2002-2009). • • Un mayor porcentaje de jóvenes BPDHO logra insertarse al mercado laboral con mayor nivel de educación. En 2009, las mujeres BPDHO participaron más activamente en la toma de decisiones que en 2002. El porcentaje es mayor con respecto a las no BPDHO. Debilidad o amenaza: • La calidad de los alimentos que consumen las familias BPDHO y no BPDHO, no es adecuada—bajo contenido nutricional. • Las condiciones laborales en las zonas donde opera el PDHO son mínimas. El salario real aumentó $100 de 2002 a 2009 y las prestaciones se redujeron 13%. • La mayor parte de los jóvenes BPDHO que laboran son empleados u obreros (81%). Recomendaciones: • Promover y facilitar información sobre el contenido de los alimentos. • Promover el deporte para reducir el avance de enfermedades crónicas ligadas a la falta de ac!vidad _sica, que surgen como consecuencia de la comida con bajo contenido nutricional. • Acercar a las dependencias encargadas de la polí!ca laboral y la de combate a la pobreza para complementar y reforzar el impacto del PDHO. • Proporcionar la información sobre los cursos de capacitación y las bolsas de trabajo que promueve la STPS a los becarios dl PDHO. ES: BPDHO: PDHO: MIR : ROP: PND: PSDS: Estadísticamente significativo Beneficiarios del Programa de Desarrollo Humano Oportunidades Programa de Desarrollo Humano Oportunidades Matriz de indicadores de resultados Reglas de Operación 2007 Plan Nacional de Desarrollo 2007-2012 Programa Sectorial de Desarrollo Social 2007-2012 Anexo 1. PDHO:Ficha Técnica de Evaluación de Resultados de Oportunidades en Educación en Zonas Urbanas 2002-2009 Nombre del programa: Programa de Desarrollo Humano Oportunidades Año de evaluación:2010 Nombre de la evaluación:Evaluación de Resultados de resultados de Oportunidades en Educación en Zonas Urbanas 2002-2009 Tipo de evaluación:Impacto Objetivos de la evaluación: Objetivo general: Analizar los resultados en un conjunto de indicadores de educación a mediano plazo, en la población beneficiaria, con la posibilidad de contrastarlos con los ho- gares con condiciones socioeconómicas cercanas, u!lizando información proveniente de las ENCELURB 2002, 2003, 2004 y 2009. Obje>vo específico Analizar la tendencia en la tasa de matriculación escolar, la escolaridad terminada, el abandono escolar y la reprobación escolar. Se esperaría que los beneficiarios del Programa alcancen, con el !empo, mayor escolaridad, menor reprobación escolar y menor tasa de abandono escolar. Metodología utilizada: En una primera parte se presentaron tendencias descriptivas sobreescolaridad, reprobación escolar y tasa de abandono, y se hace una comparación de estos indicadores con muestras representativas a nivel urbano con la ENIGH, rondas 2002, 2004, 2006 y 2008 y con la ENNVIH, rondas 2002 y 2005. En particular se usa la ENIGH para comparar indicadores de inscripción escolar y grados aprobados, y la ENNVIH para el análisis de las variables reprobación y abandono. En otra parte, se hace una es!mación de impacto sobre indicadores educativos con base en la ENCELURB. Para ello, se utiliza un método de pareamiento de diferencias en diferencias, comparando los hogares incorporados desde el 2002 con los hogares nunca incorporados. En esta estimación, se incluyen las cuatro rondas de la ENCELURB: 2002, 2003, 2004 y 2009. El pareamiento se realiza por medio de ténicas de: 1) vecino más cercano, 2) pareamiento regresión lineal local. Con esta metodología, el análisis permite observarla evolución de los impactos desde el momento de recibir el PDHO. En particular, se realiza el análisis despues de un año, dos años y siete años de exposición. Las estimaciones se realizan por grupo de edad y género. El grupo de tratamiento consiste en las personas de los hogares incorporados en 2002, el grupo de control considera a los individuos dehogares que no han sido beneficiarios. Se identificaron 9,945 personas de 6 a 20 años en la muestra de 2009,que también se encontraban en 2002. De estos, 8 074 alguna vez habían sido BPDHO (residieron en un hogar que habia recibido al menos una transferencia del PDHO), y de estos, 7,216 eran BPDHO en 2002. El grupo de no BPDHOconsiste en 1,871 personas, que constituyen el grupo de control. Es importante señalar que el grupo de no BPDHO, a pesar de vivir en condiciones precarias, en general su situación en la línea basal (2002) era significativamente mejor que la de los BPDHO. Valoración técnica: Datos: La base de datos se considera adecuada en términos de la información que pretende recolectar pero en términos estadísticos no permite hacer generalizaciones sobre los resultados. Modelo: La metodología para la estimación de las diferencias se considera adecuada, ya que ha sido ampliamente utilizada en la literatura de evaluación de programa sociales y particularmente en el PDHO. Conclusiones: Las conclusiones se consideran adecuadas y pertinentes al modelo empleado. Principales Resultados: 1. Años de escolaridad • En los 7años del PDHO (2002-2009), las mejoras en la escolaridad son ligeramente más grandes para BPDHO. • Impactos positivo del PDHO en niños que tenían al inicio de la exposiciónentre 10 (0.1) y 16 (0.07) años. 2. Reprobación • Alto nivel de reprobación, principalmente en las edades de primaria. No se observa una tendencia dereducción enla reprobación aribuida al PDHO. Para niños de 6 años (2002-2003), el porcentaje con al menos un año reprobado es de 5%; en 2002-2004, 3% y en 2002-2009 8%. Con niños de 12 años (2002-2003), el resultado es 0%, en 2002-2004 es 3% y en 2002-2009,6%. 3. Abandono • No hay tendencias en el abandono escolar.Con una edad de 6 años, de 2002-2003 el abandono temporal es 0%, en 2002-2004, es 0%, y de 2002-2009 -1%. Para 12 años, de 2002 a 2003 es -3%, en el periodo 2002-2004 -2% y en 2002-2009, 5%. 3. Pareamiento • Los BPDHO incorporados son sustancialmente más pobres que los no BPDHO—el primer grupo tienevalores muy altos en el marcador de propensión (0.8-1.0) y muy pocos tienen valores debajo de 0.6. • En la inscripción escolar para niños de 6 a 11 años en 2002, los coeficientes aumentan con la exposición. En el periodo 2001-2003, el impacto es de 0.039 y en 2001-2004 de 0.071. En niñas de 15 años, en el periodo 2001-2003 el coeficiente es de 0.162 y en 2001-2009 de 0.232. En 2001-2004 para niñas de 6-11 años el impacto fue de 0.091. En otros casos, los valores son positivos pero no significativos. • El único coeficiente ES es para niños de 6 a 11 años en 2002—quienes alcanzan un impacto de casi medio grado de escolaridad en el 2009. • El PDHO reduce la probabilidad de reprobar algún grado en 8 puntos porcentuales en niños(as) de 15 a 18 años para el periodo 2002-2004. Separando por género, el impacto es de 9 puntos. Los demás parámetros no son significativos. Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: Fortalezas y Oportunidades: • Información longitudinal sobre beneficiarios y no beneficiarios para un periodo de 7 años. • Efecto positivo del PDHO en indicadores de educación en zonas urbanas. • Debido a las limitaciones metodológicas, es posible que el análisis esté subes!mado. • La magnitud de los efectos positivos. • Probable disminución de los efectos considerando—los efectos en la escolaridad e inscripción fueron mayores en el primer año que en el segundo año de operación. Debilidades, Amenazas: • A pesar de que hubo impactos importantes en la inscripción y en la reducción del abandono escolar, se encuentran efectos menores en grados aprobados. • Hay un sesgo en no encontrar reducciones en reprobación y abandono escolar, debido a que el PDHO aumenta el tiempo dedicado a la escuela y con ello una mayor probabilidad de que estos eventos sucedan. Sin embargo, la mayoría de los coeficientes son nega!vos, y sólo algunos significa!vos. • El impacto en grados aprobados es alrededor de la mitad de un grado aprobado, cifra relativamente menor a la reportada por diversos estudios en zonas rurales después de 7 años de operación (entre 0.5 y 0.9 grados escolares). Recomendaciones: • Los efectos posi!vos en los indicadores de educaciónpodrían estar subestimados. No obstante, los efectos encontrados son menores a los de otros estudios, y en par!cular para zonas rurales. Esto apoyaría la idea de modificar el esquema de becas para que genere mayores incen!vos a los becarios en niveles de media básica y media superior. • Considerando los problemas metodológicos, se sugieren otros análisis con bases alterna!vas. • Profundizar en el análisis de los resultados en rendimiento, y no únicamente asistencia. • Realizar un análisis de largo plazo para esta población. ES: BPDHO: PDHO: Estadísticamente significativo Beneficiarios del Programa de Desarrollo Humano Oportunidades Programa de Desarrollo Humano Oportunidades Anexo 1. PDHP: Ficha técnica de Evaluación de Consistencia y Resultados 2007 del Programa de Desarrollo Humano Oportunidades Nombre del programa: Programa de Desarrollo Humano Oportunidades Año de evaluación: 2007 Nombre de la evaluación: Evaluación de Consistencia y Resultados del Programa de Desarrollo Humano Oportunidades Tipo de evaluación: Consistencia y Resultados Objetivos de la evaluación: Evaluar la consistencia del programa en cuanto a su diseño, planeación estratégica, cobertura y focalización, operación, percepción de la población objetivo y resultados, con el fin de que las recomendaciones derivadas del análisis puedan retroalimentar el diseño y la gestión del programa. Metodología utilizada: 100 preguntas con respuestas binarias (SÍ/No) sobre los temas a evaluar, conforme a los Términos de Referencia elaborados por CONEVAL. Trabajo de gabinete con base en los documentos del programa y otras fuentes secundarias, entrevistas a operadores y visitas de campo para observar el procedimiento de entrega de los apoyos. Valoración técnica: No aplica Principales Resultados: 1. DISEÑO: • El problema está correctamente identificado y claramente definido • El Fin y Propósito están claramente definidos y corresponden a la solución del problema • No cuenta con un diagnóstico propio, actualizado y adecuado sobre el problema • Las lógicas vertical y horizontal de la MIR son claras • Los indicadores son adecuados, pero no suficientes a nivel de Propósito, Componentes y Actividades 2. PLANEACIÓN ESTRATÉGICA: • El programa recolecta información para monitorear su desempeño • Ha sido ampliamente evaluado, pero con una sola excepción, ninguna de las recomendaciones sustantivas se han traducido en modificaciones relevantes al diseño y operación del programa • No cuenta con planes estratégicos de mediano y largo plazo • Tiene amplias complementariedades y escasas duplicidades con otras acciones y programas federales. 3. COBERTURA Y FOCALIZACIÓN: • No utiliza un método explícito, adecuado y consistente para determinar y cuantificar la PP y PO • El avance en la cobertura no es suficiente para lograr el Propósito y Fin, porque excluye de la PO a las familias en localidades sin acceso a servicios de salud y educación 4. OPERACIÓN: • La operación los aspectos críticos está normada, sistematizada y estandarizada • El padrón de beneficiarios es actualizado y depurado permanentemente • La calidad de la educación se identificó como un componente no producido actualmente que podría mejorar la eficacia del programa, para asegurar que los impactos en escolaridad se conviertan en capacidades y funcionalidades útiles en los mercados laborales 5. PERCEPCIÓN DE LA POBLACIÓN OBJETIVO: • Tiene instrumentos adecuados para medir la satisfacción de los hogares beneficiarios • La percepción sobre el programa tiende a ser alta o muy alta 6. RESULTADOS (generales y por componente): • Progreso adecuado para alcanzar su Propósito y Fin, en los Componentes de Educación, Salud y Alimentación • Sin embargo, los logros varían ampliamente dependiendo de los indicadores seleccionados, las características de los beneficiarios, contexto de localidades, brechas, etc. Componente / Indicador Educación: Base / Seguimiento comparación / tratamiento Impacto atribuible Incremento en la probabilidad de inscripción a primarias rurales (Schultz 2000) Tasa de continuidad de la primaria a la secundaria en localidades rurales (Schultz 2000a) Alumnos matriculados en secundarias rurales (R), semi-urbanas (SU) y urbanas (U) 1997-2001 (Parker 2002) Alumnos inscritos al primer año de educación media superior en localidades rurales (R) y urbanas (U) (Parker 2002) Años de escolaridad de niñas (F) y niños (M) de localidades rurales 1997-2003 (Parker et al 2005) Salud: Incidencia de enfermedades de niños de 0 a 2 años en localidades rurales (Gertler 2000) Visitas por año de miembros del hogar a servicios públicos de salud de control y preventivos para localidades rurales al año (R,1998-2003) y urbanas (U, 2002-2003) (Gutiérrez et al, 2004a) Días de enfermedad al año para miembros del hogar en localidades rurales (R,1998-2003) y urbanas (U, 2002-2003) (Gutiérrez et al, 2004a) Alimentación: Crecimiento de niños de 12 a 36 meses en localidades rurales (Behrman y Hoddinott 2000) F: 1.2 ptos/por M: 0.5 ptos/por (incrementa de 97% a 98% aprox para ambos) 58% 69% 11.1 ptos/por 19% R: 71.67 R: 88.31 R: 23.2% SU: 277.3 SU: 295.4 SU: 6.5% U: No sig. R: 54.65 R: 75.29 R: 37.8% U: 154.66 U: 164.52 U: 6.4% F: 7.7 M: 7.4 F: 8.5 M: 8.5 40.2 35.5 R <6 años: 12% R 18-49 años: 12% R 50+ años: 18% R <6 años: -20% R 6-15 años: No sig. R 16-49 años: -11% sig. R 50+ años: No sig. sig. 6.9 cm/año F: 10.38% M: 14.86% -4.7 ptos/por -12% U <6 años: 1 visita U 18-49 años: 19% U 50+ años: 16% U <6 años: No sig. U 6-15 años: 24% U 16-49 años: No U 50+ años: No. 7.9 cm/año 1 cm/año 16% Talla para la edad y prevalencia de talla baja de niños entre 24 y 71 meses en localidades rurales (Neufeld et al 2004) TE: ND PTB: 36.9% TE: ND PTB: 28.7% (aprox) 0.67 cm -17.4% (8.2) En algunos segmentos—e.g., primarias, zonas urbanas—y en otros indicadores relevantes—e.g., desarrollo cognoscitivo, salud reproductiva—los impactos tienden a ser más pequeños o nulos. Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: FORTALEZAS Y OPORTUNIDADES: • Diseño básico consistente en lo general • Operación y seguimiento adecuados • Padrón de beneficiarios sistematizado y actualizado • Percepción de beneficiarios favorable • Programa con más y mejores evaluaciones • Buenos resultados en diversos aspectos asociados a la educación, salud y alimentación DEBILIDAD O AMENAZA: • Diagnóstico desactualizado • Utiliza escasamente las evaluaciones para mejorar • Sin planes estratégicos de mediano y largo plazo • Sin método adecuado para determinar y cuantificar la PP y PO • Avance en cobertura insuficiente • Impactos varían ampliamente dependiendo de los indicadores seleccionados, las características de los beneficiarios, contexto de localidades y el tamaño de las brechas. • Escasa magnitud o ausencia de algunos impactos cuestiona la pertinencia de apoyos específicos y sugiere necesidad de otros RECOMENDACIONES: • Elaborar un diagnóstico actualizado y adecuado de la problemática • Incluir indicadores que midan su contribución para reducir la severidad e incidencia de la pobreza • Eliminar la mutua exclusión con el PASL, considerando la complementariedad y sinergia en soporte nutricional, desarrollo cognitivo y aprendizaje • Revisar y adecuar los criterios de selección y requisitos de corresponsabilidad, para incorporar hogares en localidades más marginadas, pequeñas y dispersas • Valorar intervenciones sobre calidad de la educación • Reducir y prescindir gradualmente de los apoyos generales para primaria y secundaria, centrándose en las localidades y hogares que verdaderamente los requieren así como a los que aún no se ha llegado • • Ajustar y diferenciar los montos de los apoyos, permitiendo variaciones por región y tipo de localidad, considerando los resultados de las evaluaciones CONEVAL: Consejo Nacional de Evaluación de la Política de Desarrollo Social MIR: Matriz de Indicadores para Resultados ROP: Reglas de Operación PP: Población potencial PO: Población objetivo Anexo 2. Fichas técnicas de evaluaciones de programas similares al PDHO Nombre del Programa similar: Bono de Desarrollo Humano, Ecuador. Señalar características similares o tipos de apoyo que entrega considerados como similares. Es un programa de transferencia condicionada de ingreso para el desarrollo humano. El componente de educación requiere que los niños de seis a 15 años estén inscritos a la escuela y asistan el 90% de los días de escuela al mes. El componente de salud requiere que los niños menores de seis años asistan cada dos meses a revisiones médicas en los centros de salud. El programa selecciona a los beneficiarios mediante un índice de necesidades básicas insatisfechas utilizando un análisis de componentes principales no lineal. Las familias en los quintiles uno y dos reciben los beneficios. La transferencia de ingreso consiste en 15 dólares estadounidenses al mes por familia. Año de evaluación: 2006 Nombre de la Evaluación: The impact of a conditional cash transfer programon students’ cognitive achievements: the case of the “Bono de DesarrolloHumano” of Ecuador Tipo de la Evaluación: Impacto Objetivos de la Evaluación: Evaluar el impacto del programa sobre el logro cognitivo de los estudiantes. Metodología utilizada: Esta evaluación utiliza el método de diferencias en diferencias. La variable dependiente son los resultados en una prueba estandarizada de matemáticas y lenguaje y las variables independientes se recopilaron a partir de una encuesta levantada por la Facultad Latinoamericana de Ciencias Sociales sede Ecuador que contiene información acerca de las escuelas (director, infraestructura, número de maestros, escolaridad y experiencia de éstos, número de estudiantes, salones, libros, computadoras, laboratorios, localización, participación en programas de desayunos infantiles y de mejora de la calidad de la escuela e información de mejoras en la infraestructura en el año precio al levantamiento), maestros (escolaridad, experiencia, tipo de contrato y número de cursos de capacitación que tomó en los cuatro años previos) y hogares de los niños (activos e infraestructura del hogar, datos de los miembros del hogar, participación en programas sociales, nivel de escolaridad, nivel educativo de los padres, estado civil, lengua, estado de empleo, condiciones laborales e ingresos de los miembros, inscripción escolar de menores de edad, gasto en educación, tiempo que dedica el niño a trabajar, a ver televisión, a ayudar en el hogar y si recibe ayuda de los padres para hacer la tarea). La muestra fue de 2,589 niños de segundo grado y 1,901 de cuatro grado. Se utilizó el método de regresión discontinua debido a que la asignación al programa depende del valor de una variable continua observada relacionada con el punto de quiebre (el valor 50.65 del índice de necesidades básicas insatisfechas utilizado para seleccionar a los beneficiarios). Valoración técnica:En general el diseño metodológico es adecuado y consistente con el tipo de evaluación realizada. Se utilizó la técnica de regresión discontinua a partir del índice Selben utilizado para elegir a los beneficiarios. Se comparó a los individuos en un pequeño intervalo cercano al punto de quiebre (50.65 del índice Selben) con el fin de que se asemejara a un diseño experimental, es decir, se asume que los individuos que estén justo por arriba y por debajo de este valor son similares, por lo que son comparables en términos de sus resultados en presencia y ausencia del programa, incrementando la validez interna de la evaluación debido a este control. A pesar del diseño robusto de la evaluación, hubo algunos inconvenientes. Por un lado, el tamaño de las muestras es relativamente pequeño para este tipo de estudio, por lo que la validez externa fue baja. Por otro lado, la evaluación no explora las causas de qué el programa no tenga efectos sobre las capacidades cognitivas de los beneficiarios, como se esperaba. Principales Resultados: (máximo 500 palabras) • El programa tuvo un efecto negativo y significativo sobre el resultado en matemáticas y ningún efecto sobre lenguaje. • El programa no tiene efectos significativos en el impacto en las pruebas en individuos cercanos al límite de elegibilidad. • Intervenciones nutricionales a través del Programa en niños entre 0-5 años pueden tener incrementos en el aprendizaje. Fortalezas/Oportunidades: • El programa incrementa la inscripción escolar. Debilidades/Amenazas: • El programa no tiene efectos significativos en el impacto en las pruenas en individuos cercanos al límite de elegibilidad. • El incremento en la inscripción escolar que genera el programa puede tener el efecto adverso de congestionar las escuelas y afectar negativamente el logro educativo de los niños inscritos. Conclusiones y recomendaciones del evaluador: Fortalecer los efectos positivos del programa en los logros cognitivos lo cual implica intervenciones del lado de la oferta para lidiar con sus potenciales efectos negativos. Esto implica que el programa incorpore objetivos educativos de manera explícita en sus propuestas para garantizar que las mejoras en la inscripción escolar sean concomitantes con las mejoras en los resultados en las pruebas estandarizadas y que la acumulación de capital humano en la población pobre responda a especificaciones de alta calidad. Observaciones generales y recomendaciones del metaevaluador: Los resultados de la evaluación del Bono destacan la importancia de la relación entre el condicionamiento de las transferencias de ingreso y la infraestructura de servicios disponible. Si bien en México la escasez de espacios en el nivel básico en general no es un problema, las condiciones físicas de las escuelas, especialmente las que privan las localidades más marginadas, sí pueden tener un impacto negativo sobre el aprendizaje y eventualmente sobre el logro escolar. Por lo mismo, en una visión más amplia e integral de la generación de capacidades básicas, es importante explorar mecanismos complementarios para impulsar el logro escolar en el nivel básico, especialmente considerando que los impactos de Oportunidades en la matriculación y permanencia en primaria y secundaria son relativamente pequeños. Disponibilidad en internet: Colocar el hipervínculo correspondiente http://www.flacso.org.ec/docs/desa_humano.pdf Anexo 2. Fichas técnicas de evaluaciones de programas similares al PDHO Nombre del Programa similar:Bolsa Familia, Brasil. Señalar características similares o tipos de apoyo que entrega considerados como similares. Se otorgó un desayuno a niños de entre segundo y quinto grado de primaria que incluye un sándwich de queso o un pan y leche saborizada equivalentes a entre 576 y 703 kilocalorías y 27.1 gramos de proteína. Al grupo de control se le dio un cuarto naranja que sirvió como placebo ya que provee 18 kilocalorías y 0.4 gramos de proteína. Todas las comidas se sirvieron antes de empezar clases en todos los días de escuela en cuartos o en momentos distintos. Año de evaluación: 2006 Nombre de la Evaluación:Determinar el efecto de proveer un desayuno escolar sobre la asistencia escolar, estado nutricional y logro educativo en aritmética, ortografía y lectura; si el estado nutricional o la edad del niño modifican el efecto; y si el niño gastó menos dinero en la escuela si se le daba el desayuno. Tipo de la Evaluación: Impacto Objetivos de la Evaluación: Evaluar el impacto del programa sobre el logro cognitivo de los estudiantes. Metodología utilizada: El experimento se llevó acabo en una zona rural montañosa de Jamaica poblada con familias pobres y cuyas escuelas estaban lejanas de sus hogares. Se escogieron 16 escuelas primarias y se pesó y se registró la edad de todos los niños de segundo a quinto de primaria. Se seleccionaron 407 niños cuyo peso para la edad estaba igual o por debajo de una desviación estándar de las Estadísticas del Centro Nacional de Salud. Se escogió un grupo de control compuesto por 407 niños con un rango de edad de más-menos 3 meses, del mismo sexo, escuela y clase, pero con pesos para la edad igual o mayor a una desviación estándar de la misma referencia. Se excluyeron niños que estaban repitiendo el año escolar. Se utilizó la Prueba de Amplio Rango de Logro Educativo que evalúa lectura, ortografía y aritmética. La asistencia escolar se recopiló a partir de los registros escolares. Se les administró un cuestionario para conocer su estatus socioeconómico (calidad de la vivienda y número de posesiones), la cantidad de dinero que llevaban a la escuela y el tipo de desayuno que habían comido en casa el día de la entrevista. Se les tomó medidas de su peso y altura para la edad tomando como referencia el puntaje z de las Estadísticas del Centro Nacional de Salud, así como el índice de masa corporal. Se les asignó de manera aleatoria a grupos con desayuno y de control. Estas medidas se volvieron a tomar al final del año escolar. Se utilizaron regresiones múltiples controlando por las mediciones iniciales de los niños, edad, sexo y grupo nutricional. El puntaje de la casa se introdujo paso a paso para controlar por posibles efectos del estado socioeconómico, así como efectos de interacción entre la edad, sexo, estado nutricional y estado socioeconómico y el grupo de tratamiento. Se hicieron regresiones separadas para la estatura, peso e índice de masa corporal. Valoración técnica: En general, el diseño metodológico de dobles diferencias es adecuado y consistente con el tipo de evaluación realizada debido a que se contó con una línea base de las características socioeconómicas de los hogares de los niños y de sus medidas antropométricas, así como con un grupo de control. La validez interna del estudio es alta debido al diseño experimental aleatorio y a que se minimizaron las diferencias entre el grupo de tratamiento y de control al conseguir que los niños pertenecieran a la misma escuela, y tuvieran medidas antropométricas iniciales, edad, sexo, grupo nutricional y características socioeconómicas similares. Si bien el cuarto de naranja que se le otorgó al grupo de control no es un placebo verdadero, la diferencia en el aporte nutricional respecto al sándwich y al vaso de leche es lo suficientemente amplia como para poder adjudicar los resultados al efecto del tratamiento. Una ventaja adicional del estudio es que duró un año, por lo que, de acuerdo a sus propios autores, se trató de la primera prueba aleatoria y controlada de largo plazo para medir el efecto de los desayunos escolares. Sin embargo, dado que no se utilizó un muestreo probabilístico, la validez externa del estudio es baja, es decir, no es posible generalizar sus resultados a una población. Principales Resultados: (máximo 500 palabras) El estado nutricio original del niño no estuvo relacionado al cambio en su logro académico. Hubo un beneficio significativo del desayuno en el logro educativo en aritmética y la interacción entre tratamiento y grado escolar señala que este beneficio se observó principalmente en los niños más jóvenes (segundo y tercer año). No hubo resultados significativos en lectura y ortografía. Los niños que recibieron el desayuno tuvieron más asistencia a la escuela de manera significativa. Adicionalmente, también mejoraron de manera significativa su peso, estatura e índice de masa corporal. Los niños en el grupo de tratamiento incrementaron 0.25 centímetros en promedio su estatura en los ocho meses que duró el periodo de intervención, equivalente a un mes de crecimiento para niños en este rango de edad considerando la estadística de referencia. Puede afirmarse que de continuar el tratamiento durante toda la primaria crecerían 2.4 centímetros adicionales, lo que equivale a un tercio de la desviación estándar de la estatura para la edad de un niño de 11 años. El incremento en peso fue equivalente a entre dos y tres meses en relación a la población de referencia. No hubo efectos significativos del desayuno en la cantidad de dinero que el niño lleva a la escuela (transferencia de ingreso de la familia). Tampoco hubo una diferencia significativa en la historia de desayunos antes y después del programa. Fortalezas/Oportunidades: • El programa incrementa la inscripción escolar. Debilidades/Amenazas: • El programa no tiene efectos significativos en el impacto en las pruenas en individuos cercanos al límite de elegibilidad. • El incremento en la inscripción escolar que genera el programa puede tener el efecto adverso de congestionar las escuelas y afectar negativamente el logro educativo de los niños inscritos. Conclusiones y recomendaciones del evaluador: Los niños que recibieron los desayunos mostraron mejoras pequeñas, pero estadísticamente significativas en la asistencia escolar, así como en su estado nutricional, en comparación a los del grupo de control. Los niños más pequeño (de segundo y tercer grados de primaria) mejoraron sus resultados en aritmética, equivalentes a un 30% del progreso anual promedio. Dado que los niños que asisten a escuelas en mejores condiciones, tienen resultados superiores, es de esperar que este resultado, en conjunción con una mejora en las condiciones de las escuelas, pudiera ser mayor. Adicionalmente, el efecto positivo en los resultados en aritmética pudiera también incrementarse como resultado del incremento en la asistencia escolar. Por otra parte, los niños reportaron que continuaron tomando sus desayunos habituales en casa y trayendo la misma cantidad de dinero, por lo que el desayuno no constituye una transferencia de ingreso. Los autores recomendaron focalizar los apoyos en los niños desnutridos con comidas escolares donde los recursos son tan limitados que no sean suficientes para alimentar a todos los niños. Los niños más jóvenes son los que se benefician más de las comidas escolares y también pueden ser considerados como población objetivo. Asimismo, recomiendan la adopción de intervenciones integrales que incluyan componentes en salud, nutrición y educación para que se maximicen los retornos a la inversión. Observaciones generales y recomendaciones del metaevaluador: La evaluación destaca el papel muy positivo que pueden jugar los desayunos institucionales en la nutrición de los niños rurales en edad escolar, lo cual se ha confirmado en una amplia serie de estudios internacionales. Lo anterior, a pesar de que los desayunos no estén fortificados con micronutrientes, y se esperaría que el efecto sería mayor si éstos se fortificaran. Se recomienda a la Sede sol que explore las posibles sinergias, complementariedades y ventajas de especialización entre el conjunto de programas alimentarios federales y los programas de desayunos escolares a cargo de los gobiernos estatales, particularmente en las localidades rurales con alta concentración de desnutrición y pobreza. Disponibilidad en internet: Colocar el hipervínculo correspondiente http://www.flacso.org.ec/docs/desa_humano.pdf Anexo 2. PDHO:Iniciativa de desayunos escolares en zonas rurales, Jamaica. Nombre del Programa similar: (Sin nombre específico) Iniciativa de desayunos escolares en zonas rurales, Jamaica. Señalar características similares o tipos de apoyo que entrega considerados como similares. Se otorgó un desayuno a niños de entre segundo y quinto grado de primaria que incluye un sándwich de queso o un pan y leche saborizada equivalentes a entre 576 y 703 kilocalorías y 27.1 gramos de proteína. Al grupo de control se le dio un cuarto naranja que sirvió como placebo ya que provee 18 kilocalorías y 0.4 gramos de proteína. Todas las comidas se sirvieron antes de empezar clases en todos los días de escuela en cuartos o en momentos distintos. Año de evaluación: 1998 Nombre de la Evaluación: Nutrition and education: a randomized trial of the effects of breakfast in rural primary school children Tipo de la Evaluación: Impacto Objetivos de la Evaluación:Determinar el efecto de proveer un desayuno escolar sobre la asistencia escolar, estado nutricional y logro educativo en aritmética, ortografía y lectura; si el estado nutricional o la edad del niño modifican el efecto; y si el niño gastó menos dinero en la escuela si se le daba el desayuno. Metodología utilizada: El experimento se llevó acabo en una zona rural montañosa de Jamaica poblada con familias pobres y cuyas escuelas estaban lejanas de sus hogares. Se escogieron 16 escuelas primarias y se pesó y se registró la edad de todos los niños de segundo a quinto de primaria. Se seleccionaron 407 niños cuyo peso para la edad estaba igual o por debajo de una desviación estándar de las Estadísticas del Centro Nacional de Salud. Se escogió un grupo de control compuesto por 407 niños con un rango de edad de más-menos 3 meses, del mismo sexo, escuela y clase, pero con pesos para la edad igual o mayor a una desviación estándar de la misma referencia. Se excluyeron niños que estaban repitiendo el año escolar. Se utilizó la Prueba de Amplio Rango de Logro Educativo que evalúa lectura, ortografía y aritmética. La asistencia escolar se recopiló a partir de los registros escolares. Se les administró un cuestionario para conocer su estatus socioeconómico (calidad de la vivienda y número de posesiones), la cantidad de dinero que llevaban a la escuela y el tipo de desayuno que habían comido en casa el día de la entrevista. Se les tomó medidas de su peso y altura para la edad tomando como referencia el puntaje z de las Estadísticas del Centro Nacional de Salud, así como el índice de masa corporal. Se les asignó de manera aleatoria a grupos con desayuno y de control. Estas medidas se volvieron a tomar al final del año escolar. Se utilizaron regresiones múltiples controlando por las mediciones iniciales de los niños, edad, sexo y grupo nutricional. El puntaje de la casa se introdujo paso a paso para controlar por posibles efectos del estado socioeconómico, así como efectos de interacción entre la edad, sexo, estado nutricional y estado socioeconómico y el grupo de tratamiento. Se hicieron regresiones separadas para la estatura, peso e índice de masa corporal. Valoración técnica:En general, el diseño metodológico de dobles diferencias es adecuado y consistente con el tipo de evaluación realizada debido a que se contó con una línea base de las características socioeconómicas de los hogares de los niños y de sus medidas antropométricas, así como con un grupo de control. La validez interna del estudio es alta debido al diseño experimental aleatorio y a que se minimizaron las diferencias entre el grupo de tratamiento y de control al conseguir que los niños pertenecieran a la misma escuela, y tuvieran medidas antropométricas iniciales, edad, sexo, grupo nutricional y características socioeconómicas similares. Si bien el cuarto de naranja que se le otorgó al grupo de control no es un placebo verdadero, la diferencia en el aporte nutricional respecto al sándwich y al vaso de leche es lo suficientemente amplia como para poder adjudicar los resultados al efecto del tratamiento. Una ventaja adicional del estudio es que duró un año, por lo que, de acuerdo a sus propios autores, se trató de la primera prueba aleatoria y controlada de largo plazo para medir el efecto de los desayunos escolares. Sin embargo, dado que no se utilizó un muestreo probabilístico, la validez externa del estudio es baja, es decir, no es posible generalizar sus resultados a una población. Principales Resultados: (máximo 500 palabras) El estado nutricio original del niño no estuvo relacionado al cambio en su logro académico. Hubo un beneficio significativo del desayuno en el logro educativo en aritmética y la interacción entre tratamiento y grado escolar señala que este beneficio se observó principalmente en los niños más jóvenes (segundo y tercer año). No hubo resultados significativos en lectura y ortografía. Los niños que recibieron el desayuno tuvieron más asistencia a la escuela de manera significativa. Adicionalmente, también mejoraron de manera significativa su peso, estatura e índice de masa corporal. Los niños en el grupo de tratamiento incrementaron 0.25 centímetros en promedio su estatura en los ocho meses que duró el periodo de intervención, equivalente a un mes de crecimiento para niños en este rango de edad considerando la estadística de referencia. Puede afirmarse que de continuar el tratamiento durante toda la primaria crecerían 2.4 centímetros adicionales, lo que equivale a un tercio de la desviación estándar de la estatura para la edad de un niño de 11 años. El incremento en peso fue equivalente a entre dos y tres meses en relación a la población de referencia. No hubo efectos significativos del desayuno en la cantidad de dinero que el niño lleva a la escuela (transferencia de ingreso de la familia). Tampoco hubo una diferencia significativa en la historia de desayunos antes y después del programa. Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: ( máximo 500 palabras) Fortalezas/Oportunidades: • Beneficios significativos del desayuno en el logro educativo en aritmética—principalmente en los niños de segundo y tercer año. • El incremento en aritmética puede deberse al alivio de corto plazo que proporciona el desayuno o a la mejora en el estado nutricio de los niños. La mejora en la asistencia escolar también puede tener un efecto en el largo plazo en la mejora del logro educativo. • Los niños en el grupo de tratamiento incrementaron 0.25 centímetros en promedio su estatura en los ocho meses que duró el periodo de intervención, equivalente a un mes de crecimiento para este rango de edad. Debilidades/Amenazas: • El estado nutricio original del niño no estuvo relacionado al cambio en su logro académico. • El grupo de niños desnutridos no se benefició más del desayuno que el grupo de niños adecuadamente nutridos. Esta anomalía puede deberse a que el grado de desnutrición de los niños desnutridos no era muy alto. • No hubo efectos significativos del desayuno en la cantidad de dinero que el niño lleva a la escuela. • Tampoco hubo una diferencia significativa en la historia de desayunos antes y después del programa. Conclusiones y recomendaciones del evaluador: Los niños que recibieron los desayunos mostraron mejoras pequeñas, pero estadísticamente significativas en la asistencia escolar, así como en su estado nutricional, en comparación a los del grupo de control. Los niños más pequeño (de segundo y tercer grados de primaria) mejoraron sus resultados en aritmética, equivalentes a un 30% del progreso anual promedio. Dado que los niños que asisten a escuelas en mejores condiciones, tienen resultados superiores, es de esperar que este resultado, en conjunción con una mejora en las condiciones de las escuelas, pudiera ser mayor. Adicionalmente, el efecto positivo en los resultados en aritmética pudiera también incrementarse como resultado del incremento en la asistencia escolar. Por otra parte, los niños reportaron que continuaron tomando sus desayunos habituales en casa y trayendo la misma cantidad de dinero, por lo que el desayuno no constituye una transferencia de ingreso. Los autores recomendaron focalizar los apoyos en los niños desnutridos con comidas escolares donde los recursos son tan limitados que no sean suficientes para alimentar a todos los niños. Los niños más jóvenes son los que se benefician más de las comidas escolares y también pueden ser considerados como población objetivo. Asimismo, recomiendan la adopción de intervenciones integrales que incluyan componentes en salud, nutrición y educación para que se maximicen los retornos a la inversión. Observaciones generales y recomendaciones del metaevaluador: La evaluación destaca el papel muy positivo que pueden jugar los desayunos institucionales en la nutrición de los niños rurales en edad escolar, lo cual se ha confirmado en una amplia serie de estudios internacionales. Lo anterior, a pesar de que los desayunos no estén fortificados con micronutrientes, y se esperaría que el efecto sería mayor si éstos se fortificaran. Se recomienda a la Sede sol que explore las posibles sinergias, complementariedades y ventajas de especialización entre el conjunto de programas alimentarios federales y los programas de desayunos escolares a cargo de los gobiernos estatales, particularmente en las localidades rurales con alta concentración de desnutrición y pobreza. Disponibilidad en internet: Colocar el hipervínculo correspondiente http://ajcn.nutrition.org/content/68/4/873.full.pdf Anexo 2. PDHO: Opportunity NYC-Family Rewards, Estados Unidos Nombre del Programa similar:Opportunity NYC-Family Rewards, Estados Unidos. Señalar características similares o tipos de apoyo que entrega considerados como similares. El programa ofrece una serie de incentivos económicos en función de varios objetivos educativos, de salud y laborales. Por ejemplo, ofrece a las familias hasta 300 dólares al año por alumno de escuelas primarias y hasta 350 de escuelas secundarias, si éstos obtienen niveles de suficiencia o mejoran sus resultados en los exámenes estandarizados de matemáticas y lenguaje. A los alumnos de escuelas preparatorias se les dan directamente 50 dólares al mes si asisten al 95% de los días del calendario escolar; 600 dólares si acumulan 11 créditos por año; 400 dólares si se gradúan; entre otros apoyos. A los padres se les otorgan 25 dólares si asisten a las juntas de padres y maestros, hasta dos veces al año. Cabe destacar que algunas o todas estas recompensas se pagan directamente al estudiante, a diferencia de las recompensas para niños de primaria y secundaria, debido a que los problemas de desempeño y asistencia escolar tienden a empeorar con la edad, además de que los estudiantes de preparatoria tienen mayor control sobre su esfuerzo educativo. Se les otorgan a las familias 50 dólares al mes si mantienen su seguro médico privado (y 20 si es público) por cada uno de los padres e hijos asegurados, y se les dan 200 dólares si asisten a una revisión anual. Si mantienen un empleo de tiempo completo, se les otorgan 150 dólares al mes y hasta 3,000 dólares en el transcurso de tres años si se capacitan mientras están empleados al menos por 10 horas a la semana. Para ser elegibles, las familias tienen que tener ingresos iguales o inferiores en un 130 por ciento de la línea de pobreza federal y tienen que tener al menos un hijo en el cuarto, séptimo o noveno grado. Cabe señalar que sólo se analizaron los componentes del programa que tienen relación o son similares a los de los programas en México. Año de evaluación: 2010 Nombre de la Evaluación:Toward Reduced Poverty Across Generations. Early Findings from New York City’s Conditional Cash Transfer Program Tipo de la Evaluación: Impacto Objetivos de la Evaluación: Mostrar los primeros hallazgos de los efectos del programa en varias medidas de resultados. Metodología utilizada:Se utilizó una prueba controlada aleatoria puesto que el programa no pudo atender a todos los solicitantes, por lo que seleccionó a éstos al azar. Se realizaron encuestas telefónicas de seguimiento para medir los impactos del programa en pobreza e ingresos. Se pidió a los encuestados que enlistaran sus fuentes de ingresos en el mes previo. En el caso de la evaluación de educación, la información se obtuvo de los registros administrativos del Departamento de Educación de Nueva York y se cruzó con la información del propio programa y de una encuesta aleatoria realizada a padres de familia. Para evaluar los resultados en materia de salud, se consideraron los registros administrativos del programa, así como fuentes oficiales de cobertura de la Administración de Recursos Humanos de Nueva York y de la encuesta a padres de familia. Valoración técnica: El diseño metodológico es robusto y consistente con el tipo de evaluación realizada. Por tratarse de un programa de reciente creación, la evaluación pudo ser con grupos de tratamiento y de control con participantes de características similares asignados de manera aleatoria a ambos grupos. La evaluación tuvo como fuentes de información principales encuestas telefónicas y fuentes secundarias como registros escolares, pagos en vales de alimentos y subsidios obtenidos por parte de la ciudad de y el Estado de Nueva York. Asimismo, la evaluación se complementó con información cualitativa mediante entrevistas a profundidad con beneficiarios y observaciones al personal que implementó el programa. Existió variación en los periodos de seguimiento para los distintos tipos de apoyo. Por ejemplo, para la evaluación de los resultados educativos, se cubrieron dos años escolares para cada uno de los miembros de la muestra. Una dificultad que se presentó en la elaboración de la encuesta de seguimiento, es que la tasa de respuesta fue de 84% para el grupo de tratamiento y 80.4% para el grupo de control, lo cual puede introducir una fuente de sesgo. En general, los autores de la evaluación suponen que la gente que tiende a responder es menos aventajada en comparación a quienes no la contestaron. No obstante, la evaluación incluyó en los modelos una variable que capturara la probabilidad de responder a la encuesta y los resultados de todas formas se mantuvieron estadísticamente significativos. La validez interna de la evaluación es alta debido al diseño aleatorio y a que se buscó minimizar las diferencias entre el grupo de tratamiento y de control al obtener diferencias entre las familias con características socioeconómicas similares. La validez externa de la evaluación también es alta debido a que se obtuvo una muestra representativa de ambos grupos, por lo cual resulta generalizable a la población beneficiaria del programa. Principales Resultados: (máximo 500 palabras) El programa redujo la pobreza (incremento promedio en el ingreso de 338 dólares mensuales equivalente a 21% del grupo de control) y dificultades en asegurar suficiente comida para la familia, así como algunas dificultades de vivienda y cuidado de la salud. Redujo la proporción de familias por debajo de la línea de pobreza en 11 puntos porcentuales y la proporción de familias en pobreza severa a la mitad. Redujo la proporción de familias con inseguridad alimentaria en siete puntos porcentuales. El programa no mejoró los resultados escolares para los alumnos de primaria y secundaria. El programa tuvo pocos efectos en los resultados escolares de los alumnos de preparatoria en general. Sin embargo, mejoró sustancialmente el logro educativo de los alumnos de preparatoria que estuvieron mejor preparados para entrar a este nivel educativo cuando ingresaron al programa. Por ejemplo, los alumnos de noveno grado que sacaron niveles de logro básico o por arriba de éste en el octavo grado, el programa tuvo efectos tuvo efectos positivos y significativos como un una reducción en seis puntos porcentuales en la proporción de estudiantes que repitieron el noveno grado; un incremento en 15 puntos porcentuales en la probabilidad de obtener una tasa de asistencia a clases del 95% o más; un incremento en seis puntos porcentuales en la probabilidad de pasar por lo menos dos exámenes estandarizados. Estos resultados no fueron significativos para los estudiantes que sacaron resultados por abajo del nivel básico en el octavo grado. La diferencia en estos resultados puede deberse a que dado que las familias son quienes buscan las recompensas, aquéllas cuyos hijos ya tenían buenos resultados fueron quienes buscaron este tipo e incentivos e hicieron el esfuerzo extra para alcanzarlo. Por el contrario, los alumnos con menor desempeño enfrentaron resultados académicos y de otros tipos para que los incentivos hicieran una diferencia. El programa incrementó el mantenimiento consistente de la cobertura de los seguros médicos y redujo su dependencia de las salas de emergencia. Produjo incrementos sustanciales en la recepción de cuidado dental preventivo. El programa incrementó la probabilidad de que los padres trabajaran tiempo completo en seis puntos porcentuales. Resumen de Análisis de Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones: ( máximo 500 palabras) Fortalezas/Oportunidades: Redujo la proporción de familias por debajo de la línea de pobreza, con mayor impacto en la pobreza severa, y disminuyó algunas carencias en torno a la vivienda. Asimismo, mejoró la asistencia a servicios médicos de prevención, particularmente para niños pequeños. Finalmente, redujo la proporción de familias con inseguridad alimentaria. Debilidades/Amenazas: El programa no ha tenido efectos en el desempeño escolar, medido por los puntajes obtenidos en las pruebas estandarizadas, así como tampoco sobre matriculación y la deserción escolar en preparatoria—la deserción en primaria y secundaria es prácticamente nula en NY en Estados Unidos en general. Conclusiones y recomendaciones del evaluador: Los resultados generan cuestionamientos en torno a la medida en que una estrategia basada sólo en incentivos puede realmente hacer una diferencia en el logro de ciertos efectos e impactos, así como en la posibilidad de que ciertas modificaciones en el diseño y operación del programa pueden incrementar su efectividad. En particular, se plantea la posibilidad de que las modificaciones en la oferta de incentivos puedan, con una difusión adecuada, ayudar a las familias a enfocarse en obtener recompensas o apoyos de alta prioridad que tengan una mayor probabilidad de aumentar el capital humano. Asimismo, se plantea que continuar el programa y evaluarlo en el largo plazo con el fin de conocer si incrementa la magnitud de sus impactos con mayor tiempo de exposición. Observaciones generales y recomendaciones del metaevaluador: Opportunity NYC y el PDHO de México disminuyen la pobreza y mejoran las condiciones de vida, pero tiene impactos limitados y concentrados en educación. En primaria, los impactos son muy pequeños o nulos porque los niveles iniciales de matriculación, permanencia y terminación son muy altos, y lo que se puede hacer a través sólo de incentivos está prácticamente copado. Así, habría que repensar la pertinencia de los apoyos condicionados para educación primaria en ambos programas, al menos en lo que se refiere a los objetivos de incrementar las tasas de matriculación, permanencia y terminación. A la luz de los resultados en la reducción de la pobreza de las familias beneficiarias y el nulo impacto en el nivel primaria, se recomienda modificar el diseño del PDHO con el fin de que sus apoyos se extiendan a todos las niñas y niños, incluyendo a aquellos que asisten a primero y segundo grado de primaria en localidades urbanas, así como a los que tienen la edad para asistir al nivel preescolar, independientemente de si asisten o no, debido al impacto que tiene el programa en disminuir su condición de pobreza y mejorar su calidad de vida. En el nivel medio superior, NYC no impacta en matriculación y permanencia en parte porque los niveles iniciales en la población pobre son más altos, siendo más difícil tener ganancias marginales; además, existe una mejor oferta de espacios para los alumnos que quieran estudiar. En contraste, en México los niveles iniciales de matriculación y permanencia en los niveles medio y, particularmente, en el medio superior son considerablemente más bajos para la población pobre, por lo que las ganancias marginales son en principio más sencillas; además, existen limitaciones importantes en la oferta de espacios públicos para estudiar, especialmente en los estados y regiones más pobres y en las localidades rurales e indígenas. Por lo tanto, una estrategia basada en transferencias condicionadas para el nivel medio y medio superior es claramente pertinente para México, pero—como se puede inferir de la evaluación de NYC—puede mejorarse con otras intervenciones no basadas en incentivos—como la ampliación de espacios educativos y la accesibilidad en zonas rurales. Disponibilidad en internet: http://www.caseyfoundation.org/~/media/Pubs/Topics/Economic%20Security/Family%20Economic%20Supp orts/TowardReducedPovertyAcrossGenerationsEarlyFindings/towardreduced_2010.pdf Anexo 3. Agenda de evaluación 2013-2018 para el Programa de Desarrollo Humano Oportunidades Programa: Programa de Desarrollo Humano Oportunidades Clave Presupuestaria: S-072 Año de inicio de evaluación 2013 Tipo de Evaluación Diagnóstico y propuestas de atención Objetivos • Fundamentar la permanencia y justificar las eventuales modificaciones sustantivas al programa, a partir de la identificación del problema que se busca resolver así como la caracterización y análisis detallado de los aspectos principales del mismo. • Plantear posibles alternativas de solución y seleccionar las más apropiada, a efecto de mejorar el diseño, la operación y los resultados del programa. Duración o periodo de ejecución 3 -4 meses Componentes a evaluar Justificación e importancia Referencia Insumos necesar • Identificación del problema • Caracterización del problema • Experiencias de atención a la problemática • Propuesta de diseño • Marco de actuación de la propuesta • Proyecciones financieras y metas para la solución propuesta • Previsiones para integración y operación de padrones No existe un diagnóstico del PDHO que: • Identifique y caracterice adecuadamente el problema focal; • revise experiencias nacionales e internacionales para atender el problema; • especifique, valore y seleccione las alternativas de atención; y • proponga elementos de rediseño así como proyecciones y previsiones para mejorar sustancialmente el desempeño del programa. • Diagnóstico 2010 y 2011 • ROP 20062012 • Metodologías robustas de planeación estratégica y marco lógico. • Información de censos, conteos y encuestas nacionales. • Información estadística interna de carácter operativo y financiero, actualizada y confiable. • Estudios y evaluaciones nacionales e internacionales sobre programas similares. Año de inicio de evaluación 2014 Tipo de Evaluación Diseño Objetivos General: Evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el programa, el diseño del mismo. Lo anterior, con el fin de que las recomendaciones puedan retroalimentar el diseño y mejorar la gestión del programa. Duración o periodo de ejecución 3 – 4 meses Específicos: • Analizar el diseño del programa. • Identificar y analizar su vinculación con la planeación sectorial y nacional. • Analizar la consistencia entre su diseño y la normatividad aplicable. • Identificar posibles complementariedades y/o coincidencias con otros programas. 20152016 Impacto (con levantamiento horizontal entre programas alimentarios) • Identificar con metodologías rigurosas la contribución, atribuible a la ejecución del programa, en la prevención de la violencia hacia las mujeres así como otras variables asociadas al fortalecimiento institucional de los interesados y responsables de la intervención. 18 - 24 meses Componentes a evaluar Justificación e importancia • Características del programa • Contribución a los objetivos estratégicos; • Matriz de indicadores, • Población potencial y objetivo; • Vinculación con las ROP, y • Coincidencias, complementariedades y duplicidades con otros programas. • Valorar la integración del marco conceptual y normativo construido con el Diagnóstico, en particular en cuanto a la posible redefinición de la población potencial y objetivo • Valorar el análisis para la selección de la alternativa de intervención, basado en la revisión de experiencias internacionales y nacionales • Constatar la correspondencia entre las ROP y la MIR. • El PDHO ha desconfigurado su diseño original al incorporar nuevos componentes de atención. • Las evaluaciones de impacto del PDHO indican que el efecto en educación y salud son bajo. • El rediseño de un programa requiere medir su contribución a los efectos. • Las fuentes de información utilizadas para las mediciones de impacto tienen debilidades que no permiten generalizar los efectos del PDHO Valoración sobre los efectos e impactos esperados, incluyendo los indicadores de Fin y Propósito de la MIR, así como otras mediciones complementarias. Dependiendo del rediseño del programa se buscará medir: • Impactos en la educación • Impactos en salud • Impactos en nutrición • Condiciones de vida y oportunidades Referencia Insumos necesar • Diagnóstico del programa. • Estudios y evaluaciones nacionales e internacionales sobre programas similares. • Información estadística interna actualizada y confiable. ECR 2007 ECR 2011 Evaluaciones de impacto en localidadesrural es Evaluaciones de impacto en localidadesurba nas • Metodologías de probada eficacia para medir las variables de interés. • Fuentes de información estadística actualizada, confiable y con potencia estadística. Año de inicio de evaluación 2017 2018 Tipo de Evaluación Objetivos Duración o periodo de ejecución 3 - 6 meses Componentes a evaluar Justificación e importancia • Operación del programa. • Identificación y clasificación de los procesos. • Análisis y medición de atributos de los procesos. • Análisis global de la operación del programa. Evaluar si la operación del programa favorece el logro de la metas a nivel de Propósito, ya que, de existir un diseño adecuado, la correcta operación del programa permitiría el logro de las metas de cada Componente establecido en la matriz de indicadores del programa y, por lo tanto, el logro del Propósito. Evaluar si la operación del programa favorece el logro de la metas a nivel de Propósito, ya que, de existir un diseño adecuado, la correcta operación del programa permitiría el logro de las metas de cada Componente establecido en la matriz de indicadores del programa y, por lo tanto, el logro del Propósito. Se considera pertinente analizar el programa de forma global y sistemática, al menos una vez durante cada administración, a efecto de valorar la consistencia y los resultados del mismo. Procesos Realizar un análisis sistemático, mediante trabajo de campo y de gabinete, sobre la operación del programa con la finalidad de conocer cómo se conducen al logro de la meta a nivel propósito, así como detectar los problemas operativos a los que se enfrenta y las buenas prácticas que se realizan, de manera que se puedan emitir recomendaciones que permitan mejorar su gestión. Evaluación estratégica de desempeño de los programas alimentarios Evaluar de forma comparativa los logros e impactos del PAL, PASL, PAR y PDHO en la carencia de acceso a la alimentación, identificando los espacios de sinergia, complementariedad y duplicidades, a afecto de mejorar la articulación de estas iniciativas 6 a 12 meses • Operación del programa. • Identificación y clasificación de los procesos. • Análisis y medición de atributos de los procesos. • Análisis global de la operación del programa. Consistencia y Resultados Evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el programa, la fortaleza del programa en cuanto a su diseño, planeación estratégica, cobertura y focalización, operación, percepción de la población objetivo y resultados. Lo anterior, con el fin de que las recomendaciones de este análisis puedan retroalimentar el diseño y la gestión del programa, para incidir positivamente en su desempeño. 6 meses • • • • • Diseño, Planeación Estratégica Cobertura y Focalización Operación Percepción de la Población Objetivo • Resultados. Referencia Insumos necesar • Metodologías adecuadas para análisis y reingeniería de procesos. • Información estadística interna de carácter operativo y financiero, actualizada y confiable. • Visitas de campo a localidades y tiendas. • Información estadística interna actualizada y confiable. • Información de los indicadores de las MIR • Evaluaciones externas anteriores. • Diagnóstico del programa. • Estudios y evaluaciones nacionales e internacionales sobre programas similares. • Información interna estadística, operativa y financiera actualizada y confiable. • Matrices de indicadores de resultados • Informes de evaluaciones anteriores. • Conocimiento y experiencia en planeación estratégica, metodología de marco lógico, indicadores de desempeño, y diseño de Año de inicio de evaluación Tipo de Evaluación Objetivos Duración o periodo de ejecución Componentes a evaluar Justificación e importancia Referencia Insumos necesar programas y proyectos de desarrollo. Conocimiento y experiencia en intervenciones de desarrollo rural, abasto y alimentación. Observacion es generales 1.1. Principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones derivadas de las evaluaciones 2007-2011 y de la metaevaluación. Tema de evaluación Aspecto Identificado Referencia Recomendación Referencia de la recomendación FORTALEZAS Diseño Diseño Diseño Planeación Estratégica Cobertura y Focalización Cobertura y Focalización Operación Operación Percepción Percepción ResultadosGeneral Resultados – General Resultados – General Resultados – General Resultados – General Resultados – 1 Consistencia y correspondencia entre el problema focal y los objetivos del programa (Fin y Propósito) Las lógica vertical y horizontal de la MIR son claras y válidas. Muestra la alineación y contribuya a los objetivos del Plan Nacional de Desarrollo y los planes sectoriales de Desarrollo Social, Salud y Educación. Programa con más y mejores evaluaciones. Padrón de beneficiarios sistematizado y actualizado Amplia cobertura de la población objetivo Obtiene información relevante de los beneficiarios a través de diversas encuestas. Operación y seguimiento de aspectos críticos estandarizado, sistematizado, transparente y con mecanismos de verificación. (selección de beneficiarios y entrega de apoyo) Cuenta con instrumentos adecuados para medir el grado de satisfacción de los beneficiarios Percepción de beneficiarios favorable sobre el programa. Documenta resultados para la MIR a nivel de Fin y Propósito. Reporta impactos positivos en diversos aspectos asociados a la educación, salud y alimentación. Impactos moderados pero significativos sobre la movilidad laboral intergeneracional, a través del efecto en años de escolaridad adicionales. Mayores efectos significativos encontrados para mujeres, jóvenes no migrantes y migrantes a otro lugar del país. Contribución para cerrar la brecha de los indígenas y las mujeres en la educación. Impacto positivo en aumento en el consumo total y en la disminución de las brechas entre los beneficiarios menos pobres y más pobres. Los beneficiarios han realizado mejoras en el hogar y se ECR-07/08; ECR-11/12 ECR-07/08; ECR-11-12 ECR-10/11 ECR-07/08 ECR-07/08; ECR-11/12 ECR-07/08; ECR-11/12 ECR-10/11 ECR-07/08; ECR-11/12 ECR-07/08; ECR-11/12 ECR-07/08 ECR-10/11 ECR-07/08; ECR-11/12 MS-2000PDHO AFP-2008 C-2008-PDHO EOASE-2010 General ResultadosGeneral ResultadosGeneral Resultados – General Resultados – Educación percibe una tendencia positiva en la compra de enseres y activos del hogar (limpieza y cocina) El trabajo infantil y juvenil se ha reducido Un mayor porcentaje de jóvenes beneficiarios logra insertarse al mercado laboral con mayor nivel de educación. Las mujeres beneficiarias par;ciparon más ac;vamente en la toma de decisiones del hogar Impactos positivos en la escolaridad y el rendimiento en matemá;cas para jóvenes beneficioarios. EOASE-2010 EOASE-2010 EOASE-2010 EPD-2008pp.223 Resultados– Educación Las becas disminuyen el ausentismo escolar AFP-2008 Resultados – Educación Efecto positivo en asistencia, aprobación y permanencia escolar en zonas urbanas. ROEZU-2010 Resultados – Educación Probable disminución de los efectos en la escolaridad e inscripción en zonas urbanas, que fueron mayores en el primer año de operación que en el segundo Las mujeres beneficiarias utilizan más los servicios prenatales, y a mayor tiempo de exposición son más propensas a ser atendidas por un médico en el parto. Los niños beneficiarios presentan menor morbilidad en tos, diarrea y diarrea potencialmente peligrosa. Impacto favorable en asistencia a consulta preventiva y talleres de autocuidado Resultados Salud Resultados Salud Resultados – Salud Resultados – Salud Incrementado en la demanda, el acceso de los servicios de salud y las prác;cas de saneamiento. Resultados – Salud Impacto posi;vo en la detección temprana de factores de riesgo, diagnós;co y atención de la población infan;l. Resultados Salud Se observa un incremento importante en la afiliación al Seguro Popular en los hogares beneficiarios en zonas urbanas. Mayor realización de pruebas de detección de diabetes e hipertensión Tendencia creciente en el consumo alimentario total (especialmente en productos de origen animal) y en el de bienes de salud y educación de los beneficiarios. Impacto en el crecimiento inicial infan;l en análisis de Resultados Salud Resultados – Nutrición Resultados – 2 ROEZU-2010 EUSESB-2008 EUSESB2008-pp.224 APSEAHIR2008 APSEAHIR2008 APSEAHIR2008 EIZU SALUD2010 EIZU SALUD2010 EOASE-2010 ENN-2008- El Programa puede tener un impacto más integral en la salud comunitaria, haciendo un esfuerzo intersectorial mejor coordinado para no sólo promover prácticas de saneamiento, sino para fomentar acciones que garanticen el acceso pleno a los servicios básicos, como son agua, drenaje, control y manejo de la basura. Se recomienda a las autoridades del sector salud y Oportunidades garantizar los insumos y medicamentos para el tratamiento de EDA, IR A y deshidratación en los centros rurales de salud y casas de salud, con el propósito de brindar una atención oportuna a la población infantil que ha crecido bajo el umbral del Programa y considerar que el impacto de los mensajes preventivos de dichos padecimientos depende de la cobertura y la garantía del acceso a medicamentos Es importante reforzar la afiliación al Seguro Popular, como un mecanismo para incrementar el valor de los servicios que reciben las familias beneficiarias. Este incrementoen el valor de los servicios se espera que genere un incentivo mayor a permanecer en elPrograma. Nutrición Resultados – Nutrición corto plazo, y en la reducción de problemas de conducta en análisis de mediano y largo plazo. Impacto positivo en disminución de riesgo de talla baja y en puntaje Z, asociado a los niveles de transferencias pp.51 EIZU NUTRICIÓN2010 DEBILIDADES Diseño Diseño Diseño Planeación Estratégica Planeación Estratégica Planeación Estratégica Cobertura y Focalización Operación Resultados – General Resultados – General Resultados General Resultados – General ResultadosGeneral Resultados – General Diagnóstico desactualizado e incompleto La redacción del problema no es suficientemente clara. No se documenta la vinculación del Propósito con las Metas del Milenio. Sin planes estratégicos de mediano y largo plazo El plan de trabajo anual no incluye acciones para mejorar su desempeño, ni metas para los indicadores de la MIR. Utiliza escasamente los resultados y recomendaciones de las evaluaciones para mejorar su desempeño Avance en cobertura insuficientepara lograr el Propósito y el Fin, porque se excluye a las familias pobres extremas de localidades que no tienen acceso a unidades de salud y centros educativos simultáneamente, y que tienden a ser las más necesitadas El mecanismo para la recepción de solicitudes no se encuentra sistematizado. Impactos varían ampliamente dependiendo de los indicadores seleccionados, las características de los beneficiarios, contexto de localidades y el tamaño de las brechas. Escasa magnitud o ausencia de algunos impactos cuestiona la pertinencia de apoyos específicos y sugiere necesidad de otros No hay efectos importantes del tiempo de permanencia de los beneficiarios en el Programa sobre la movilidad laboral intergeneracional. Los jóvenes no migrantes tienden a permanecer en ocupaciones de bajas habilidades. No se encuentran efectos significativos sobre la movilidad laboral de los hombres, de los migrantes dentro de la misma localidad y los migrantes hacia Estados Unidos. No se han mostrado efectos importantes en la inversión en activos productivos, actividades empresariales y ahorro ECR-07/08 ECR/10-11 ECR/10-11 ECR-07/08 ECR/10-11 ECR-07/08 ECR-07/08 ECR-10/11 ECR-07/08 ECR-07/08 MS-2008 MS-2008 MS-2008 C-2008-PDHO Resultados – General Las condiciones laborales en las zonas donde opera el PDHO son mínimas. El salario real aumentó $100 de 2002 a 2009 y las prestaciones se redujeron 13%. EOASE-2010 Resultados No registra impactos positivos en las pruebas de lectura. EPD-2008 3 Considerar la posibilidad de coordinar el Programa con mejora de actividades económicas en la localidad de forma que la demanda de trabajo derive en ocupaciones más calificadas, esto con la Secretaría de Economía y la Secretaría del Trabajo Impulsar un acercamiento entre las dependencias encargadas de la política laboral y la política de combate a la pobreza. Los programas de apoyo laboral podrían ofrecerinformación sobre los apoyos al empleo que se manejan en las zonas urbanas y asícomplementar y reforzar el impacto de Oportunidades. Aplicar un esfuerzo académico y de evaluación a gran escala utilizando las pruebas de ENLACE para Educación Resultados – Educación Amenza Resultados – Nutrición Resultados – Nutrición Resultados – Educación Resultados Educación Resultados Salud Resultados Salud Resultados Salud Resultados Salud Resultados Salud 4 calcular el impacto de Oportunidades respecto al rendimiento. Los beneficiarios acuden a escuelas de baja calidad. EPD-2008 Sin impactos en el rendimiento cognitivo y en la capacidad escolar. No existe diferencia entre la prevalencia de anemia en niños y niñas beneficiarios de zonas urbanas y la prevalencia en la población general urbana ni respecto a la de la población general urbana del primer quintil socioeconómico. ENN-2008 A pesar de que hubo impactos importantes en la inscripción y en la reducción del abandono escolar, se encuentran efectos menores en grados aprobados. EIZU NUTRICIÓN2010 ROEZU-2010 El impacto en grados aprobados en zonas urbanas es alrededor de la mitad de un grado aprobado, cifra rela;vamente menor a la reportada por diversos estudios en zonas rurales después de 7 años de operación (entre 0.5 y 0.9 grados escolares). ROEZU-2010 Alta proporción de mujeres no tuvo información sobre signos de alarma en la atención prenatal. EUSESB-2008 El PDHO no ha mejorado la capacidad de resolución de servicios en los Centros de Salud. APSEAHIR2008 Las condiciones de los centros de salud y la baja credibilidad en los mismos, limita el desarrollo de capacidades de prevención. La detección de cáncer no va acompañada de consejería y la respuesta del sector salud desincen;va las prác;cas de detección La asistencia a servicios preventivos es menor para los beneficiarios y se presenta incluso en las actividades de control del niño sano, lo que refuerza la noción del APSEAHIR2008 APSEAHIR2008 EIZU SALUD2010 En general, los resultados indican efectos positivos en los indicadores de educación, que incluso podría estar sub-estimados. No obstante, los efectos encontrados son menores a los reportados en otros estudios, y en particular a los identificados para zonas rurales, lo que sugiere que aspectos como el mayor costo de oportunidad podría estar disminuyendo la progresión escolar. Esto apoyaría la idea de buscar modificaciones en el esquema de becas que genere mayores incentivos a los becarios en niveles de media básica y media superior. Considerando los problemas metodológicos se limita la formulación de implicaciones, por lo cual se sugieren otros análisis con bases alternativas, ampliación de estudio considerando jóvenes en zonas de control, e incluso abordajes cualitativos. Es importante profundizar en el análisis de los resultados en rendimiento, y no únicamente asistencia. Para ello, podría llevarse a cabo un estudio acerca del impacto de Oportunidades sobre las pruebas estandarizadas en zonas urbanas, que potencialmente podría aprovechar la información de la prueba ENLACE. Asimismo, analizar la conveniencia de un análisis de largo plazo para esta población. Recomendaciones al sector salud Mejorar la información otorgada a las mujeres embarazadas sobre los posibles signos de alarma durante el embarazo. Esto se podría efectuar de manera autodidáctica (videos, etc.), con talleres, o por parte de los proveedores de salud mejor capacitados. Habrá que innovar y evaluar diferentes abordajes. Se recomienda a las autoridades del sector salud garantizar los medicamentos, personal médico e insumos necesarios para brindar atención oportuna. Se sugiere a las autoridades del Programa, incorporar promotores de salud con autoridad y prestigio local, que coadyuven en la construcción de relaciones de más confianza entre los usuarios de los servicios y los centros de salud, considerando que generalmente, conocen mejor las necesidades y la epidemiología local, y son nativos y residentes de las comunidades Se recomienda a las autoridades del sector salud y Oportunidades que garanticen la comunicación de resultados (positivos o negativos) de las pruebas de Papanicolaou. Se sugiere reforzar las labores de consejería individuales para mujeres que padecen cáncer de mama y cervicouterino. En particular, es necesario reforzar las acciones en salud materna e infantil, en las que los resultados sugieren que los cambios en el tiempo en los hogares alguna vez incorporados son negativos con relación a los casi elegibles. Este agotamiento y sugiere un reto en el cumplimiento de corresponsabilidades. resultado podría estar relacionado con el tiempo que requiere el cumplimiento de las corresponsabilidades. Se sugiere analizar las características de los hogares que se asocian con un mayor o menor nivel de asistencia a los servicios preventivos, para estudiar si hay factores, ya seade la oferta o de los hogares, que podrían considerarse para incentivar la asistencia. Se sugiere aprovechar los eventos o reuniones del pdho con los beneficiarios para reforzarlos mensajes sobre comportamientos saludables, con la entrega de folletos que, dadoel perfil de la población urbana, podrían ser un mecanismo efectivo para hacer llegarmensajes sencillos sobre actividades de prevención. Resultados Salud Resultados – Nutrición Resultados – Nutrición Posible efecto negativo en la atención del parto por médicos, y en la atención prenatal por personal capacitado en el análisis por pareamiento; en el análisis de discontinuidad, el resultado muestra la misma tendencia, pero no es significativo. Impactos limitados en la estatura por edad y en la prevalencia de la desnutrición crónica y anemia (ENCEL). Muy bajo desempeño en pruebas cogni;vas y lingüís;cas comparadas con normas internacionales. EIZU SALUD2010 Se sugiere actualizar el diagnóstico sobre el perfil con relación a salud de la población que participa en el pdho, para identificar y focalizar de forma más efectiva las medidasde prevención, y los mensajes con mayor probabilidad de tener buena receptividad alrespecto en la población objetivo. En particular, es necesario reforzar las acciones en salud materna e infantil, en las que los resultados sugieren que los cambios en el tiempo en los hogares alguna vez incorporados son negativos con relación a los casi elegibles. Este resultado podría estar relacionado con el tiempo que requiere el cumplimiento de las corresponsabilidades. ENN-2008 ENN-2008 AMENAZAS Los altos niveles de consumo de leña a nivel nacional (de hasta 83.5% en los hogares rurales) representan graves riesgos para la salud. EICE-2008 Diseño Operación Operación Operación Operación 5 En zonas rurales sólo 59.4% de los hogares beneficiarios de Oportunidades utilizan gas para cocinar o calentar en sus hogares. Ausencia de mecanismos formales para la interacción entre personal de Oportunidades y el Sector Salud a nivel local impiden el flujo de información sobre la situación de los beneficiarios Las barreras culturales y de lenguaje provocan que las familias indígenas estén en condiciones de desventaja y sean más propicias a la exclusión Los costos de transporte para acudir a los centros de educación Pocas secundarias y preparatorias indígenas cuentan con servicio de albergue, y falta apoyo estatal o federal EED-2009 EED-2009 APF-2010 APF-2010 Ampliar el contenido de talleres que promuevan el uso de fuentes de energía eficientes y limpias. Operación Operación Resultados – Educación Resultados – Educación ResultadosSalud Resultados – Salud Resultados – Salud Métodos poco adecuados o inexistentes en educación indígena bilingüe La calidad de la enseñanza (rural e indígena) reproduce el rezago en educación superior y en el desempeño laboral APF-2010PDHO Bajo rendimiento escolar de la población beneficiaria. EPD-2008 Analizar las formas en que Oportunidades puede abordar el aspecto del bajo rendimiento de sus beneficiarios y solucionar problemas asociados con la baja calidad de las escuelas. La mayoría de los jóvenes reciben una educación de baja calidad, lo que limita su movilidad laboral. MS-2008 Fomentar programas de mejora en calidad educativa en escuelas de acuerdo a la densidad de becarios en conjunto con SEP y CONAFE Alta proporción de mujeres en atención prenatal van con un segundo proveedor de salud (36%)—indígenas es 61%. EUSESB-2008 Averiguar lo motivos por los que las mujeres van a un segundo proveedor de salud para la atención prenatal. EUSESB-2008 Establecer como prioridad la detección y control de este tipo de enfermedades en la población beneficiaria, con el reforzamiento de los talleres de autocuidado. Verificar sus procedimientos de detección oportuna ya que aparentemente a pesar de una buena cobertura aun el subdiagnóstico es altamente prevalente. Capacitación a personal encargado de los exámenes de detección. Prevalencia rela;vamente alta de diabetes (5.6%) e hipertensión (10.2%) en adultos, y alta proporción de posibles pacientes no diagnosticados (20% y 30%) Un alto porcentaje de participantes sin diagnóstico de enfermedad crónica (cerca de 70% en no indígenas y de 50% en indígenas) tienen peso no saludable (sobrepeso u obesidad) y, por lo tanto, alto riesgo de diabetes e hipertensión. APF-2010 EUSESB-2008 Reforzar la estrategia de prevención de obesidad y detección de enfermedades crónicas, así como diabetes e hipertensión. Resultados – Salud Alta proporción de padres u;lizan proveedores de salud no adecuados (farmacia) en enfermedades percibidas como graves. EUSESB-2008 Recomendaciones a Oportunidades Averiguar lo motivos por los que los padres van a un médico particular para la atención a enfermedades percibidas como graves. Traducir los motivos en una campaña de cambio de comportamiento usando investigación formativa. Recomendaciones al sector salud Implementar la campaña de cambio de comportamiento basado en evidencia. Resultados – Nutrición Resultados – Nutrición Resultados – Nutrición Prevalencia de anemia en niños de edad escolar, lo que contribuye al bajo desempeño en pruebas cogni;vas y el rendimiento escolar. Variaciones en la prevalencia de desnutrición crónica y sobrepeso, que complica una estrategia unitalla. Prevalencia persistente y alta en desnutrición crónica en niños de edad escolar, de manera particular en zonas indígenas remotas. ENN-2008 ENN-2008 ENN-2008 Promover y facilitar información sobre el contenido de los alimentos. Resultados – Nutrición La calidad de los alimentos que consumen las familias beneficiarias y no beneficiarias, no es adecuada—bajo contenido nutricional. EOASE-2010 Resultados – Nutrición Aumento de la prevalencia de obesidad de 2002 a 2009, especialmente en niños, aunque es menor que la prevalencia de la población general urbana. EIZU NUTRICIÓN2010 6 Promover el deporte para reducir el avance de enfermedades crónicas ligadas a la falta de actividad física, por ejemplo, obesidad y colesterol alto, que surgen comoconsecuencia de la ingesta de comida con bajo contenido nutricional. Desarrollar una estrategia integral para el control del peso que incluya el monitoreo del peso anual adecuado en niños desde los 5 años y a lo largo de la vida. Específicamente se requierefortalecer los Se observa un mayor riesgo de obesidad en niños que en niñas y en los niños de hogares menos pobres. Alta prevalencia de obesidad en mujeres de 20 a 29 años (30.1%) y mayor a lo observado tanto en la población general urbana como en el primer quintil socioeconómico urbano. EIZU NUTRICIÓN2010 Disminución en la iniciación de la lactancia materna (82.9%, IC95% 77.1, 88.7) con respecto a lo observado hace 5 y 7 años (alrededor del 95%), en lapoblación beneficiaria de zonas urbanas. EIZU NUTRICIÓN2010 Resultados – Nutrición Riesgo de anemia mayor en los hogares más pobres y en niños. EIZU NUTRICIÓN2010 Resultados – Nutrición Alta prevalencia de anemia en mujeres. EIZU NUTRICIÓN2010 Resultados – Nutrición Alta proporción de familias que aún presentan algún grado de inseguridad alimentaria (54.2%). La inseguridad alimentaria severa está asociada con mayor prevalencia de desnutrición en niños. EIZU NUTRICIÓN2010 Resultados – Nutrición Resultados – Nutrición 7 talleres y vincularlos con una estrategia integral (como la ESIAN) dirigida alproblema del control del peso que contemple la consejería guiada específica a algunos temas(lactancia materna, alimentación complementaria, alimentación saludable, actividad física)como parte de la comunicación, ya que los talleres como tales no son suficientes. Desarrollar una estrategia integral para el control del peso que incluya el monitoreo del peso anual adecuado en niños desde los 5 años y a lo largo de la vida. Específicamente se requierefortalecer los talleres y vincularlos con una estrategia integral (como la EsIAN) dirigida alproblema del control del peso que contemple la consejería guiada específica a algunos temas(lactancia materna, alimentación complementaria, alimentación saludable, actividad física)como parte de la comunicación, ya que los talleres como tales no son suficientes. Implementar a nivel nacional una campaña educativa para personal de salud (incluyendo alumnos de medicina) y beneficiarios para la promoción de la lactancia materna y alimentacióncomplementaria; protección de la lactancia en hospitales a través de seguimiento a las leyesen relación a la promoción de sucedáneos a la leche materna y los principios de hospital amigodel niño. Implementar en todo el país un sistema, a través de los servicios de salud, para detectar y tratar la anemia en niños de edad escolar y mujeres en edad fértil. Conocer los determinantes de anemia en los niños en edad escolar (dado que podría nodeberse solamente por deficiencia de hierro) y considerar, después de eso, una estrategiafocalizada1 ya que la prevalencia actual no amerita una intervención universal. Implementar en todo el país un sistema, a través de los servicios de salud, para detectar y tratar la anemia en niños de edad escolar y mujeres en edad fértil. Entender con mayor detalle lo que significa “inseguridad alimentaria” para las familias: si en realidad refleja menor accesibilidad de alimentos o si es un indicador de otros determinantes dela mala nutrición (i. e. prácticas de alimentación, consumo de alimentos muy densos en energíapero no en micronutrientes, etcétera). 8 Histórico del Resumen Narrativo del Programa Desarrollo Humano Oportunidades 2007 OBJETIVO Resumen Narrativo 2008 Comentarios al nivel de la MIR Comentarios generales Resumen Narrativo Comentarios al nivel de la MIR ASM FIN Contribuir al desarrollo humano sustentable y a la igualdad de oportunidades de familias que viven en condiciones de pobreza extrema en México, a través del desarrollo de las capacidades básicas de la población beneficiaria. 2009 Comentarios generales Comentarios al nivel de la MIR Evaluación de Consistencia y Resultados 20072008 Mecanismo 2007 NA Resumen Narrativo 2010 Contribuir a la ruptura del ciclo Tener un documento soporte sobre el intergeneracional de la pobreza proceso de alineación a la MIR 2009 de extrema de la población los indicadores y registros de información beneficiaria en dicha condición, que generan los sistemas d e información favoreciendo el desarrollo de sus del Programa portunidades y contar con capacidades básicas en educación, una sistematización de todos indicadores salud y nutrición. y variables del Programa. NA El supuesto de “Existe oferta accesible de educación superior” no es necesario para que se cumpla el Propósito, pero sí para el Fin por lo que se recomienda que se mueva de lugar. A nivel de Componentes; finalmente incluir un indicador que dé cuenta de la recepción de los apoyos alimentarios por parte de los beneficiarios. Comentarios generales Resumen Narrativo Comentarios al nivel de la MIR NA Contribuir a la ruptura del ciclo intergeneracional de la pobreza extrema, favoreciendo el desarrollo de las capacidades en educación, salud y nutrición de las familias beneficiarias de Oportunidades NA 2011 Comentarios generales Resumen Narrativo Comentarios al nivel de la MIR NA 2012 Comentarios generales Resumen Narrativo NA NA Sin cambio Sin cambio Sin cambio Contribuir a la ruptura del ciclo intergeneracional de la pobreza extrema, favoreciendo el desarrollo de las capacidades en educación, salud y nutrición de las familias beneficiarias de Oportunidades Contribuir a la ruptura del ciclo intergeneracional de la pobreza extrema, favoreciendo el desarrollo de las capacidades en educación, salud y nutrición de las familias beneficiarias de Oportunidades Contribuir a la ruptura del ciclo intergeneracional de la pobreza extrema, favoreciendo el desarrollo de las capacidades en educación, salud y nutrición de las familias beneficiarias de Oportunidades NA Comentarios al nivel Comentarios generales de la MIR NA NA Respuesta. La Coordinacional Nacional del programa elaboró el Documento de trabajo con la memoria de los trabajos de alienación de los distintos indicadores, registros y tabulados de información que genera el Programa. PROPÓSITO Las familias beneficiarias de Oportunidades ampliaron sus capacidades en términos de educación, salud y nutrición mediante los apoyos del Programa y su participación corresponsable. NA Las familias beneficiarias de Oportunidades ampliaron sus capacidades básicas en educación, salud y nutrición mediante los apoyos del Programa y su participación corresponsable. NA Las familias en pobreza extrema beneficiarias de Oportunidades amplían sus capacidades en educación, salud y nutrición. NA Familias beneficiarias que cumplieron su corresponsabilidad en salud, con apoyos alimentario y nutricional emitidos. NA Familias beneficiarias que cumplieron su corresponsabilidad tuvieron acceso al Paquete Básico Garantizado de Salud (PBGS). NA Las familias en pobreza extrema beneficiarias de Oportunidades amplían sus capacidades en educación, salud y nutrición. NA Sin cambio Familias beneficiarias recibieron apoyos para mejorar su alimentación y nutrición. Familias beneficiarias del Programa tuvieron acceso al Paquete Básico de Servicios de Salud (PBSS) para mejorar sus condiciones de salud. COMPONENTES Jóvenes recibieron estímulos económicos para incentivar que concluyan la educación media superior NA Familias beneficiarias recibieron apoyos para mejorar su alimentación y nutrición. NA Familias beneficiarias del Programa tuvieron acceso al Paquete Básico de Servicios de Salud (PBSS) y recibieron apoyos para mejorar sus condiciones de salud. NA NA NA Familias beneficiarias que cumplieron su corresponsabilidad en salud, con apoyos alimentario y nutricional emitidos. Sin cambio NA Familias beneficiarias que cumplieron su corresponsabilidad en salud, con apoyos alimentario y nutricional emitidos. NA NA NA NA NA Familias beneficiarias con niños y jóvenes que cumplieron su corresponsabilidad en educación básica y media superior, con apoyos educativos emitidos. NA Familias beneficiarias, que cumplieron su corresponsabilidad, con el Paquete Básico Garantizado de Salud (PBGS) provisto. NA NA NA Familias beneficiarias, que cumplieron su corresponsabilidad, con el Paquete Básico Garantizado de Salud (PBGS) provisto. NA NA NA Familias beneficiarias que cumplieron su corresponsabilidad en salud, con apoyos alimentario y nutricional emitidos. NA NA Familias beneficiarias, que cumplieron su corresponsabilidad, con el Paquete Básico Garantizado de Salud (PBGS) provisto. NA Prevención y atención de la desnutrición NA Sin cambio Sin cambio Familias beneficiarias con niños y jóvenes que cumplieron su corresponsabilidad en educación básica y media superior, con apoyos educativos emitidos. Familias beneficiarias con niños y jóvenes que cumplieron su corresponsabilidad en educación básica y media superior, con apoyos educativos emitidos. Familias beneficiarias con niños y jóvenes que cumplieron su corresponsabilidad en educación básica y media superior, con apoyos educativos emitidos. NA Adultos mayores recibieron apoyos monetarios para mejorar sus condiciones de vida NA NA NA NA NA NA NA NA NA NA NA Las familias beneficiarias recibieron apoyos económicos para contribuir con el gasto en energéticos NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA Certificación de la inscripción de becarios por nivel (educación básica y media superior) NA NA NA NA NA NA NA NA NA NA NA NA NA Certificación de la asistencia de los becarios en educación básica NA NA NA Certificación de la asistencia de los becarios en educación básica NA Sin cambio NA Sin cambio Certificación de la asistencia de los becarios en educación básica NA NA NA Entrega de apoyos bimestrales a los becarios de cada nivel. NA NA NA NA NA NA NA Certificación de la permanencia de los jóvenes becarios en educación media superior. NA NA NA Sin cambio NA Sin cambio Certificación de la permanencia de los jóvenes becarios en educación media superior. Certificación de la permanencia de los jóvenes becarios en educación media superior. NA Certificación de la asistencia de los becarios en educación básica NA Sin cambio Certificación de la permanencia de los jóvenes becarios en educación media superior. NA NA Sin cambio NA Sin cambio NA NA Certificación de la asistencia de los becarios en educación básica NA Sin cambio NA NA Sin cambio Certificación de la permanencia de los jóvenes becarios en educación media superior. NA NA NA Sin cambio Promoción de la incorporación de escuelas de educación básica al Programa Escuelas de Calidad NA NA NA Promoción de la incorporación al Programa de Escuelas con Calidad de escuelas de educación básica con becarios Oportunidades. Validación y regionalización del acceso y capacidad de atención en unidades médicas. NA NA NA NA NA NA NA NA NA NA NA Programación de consultas por integrante de familia NA NA NA NA NA NA NA NA NA NA NA Programación de talleres comunitarios para el autocuidado de la salud NA NA NA NA NA NA NA NA NA NA NA NA NA Promoción de la incorporación al Programa de Escuelas con Calidad de escuelas de educación básica con becarios Oportunidades. NA Sin cambio Prestación de atención médica del PBSS NA NA NA Prestación de servicios de salud. Impartición de los talleres comunitarios para el autocuidado de la salud NA NA NA NA NA Certificación del cumplimiento de la corresponsabilidad en salud de los adultos mayores beneficiarios. NA Prestación de servicios de salud. NA Certificación del cumplimiento de la corresponsabilidad en salud de los adultos mayores beneficiarios. NA Sin cambio NA NA Sin cambio Sin cambio Promoción de la incorporación al Programa de Escuelas con Calidad de escuelas de educación básica con becarios Oportunidades. Prestación de servicios de salud. NA Certificación del cumplimiento de la corresponsabilidad en salud de los adultos mayores beneficiarios. Promoción de la incorporación al Programa de Escuelas con Calidad de escuelas de educación básica con becarios Oportunidades. NA Sin cambio NA NA Sin cambio Prestación de servicios de salud. NA NA NA Sin cambio Certificación del cumplimiento de la corresponsabilidad en salud de los adultos mayores beneficiarios. Certificación de corresponsabilidades NA Fortalecimiento de la calidad de los servicios de salud NA NA NA NA NA NA NA NA NA NA NA Control médico y vigilancia nutricional de la población objetivo NA NA NA NA NA NA NA NA NA NA NA Certificación de corresponsabilidades en salud. Sin cambio NA Sin cambio NA Sin cambio NA Sin cambio Entrega de complementos alimenticios NA NA NA Entrega de apoyos monetarios con corresponsabilidad en salud NA NA NA NA NA NA NA NA NA NA NA Integración del padrón de becarios que están acumulando puntos NA NA NA NA NA NA NA NA NA NA NA Difusión del componente NA NA NA Difusión del apoyo Jóvenes con Oportunidades. NA NA NA NA NA NA NA Validación del padrón de adultos mayores NA NA NA NA NA NA NA NA NA NA NA Entrega de apoyos monetarios con corresponsabilidad en salud NA Entrega del apoyo alimentario básico (monetario) a las familias con corresponsabilidad en salud. NA NA NA NA NA NA NA NA NA Entrega de apoyos monetarios con corresponsabilidad en salud NA Entrega del apoyo (monetario) para el gasto en energéticos de las familias con corresponsabilidad en salud. NA NA NA NA NA NA NA NA NA Selección de localidades NA NA NA NA NA NA NA NA NA NA NA NA Identificación de mujeres titulares beneficiarias de Oportunidades. NA NA NA NA NA NA NA Sin cambio Entrega de complementos alimenticios NA Entrega de complementos alimenticios NA Entrega de complementos alimenticios NA Entrega de complementos alimenticios NA Incorporación de familias identificadas como beneficiarias NA Recertificación de familias beneficiarias NA NA NA NA NA NA NA NA NA NA NA Entrega de apoyos monetarios NA NA NA NA NA NA NA NA NA NA NA - - Transferencia de recursos. NA Sin cambio Transferencia de recursos NA Sin cambio Transferencia de recursos NA Sin cambio Transferencia de recursos NA Sin cambio Transferencia de recursos NA - - Cobertura de atención de familias beneficiarias. NA Sin cambio Cobertura de atención de familias beneficiarias. NA Sin cambio Cobertura de atención de familias beneficiarias. NA Sin cambio Cobertura de atención de familias beneficiarias. NA Sin cambio Cobertura de atención de familias beneficiarias. NA - Atención a las titulares de familias beneficiarias de Oportunidades en las Mesas de Atención y Servicios. NA Buena atención a las titulares de familias beneficiarias de Oportunidades en las Mesas de Atención y Servicios. NA Sin cambio Buena atención a las titulares de familias beneficiarias de Oportunidades en las Mesas de Atención y Servicios. NA Sin cambio Buena atención a las titulares de familias beneficiarias de Oportunidades en las Mesas de Atención y Servicios. NA - Certificación del cumplimiento de corresponsabilidades en salud de las familias beneficiarias. NA Sin cambio Certificación del cumplimiento de corresponsabilidades en salud de las familias beneficiarias. NA Sin cambio Certificación del cumplimiento de corresponsabilidades en salud de las familias beneficiarias. NA - - - Incorporación de familias identificadas como beneficiarias. - - - - Becas educativas Los cambios que se dieron en los Componentes del programa se consideran que mejoraron este nivel de la MIR. El conjuntar Componentes, tal como se hizo de 2007 a 2009, ayudan a clarificar la concepción de los Componentes, sin embargo el incluir el elemento de "cumplimiento de la corresponsabilidad" es una condición que bien pudiera estar excluida del nombre de los Componentes y que sean características condicionadas en las Reglas de Operación del programa. NA Validación del acceso y capacidad de atención de los servicios de educación básica NA Objetivos Específicos • Otorgar apoyos educativos crecientes en educación básica y media superior a los niños, niñas y jóvenes de las familias beneficiarias, con el fin de fomentar su inscripción y asistencia regular a la escuela, y consecuentemente la terminación de dichos niveles educativos; • Asegurar el acceso al Paquete Básico Garantizado de Salud a las familias beneficiarias, con el propósito de impulsar el uso de los servicios de salud preventivos y el autocuidado de la salud y nutrición de todos sus integrantes; • Proporcionar apoyos a las familias beneficiarias para mejorar la alimentación y nutrición El Propósito no sufrió cambios sustanciales, únicamente de 2008 Sin propuestas de mejora, se de todos sus a 2009 se eliminó el medio por el cual el programa pretende recomienda que continue dicho integrantes, con énfasis en la población más vulnerable como son los niños y niñas, mujeres alcanzar su Propósito. objetivo embarazadas y en periodo de lactancia; • Fomentar el compromiso con los objetivos del Programa y la participación activa de todos los integrantes de las familias beneficiarias mediante el cumplimiento de las corresponsabilidades asociadas a las intervenciones del Programa, y • Potenciar los efectos del Programa mediante la entrega de otros apoyos monetarios que establezca el Gobierno Federal para la población beneficiaria del Programa. • Aunque los elementos del Propósito se encuentran en los Objetivos Específicos de las ROP, en las ROP se especifica que la población objetivo del programa son “los hogares cuyas condiciones socioeconómicas y de ingreso sean menores a la Línea de Bienestar Mínimo (LBM)”, lo cual no se expresa como se encuentra en la MIR. Atención a la Salud NA NA El Fin no ha tenido cambios drásticos, únicamente de 2007 a 2008, cambió de contribuir a un objetivo relacionado con el "desarrollo humano sustentable y a la igualdad de oportunidades de familias que viven en condiciones de pobreza Objetivo General extrema en México" a uno más específico como lo es la contribución a la "ruptura del ciclo intergeneracional de la Sin propuestas de mejora, se Favorecer el desarrollo de las capacidades asociadas a la educación, salud y nutrición de las pobreza extrema de la población beneficiaria en dicha recomienda que continue dicho familias condición". objetivo beneficiarias del Programa para contribuir a la ruptura del ciclo intergeneracional de la De 2008 a 2009 únicamente se presentó una acotación al omitir pobreza. "la población beneficiaria", lo cual permite distinguir la contribución a una problemática general. El Fin cumple con la sintaxis que establece la MML. NA Familias beneficiarias recibieron apoyos para fomentar que sus integrantes, niños y jóvenes, accedan, permanezcan y concluyan la educación básica y media superior. NA Propuesta de Mejora Sin cambio Sin cambio NA Valoración general de los cambios derivados de comentarios por nivel de objetivo Sin cambio Sin cambio Sin cambio Valoración General de la Evolución de la Matriz en su conjunto NA Las familias beneficiarias en condiciones de pobreza desarrollan sus capacidades de educación, salud y nutrición. Niños y jóvenes integrantes de familias beneficiarias recibieron apoyos para fomentar su acceso y permanencia en la educación básica y media superior Entrega del primer apoyo de becas y útiles escolares en cada nivel ACTIVIDADES Las familias en pobreza extrema beneficiarias de Oportunidades amplían sus capacidades en educación, salud y nutrición. Reglas de Operación La Matriz de Indicadores del programa tuvo sus mayores modificaciones de 2007 a 2008 y algunas más en 2009, lo cual, la llevaron a presentar una Lógica vertical adecuada ya que la relación que existe entre cada nivel es directa. A partir de 2008, los comentarios de diferentes instancias se redujeron a ajustes que no cambiaron la esencia de los objetivos. En general, esta matriz es sólida en su lógica y refleja de manera detallada y directa, lo que el programa quiere generar en su población objetivo. La eliminación de Actividades que no eran fundamentales y que seguramente obedecieron también a la eliminación de algunos Componentes, ha pulido este nivel de la MIR, sin embargo, es necesario que se realicen algunos ajustes adicionales. En los Componentes actuales se dejan fuera apoyos que el programa otorga a su población objetivo, como los apoyos para contribuir con el gasto en energéticos, los apoyos a adultos mayores y otros que el programa proporciona, se sugiere incluir un Componente que agregue dichos apoyos, de ser posible. Para el Componente ligado a los Apoyos educativos únicamente se colocan Actividades de certificación de asistencia y permanencia pero no de conclusión, lo cual, pudiera ser importante. La Actividad "Prestación de servicios de salud" puede ser mejorada para que no se interprete como un Componente. Histórico de Indicadores del Programa de Desarrollo Humano Oportunidades 2008 2007 Indicador Indicador Comentarios al indicador de la MIR 2009 Comentarios Generales Valoración Indicador Comentarios al indicador de la MIR 2010 Comentarios Generales FIN Evaluación de Consistencia y Resultados ASM 2007-2008 Mecanismo 2008 A nivel de Fin, se sugiere que para 2010 se que se sustituya el indicador actual de la Definir y elaborar la ficha técnica de un indicador a nivel de MI, ligado sólo a la escolaridad, por uno Propósito relacionado con la salud. propuesto sobre el impacto sobre la transmisión intergeneracional de la Respuesta. Con el fin de definir y elaborar un indicador pobreza. relacionado con salud a nivel de Propósito, el programa incluyó el indicador "del indicador "Prevalencia de diarrea aguda infantil en la población beneficiaria de Oportunidades" a la MIR en dicho nivel. Comparación de la diferencia entre la escolaridad promedio Comparación de la diferencia de de los hijos de 20 años de edad escolaridad entre padres e hijos de las familias beneficiarias y la de familias beneficiarias y los de sus padres, con la misma mismos a nivel de la población diferencia en la población nacional. nacional NA Definir y elaborar la ficha técnica de un indicador relacionado con la transición de los becarios a la educación media superior. Comparación de la diferencia en la escolaridad promedio Comentarios CONEVAL entre padres e hijos de familias beneficiarias, respecto a la Se recomienda la inclusión de indicadores similares en al menos otra dimensión. misma diferencia en la Por ejemplo, salud. población nacional. NA Respuesta. Con el fin de definir y elaborar un indicador relacionado con la transición de los becarios a la educación media superior, el programa incluyó el indicador "del indicador "Prevalencia de diarrea aguda infantil en la población beneficiaria de Oportunidades" a la MIR en dicho nivel. Diferencia en la probabilidad de inserción laboral positiva entre los jovenes de 15 a 24 de hogares beneficiarios frenta a los no beneficiarios. NA Indicador Comentarios al indicador de la MIR Comentarios Generales Valoración Indicador Comentarios al indicador de la MIR 2012 Comentarios Generales Valoración Indicador Comentarios al indicador de la MIR Comentarios Generales Valoración Auditoría de Desempeño ASF ASM Mecanismo 2008 Valoración 2011 NA NA NA NA El indicador “Comparación de la diferencia en la escolaridad promedio entre padres e hijos de familias beneficiarias, respecto de la misma diferencia en la INSTRUCCIÓN INSTRUCCIÓN población nacional” establecido en la Matriz de Indicadores para Resultados En caso de identificarse comentarios En caso de identificarse comentarios (MIR) 2010 del PDHO para el objetivo de Fin “Contribuir a la ruptura del por parte de las instancias Sin cambio ciclo intergeneracional de la pobreza, favoreciendo el desarrollo de las por parte de las instancias Sin cambio capacidades en educación, salud y nutrición de las familias beneficiarias de Auditoría de Desempeño ASF contempladas en la presente contempladas en la presente Comparación de la diferencia Oportunidades”, no es suficiente para medir la contribución del programa evaluación (CONEVAL, DGEMPS, SFP, evaluación (CONEVAL, DGEMPS, SFP, Comparación de la diferencia en la escolaridad promedio en la ruptura intergeneracional de la pobreza. 10-0-20G00-07-0192-07-001.- Para que la Coordinación Nacional del en la escolaridad promedio EVALUACIONES EXTERNAS), el EVALUACIONES EXTERNAS), el entre padres e hijos de familias Programa de Desarrollo Humano Oportunidades defina indicadores entre padres e hijos de familias equipo evaluador deberá emitir una beneficiarias, respecto a la Auditoría de Desempeño ASF suficientes para medir la contribución del programa en la ruptura equipo evaluador deberá emitir una beneficiarias, respecto a la valoración sobre la pertinencia de la valoración sobre la pertinencia de la misma diferencia en la intergeneracional de la pobreza. [Resultado 1] misma diferencia en la recomendación, sustentando la población nacional. 10-0-20G00-07-0888-07-011.- Para que la Coordinación Nacional del recomendación, sustentando la población nacional. Programa de Desarrollo Humano Oportunidades adopte las medidas misma en función de la Metodología misma en función de la Metodología requeridas, a fin de establecer en la Matriz de Indicadores para Resultados de Marco Lógico de Marco Lógico del Programa de Desarrollo Humano Oportunidades la meta del indicador "Comparación de la diferencia en la escolaridad promedio entre padres e hijos de familias beneficiarias, respecto a la misma diferencia en la población nacional". [Resultado 19] NA NA NA NA NA EED 2010-2011 Sin cambio El Indicador a nivel Fin, que se refiere al diferencial en años de educación de los hijos menores de 20, contra la escolaridad de sus padres, en hogares beneficiarios de Oportunidades, respecto a la misma diferencia a nivel nacional se considera pertinente y relevante en la medida que mide una brecha intergeneracional, aunque se refiera sólo a uno de los Componentes (educación) del programa; lo anterior considerando que es difícil medir brechas intergeneracionales en salud y nutrición pues se requiere construir cohortes intergeneracionales. NA NA NA NA Comparación de la diferencia en la escolaridad promedio entre padres e hijos de familias beneficiarias, respecto a la misma diferencia en la población nacional. NA NA NA NA Valoración general de los cambios derivados de comentarios por cada indicador Propuesta de mejora Propuesta de indicador • El indicador tiene una construcción estadística sólida, robusta, en la que se aprecia claramente la información que el programa quiere obtener para monitorear su objetivo. • El indicador muestra información que es importante para la medición de los resultados o impacto que el programa quiere traducir en su población beneficiaria. • El método de cálculo del indicador es sencillo y entendible. • La medición de la comparación de la diferencia de años en la escolaridad promedio entre padres e hijos de familias beneficiarias, respecto a la misma diferencia en la población nacional presenta información importante del objetivo del Resumen Narrativo (apartado Educación). • La Nota anexa no deja dudas acerca de las variables que se utilizan en el método de cálculo del indicador. • El indicador no considera los demás elementos del objetivo como lo son la nutrición y la salud, aunque no necesariamente tendrían que estar en un solo indicador. • El nombre del indicador no es del todo claro, se puede plantear de mejor manera para que el lector o analista refiera directamente a lo que se pretende medir. Se sugiere tomar en cuenta indicadores de prevalencia de desnutrición. Siempre que sea factible. Para ello se propone el siguiente indicador: Razón de prevalencia de baja talla para la edad en niños habitantes de localidades en municipios de alto porcentaje de carencias por acceso a la alimentación, entre la prevalencia de baja talla para niños habitantes de localidades en municipios de alto porcentaje de carencias por acceso a la alimentación donde no opera el programa. El problema con los indicadores de desnutrición es la periodicidad de la Encuesta Nacional de Salud y Nutrición (ENSANUT). Se sugiere añadir un indicador de movilidad laboral, entendido como la mejora en la inserción laboral de los hijos y los padres, véase EMSIJBOZR 2010. Para ello se propone el indicador: o Diferencia en la probabilidad de movilidad ocupacional intergeneracional de los jóvenes de 16 a 24 años de familias beneficiarias en el umbral de la línea de puntaje del PDHO, con respecto de la misma probabilidad en de los jóvenes de familias no beneficiarias en dicho umbral. NA Se sugiere añadir un indicador de movilidad laboral, entendido como Razón de la probabilidad de inserción laboral entre los jóvenes la mejora en la insercion laboral de los hijos y los padres, véase de 16 a 24 años de familias beneficiarias entre la misma EMSIJBOZR 2010. probabilidad de la población nacional. NA NA NA NA NA INSTRUCCIÓN En caso de identificarse comentarios por parte de las instancias contempladas en la presente evaluación (CONEVAL, DGEMPS, SFP, EVALUACIONES EXTERNAS), el equipo evaluador deberá emitir una valoración sobre la pertinencia de la recomendación, sustentando la misma en función de la Metodología de Marco Lógico Sin cambio NA NA NA NA NA NA NA NA NA NA NA La población de referencia del indicador es la población beneficiaria del programa (15 años de edad); sin embargo, no necesariamente es el promedio de egreso de la educación básica de la población, por lo que puede compararse frente a dicho promedio (y no a la población de 15 años de edad). Para medir el impacto educativo a nivel de Propósito, se sugiere sustituir el indicador por uno de las propuestas: • Diferencia en la tasa de terminación en educación media superior de los jóvenes con Oportunidades, frente al mismo grupo de los jóvenes sin Oportunidades comparables • Diferencia de escolaridad de los jóvenes con Oportunidades, frente a los jóvenes sin Oportunidades comparable. Los indicadores sugeridos se pueden construir a través de una RDD con estimaciones en un umbral definido por el puntaje para la elegibilidad de los hogares beneficiarios del programa. Alternativamente, se pueden construir los indicadores teniendo como referencia a la población en general; sin embargo, se sugiere hacerlo de la primera forma, debido que resulta más precisa su comparación. • Educación: o Diferencia en la escolaridad promedio de los jóvenes de 16 a 24 años de familias beneficiarias en el umbral de la línea de puntaje del PDHO, con respecto de la misma variable de los jóvenes de familias no beneficiarias en dicho umbral. o Diferencia en la eficiencia terminal en secundaria de los jóvenes de familias beneficiarias en el umbral de la línea de puntaje del PDHO, con respecto de la misma variable de los jóvenes de familias no beneficiarias en dicho umbral. o Diferencia en la matriculación en el nivel medio superior de los jóvenes de 15 a 21 años de familias beneficiarias en el umbral de la línea de puntaje del PDHO, con respecto de la misma variable de los jóvenes de familias no beneficiarias en dicho umbral. o Diferencia en los resultados de la prueba Enlace en primaria y secundaria de los niños y jóvenes de familias beneficiarias en el umbral de la línea de puntaje del PDHO, con respecto de la misma variable para los niños y jóvenes de familias no beneficiarias en dicho umbral. Evaluación de Consistencia y Resultados 2007-2008 Familias beneficiarias del Programa que habitan en los 100 municipios de menor Índice de Desarrollo Humano NA A nivel de Propósito se sugiere incluir al menos un indicador relacionado con el mejoramiento de la salud, como puede ser el de días de enfermedad al año, comparando los datos de beneficiarios y no beneficiario en diversos rangos de edad. Asimismo, se recomienda incluir un indicador relacionado con el aprendizaje o las capacidades cognitivas en el nivel básico, utilizando los resultados de las pruebas ENLACE o PISA, para poderapreciar si los efectos en matriculación, permanencia y graduación se traducen en verdaderos impactos a nivel de las capacidades relevantes adquiridas para insertarse posteriormente en mejores condiciones al mercado laboral NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA Auditoría de Desempeño ASF Escolaridad de los niños y jóvenes beneficiarios con respecto a la nacional NA NA NA NA NA NA NA NA NA 10-0-20G00-07-0888-07-001.- Para que la Coordinación Nacional del Programa de Desarrollo Humano Oportunidades diseñe e instrumente indicadores y metas anuales, a fin de evaluar la cobertura de localidades donde se ubican las escuelas de educación básica a las que asisten los becarios. [Resultado 1] Auditoría de Desempeño ASF 10-0-20G00-07-0888-07-002.- Para que la Coordinación Nacional del Programa de Desarrollo Humano Oportunidades diseñe e instrumente indicadores y metas anuales, a fin de evaluar la cobertura del programa en las escuelas y la matrícula en educación básica en el ámbito nacional. [Resultado 2] Comentarios CONEVAL Tasa de terminación de educación básica de los beneficiarios respecto a la nacional Tasa de terminación de educación básica de los jóvenes beneficiarios de Oportunidades. NA Sin cambio Porcentaje de terminación de educación básica de los Se recomienda que este indicador se establezca, en la medida de lo posible, en jóvenes beneficiarios de relación a valores promedio nacionales, de manera que pueda otorgar mayor Oportunidades. información. Al igual que para el indicador de Fin, también deberían agregarse indicadores en otras dimensiones (salud, por ejemplo). Sin cambio Auditoría de Desempeño ASF NA Porcentaje de terminación de educación básica de los jóvenes beneficiarios de Oportunidades. NA 10-0-20G00-07-0888-07-003.- Para que la Coordinación Nacional del Programa de Desarrollo Humano Oportunidades diseñe e instrumente indicadores y metas anuales, a fin de evaluar la cobertura de becarios de educación básica, respecto de su población objetivo. [Resultado 3] Porcentaje de terminación de educación básica de los jóvenes beneficiarios de Oportunidades. NA NA NA NA NA Auditoría de Desempeño ASF Aunque la fórmula del indicador es clara, las variables utilizadas pueden ser planteadas de mejor manera para que no quede duda de la población a la que se refiere. Además, no existe información disponible acerca de la edad promedio con que los jóvenes beneficiarios terminan la educación básica, por lo que no es posible saber si el establecimiento de 15 años en el denominador sea el más adecuado. Finalmente, ha sido notable que, desde 2009, las precisiones a la fórmula de cálculo del indicador han permitido mejorar el entendimiento de lo que el programa quiere medir. 10-0-20G00-07-0888-07-006.- Para que la Coordinación Nacional del Programa de Desarrollo Humano Oportunidades incluya en la Matriz de Indicadores para Resultados del Programa de Desarrollo Humano Oportunidades el indicador "Relación becas alumnos Oportunidades para educación básica", a fin de evaluar la contribución del programa en el otorgamiento de becas en educación básica. [Resultado 8] Auditoría de Desempeño ASF 10-0-20G00-07-0192-07-002.- Para que la Coordinación Nacional del Programa de Desarrollo Humano Oportunidades defina indicadores con el fin de comparar la prevalencia de desnutrición crónica infantil de los beneficiarios con periodos anteriores para medir el impacto del programa. [Resultado 1] PROPÓSITO Sin cambio Prevalencia de desnutrición crónica infantil (menores de cinco años), entendida como baja talla para la edad, de la población beneficiaria. NA NA Prevalencia de desnutrición crónica infantil, entendida como baja talla para la edad, de la población beneficiaria de Oportunidades. Sin cambio Sin cambio NA Si se definiera como cambio en el tiempo y se le comparara con el grupo de jóvenes sin oportunidades comparables, podría ser un indicador de Propósito. La propuesta de comparación nacional no refleja las condiciones de los beneficiarios, debido a que los grupos no son comparables entre sí; necesariamente tendrían que compararse con el grupo de jóvenes sin oportunidades comparables en el borde. NA • Salud: o Diferencia en la frecuencia de visitas médicas preventivas y de control de los miembros de familias beneficiarias en el umbral de la línea de puntaje del PDHO, con respecto de la misma variable para los miembros de familias no beneficiarias en dicho Para medir el impacto en la salud a nivel de propósito, se sugiere umbral. El indicador busca medir un aspecto relacionado con el impacto sustituir el indicador un conjunto de indicadores o Diferencia en el índice de fecundidad de las mujeres de del programa a nivel de Propósito en la salud de los familias beneficiarias en el umbral de la línea de puntaje del beneficiarios. Sin embargo, no queda claro si la variable es la Los indicador sugeridoas se puede construir a través de una RDD, con PDHO, con respecto de la misma variable para las mujeres de más adecuada para medir el impacto en salud. estimaciones en un umbral definido por el puntaje para la elegibilidad familias no beneficiarias en dicho umbral. de los hogares beneficiarios del programa. o Diferencia en la incidencia de enfermedades diarreicas los niños menores de 5 años de familias beneficiarias en el umbral de la línea de puntaje del PDHO, con respecto de la misma variable para los niños de familias no beneficiarias en dicho umbral. Comentarios CONEVAL Si se definiera como cambio en el tiempo y se le comparara con su equivalente nacional podría ser un indicador de propósito. De otra manera, no proporciona información sobre los componentes del programa. NA Prevalencia de desnutrición crónica infantil, entendida como baja talla para la edad, de la población beneficiaria de Oportunidades. Auditoría de Desempeño ASF 10-0-20G00-07-0906-07-001.- Para que la Coordinación Nacional del Programa de Desarrollo Humano Oportunidades diseñe e instrumente indicadores y metas anuales, a fin de evaluar la cobertura de localidades donde se ubican las escuelas de educación media superior a las que asisten los becarios. [Resultado 1] Prevalencia de desnutrición crónica infantil, entendida como baja talla para la edad, de la población beneficiaria de Oportunidades. NA NA Prevalencia de desnutrición crónica infantil, entendida como baja talla para la edad, de la población beneficiaria de Oportunidades. NA Auditoría de Desempeño ASF 10-0-20G00-07-0906-07-002.- Para que la Coordinación Nacional del Programa de Desarrollo Humano Oportunidades diseñe e instrumente indicadores y metas anuales, a fin de evaluar la cobertura del programa en las escuelas y la matrícula de educación media superior en el ámbito nacional. [Resultado 2] Auditoría de Desempeño ASF Sin cambio NA NA NA Prevalencia de diarrea aguda infantil en la población beneficiaria de Oportunidades. NA NA Prevalencia de diarrea aguda infantil en la población beneficiaria de Oportunidades. NA 10-0-20G00-07-0906-07-003.- Para que la Coordinación Nacional del Programa de Desarrollo Humano Oportunidades diseñe e instrumente indicadores y metas anuales, a fin de evaluar la cobertura de becarios de educación media superior, respecto de su población objetivo. [Resultado 3] Auditoría de Desempeño ASF Sin cambio Sin cambio Prevalencia de diarrea aguda infantil en la población beneficiaria de Oportunidades. NA NA Prevalencia de diarrea aguda infantil en la población beneficiaria de Oportunidades. NA 10-0-20G00-07-0906-07-005.- Para que la Coordinación Nacional del Programa de Desarrollo Humano Oportunidades diseñe e instrumente indicadores y metas anuales, a fin de evaluar la permanencia escolar de los becarios de educación media superior. [Resultado 6] Auditoría de Desempeño ASF Sin cambio NA NA NA Porcentaje de becarias en educación básica con respecto a la composición por sexo de la matricula nacional NA NA Porcentaje de becarias en educación básica con respecto a la composición por sexo de la matricula nacional NA Auditoría de Desempeño ASF Sin cambio NA NA NA Prevalencia de anemia en mujeres de 12 a 49 años de edad embarazadas y beneficiarias del Programa Oportunidades NA NA Prevalencia de anemia en mujeres de 12 a 49 años de edad embarazadas y beneficiarias del Programa Oportunidades 10-0-20G00-07-0906-07-006.- Para que la Coordinación Nacional del Programa de Desarrollo Humano Oportunidades diseñe e instrumente indicadores y metas anuales, a fin de evaluar la terminación escolar de los becarios de educación media superior. [Resultado 7] NA 10-0-20G00-07-0906-07-009.- Para que la Coordinación Nacional del Programa de Desarrollo Humano Oportunidades diseñe e instrumente indicadores y metas anuales, a fin de evaluar la cobertura de becarios de educación media superior con apoyos emitidos para la adquisición de útiles escolares. [Resultado 11] Sin cambio Sin cambio Porcentaje de becarias en educación básica con respecto a la composición por sexo de la matricula nacional NA NA Porcentaje de becarias en educación básica con respecto a la composición por sexo de la matricula nacional Sin cambio Sin cambio Prevalencia de anemia en mujeres de 12 a 49 años de edad embarazadas y beneficiarias del Programa Oportunidades Prevalencia de anemia en mujeres de 12 a 49 años de edad embarazadas y beneficiarias del Programa Oportunidades NA NA NA • Alimentación y nutrición: o Diferencia en el puntaje Z de niños menores de 12 años de familias beneficiarias en el umbral de la línea de puntaje del PDHO, con respecto de la misma variable para los niños de Para medir el impacto en la salud a nivel de propósito, se sugiere familias no beneficiarias en dicho umbral. sustituir el indicador un conjunto de indicadores o Diferencia en la prevalencia de anemia en mujeres en embarazo o lactancia de familias beneficiarias en el umbral de la Los indicador sugeridoas se puede construir a través de una RDD, con línea de puntaje del PDHO, con respecto de la misma variable estimaciones en un umbral definido por el puntaje para la elegibilidad para las mujeres de familias no beneficiarias en dicho umbral. de los hogares beneficiarios del programa. o Diferencia en los resultados de las pruebas estandarizadas de desarrollo cognitivo y lingüístico en niños de familias beneficiarias en el umbral de la línea de puntaje del PDHO, con respecto de la misma variable para los niños de familias no beneficiarias en dicho umbral. NA El indicador busca medir un aspecto relacionado con el impacto del programa a nivel de Propósito; sin embargo, si se pretende incluir un indicador de género, se debe de seleccionar otro indicador asociado al género que refleje variaciones en la condición de pobreza. En este sentido, las evaluaciones anteriores no dejan claro que exista uno, pero el programa podría estudiar la posibilidad de agregar uno que incorpore la comparación entre los grupos de las beneficiarias del programa frente a las no beneficiarias que sean comparables. NA El indicador mide un aspecto fundamental del objetivo (relacionado con la salud), no ha tenido variaciones en el Sin comentarios adicionales tiempo y tiene una construcción adecuada. NA El indicador mide un aspecto fundamental del objetivo (relacionado con la educación), no ha tenido variaciones en el tiempo y tiene una construcción adecuada; sin embargo, debe estar a nivel de Componente, ya que es una forma de presentación de un entregable del programa. NA NA Medir la continuidad de los becarios al siguiente nivel educativo representa un aspecto fundamental del objetivo que debe ser Para precisar la población, es necesario que se monitoreado. La información para la estimación del indicador se complemente en la definición del indicador que se refiere obtiene de registros del programa, por lo que no es onerosa y a “becarios de primaria en Oportunidades”. su fórmula de cálculo es sencilla y clara. NA NA El indicador se considera innecesario puesto que la transición a Se sugiere eliminar este indicador. secundaria es alta para los beneficiarios y no beneficiarios. NA EED 2010-2011 Sin cambio NA NA NA Porcentaje de becarias en educación media superior con respecto a la composición por sexo de la matricula nacional. NA NA Sin cambio Porcentaje de becarias en educación media superior con respecto a la composición por sexo de la matricula nacional. Sin cambio NA NA NA Porcentaje de becarios de secundaria que transitan a educación media superior. NA Porcentaje de becarios de primaria que transitan a secundaria. NA NA Porcentaje de becarios de secundaria que transitan a educación media superior. NA NA • Los indicadores predominantemente miden el elemento educativo, sin embargo, existen otros elementos en el objetivo a los que debería darse seguimiento como lo son la salud y la nutrición de la población beneficiaria. Valoración General de la Evolución de los indicadores • A nivel de Fin únicamente se mide el componente educativo, podrían agregarse indicadores que midan los demás elementos del objetivo (salud y nutrición), por ejemplo, el diferencial de la tasa de morbilidad media o los niveles de nutrición de las poblaciones a que hace referencia el indicador actual. de Fin y Propósito de la Matriz en su conjunto • Dos indicadores son de nivel de Componente, ya que la información que muestran no necesariamente se refiere a resultados; más bien es otra forma de cómo el programa entrega los componentes a la población, es decir, deberían ser indicadores de componente. NA Porcentaje de becarios de primaria que transitan a secundaria. NA Sin cambio NA Sin cambio NA Sin cambio El indicador es poco claro ya que pareciera haber un error en la fórmula de Porcentaje de becarias en cálculo: si partimos del hecho que el porcentaje de mujeres becarias es educación media superior con menor en Oportunidades que a nivel nacional, entonces la fórmula arrojaría respecto a la composición por un número negativo. Se recomienda aclarar en la Ficha Técnica si el indicador sexo de la matricula nacional. es creciente o decreciente con respecto a la meta y la implicación de la meta misma. Porcentaje de becarios de secundaria que transitan a educación media superior. Porcentaje de becarios de primaria que transitan a secundaria. NA Sin cambio NA NA Sin cambio NA Porcentaje de becarias en educación media superior con respecto a la composición por sexo de la matricula nacional. Porcentaje de becarios de secundaria que transitan a educación media superior. La información que este indicador muestra no necesariamente se refiere a resultados; más bien es otra forma de cómo el programa entrega los componentes a la población, por lo que debería ser un indicador de componente. Sin cambio NA NA Porcentaje de becarios de primaria que transitan a secundaria.