1 ACUMAR DIRECCIÓN GENERAL DE SALUD AMBIENTAL El Cuestionario Prunape Pre-Pesquisa (CPPP) para el reconocimiento oportuno de niños con trastornos inaparentes del desarrollo 2 ACUMAR Autoridad de la Cuenca Matanza Riachuelo (ACUMAR) Esmeralda 255 PB (C1035ABE) - Ciudad Autónoma de Buenos Aires. Dirección General de Salud Ambiental (DGSA) Esmeralda 255 PB. Sala de Situación (C1035ABE) - Ciudad Autónoma de Buenos Aires. Dirección General de Salud Ambiental Director General: Dr. Fernando Nunes Coordinación de Observatorios, Investigación en Salud Ambiental y Control de Gestión: Lic. Graciela Blatt Ivan Insua Colaboradores: Dr. Horacio Lejarraga; Dra. Diana Kelmansky; Dra. Celina Lejarraga, Lic. Gabriela Charrúa; Dra. María Cecilia Pascucci; Dr. Iván Insua Dr. Fernando Nunes. 3 Agradecimientos A las Promotoras de Salud de la Secretaría de Salud y Desarrollo Social de Florencio Varela, sin cuya colaboración no se hubiese podido convocar a las madres que participaron. A las pediatras, psicólogas y psicopedagogas participantes: Mariela Backman, Aldana Caro, Eliana Castellanelli, Constanza Cinat, María José Coronel, Liliana Díaz, Mercedes Di Noto Roque, Carolina Fabrizzi, Clarisa Gómez, Patricia Hidalgo, Paola Leyes, Marina López, Paula Lotes, Vanina Romano, Romina Rosbelke. A la Lic. Graciela Blatt, a cargo de la Coordinación de Observatorios de la DGSA, que apoyó en todo momento la logística del proyecto. A la Secretaría de Salud y Desarrollo Social de Florencio Varela, que posibilitó llevar a cabo el estudio de validación en ese Municipio. Participaron activamente en su ejecución el Secretario de Salud Dr. Alejandro Bagato, el Dr. Héctor Miret, que actuó como Coordinador del estudio de validación en el terreno, junto a Gabriel Bejarano y Juan Vieyra. A las autoridades de la Sociedad de Fomento 17 de diciembre del Barrio San Nicolás, Sociedad de Fomento de Barrio Parque, Cooperativa 20 de diciembre del Barrio Villa Argentina, Centro de Integración Comunitaria del Barrio Pico de Oro, Sociedad de Fomento del Barrio Villa Mónica. A las Dras. Graciela Salamanco, Paola Czerniuk y María Belén Fernández que participaron del estudio. A la Dra. Ángela Gentile, de la División de Promoción de la Salud del Hospital de Niños Ricardo Gutiérrez, y a su Directora Dra. Cristina Galloppo. A la Lic. Alicia Masautis, del Grupo Metodológico de la Dirección General de Salud Ambiental de ACUMAR. A todo el personal administrativo de Acumar que con su espíritu de colaboración permanente facilitó la compleja gestión encomendada: Andrea Robles, Micaela Redlich, Estefanía Landi, Florencia Andechaga, Emilio Moscardo y Ramiro Sastre Fernández. Al personal de Informática de Acumar Esteban Neme, Alejandro Gómez Auad y Ariel Tassero. A Aníbal Potenza y Pablo Armanini, que formaron parte del desarrollo, configuración y asistencia técnica del sistema de registro utilizado. Al personal de Comunicación de Acumar: Lic. Andres Galván, Beatriz Gómez Cevallos y Facundo Bosco. Al Dr. Oscar Fariña, que colaboró desde la DGSA especialmente en el diseño e implementación del trabajo de campo. A las Dras. Lorena Cordi y Silvina Pasarin, que forman parte del equipo docente PRUNAPE junto con las Dras. Cecilia Pascucci, Celina Lejarraga, por su lectura y opinión sobre el cuestionario. A todos los equipos técnicos de la DGSA. 4 Índice Resumen……………………………………………..………………….………..….5 1. Prefacio …………………………………………………………………………6 2. Fundamentos del CPPP…..……………………………………………….……..7 3. Construcción del cuestionario………………………………………………….10 3.1. Principios generales del proyecto …………..…………………………......10 3.2. Revisión de la bibliografía. ………………..…………….………………...10 3.3. Características deseadas ……………………...………………….………...11 3.4. Preparación de las preguntas ……………………………............................11 3.5. Evaluación de la comprensión de los textos por parte de las madres.……..12 3.6. Información básica ………..………………………..………….……..........15 4. Validación concurrente del CPPP ………………………...……….………......16 4.1. Lineamientos …………………………………………..…….…..….……..16 4.2. Objetivos……………………………………………….…………………..16 4.3. Criterios de selección de niños y sus madres .……..………………………16 4.4. Información a recoger en terreno ……………..…..………………….........17 4.5. Equipo de trabajo……………………………..……………………..…...17 4.6. Lugares seleccionados para el trabajo en terreno .…………………………18 4.7. Administración de las tres pruebas………………………………………....18 4.8. Registro de la información……………………………..………………..…18 4.9. Resultados…………………………………………………..………………19 4.10. Puntos de corte……………………………………..…………………….....25 4.11. Poder predictivo del peso de nacimiento……………………………………26 4.12. Indicadores en relación a la prevalencia de trastornos del desarrollo...…….27 4.13. Comentario sobre nivel educacional materno………………………………28 5. Guía de uso del CPPP…………………..……………………………………….32 5.1. Aspectos generales del CPPP………………………….…………………....32 5.2. Lugar e instrumentos ……………………………………………………….32 5.3. Personal a cargo…………………………………………….........................32 5.4. Encabezamiento del formulario…………………………..………………. .34 5.5. Preguntas y pruebas de los formularios……………………………..….. …35 5.6. Evaluación final del cuestionario ………………………………....……….39 6. Qué hacer después del CPPP.……….…………..………………….…………..41 7. Estimación de la prevalencia total y del error de estimación….….……………43 8. Bibliografía………………………..………………………….…….…………..47 ANEXOS 1. Carta de invitación a las madres a participar en el estudio de comprensión de textos 2. Formularios 1 a 5 3. Consentimiento informado 4. Concordancia Prunape – Cuestionario, ítem por ítem 5. Intervalos de confianza según diferentes criterios de aprobación y cuestionarios 6. Intervalos de confianza según nivel de educación materno 5 Resumen La Prueba Nacional de Pesquisa PRUNAPE es una prueba destinada a la detección de trastornos inaparentes del desarrollo con una alta sensibilidad y especificidad. El Cuestionario Prunape Pre- Pesquisa (CPPP) aquí descripto consiste en un conjunto de preguntas que se le realizan a la madre o cuidador de los niños y niñas entre seis meses y menores de seis años. Los resultados indican que es un instrumento capaz de prever con un valor predictivo del 75 %, el riesgo de no pasar la Prueba Nacional de Pesquisa (PRUNAPE). Es una herramienta construida por la Dirección General de Salud Ambiental (DGSA) de la Autoridad Cuenca Matanza Riachuelo (ACUMAR), y en el marco de los lineamientos de la Secretaría de Determinantes de la Salud y Relaciones sanitarias del Ministerio de Salud de la Nación. El CPPP fue diseñado teniendo como modelo las preguntas de la Prueba Nacional de Pesquisa (PRUNAPE). Para su confección se transformaron las pautas de la PRUNAPE en preguntas comprensibles para las madres o cuidadoras. El mismo puede ser auto-administrado por la madre o cuidador del niño, o administrado por el personal de salud. En cualquiera de los dos casos tiene que ser llenado con el niño presente. Una vez finalizado el formulario, se debe decidir si el niño “pasa” o “no pasa” el cuestionario, siendo ésta una decisión exclusiva del personal de salud capacitado con las orientaciones de la Guía de Uso y la evaluación del CPPP, contenidas en este Manual Técnico. Si el niño no pasa el cuestionario, es necesario administrarle la PRUNAPE porque el riesgo de que con esa prueba tenga un resultado insatisfactorio es alto y por lo tanto, puede presentar un problema del desarrollo. El esquema de utilización del CPPP propuesto para la atención primaria de la salud (APS) es el siguiente: Administrar el CPPP eligiendo en forma opcional que el cuestionario sea llenado por la madre o por el personal de salud, según lo que convenga. Si el niño “pasa” el cuestionario, continúa el seguimiento habitual en salud; si el niño en cambio “no pasa” el cuestionario, se le administra la PRUNAPE, de acuerdo al siguiente esquema: CPPP Pasa No pasa Seguimiento habitual PRUNAPE El CPPP fue preparado por investigadores con experiencia en la construcción de pruebas de pesquisa y fue adecuadamente validado. Los cuestionarios tienen, en general, una menor especificidad y sensibilidad que los tests de pesquisa. Por esa razón al momento del establecimiento de los puntos de corte hubo que definir prioridades entre tener una gran sensibilidad o una gran especificidad y buen valor predictivo. Sobre estas bases, se decidió darle prioridad al valor predictivo positivo (VPP)1 con el fin de reducir al máximo el número de niños falsos positivos que serían derivados innecesariamente para la administración de la PRUNAPE. 1 El VPP es la probabilidad que tiene un niño que no pasó el cuestionario, de luego no pasar la PRUNAPE. 6 1. Prefacio El presente cuestionario Prunape Pre-Pesquisa (CPPP) se inscribe en una estrategia más global de reconocimiento oportuno de niños con trastornos inaparentes del desarrollo. La Prueba Nacional de Pesquisa PRUNAPE satisface los requisitos de una herramienta eficaz para cumplir con aquel objetivo. Sin embargo, en el marco de las Evaluaciones Integrales de Salud en Áreas de Riesgo (EISAR) de la Dirección General de Salud Ambiental de ACUMAR, resulta de utilidad poder contar con una herramienta sencilla, que no requiera mayor capacitación, que lleve poco tiempo de administración y que sea capaz de pesquisar con cierta precisión aquellos niños con alta probabilidad de no pasar la PRUNAPE. De esta manera en proyectos de intervención en grandes grupos de población el número de niños candidatos a la PRUNAPE sería menor y mejor seleccionado. Sobre estas bases, al preparar el proyecto de construcción y validación de un cuestionario, se tomaron a priori una serie de decisiones que permitieran definir el perfil del cuestionario. Estas decisiones se refieren a la sencillez del cuestionario, a la necesidad de explorar su llenado por madres de bajo nivel socio-económico y a la relación directa del mismo con la PRUNAPE. Es decir, se buscó explorar la capacidad de un cuestionario para detectar los niños que no van a pasar la PRUNAPE. Ello implicó la necesidad de hacer validar la prueba en una población que tuviera una alta proporción de familias con necesidades básicas insatisfechas (NBI). Es así que se constituyó inicialmente un grupo técnico y se invitó al Municipio de Florencio Varela y al Hospital de Niños Ricardo Gutiérrez de Buenos Aires. Una vez preparado el cuestionario y antes de su aplicación, fue administrado a un grupo de 40 madres para explorar su comprensión, lo cual resultó extremadamente útil, para redactar las preguntas del cuestionario en forma más sencilla y adaptadas al medio donde iba a ser aplicado. El diseño experimental comprendió la auto-administración del cuestionario por las madres, la administración por el personal de salud y finalmente la administración de la PRUNAPE a los niños. Todo lo previo fue realizado en forma triple ciega, es decir, cada uno de los tres pasos de la tarea previamente mencionada fue realizado por personal diferente. Una de las dificultades mayores fue la selección de un lugar físico apto para albergar un número importante de madres con sus respectivos niños, y que a su vez concurrieran con niños sanos. Finalmente, el trabajo de campo decidió hacerse en sociedades de Fomento, trabajando junto con las promotoras barriales, visitando los domicilios, e invitando a las madres a participar. Participaron en esto las autoridades de salud, los líderes comunitarios, los organizadores barriales y las familias de Florencio Varela. Los equipos técnicos de la DGSA procesaron así la información obtenida, y se establecieron a partir de ello los puntos de corte. La DGSA espera que esta nueva herramienta contribuya a la detección oportuna de problemas inaparentes del desarrollo en el marco de las EISAR en los niños que residen en la Cuenca Matanza Riachuelo. 7 2. Fundamentos del CPPP En todos los países hay una alta proporción de niños con trastornos del desarrollo (parálisis cerebral, trastornos del lenguaje, retardo mental, trastornos de la visión y audición, etc), que hacen su ingreso a la escuela primaria sin que este problema haya sido adecuadamente detectado. Se estima que un 50 % de los niños ingresan a la escuela con trastornos del desarrollo sin ser debidamente reconocidos (1). La detección oportuna de los trastornos del desarrollo tiene un fuerte impacto favorable sobre la evolución ulterior del niño: mejorando la respuesta terapéutica, disminuyendo los costos de atención, disminuyendo la deserción escolar y con ello mejorando el desarrollo global de la comunidad. Las estimaciones internacionales indican que por cada dólar invertido en pesquisa se ahorran 7 dólares en gastos de tratamiento tardío (2-6). Por estos motivos existe un consenso que sugiere realizar alguna prueba formal de evaluación del desarrollo a todo niño antes de los seis años. Consecuentemente, algunos países han construido tests de pesquisa (screening o tamizaje) para este fin, y otros, como EEUU, incluyeron la administración de estas pruebas en sus leyes nacionales (7-8). En nuestro país contamos con la Prueba Nacional de Pesquisa (PRUNAPE) (9), que es una herramienta eficaz para la detección de trastornos inaparentes del desarrollo en niños menores de seis años. Ha sido construida a partir de un estudio nacional de 3753 niños sanos evaluados por más de 200 pediatras de todo el país, y sometida a las necesarias pruebas de validación (10). Esta prueba es ampliamente usada en la pediatría, es recomendada por el Comité de Pediatría Ambulatoria de la Sociedad Argentina de Pediatría (11), ha sido implementada por el Hospital Materno Infantil de San Isidro en varios centros de Salud (La Cava, Bajo Boulogne, Diagonal Salta) (12-13), es utilizada en Hospitales públicos (Hospital Gutiérrez [14], Hospital Nacional Alejandro Posadas, Hospital Garrahan, Hospital de Niños Elizalde y Hospital Santojani), Hospitales de la comunidad (Hospital Italiano, Británico, etc), ha sido utilizado en la evaluación de niños que viven en prisión con sus madres (15). La República del Ecuador ha incorporado todos los ítems PRUNAPE (con algunas modificaciones hechas para adaptación cultural), a través de la Encuesta Nacional de Desarrollo llevada a cabo por la Secretaría de Planificación y Desarrollo (SENPLADES) en 2010. También fue utilizada por la DGSA en tres estudios realizados en la Cuenca Matanza Riachuelo: ENUDPAT 2010 (en 1500 niños de todos los Municipios de la Cuenca), ENUDPAT 2011 (en 2500 niños de familias con NBI de La Matanza y de Florencio Varela), y en las Evaluaciones Integrales de Salud en Áreas de Riesgo realizada en Villa Inflamable, Dock Sud, Avellaneda y en la Villa 21-24 de la CABA. Los estudios que han servido de base para la construcción de la PRUNAPE han sido publicados (16-18). La administración de la PRUNAPE requiere capacitación del personal, un tiempo, y un espacio adecuado para su administración. Es ideal para ser administrada en los consultorios pediátricos a todos los niños menores de seis años. Pero cuando nos encontramos con un abordaje territorial y lejos de los contextos tradicionales de aplicación de estas herramientas, que involucran a cientos de miles de niños y niñas menores de 6 años, surge la necesidad de capacitar a un número muy grande de profesionales para poder dar respuesta a esta demanda. La 8 administración de la PRUNAPE en forma confiable y en poco tiempo a un número muy grande de niños exigiría un esfuerzo excesivo de recursos humanos y materiales. Por ello se consideró conveniente la elaboración de una herramienta sencilla, que no requiriera una capacitación importante y que su administración fuera capaz de predecir con una confiabilidad conocida (sensibilidad y especificidad) aquellos niños con mayor probabilidad de no pasar la PRUNAPE. De esta manera la selección de niños candidatos a la aplicación de la PRUNAPE sería focalizada y también costo/efectiva. Existen dos recursos principales para abordar este problema. Uno de ellos es la propia consulta clínica pediátrica, en la cual el cuestionario a los padres sobre la edad de cumplimiento de pautas de desarrollo es la forma de seleccionar niños en riesgo. Si bien esta es una práctica común en pediatría, ha demostrado ser poco confiable (19-21), dada la imprecisión de la información que los padres proveen, basada exclusivamente en el recuerdo. El segundo, más confiable y medible, es el del uso de cuestionarios sencillos, ya sea auto-administrados por los padres o administrados por personal de salud, para detectar niños en riesgo. Si bien los padres no recuerdan con precisión las edades de cumplimiento de pautas de desarrollo, pueden estimar con cierta confiabilidad el desarrollo general o específico de sus hijos identificando qué son capaces de hacer y qué no, en el presente. Esta razón justifica el uso de un cuestionario para madres o cuidadores. Adicionalmente, la administración de un cuestionario tiene una mejor costo/efectividad que cualquier otro método de tamizaje o diagnóstico en pediatría (22). Esta es la alternativa que la DGSA consideró de mayor interés teniendo en cuenta su factibilidad y las experiencias acumuladas en otros países. Sin embargo, la validez de estos cuestionarios es muy variable en la literatura. Por ejemplo, Frankemburg obtuvo una sensibilidad del 25 % en un cuestionario general para explorar la validez respecto al test de Denver (23-24). En China se encontró una baja confiabilidad de la opinión de los padres sobre los eventuales problemas de los niños (25) y en Australia, Coghland, obtuvo una valor kappa de concordancia de 0.40(26), valor considerado bastante pobre por los estadísticos. Se han explorado en la literatura distintos tipos de problemas de desarrollo (retardo global, desarrollo motor, lenguaje, desarrollo cognitivo, etc), y distintos instrumentos, desde la simple preocupación de los padres respecto a algún aspecto del desarrollo de sus hijos, hasta cuestionarios más o menos formalizados, que mostraron resultados variables (27 – 33). Ciertamente, la detección de la mayoría de los problemas de desarrollo en consultorios pediátricos se hace gracias a la preocupación manifestada por los padres. Aquí también la variabilidad es muy grande; hay trabajos que muestran que la proporción de padres que expresan preocupación sobre algún aspecto del desarrollo de sus hijos es alta, del 90 % (34), y otros en que es de apenas un 5 % (35). De la revisión de la literatura se puede llegar a las siguientes conclusiones: Los padres deben ser escuchados cuando manifiestan preocupación sobre el desarrollo de sus hijos o cuando contestan cuestionarios de desarrollo (36 - 40), pero estas percepciones están fuertemente influenciadas por el nivel socioeconómico, el lenguaje y su nivel educativo (34); La opinión de los padres expresada tanto oralmente en una consulta como en un 9 cuestionario, si bien contribuye a mejorar la focalización de niños en riesgo, no reemplaza a los tests de pesquisa (41-44), y deben ser considerada una ayuda complementaria. En esta línea, el pediatra debería tener mayor formación y modelos de aproximación a los problemas de desarrollo (45). El presente proyecto, además de la construcción del cuestionario, incluye la validación del mismo, utilizando la PRUNAPE como herramienta de validación o “patrón de oro”. Este enfoque es consonante con las tendencias internacionales sobre detección oportuna de trastornos del desarrollo, tal como ha sido documentado en una reunión de expertos de todo el mundo (46). Hay muchos tipos de validez, que han sido descriptos por diversos autores, y difieren en las palabras con que se los denomina (47-48). Lo que aquí se evaluó es la validez concurrente, siguiendo las guías específicas (47) y aquellas utilizadas para la validación de la PRUNAPE (10). 10 3. Construcción del cuestionario 3.1. Principios generales del proyecto El proyecto incluyó la consideración de ejes prioritarios para la DGSA: El género: incorpora a las madres como fuente de información sobre el desarrollo de sus hijos. La edad: está dirigido a la detección oportuna de problemas del desarrollo en niños menores de seis años. La perspectiva de la equidad y el derecho: los niños se constituyen como sujetos de derecho y pertenecen a uno de los grupos más vulnerables en el marco de la salud ambiental. 3.2. Revisión de la bibliografía Se buscó bibliografía en Lilacs, Pub Med, Cochrane y en fuentes “grises” como Google Scholar. Sobre esta revisión, y encontrándonos frente a un menú muy amplio, se definió la realización de un cuestionario con las características que se mencionan a continuación. 3.3. Características deseadas del CPPP La confección del cuestionario fue realizada preparando una pregunta para cada una de las pautas PRUNAPE que podían ser transformadas en preguntas. Se transformaron la mayoría de las pruebas de la PRUNAPE en preguntas que exploraran de la forma más parecida posible las habilidades evaluadas en cada pauta. Se buscó realizar un cuestionario lo más breve posible, evitando preguntas con respuestas abiertas y evitando que las preguntas generaran juicio de valor en ellos. Se buscó que las preguntas estuvieran desprovistas de toda ambigüedad, se evitaron las preguntas hechas en sentido negativo, procurando que fueran comprendidas por todos los destinatarios, usando un lenguaje sencillo, con sintaxis inequívoca, con las frases condicionadas ubicadas al comienzo de la oración (por ejemplo: “cuando usted llama al niño o niña, ¿la mira?”). Se evitó hacer preguntas que indujeran respuestas o que implicaran más de dos respuestas posibles, incluyendo solo repuestas “SI ó NO”. Se evitó incluir más de una pregunta en la misma formulación. El cuestionario buscaba ser capaz de predecir los niños y niñas candidatos a no pasar la PRUNAPE en el primer nivel de atención; debía ser sencillo, completarlo no debía consumir mucho tiempo y que pudiera ser llevado a cabo por madres o cuidadores de distintos niveles educativos, y país de origen. Además las madres no deberían necesitar capacitación alguna, sino recibir una breve explicación sobre la forma en que debería llenar el cuestionario. Por ello, el mismo debía contener textos escritos en un lenguaje accesible a ellas. Esto implicó la realización de una evaluación previa de la comprensión de los textos. El cuestionario debía contener la menor cantidad posible de pruebas, tales como pedirle al niño que cumpliera ciertas acciones, porque perdería su condición de cuestionario, y porque habría que brindar materiales para administrarlas, como por ejemplo, cubos para armar una torre. El cuestionario brindaría resultados de orden cualitativo, es decir, definiría si el niño tiene o no tiene alto riesgo de no pasar la Prueba Nacional de Pesquisa PRUNAPE. 11 El cuestionario debía ser llenado por personal de salud o por la madre o cuidadora, pero con el niño presente. Se decidió no tener en cuenta la edad gestacional ni hacer ajustes para la edad del niño, como se hace en la PRUNAPE. 3.4 Preparación de las preguntas Para el diseño del cuestionario se siguieron las guías para la confección de un cuestionario para el Sistema de Vigilancia de la Salud del Ministerio de Salud de la Nación, con las modificaciones pertinentes (46). La preparación del cuestionario propiamente requirió la definición de varios aspectos: encabezado, número de preguntas, tipo de preguntas, ilustraciones acompañantes aclaratorias. Estudio de todos los ítems PRUNAPE, y decisión sobre cuáles de ellos eran pasibles de ser transformados en preguntas: análisis de cada una de las pautas, diseño de preguntas similares a las de la PRUNAPE, en un léxico sencillo. No se incluyeron los ítems que requieren materiales o instrumentos, ni aquellos que resultaron difíciles de explicar a los padres. En cambio sí se incluyeron los que requieren un lápiz, ya que la madre va a necesitarlo de cualquier manera para llenar el cuestionario. Transformación de los ítems en preguntas para las madres o cuidadores: creación y revisión de las preguntas, consulta de las mismas con el equipo técnico de la PRUNAPE y eventual modificación de las preguntas. Ordenamiento de las preguntas en el cuestionario: disposición de las preguntas en orden cronológico de cumplimiento por parte del 90 % de los niños sanos. Agrupamientos de preguntas para cada grupo etario. Confección de un cuestionario para cada grupo etario. Los grupos etáreos fueron confeccionados en función de la velocidad del desarrollo y teniendo en cuenta también que los cuestionarios por grupo debían tener una cantidad similar d e preguntas. Se estipuló que el número conveniente de preguntas por cuestionario fuera aproximadamente de 15, asumiendo que algunas iban a estar presentes en más de un cuestionario. Diseño del cuestionario: Encabezado, cuerpo y sector de puntuación. Imágenes ilustrativas. Consultas sobre otros cuestionarios, consultas con expertos de Acumar en comunicación y diseño gráfico. Las pautas que se tomaron en los primeros tres años de vida no ofrecieron mayores dificultades, pero a medida que se avanzó en edad, la exploración del desarrollo se hizo más compleja, y aparecieron cada vez más pruebas. Si se eliminaran todas las pruebas el cuestionario podría perder capacidad discriminativa. Se decidió entonces preservar pautas con pruebas que se podían resolver con un lápiz (por ejemplo, la pauta “el niño puede copiar una cruz”). Consecuentemente, en cada formulario destinado a un intervalo etario determinado se aseguró que hubiera preguntas cuyo percentil 90 de la edad de cumplimiento fuera menor que el límite superior de la edad a la cual ese formulario estaba destinado. Por ejemplo, el formulario número 1 está destinado a niños de edades comprendidas entre 6 y 11 meses. Por ello, algunas preguntas tienen que tener el percentil 90 de la edad de cumplimiento menor que los 11 meses, porque si se incluyeran todas las preguntas con su percentil 90 de cumplimiento mayor que 11 meses, el no cumplimiento de esas pautas por un niño de 11 meses no tendría un significado anormal y 12 sería mucho menos útil para predecir el resultado de la PRUNAPE. De esta manera, se asegura que todos los formularios tengan preguntas que satisfacen estas condiciones. Se buscó que los borradores de los formularios a la consideración del personal del Departamento de Comunicación de Acumar, a los fines de lograr un cuestionario amigable, fácil de leer y de completar. 3.5. Evaluación de la comprensión de los textos y la adecuación de los formularios, por parte de las madres Antes de proceder a la validación concurrente del cuestionario, se procedió a evaluar si las madres comprendían los textos y las imágenes preparadas, y los encontraban adecuados. Los objetivos específicos de esta etapa de la validación fueron: Determinar si las madres/tutores de la muestra comprendían el significado y el sentido de las palabras o expresiones utilizadas en las preguntas formuladas (comprensión a nivel semántico). Determinar si las preguntas formuladas y las imágenes incluidas en cada cuestionario eran adecuadas para inducir respuestas SI/NO. Evaluar el desenvolvimiento de las madres/cuidadores de la muestra al momento de administrar las pruebas enunciadas que requieren de la presencia de sus niños/as. Evaluar si la duración y/o extensión de los cuestionarios era adecuada y/o aceptable para las madres/cuidadores de la muestra. Evaluar si el diseño de los cuestionarios era adecuado y/o aceptable para las madres/cuidadores de la muestra. Recibir sugerencias de las madres/cuidadores de la muestra acerca del cuestionario. En base a experiencias previas (48–52), se diseñó la investigación dirigida a evaluar la inteligibilidad del cuestionario. Este proceso tuvo tres etapas: a) Llenado del cuestionario en grupos focales y llenado de una guía de preguntas sobre la comprensión del cuestionario. Para esta etapa inicial se eligió una muestra de conveniencia de 40 madres de niños cuya edad oscilaba entre los 6 meses y los 5 años para constituir los grupos focales. Las madres y sus niños habitaban barrios con alta prevalencia de familias con Necesidades Básicas Insatisfechas de Florencio Varela. El cuestionario fue llenado por ellas en la sala de espera o en el consultorio, con sus niños presentes. Se incluyeron también madres y niños concurrentes a los consultorios de Niño Sano de la División de Promoción y Protección de la Salud del Hospital de Niños Ricardo Gutiérrez. Todos los niños cuyas madres participaron estaban en buen estado de salud o con problemas menores que no comprometían el estado general. Importa decir que ninguna de estas madres participó de la segunda etapa de validación del 13 cuestionario (ver párrafo N° 6: Validación concurrente). Se formaron cinco grupos focales de madres con sus niños, que se corresponden con los cinco grupos etáreos en que está dividido el cuestionario. - Grupo focal 1: con madres de niños/as de 6 a 11 meses.* Grupo focal 2: con madres de niños/as de 12 a 17 meses.* Grupo focal 3: con madres de niños/as de 18 a 29 meses.* Grupo focal 4: con madres de niños/as de 30 a 47 meses.* Grupo focal 5: con madres de niños/as de 48 a 71 meses.* El personal de salud del consultorio invitó a las madres con un texto que se muestra en el ANEXO I: A las madres se les entregó un lápiz y el cuestionario correspondiente a la edad de su hijo, y se les pidió llenarlo, sin especificar un plazo de tiempo determinado. Una vez llenado el cuestionario, se invitaba a cada madre a responder una Guía con preguntas cerradas acerca del cuestionario La guía tenía la siguiente leyenda: “A continuación te vamos a hacer algunas preguntas sobre el cuestionario. Es importante que respondas con sinceridad a todo lo que se te pregunta. No hay respuestas correctas ni incorrectas. La forma de responder es sencilla, hay que marcar con una cruz X la casilla que corresponda con tu respuesta.” 1. Responder el cuestionario me resultó: Muy sencillo Sencillo Nada sencillo 2. La duración del cuestionario me pareció: Corta Adecuada Larga 3. Las preguntas que tuve que hacerle al niño/a fueron: Fáciles de cumplir Algunas fáciles y otras difíciles de cumplir Difíciles de cumplir 14 4. Los dibujos o imágenes que encontré en el cuestionario: Me ayudaron mucho para entender las preguntas Me ayudaron un poco para entender las preguntas No me ayudaron nada para entender las preguntas b) Reunión con grupo focal. Las reuniones grupales se realizaron después de que las madres completaron el cuestionario y las guías. Se realizaron en total 10 reuniones, una por cada grupo etáreo. Las reuniones se hicieron con mate y galletitas para aumentar así el bienestar y el clima de cooperación. Para recabar la información en la reunión con el grupo focal los investigadores prepararon una planilla de registro de campo a dos columnas (para volcar en un lado las observaciones de los investigadores, y en el otro las impresiones o apreciaciones de las madres) y un guión para ahondar en los siguientes aspectos: - Duración del cuestionario: horario (hh:mm) de entrega del cuestionario a la madre y horario (hh:mm) de finalización. Preguntas del cuestionario que según los participantes de la reunión podían escribirse de otro modo que resultara más fácil de comprender. Sugerencias que los participantes pudieran brindar sobre el encabezado del cuestionario. Sugerencias que pudieran brindar sobre los dibujos e imágenes del cuestionario. Sugerencias que los participantes pudieran brindar sobre la estructura general del cuestionario. Las reuniones con los grupos focales se llevaron adelante por la mañana y por la tarde. Se evaluaron los resultados cuantitativos a partir de: - Tiempo consumido por las madres en el llenado del cuestionario CPPP. - Cantidad y porcentaje de preguntas sin responder del cuestionario. - Cantidad y proporción de respuestas identificadas como correctas/incorrectas en la compresión del sentido de las preguntas (información recolectada a través de las entrevistas y con el apoyo de los guiones del investigador). - Cantidad y proporción de respuestas favorables/desfavorables respecto a las preguntas sobre la extensión del cuestionario, enunciadas en la guía de evaluación. - Cantidad y proporción de respuestas favorables/desfavorables respecto a las preguntas sobre la apariencia del cuestionario, enunciadas en la guía de evaluación. - Cantidad y proporción de respuestas favorables/desfavorables respecto a la adecuación de las imágenes del cuestionario según lo indagado con la guía de evaluación. - Cantidad y proporción de preguntas identificadas como incomprensibles o que presentan mayor dificultad para su inteligibilidad según lo indagado con la guía de evaluación y en las entrevistas. 15 - Se evaluaron los resultados cualitativos a partir de: Adecuación o dificultad en la formulación de las preguntas según lo registrado en la planilla de campo a dos columnas y según lo relevado en las entrevistas. Adecuación o dificultad de las madres/cuidadores para administrar las pruebas a sus niños o niñas según lo observado y registrado en la planilla de campo a dos columnas. Dado que los investigadores son expertos en la PRUNAPE, no fue necesaria una guía de los ítems a analizar, sino la exploración del aspecto más importante de los mismos: si las madres comprendían lo que la formulación de cada pregunta significaba, o sea, el criterio de aprobación. Para ello se hicieron preguntas alternativas. Por ejemplo: si el ítem exploraba la capacidad del bebé de levantar la cabeza en decúbito ventral, se preguntaba a las madres: “¿Si el bebé, en vez de levantar la cabeza, levanta las piernas, es lo mismo?”. Y así sucesivamente con todas las preguntas. Hubo comentarios de las madres que llevaron a la modificación de los textos y/o de las imágenes en virtud de la mejor comprensión del cuestionario. c) Modificación del cuestionario Con los resultados de las entrevistas en grupos focales con las 40 madres, se hicieron las modificaciones pertinentes, y se preparó la versión definitiva del cuestionario, a los fines de proceder a su validación concurrente con los resultados de la PRUNAPE. 3.6. Información básica de los formularios El CPPP consta de 5 formularios agrupados por edad, para ser completados la madre o por personal del equipo de salud (en todo el CPPP, cuando se dice “madre”, se debe entender “madre”, “padre”, “cuidador” o “cuidadora”). Formulario 1: Niños y niñas de 6 a 11 meses, con 16 preguntas. Formulario 2: Niños y niñas de 12 a 17 meses, con 14 preguntas. Formulario 3: Niños y niñas de 18 meses a 2 años y 5 meses, con 15 preguntas. Formulario 4: Niños y niñas de 2 años y 6 meses a 3 años, con 15 preguntas. Formulario 5: Niños y niñas de 4 a 5 años, con 14 preguntas. En el encabezado de cada cuestionario figura la siguiente información: N° de formulario, título del mismo, fecha de la encuesta, fecha de nacimiento del niño, nombre y apellido del niño, número de documento y nivel educativo de la madre. Se incluyó la siguiente leyenda: Este formulario tiene preguntas sobre las cosas que hacen los niños y niñas. Queremos conoces cuáles ya puede hacer su niños o niñas y cuáles todavía no. Lea cada pregunta y marque con una X lo que corresponda. Si tiene dudas, marque “NO SÉ”. Cada formulario tiene un color determinado que lo identifica con el intervalo etáreo para el cual está destinado (ver más abajo). Cada pregunta admitía respuestas por sí o por no, aunque había una tercera alterativa: “no sé”. (Ver Anexo 2 con los 5 formularios CPPP) 16 4. Validación concurrente del cuestionario Los resultados de este trabajo fueron publicados en Archivos Argentinos de Pediatría, 2013, 111, (referencia 53). 4.1. Métodos Para el estudio de la validación se siguieron los lineamientos dados por el Ministerio de Salud Pública sobre confección de cuestionario (47), y los establecidos por la literatura (54), que fueron los utilizados para la validación concurrente de la PRUNAPE (10). Se estudió la validez concurrente, es decir, el grado con que el cuestionario es capaz de identificar niños que no pasan la PRUNAPE. Para ello se usaron los indicadores habituales: sensibilidad, especificidad, valor predictivo positivo y negativo, porcentaje de coincidencia y Coeficiente Kappa de Cohen (10). 4.2. Objetivos Objetivo general Evaluar el grado de validez predictiva del cuestionario con respecto a los resultados de la Prueba Nacional de Pesquisa (PRUNAPE). Objetivos específicos Evaluar la sensibilidad, especificidad, valores predictivos positivos y negativos, porcentaje de coincidencia y coeficiente de concordancia de Cohen entre el cuestionario y la PRUNAPE. Evaluar la existencia de eventuales diferencias en la concordancia entre el formulario administrado por personal de salud, o auto-administrado por las madres. Se solicitó a las autoridades de Salud de Florencio Varela la colaboración con el proyecto, lográndose la aceptación del Sr. Secretario de Salud. Se designó un coordinador local de campo. La Dirección General de Salud Ambiental designó a una persona a cargo de la coordinación de las acciones con la Secretaría de Salud. 4.3. Criterios de selección de los niños y sus madres. Convocatoria El estudio de validación del Cuestionario PRUNAPE Pre-Pesquisa (CPPP) se llevó a cabo en el Municipio de Florencio Varela durante los meses de julio y agosto de 2012. Se estimó el tamaño muestral óptimo en 700 madres y niños, unos 140 por grupo etario. La muestra debía estar compuesta por madres de barrios previamente seleccionados en conjunto con la Secretaría de Salud del Municipio de Florencio Varela. Dichos barrios contaban con promotoras de salud para contactar e invitar a las madres en sus domicilios, y con sociedades de fomento donde llevar a cabo la encuesta. Las autoridades del Municipio convocaron a las promotoras de salud, miembros de las agrupaciones barriales y otros actores sociales a recorrer barrios previamente determinados para invitar a participar a las madres. Luego de su aceptación se las invitaba a leer y firmar el 17 consentimiento informado, y al día siguiente eran trasladadas a las diferentes sociedades de fomento en las que se llevó a cabo el estudio. Solo se evaluò un niño por hogar. Los criterios de inclusión de los niños y sus madres coincidieron con los del estudio de comprensión del cuestionario: Madres que concurren con sus hijos a centros de salud del sector público (niños en buen estado de salud). Los criterios de exclusión fueron: Niños con trastornos de desarrollo ya reconocidos o diagnosticados. Niños con enfermedades agudas (fiebre, bronquiolitis, etc.). Habiendo seleccionado un hogar con una madre y un niño, se exluyeron todos los otros niños del mismo hogar, de manera tal que se estudiaran solamente un niño por hogar. Se evaluó también una pequeña muestra de madres que concurrieron con sus niños al Consultorio de Niño Sano de la División de Promoción y Protección de la Salud del Hospital de Niños Ricardo Gutiérrez. Estas madres y niños son de bajo nivel socioeconómico que provienen de todo el conurbano bonaerense y de la C.A.B.A. Se obtuvo la expresa aceptación de la Dirección de dicho Hospital previa consulta con los Comités de Investigación y de Ética. 4.4. Información recolectada en terreno A cada pareja de madre con su niño se les administró las siguientes pruebas: Cuestionario CPPP I: auto-administrado por la madre o cuidador. Cuestionario CPPP II: tiene el mismo formato que el CPPP I, pero administrado por personal de salud a la madre o al cuidador. Administración de la PRUNAPE al niño. El cuestionario CPPP I de auto-administración fue llenado por la madre o cuidador. El cuestionario CPPP II fue completado por un profesional, y la PRUNAPE fue administrada por otro profesional. La administración del CPPP II y de la PRUNAPE fue hecha en forma ciega, es decir, ningún profesional sabía el resultado que había obtenido el otro profesional en la misma madre /hijo. A los fines sólo de la investigación de la validez, el CPPP I tenía un suplemento troquelado para identificar el niño con los registros CPPP II y PRUNAPE. El número de identificación del niño y su madre fue el mismo para los tres formularios (el cuestionario de auto-administración, el administrado por personal de salud, y la PRUNAPE). 4.5. Equipo de trabajo A los fines de administrar el cuestionario CPPP y la PRUNAPE, se invitó a participar a los profesionales que ya habían participado de la Encuesta de Nutrición, Desarrollo y Análisis Toxicológico (ENUDPAT II). El mismo estuvo constituido por una coordinadora de campo, una supervisora, y un grupo de profesionales convocados para la administración del cuestionario a las madres y de la PRUNAPE a los niños. 18 4.6. Lugares seleccionados para el trabajo en terreno El estudio fue realizado en la Sociedad de Fomento 17 de diciembre del Barrio de San Nicolás, Sociedad de Fomento de Barrio Parque, Centro de Integración Comunitaria del Barrio Pico de Oro, Cooperativa 20 de diciembre del Barrio Villa Argentina y Sociedad de Fomento del Barrio Villa Mónica, todos ubicados en el partido de Florencio Varela. 4.7. Gestión de la administración de las tres pruebas Se siguió el siguiente orden: - Convocatoria a las madres (en nombre del Municipio). En el ANEXO 5 se muestra el texto del consentimiento informado. - Firma del consentimiento informado - Traslado de las madres al lugar de estudio. Las madres y sus niños eran recibidas por personal del Municipio que les repartía té y galletitas. La supervisora del equipo les explicaba el propósito del estudio a las madres, entregaba los consentimientos informados, relevaba la edad de los niños y luego entregaba a las madres un lápiz con el formulario correspondiente según la edad del niño para que procedieran a la autoadministración del cuestionario. - Llenado del CPPP por parte de las madres, entrega del formulario a la supervisora. - La supervisora cortaba un troquel con el número de identificación del cuestionario y se lo entregaba a la madre marcando que el primer paso había sido efectuado. - La supervisora asignaba a dos profesionales diferentes para continuar con los siguientes pasos y desde una net-book cargaba dentro de un programa diseñado especialmente para este estudio, los datos completados por la madre en el CPPP I. - El profesional encargado del CPPP II llamaba a la madre y a su niño según el número asignado en el troquel y le administraba el cuestionario leyendo las preguntas desde su respectiva netbook. - El profesional encargado del CPPP II cargaba los datos en el sistema sin acceder a lo completado por la madre en el CPPP I. Luego marcaba en el troquel que el segundo paso había sido realizado. - Finalmente el profesional que administraba la PRUNAPE al niño, llamaba a la madre según el troquel asignado, corroboraba que en él estuviese indicado la realización de los otros pasos y llevada adelante las pruebas asignadas por el programa diseñado, cargando en su net-book los resultados. - Los profesionales, la supervisora de equipo o las promotoras de salud del Municipio, al concluir con la participación en el estudio, entregaban un juguete para el niño en agradecimiento por su colaboración. 4.8. Registro de la información Tanto el CPPP II como la PRUNAPE fueron administrados en formato digital. Los formularios (Ver Anexo 2) estaban montados en una base de datos alojada en los servidores de Acumar. Tanto la coordinadora de campo, como la supervisora y los 14 profesionales que administraban el CPPP II y la PRUNAPE estaban equipados cada una con una netbook, y un módem con conexión a Internet, de manera tal que una vez en terreno 19 entraban al sistema de Acumar y por esta vía localizaban el CPPP II y la PRUNAPE y realizaban la carga virtual. En el caso de la PRUNAPE, el programa estaba diseñado para que automáticamente calculara la edad del niño (ajustando la edad gestacional en niños pre-término menores de dos años), e indicara las pautas A y B que se debían administrar. En una primera etapa se realizó la carga on line de datos con la base alojada en el servidor de Acumar. Luego en virtud de los problemas de conectividad encontrados, se creó para la carga de datos una red local que conectaba a todas las computadoras que se desempeñaban en el campo. Hasta que esta segunda alternativa estuvo organizada, muchos formularios y PRUNAPES fueron administrados en papel y luego ingresados manualmente a la base de datos. 4.9. Resultados 4.9.1.Características de la muestra de validación La tabla 1 muestra el tamaño de la muestra, por grupo de edades, sexo y lugar de evaluación. Tabla 1 Composición de la muestra por intervalos de edad Cuestionario N° Número de niños 1 (6 a 11 meses) 75 2 (12 a 17 meses) 73 3 (18 a 29 meses) 126 4 (30 a 47 meses) 128 5 (48 a 71 meses) 131 TOTAL 533 Tabla 2 Composición de la muestra según sexo Niñas: 257 Niños: 276 De los 533 niños y madres, 487 díadas eran de Florencio Varela, y 46 niños del Hospital Gutiérrez, todos éstos menores de 18 meses, que fue el grupo etario más difícil de convocar. Hubo 449 madres nacidas en Argentina, 17 en Bolivia, 52 en Paraguay y 15 en Perú. Dos madres no tenían instrucción formal alguna (y no pudieron completar el cuestionario autoadministrado), 217 tenían escolaridad primaria, 277 secundaria (completa o parcial), y 31 terciaria. 20 En 6 madres no había información sobre su nivel educativo pero sabían leer y escribir. 4.9.2. Porcentaje de coincidencias Con el objeto de determinar si había alguna pregunta confeccionada cuyo cumplimiento o no cumplimiento tuviera un porcentaje de coincidencias muy diferente al del resto de las preguntas, se estudió la proporción de ellas cuyo resultado coincidía o no con su pauta PRUNAPE equivalente (Anexo 4). La figura siguiente se muestra el porcentaje de coincidencia (% C) entre las pautas PRUNAPE y las preguntas del cuestionario I (auto-administrado). Se observa que no hay ningún ítem que se aparte groseramente de la nube de puntos. El porcentaje de coincidencias oscila entre 60 y 100 %. Se eliminaron los ítems 29, 49 y 79, que fueron los que menos porcentaje de coincidencias mostraron, pero no se encontraron cambios en los indicadores de validación. Figura 1 Porcentajes de coincidencia (% C) de cada pregunta del cuestionario I con su correspondiente pauta PRUNAPE En la figura siguiente se observan los porcentajes de coincidencias entre los ítems del cuestionario auto-administrado y el administrado por personal de salud (I y II). Si bien pareciera que hay discretamente mayor coincidencia que en la figura anterior, tampoco se observan ítems que se aparten groseramente de la distribución. El ítem 62 (trípode) fue cumplido por todos los niños en todas las pruebas PRUNAPE. 21 Figura 2 Porcentaje de coincidencias (% C) entre ítems del cuestionario I (autoadministrado) y el II (administrado por el personal de salud) En la Figura 3 la distribución de los porcentajes de coincidencias no se diferencian de la de los dos estudios anteriores, pero el ítem N° 29 (ver flecha) tiene un % menor del 60 %, por lo cual se calcularon los indicadores de validación (sensibilidad, especificidad, etc.) con los cuatro puntos de corte eliminando o incluyendo este ítem en los cálculos; no se encontraron diferencias en la validez, por lo cual se optó por dejar el ítem. Figura 3 Porcentaje de coincidencias (% C) entre el cuestionario Administrado por el personal de salud y la PRUNAPE. 22 En la Tabla siguiente (Tabla 2) se muestran los valores de validación calculados sobre el formulario 3 (que contiene el ítem 29), con (tabla 2 a) y sin (tabla 2 b) el ítem 29, para el cuestionario I (auto-administrado). Tabla 3 Valores de validación (de acuerdo a los cuatro puntos de corte establecidos en el párrafo 4.9.3.) calculados sobre el formulario 3 (que contiene el ítem 29), con y sin el ítem 29. Formulario auto-administrado por las madres. a) Con el ítem 29 Criterio N° Concor dancia Kappa Especificidad Sensibilidad Valor predictivo Negativo Valor predictivo Positivo 0.19 0.20 0.20 0.21 0.71 0.90 0.52 0.81 0.49 0.31 0.68 0.41 0.54 0.53 0.58 0.54 0.66 0.78 0.62 0.72 (%) 1 2 3 4 59 58 60 59 b) Sin el ítem 29 Criterio N° Concor dancia Kappa Especificidad Sensibilidad Valor predictivo negativo Valor predictivo positivo 0.21 0.16 0.19 0.25 0.81 0.93 0.71 0.91 0.41 0.24 0.49 0.35 0.54 0.51 0.54 0.55 0.72 0.80 0.66 0.83 (%) 1 2 3 4 69 56 59 61 4.9.3. Validación (53) Se evaluó la concordancia de cada ítem del cuestionario con el correspondiente de la PRUNAPE. Para cada ítem se estimó: C: la proporción de coincidencias: proporción de niños que no pasan el test y tienen un trastorno del desarrollo más la proporción de niños que pasan el test y no tienen trastorno del desarrollo. K: el coeficiente de concordancia Kappa de Cohen: proporción de coincidencias, sustrayendo las coincidencias que puede haber debidas al azar, dividido 1 menos las coincidencias por azar. El denominador garantiza que el coeficiente valga 1 si ambos evaluadores coinciden. S: la sensibilidad: estima la capacidad del test para detectar los casos que no van a pasar la Prunape. E: la especificidad: estima la capacidad del test para detectar los casos normales. 23 VPN: el valor predictivo negativo: estima la probabilidad que tiene un niño habiendo pasado el cuestionario, de luego pasar la PRUNAPE. VPP: el valor predictivo positivo: estima la probabilidad que tiene un niño no habiendo pasado el test, de no aprobar la PRUNAPE. En otras palabras, es la probabilidad que tiene un niño que cuando es derivado a un centro médico por no haber pasado el cuestionario, se encuentre que no pasa la prueba (Prunape) y por lo tanto, tiene alta probabilidad de padecer un trastorno del desarrollo. La Tabla 3 muestra los indicadores de validación global y de cada cuestionario autoadministrado por las madres y por personal de salud según cuatro criterios de puntos de corte: Criterio 1: el niño no cumple una pregunta cuyo percentil 90° de la edad de cumplimiento de la prueba Prunape equivalente es menor que la edad del niño. Criterio2: el niño no cumple dos preguntas cuyo percentil 90° de la edad de cumplimiento de la prueba Prunape equivalente es menor que la edad del niño. Criterio 3: el niño no cumple una pregunta cuyo percentil 75° de la edad de cumplimiento de la prueba Prunape equivalente es menor que la edad del niño. Criterio 4: el niño no cumple dos preguntas cuyo percentil 75° de la edad de cumplimiento de la prueba Prunape equivalente es menor que la edad del niño. Tabla 3 Indicadores de validación de cada cuestionario I (autoadministrado) y II (administrado por personal de salud) según puntos de corte seleccionados Formulario 1 (6-11 meses) Autoadministrados (I) C K E S Admin. por personal de Salud (II) VPN VPP C K E S VPN VPP C1 0.65 0.33 0.51 0.84 0.81 0.56 0.63 0.24 0.65 0.59 0.68 0.56 C2 0.67 0.30 0.77 0.53 0.69 0.63 0.67 0.28 0.88 0.38 0.66 0.71 C3 0.57 0.20 0.35 0.88 0.79 0.50 0.56 0.16 0.42 0.75 0.69 0.49 C4 0.65 0.31 0.63 0.69 0.73 0.58 0.59 0.14 0.70 0.44 0.62 0.52 Formulario 2 (11-17 meses) Autoadministrados (I) C K E S Admin. por personal de Salud (II) VPN VPP C K E S VPN VPP C1 0.53 0.00 0.64 0.36 0.62 0.38 0.63 0.16 0.82 0.32 0.66 0.53 C2 0,64 0.13 0.93 0.18 0.65 0.62 0.67 0.18 0.98 0.18 0.66 0.83 C3 0.52 0.06 0.49 0.57 0.65 0.41 0.58 0.10 0.67 0.43 0.65 0.44 C4 0.66 0.18 0.91 0.25 0.66 0.64 0.66 0.18 0.91 0.25 0.66 0.64 24 Formulario 3 (18 a 29 meses ) Autoadministrados (I) C K E S Admin. por personal de Salud (II) VPN VPP C K E S VPN VPP C1 0.59 0.19 0.71 0.49 0.54 0.66 0.54 0.10 0.71 0.40 0.50 0.61 C2 0.58 0.20 0.90 0.31 0.53 0.78 0.54 0.13 0.95 0.19 0.50 0.81 C3 0.60 0.20 0.52 0.68 0.58 0.62 0.60 0.18 0.53 0.65 0.50 0.62 C4 0.59 0.21 0.81 0.41 0.54 0.72 0.56 0.16 0.88 0.29 0.52 0.74 Formulario 4 (30 a 35 meses) Autoadministrados (I) C K E S Admin. por personal de Salud (II) VPN VPP C K E S VPN VPP C1 0.58 0.19 0.73 0.52 0.38 0.82 0.66 0.33 0.84 0.58 0.45 0.90 C2 0.45 0.13 0.95 0.25 0.34 0.92 0.44 0.12 0.97 0.22 0.34 0.95 C3 0.74 0.38 0.57 0.81 0.55 0.82 0.77 0.43 0.54 0.87 0.62 0.82 C4 0.55 0.16 0.73 0.47 0.36 0.81 0.64 0.32 0.86 0.55 0.44 0.91 Formulario 5 (36 A 71 meses) Autoadministrados (I) C K E S Admin. por personal de Salud (II) VPN VPP C K E S VPN VPP C1 0.60 0.20 0.73 0.48 0.59 0.63 0.66 0.31 0.79 0.52 0.63 0.71 C2 0.54 0.08 0.88 0.20 0.53 0.62 0.59 0.17 0.92 0.25 0.55 0.76 C3 0.62 0.24 0.56 0.68 0.64 0.60 0.69 0.38 0.56 0.82 0.76 0.65 C4 0.63 0.26 0.83 0.43 0.60 0.72 0.72 0.43 0.85 0.58 0.67 0.79 Se observaron varios resultados de interés. En primer lugar, tal como es de esperar, hay puntos de corte que se asocian a una sensibilidad alta, pero con una baja especificidad; si se buscan puntos de corte asociados a una mayor especificidad, entonces se pierde sensibilidad y viceversa. Por ejemplo, en el formulario 5, administrado por personal de salud, el punto de corte 3 se asocia a una sensibilidad de 0,75 pero a una especificidad de 0,37. Si queremos mejorar la especificidad y elegimos el punto de corte 4, alcanzamos el valor de 0,85, pero a expensas de 25 bajar la sensibilidad. El otro hallazgo importante es que no hay grandes diferencias de validez entre el cuestionario I y II en los distintos formularios (1 a 5). A los fines de brindar consignas claras para la aprobación del cuestionario, se seleccionaron puntos de corte para cada formulario, dándole prioridad al valor predictivo positivo. Esto es a la probabilidad que tiene un niño que no pasa el cuestionario de luego no pasar la PRUNAPE. 4.10. Puntos de corte En base a estos criterios, en la tabla 4 (a y b) se muestran los puntos de corte seleccionados. Esta selección fue realizada en forma ciega, es decir, se seleccionaron los puntos de corte de un cuestionario (I, autoadministrado) sin saber cuáles eran los puntos de corte elegidos para el cuestionario administrado por personal de salud. Los resultados fueron de interés. Para ambos cuestionarios, los puntos de corte fueron los mismos en todos los formularios. Tabla 4 a Indicadores de validación de cada cuestionario I (autoadministrado) según puntos de corte seleccionados para uso en atención primaria Formulario N % conc Autoadministrado kappa esp sens Pred - Pred + 1 75 66,67 0,31 0,77 0,53 0,69 0,63 2 73 65,75 0,18 0,91 0,25 0,66 0,64 3 126 59,52 0,21 0,81 0,41 0,54 0,72 4 128 57,81 0,19 0,73 0,52 0,38 0,83 5 131 63,36 0,27 0,83 0,43 0,60 0,72 Indicadores 533 globales (Todos juntos) * 61,91 0,26 0,82 0,45 0,56 0,73 Tabla 4 b Indicadores de validación de cada cuestionario II (administrado por personal de salud), según puntos de corte seleccionados para uso en atención primaria Formulario N % conc Personal de Salud kappa esp sens Pred - Pred + 1 75 66,67 0,28 0,88 0,38 0,66 0,71 2 73 65,75 0,18 0,91 0,25 0,66 0,64 3 126 56,35 0,17 0,88 0,29 0,52 0,74 4 128 65,63 0,33 0,84 0,58 0,45 0,90 5 131 71,76 0,43 0,85 0,59 0,68 0,79 Indicadores 533 globales (Todos juntos) * 65,10 0,32 0,87 0,46 0,59 0,80 26 “Todos juntos” significa que la validación global del cuestionario fue calculada juntando los cinco formularios en una sola muestra, y no haciendo el promedio simple de la sensiblidad de cada cuestionario. Ejemplos: PC: 2 pautas perc. 90°, significa que el niño no cumple dos preguntas cuyo percentil 90 es menor que la edad del niño. PC: 2 pautas perc. 75°, ídem significa que el niño no cumple dos preguntas cuyo perc. 75° es menor que la edad del niño. PC: 1 pauta perc. 90°: ídem significa que el niño no cumple una pregunta cuyo percentil 90 ° es menor que la edad del niño, C: proporción de coincidencias, K: Coeficiente Kappa de Cohen; E: Especificidad, S: sensibilidad, CPN: Valor predictivo negativo, VPP: Valor predictivo positivo, PC: Punto de corte. 4.11. Poder predictivo del peso de nacimiento Composición de la muestra según peso de nacimiento: - 45 casos con peso de nacimiento < 2500 g 6 casos con peso de nacimiento < 1500 g Distribución Indicadores de validación tomando como criterio el bajo peso de nacimiento. Tabla 5 Proporción de niños que no pasan la PRUNAPE según el peso al nacimiento, e indicadores de validez No pasa PN<2500g 33 PN≥2500g 249 PN<1500g 5 PN≥1500g 277 PN: peso de nacimiento Pasa 12 236 1 247 C K E S VPN VPP 0.51 0.65 0.95 0.13 0.49 0.73 0.48 0.13 0.996 0.03 0.47 0.83 La prevalencia de bajo peso al nacer en la muestra es la siguiente: 45 / 530 = 8,5 %, y la prevalencia de muy bajo peso es de 1,3 %, ambos valores semejantes a los encontrados en las estadísticas nacionales. Se observa una muy alta especificidad así como poder predictivo positivo cuando se toma el bajo o el muy bajo peso al nacer como criterio de riesgo (ver Anexo 7). Ciertamente la sensibilidad es baja, pero con el criterio de bajo o muy bajo peso al nacer no se busca detectar a todos los niños en riesgo, pero sí se puede decir que si tienen bajo o muy bajo peso al nacer, la probabilidad de no pasar la PRUNAPE es muy alta, y esto debería bastar para no tener la necesidad de administrar un cuestionario. A los niños con bajo o muy bajo peso debe 27 administrárseles la PRUNAPE directamente, dado que el bajo o muy bajo peso al nacer es un factor de riesgo en sí mismo. C: proporción de coincidencias, K: Coeficiente Kappa de Cohen; E: Especificidad, S: sensibilidad, CPN: Valor predictivo negativo, VPP: Valor predictivo positivo Los resultados globales muestran algunas alternativas que hacen posible la utilización del cuestionario en el nivel primario de atención, con un grado aceptable de confiabilidad. Al contrario de lo que ocurre en la tarea clínica, en el caso de procedimientos de screening el objetivo es derivar (o estudiar) al menor número posible de niños sanos. Desde ya que se ha buscado la mejor combinación, pero teniendo en cuenta que ambos indicadores reflejan propiedades opuestas, se le dio prioridad a la especificidad y al poder predictivo positivo. 4.12. Indicadores de validación en relación a la prevalencia de trastornos del desarrollo Hay indicadores de validación concurrente que son dependientes del test e independientes de la población en la cual se aplica el test. Ellos son la sensibilidad y la especificidad del test. Ambas son propiedades del test, independientemente del lugar y de la población donde se aplica. En cambio, hay indicadores que son dependientes de la prevalencia de casos patológicos en la población en la cual se aplica el test. Ellos son el valor predictivo positivo (VPP) y el valor predictivo negativo (VPN). El valor predictivo positivo es particularmente importante, ya que todo el sistema de derivación se planifica en base a la proporción de niños que se estima que va a tener un resultado insatisfactorio con los estudios realizados en la derivación, en nuestro caso, con la Prunape. Ilustramos estas situaciones mediante un ejemplo hipotético; una prueba es aplicada a poblaciones con tres prevalencias hipotéticas diferentes (tabla 6 [a y b]). La prueba mantiene la sensibilidad y la especificidad pero los valores predictivos cambian. Hay que tener en cuenta esto si se utiliza la herramienta en una población muy diferente a la utilizada para la presente validación. Tabla 6 (a) Resultados de tres estudios hipotéticos de validación, con la misma proporción de niños que no pasan el cuestionario (0/1) A B C N=533, Prev. 53,0 % N=28649, Prev. 99,0 % N= 25184, Prev. 1,1 % N/P P N/P P N/P P 0 122 44 12200 44 122 4400 1 162 205 16200 205 162 20500 N/P: no pasa la PRUNAPE P: Pasa la PRUNAPE 0 y 1: respuestas del cuestionario hipotético (pasa o no pasa el cuestionario) 28 Tabla 6 (b) Resultados de validación en tres estudios hipotéticos con igual proporción de casos que pasan y no pasan el CPPP, y diferente prevalencia de casos que no pasan la PRUNAPE Muestra A B C Prevalencia 53.3% 99.0% 1.1% %C 61.3 43.3 81.9 K 0.25 0.01 0.03 E 0.82 0.82 0.82 S 0.43 0.43 0.43 VPN 0.56 0.01 0.99 VPP 0.73 0.996 0.03 Se observa que en el caso en que la prevalencia es del 53,3 % el valor predictivo positivo es de 0,73, mientras que cuando la prevalencia es de 99 % el VPPP sube a 0,996, y cuando la prevalencia baja a 0,01 el VPPP es de 0,03. Es por esta razón que debemos saber que el VPP de este cuestionario es alto, pero en poblaciones con alta prevalencia de niños que no pasan la PRUNAPE. 4.13. Comentario sobre nivel educativo materno En la encuesta se registró si el último año escolar de la madre había sido en el ciclo primario o en el secundario. Con este criterio, se dividió la muestra en dos grupos (educación primaria, completa o incompleta) y educación secundaria (completa o incompleta) y se estudiaron los valores de validación con los cuatro puntos de corte seleccionados (Ver Anexo 5). Los resultados se muestran en la figura 4 (a, b, c y d). Figura 4 Indicadores de validación del cuestionario administrado por personal de salud y autoadministrado, en dos niveles educativos maternos Eje de las x 1: Proporción de coincidencias 2: Especificidad 3: Sensibilidad 4: Valor predictivo negativo 5: Valor predictivo positivo Serie 1: (columnas azules): escolaridad primaria Serie 2: (columnas rojas): escolaridad secundaria Eje de las y Proporción de casos a) Punto de corte 1 (un ítem Percentil 90°) Personal de salud 29 1 0,8 0,6 Series1 0,4 Series2 0,2 0 1 2 3 4 5 Autoadministrado 0,8 0,6 Series1 0,4 Series2 0,2 0 1 2 3 4 5 b) Punto de corte 2 (dos ítems percentil 90°) 1,2 1 0,8 0,6 Series1 0,4 Series2 0,2 0 Administrado por personal de salud Autoadministrado 0,8 0,6 Series1 0,4 Series2 0,2 0 1 2 3 4 5 1 2 3 4 5 30 c) Punto de corte 3 (un item percentil 75°) Personal de salud 1 0,8 0,6 Series1 0,4 Series2 0,2 0 1 2 3 4 5 Autoadministrado 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0 Series1 Series2 1 2 3 4 5 d) Punto de corte 4 (dos ítems percentil 75°) Personal de salud 1 0,8 0,6 Series1 0,4 Series2 0,2 0 1 2 3 4 5 Autoadministrado 1 0,8 0,6 Series1 0,4 Series2 0,2 0 1 2 3 4 5 31 Porcentaje de coincidencias en los cuatro puntos de corte, en ambos cuestionarios: A pesar de la variabilidad de los resultados según puntos de corte, se observa una tendencia sistemática a mayores porcentajes de coincidencias en madres con escolaridad secundaria respecto de escolaridad primaria, en todos los puntos de cortes en ambos cuestionarios, tal como lo ilustra la tabla 7. Tabla 7 Porcentaje de coincidencias en ambos cuestionarios, por puntos de corte y nivel educativo materno. Administrado por personal de salud Primario Auto administrado Secundario Primario Secundario PC 1 0,60 0,63 0,54 0,63 PC 2 0,50 0,60 0,52 0,58 PC 3 0,64 0,66 0,57 0,63 PC 4 0,59 0,66 0,57 0,63 Se observa que en todos los puntos de corte y en ambos cuestionarios, el porcentaje de coincidencias es siempre (en forma asistemática) mayor en las madres con educación secundaria. No obstante, teniendo en cuenta los intervalos de confianza encontrados (ver ANEXO 6) las diferencias no son significativas. 32 5. Guía de uso del CPPP Los cinco formularios se encuentran en el ANEXO 2. 5.1. Aspectos generales del CPPP El CPPP fue diseñado para ser utilizado en el primer nivel de atención en los niños que no presenten problemas aparentes del desarrollo o la conducta. Sirve para detectar niños con alto riesgo de presentar trastornos del desarrollo detectables con la Prueba Nacional de Pesquisa PRUNAPE. Es por ello que a todo niño que no pase el cuestionario se le deberá administrar la PRUNAPE. La implementación del CPPP como parte de un programa de atención de salud o de pesquisa debe ser decidida por autoridades de salud y coordinada por un miembro del equipo de salud que conozca bien este Manual Instructivo. El CPPP puede ser autoadministrado por la madre/cuidador o por personal de salud, en ambos casos el niño debe estar presente. En los formularios 4 y 5 (cuestionarios para niños de 3 o más años) hay algunas pruebas dirigidas al niño por lo cual debe estar tranquilo, alerta y en buenas condiciones de salud para su administración. 5.2. Lugar e instrumentos de aplicación Es conveniente que el formulario sea llenado en un ambiente tranquilo, sin interferencias. Puede ser una sala de espera en un centro de salud, el hogar, etc. Hace falta un lápiz o birome para el llenado del formulario. Es necesario una mesa o mueble para poder apoyar el cuestionario. 5.3. Personal a cargo El CPPP puede ser llenado por la madre (o cuidador) o por personal del equipo de salud. Para el llenado por parte de la madre o quien esté a cargo de la crianza del niño, se requiere una breve explicación sobre el sentido del cuestionario y la forma de llenarlo. La decisión sobre la aprobación o fracaso del cuestionario debe ser tomada por personal del equipo de salud que conozca bien este Manual Instructivo y su Guía de Uso. El personal debe asimismo seleccionar el formulario que le corresponde utilizar según la edad exacta del niño. Para esto debe preguntar a la madre la fecha de nacimiento de su niño y calcular la edad exacta, mediante una resta: Fecha de hoy (19/5/13) - Fecha de nacimiento (10/3/09) = Edad del niño Ej: 2013 5 19 2009 3 10 -------------------------------------4 2 9 El niño tiene 4 años, 2 meses y 9 días. Le corresponde el Formulario 5. 33 CPPP autoadministrado En base a los resultados obtenidos en este estudio, toda madre que sepa leer y escribir está en condiciones de llenar el formulario sin ayuda, cualquiera sea su nivel educativo. En caso de no contar con la madre, puede auto-administrarlo por otra persona a cargo del niño que conviva o pase varias horas diarias con él. Se procederá de la siguiente manera: Acérquese a la madre e invítela a llenar el formulario con palabras semejantes a éstas o adaptadas al contexto local: Estimada señora: estamos haciendo una evaluación de las cosas que los niños de la edad de su hijo pueden hacer; tienen que ver con el lenguaje, y con el desarrollo del niño en general y le solicitamos su colaboración. Si está de acuerdo, le pedimos que llene este cuestionario, tratando de contestar todas las preguntas. Debe marcar con una cruz las respuestas a cada pregunta. Algunas preguntas son para niños más grandes, de manera tal que no debe preocuparse si su niño o niña no las cumple. Cuando no esté segura de si su niño cumple o no cumple una pregunta, conteste “no sé”, o cuando se trata de una prueba, conteste “no colabora”. Si tiene alguna duda, pregúntenos. Devuélvanos el cuestionario cuando termine. Muchas gracias. Luego entréguele un lápiz o birome para que lo complete. Es importante establecer un clima de confianza y tranquilidad con los padres. Esto favorece la participación y la posibilidad de obtener resultados más confiables. Debemos explicar claramente cómo será el proceso y cuáles son los objetivos del cuestionario, no generando en los padres ni preocupaciones innecesarias, ni falsas expectativas. Sugerimos explicar que se trata de conocer un poco más a sus hijos y de ocuparse de las dificultades si fuera necesario. Es necesario que siempre haya personal de salud que esté a cargo del cuestionario llenado por la madre. CPPP administrado por personal de salud Si la madre dice no sentirse segura con la lectura o la interpretación del cuestionario, o que no sabe leer y escribir, o simplemente porque así lo deciden las autoridades de Salud, entonces el CPPP será administrado por el personal de salud. El cuestionario puede ser administrado por personal de salud como pediatras, médicos generales, psicólogos, psicopedagogos, psicomotricistas, estimuladoras tempranas, enfermeras, etc. En todos los casos, el personal de salud a cargo de administrar el CPPP debe antes leer en forma completa este Manual Instructivo y su Guía de Uso para aclarar todas las dudas que le surjan. 34 5.4. Encabezamiento de los formularios El cuestionario consta de cinco formularios uno para cada grupo de edad. Todos los formularios tienen el mismo encabezado: Formulario N°….. : Indica el número del formulario; son cinco, uno para cada grupo etáreo. Niños y niñas de …. a…. : Indica el rango etáreo al cual corresponde cada formulario. Cuando dice “4 Años”, se entiende desde 4.0 años hasta 4.99 años (o cuatro años, once meses y 29 días). Número de identificación (uso oficial): ítem para ser llenado por el sistema de salud, por ello dice “uso oficial”. Es el número con el cual el centro de salud, o la encuesta, o el CIC o el médico a cargo, o la institución, decide identificar al niño. Lo más aconsejable es identificarlo con el número de su documento de identidad. Fecha de hoy: corresponde a la fecha en que la madre o el personal de salud llenan el formulario. Se llena según la serie: día/mes/año. En programas informáticos, junto con la fecha de nacimiento, sirve para calcular automáticamente la edad del niño. Datos del niño/a: comprende información relativa al niño que se quiere evaluar. Nombre y apellido: se refiere al nombre y apellido del niño. Número de documento: Número de documento del niño. Si el niño aún no tiene documento de identidad, se puede generar un número ficticio, debidamente registrado, y entregado a la madre del paciente para que lo tenga disponible cuando asiste al consultorio con el niño. Fecha de nacimiento: se refiere a la fecha de nacimiento del niños expresada en términos de día/ mes/año. Peso al nacer. Se obtiene preguntándole a la madre. Anotar el peso en kilos. Si la madre dice “tres kilos y medio” anotar 3,500 Kg. Si la madre dice “tres kilos y pico” anotar 3 Kg. Si no recuerda el peso, anotar “no recuerda”. Datos de la madre o persona a cargo. Es el título del cuadro con datos de la madre, padre, cuidador o cuidadora. Nombre y apellido: nombre y apellido de la madre. Número de documento: número del documento de identidad de la madre. Marque con una “X” el nivel educativo alcanzado Primario incompleto secundario incompleto Primario completo Secundario completo terciario/universitario Marcar el casillero correspondiente al nivel educativo alcanzado por la madre o cuidadora. 35 Se incluye la siguiente explicación a los padres: Este formulario tiene preguntas sobre las cosas que hacen los niños y las niñas. Queremos conocer cuáles ya puede hacer su niño o niña y cuáles todavía no. Lea cada pregunta y marque con una X lo que corresponda. Si tiene dudas, marque NO SÉ. 5.5. Preguntas y pruebas de los formularios 5.5.1. Generalidades El cuestionario tiene preguntas y pruebas que se encuentran en el sector central de la hoja. Sobre el margen derecho, hay un sector destinado a ”Uso oficial”. Allí figuran los números de las pautas Prunape correspondientes a cada pregunta o prueba del CPPP. El formulario 5 es el único en el cual se debe utilizar el sector de “Uso oficial” para puntuar las preguntas 12, 13 y 14, según el dibujo del niño. Esto debe hacerlo siempre el personal de salud, NUNCA la madre. Las preguntas son hechas a la madre, que responde de acuerdo a lo que sabe sobre las habilidades del niño a partir de la vida cotidiana en el hogar. Por ejemplo, si el niño es capaz de patear una pelota. Las pruebas son pocas, y están solo en los formularios 4 y 5. Consisten en pedirle al niño que cumpla determinadas indicaciones. En el formulario 5 hay pruebas cuya aprobación tiene que decidirlas el agente de salud. Estas son las pruebas 12, 13 y 14, ya mencionado arriba. En la Guía de Uso se dan indicaciones al respecto. 5.5.2. Forma de hacer algunas preguntas y pruebas Características de las preguntas. En los cinco formularios las preguntas tienen un número a la izquierda, que es el número de orden de la pregunta del formulario específico. Se explicarán en detalle algunas preguntas y pruebas que pueden generar alguna duda. Formulario 4. Para niños y niñas de de 2 años y seis meses a 3 años y 11 meses Pruebas: Cuando el CPPP es autoadministrado la madre debe hacerle la prueba al niño. En el caso de que el cuestionario sea administrado por el agente de salud, el agente de salud es el que debe hacer la prueba al niño. 12: Señale usted las figuras de este dibujo y pídale al niño o niña que las nombre preguntándole: “Éste quién es“? Si puede reconocer 2 o más figuras marque SÍ. 36 El niño también aprueba aunque en vez decir “nene” o “papá”, o “mamá”, diga el nombre propio de los familiares, por ejemplo “Juan“ (refiriéndose al hermanito), o “tata”, o “tío pablo”. 13: Pídale al niño o niña que se pare en un solo pie sin apoyarse. Muéstrele cómo debe hacerlo. Dele 2 o 3 oportunidades y si puede hacerlo sin caerse, marque SÍ. Formulario 5 (para niños de 4 años a 5 años y 11 meses) Preguntas 2: ¿El niño o niña puede cumplir dos indicaciones seguidas cuando usted se lo pide? Por ejemplo: “trae tus zapatillas y cerrá la puerta”, “dame el pan y llamá a la abuela” o “buscá tu mochila y sentate”. Lo importante es que el niño pueda cumplir dos indicaciones dadas al mismo tiempo. No se trata de una prueba, es una pregunta hecha a la madre. Pruebas 5: Pregúntele al niño o niña ¿“para qué sirve la COCINA? ¿“para qué sirve la HELADERA”?. Si contesta bien cuál es el uso de los 2 objetos marque SÍ. En esta pregunta lo que interesa es saber si el niño es capaz de reconocer las funciones de los dos objetos dibujados: la cocina y la heladera. Interesa saber si el niño asocia la cocina con el calor, la cocción de la comida, el fuego. Interesa saber si el niño asocia a la heladera con el frío, con la conservación de alimentos. Están bien respuestas como: “la COCINA sirve para cocinar, para calentar la comida, hacer el mate, y la HELADERA sirve para enfriar, congelar, conservar la comida”. 6: Sin mostrarle ni ayudarlo, pídale al niño o niña que señale los colores diciendo: “mostrame el rojo, mostrame el amarillo, mostrame el azul, y por último: mostrame el verde”. Marcar SÍ si el niño señala correctamente 3 ó 4 colores. Si le señala dos o menos, no pasa la prueba. 7: Pregúntele al niño o niña ¿“Cómo te das cuenta cuando es de día” y “¿Cómo te das cuenta cuándo es de noche? Si contesta bien una de las dos preguntas o las dos, marque SÍ. El sentido de esta pregunta es saber si el niño es capaz de diferenciar ambos períodos de la jornada. Es correcto si el niño asocia la noche a la oscuridad, la luna, las estrellas, al acto de dormir, o ir a la cama; y el día al sol, a la claridad, a ir al jardín, a la escuela, jugar, etc. 10: Pídale al niño o niña que camine solo poniendo un pie delante del otro, de forma tal que el talón de un pie toque con la punta del otro en una línea recta, como jugando a “pan y queso”, y si puede dar algunos pasos sin caerse, marque SÍ. Muéstrele al niño o niña cómo hacerlo. Recuerde que se trata de una prueba. Se le debe pedir al niño que siga las indicaciones. Se aprueba cuando el niño es capaz de dar al menos cinco pasos hacia adelante juntando talón – punta, según las indicaciones, sin caerse ni sostenerse. Preste atención, las madres la contestan frecuentemente sin hacerle la prueba al niño. 37 11. Pídale al niño o niña que haga lo mismo pero caminando hacia atrás, poniendo un pie detrás del otro, de forma tal que la punta de un pie toque con el talón del otro, y si puede dar algunos pasos sin caerse, marque SÍ. Muéstrele al niño o niña cómo hacerlo. En las siguientes pruebas (12, 13 y 14), el resultado lo marca siempre el personal de salud, NUNCA la madre (ya sea cuestionario autoadministrado o por personal de salud) 12. Pídale al niño o niña que copie con el lápiz la figura que se muestra debajo. Marque SÍ cuando el niño puede realizar dos líneas que se cruzan en algún punto, aunque sean de tamaño diferente a la del modelo. Si el dibujo es incorrecto, marque NO. Si no hay ningún dibujo, ponga “no colabora”. Ejemplos: SI (Cumple) NO (cumple) 13. Pídale al niño o niña que copie con el lápiz la figura que se muestra debajo. Marque Sí cuando el niño puede realizar un triángulo que se parezca a la figura, aunque sea de tamaño diferente. Tiene que tener tres lados, y las líneas unirse en ángulos agudos. 38 Ejemplos: SI (Cumple) Las rayas se unen, aunque se pasen NO (cumple) Las rayas No hay no se juntan ángulos agudos Si el dibujo es incorrecto, marque NO en el formulario. Si en el cuestionario auto-administrado no hay ningún dibujo, marque “no colabora”. 14: Pídale al niño o niña que dibuje una persona (una mamá, un papá, un nene, o una nena). El espacio en blanco que sigue es para que haga su dibujo de la figura humana. Esta tarea debe puntuarla el personal de salud en el sector “Uso oficial”. La figura de 3 partes corresponde al ítem 33 y la de 6 partes corresponde al ítem 36, con sus correspondientes opciones: SI, NO, NO COLABORA. Debemos contar las partes que tiene la figura humana que realizó el niño. Si el niño NO dibujó nada, se debe puntuar “No colabora” tanto para la figura de 3 partes como para la figura de 6 partes. Las partes de la figura humana son: cabeza, nariz, cuello, tronco, boca….Cada una es una (1) parte. Ambas partes pares (orejas, ojos, brazos…) deben estar presentes para contar como una (1). Ej: cabeza, 1 parte Total: 3 partes Boca, 1 parte. Cuerpo, 1 parte Si el niño hace una figura de menos de tres partes, la pregunta se da como no cumplida: Debe marca el NO para 3 partes y el NO para 6 partes. Si dibuja una persona con tres, cuatro o cinco partes: Debe marcar el SI para 3 partes (ítem número 33) y el NO para 6 partes. 39 Si hace la figura con seis o más partes: Debe marcar el SI para 3 partes y el SI para 6 partes (ítem número 36). 5.6. Evaluación final del cuestionario 5.6.1. Generalidades Quién decide si el niño pasa o no pasa el cuestionario es, en todos los casos, el evaluador del cuestionario CPPP, que debe ser personal de salud, preferentemente pediatra o médico que atiende niños, psicólogo/a o psicopedagogo/a, o enfermero/a universitario/a, trabajador/a social o terapista ocupacional. Recomendamos seguir los siguientes pasos: En la última página de los formularios, figura lo siguiente: Resultados del CPPP 1) La edad del niño es……………meses…….días. Aquí es necesario chequear la edad del niño para estar seguros de que conocemos la edad exacta en meses y días. Anotar esa edad (y de esta forma asegurarnos de que se ha llenado el formulario correspondiente). Por ejemplo, para un niño de 10 meses y 3 días, se debe haber llenado el formulario número 1. 2) Las preguntas a considerar aquí son aquellas cuyo percentil (90 ó 75, dependiendo del formulario) es menor que la edad del niño. El evaluador deberá seleccionar en el cuadro, las preguntas cuyo cumplimiento corresponde evaluar en este niño en particular, preguntas que toman el nombre de “Preguntas a considerar”. Estas preguntas son aquellas en que el percentilos 90 ó 75 (dependiendo del formulario) es menor que la edad del niño. En la columna central figuran los percentilos 90 ò 75 (dependiendo del número de formulario). Una vez seleccionadas las preguntas a considerar, márquelas con una cruz y luego tilde el casillero Cumple o No Cumple. Contar el número de preguntas a considerar con resultado No Cumple. 3) Decidir si Pasa o No Pasa en función de la cantidad de preguntas consideradas No Cumple para ESE número de formulario (en algunos formularios son DOS y en otros es UNA). Ejemplo: A continuación mostramos la estructura de los formularios que se encuentran en la parte final de los mismos, con ejemplos sobre la selección de las preguntas correspondientes. Al final de cada cuestionario figuran los números de las preguntas de cada formulario, seguido del número entre paréntesis que es el número de la pauta PRUNAPE. A la derecha de las 40 preguntas, en una columna que dice hay dos edades en meses y días, que son el percentil 75 y 90 de la edad de cumplimiento de la pauta Prunape (que figura en el Manual Técnico PRUNAPE). Formulario 1 Pregunta N° Preguntas a considerar P 90 Cumple No Cumple 1 5 m 23 d 2 5 m 26 d 3 5 m 26 d 4 6m 5 6 m 20 d 6 7 m 24 d 7 8m 5d 8 8m 5d 9 8 m 12 d 10 8m 5d 11 9 m 18 d 12 9 m 25 d 13 10 m 24 d 14 11 m 12 d 15 11 m 23 d 16 11 m 25 d Formulario 1: las preguntas a considerar son aquellas cuyo percentil 90 de la edad de cumplimiento es menor que la edad del niño. Por ejemplo, si el niño tiene 9 meses y cinco días, las preguntas a considerar son las l, 2, 3, 4, 5, 6, 7, 8, 9, y 10. Para el Formulario 1, el niño No Pasa el CPPP si la respuesta es NO CUMPLE en dos de las preguntas consideradas. 5.6.2. Resultados del cuestionario. Si el niño pasó el cuestionario, se trata de un niño que continuará con los controles habituales de salud para los niños de su edad. Podemos explicar esto a la madre con el siguiente texto: “el resultado del cuestionario sobre el desarrollo de su hijo niño es satisfactorio, y debe continuar con los controles habituales en salud.” Si el niño no pasa el cuestionario, se le debe administrar la PRUNAPE. Podemos explicar esto a la madre con un texto similar a éste: “Sería conveniente programar la administración de la PRUNAPE en otra consulta, para evaluar mejor el desarrollo de su hijo” y darle el turno correspondiente. No es conveniente enviar a la madre a sacar un turno a otro lugar; es mejor que haya una coordinación previa con el lugar donde se le administrará la PRUNAPE y el turno sea asignado en el lugar donde se administró el cuestionario. 5.6.3. Digitalización del CPPP Con el objeto de facilitar su administración en terreno, en la DGSA estamos preparando una versión digital. 41 6. ¿Qué hacer después del CPPP y la Prunape? Si un niño no pasa el CPPP, se le administrará luego la PRUNAPE. Si no pasa la PRUNAPE, resulta un niño con alta probabilidad de tener un problema en su desarrollo, y por lo tanto, deberá ser evaluado por un profesional con experiencia en problemas de desarrollo para llegar a una aproximación diagnóstica y tomar las medidas que correspondan. Hay muchas formas de cumplir con estas acciones, dependiendo fundamentalmente del lugar donde se está trabajando, de los recursos humanos y materiales existentes, y de la prevalencia de niños con resultados PRUNAPE insatisfactorios. Trabajos previos indican que la PRUNAPE es capaz de identificar una amplia variedad de trastornos del desarrollo, desde retraso global del desarrollo, retraso del lenguaje, problemas de audición, de aprendizaje y trastornos de espectro autista, entre otros. Salvo excepciones muchos servicios de salud carecen de equipos multidisciplinarios que puedan dar respuesta a una derivación numerosa. No existe una única forma de enfocar la atención de niños que no pasan la PRUNAPE. Depende de los recursos disponibles, del grado de integración de los diferentes niveles de atención, de la prevalencia de los problemas, etc. No obstante, a continuación se describe una forma posible de atención dentro de una estrategia de atención primaria (figura 5). Figura 5 Propuesta de esquema secuencial de pesquisa y de respuesta asistencial a los niños que no pasan la Prunape CPPP Pasa No pasa Control en salud PRUNAPE Pasa No Pasa Pediatra del desarrollo (Orientación diagnóstica) Estimulación Atención pediátrica Grupo diagnóstico multidisciplinario Observemos la figura. Si el niño no pasa la PRUNAPE, es necesario hacer un diagnóstico o una orientación diagnóstica. En lugares donde hay una gran prevalencia de niños con probable retraso del desarrollo atribuible a un ambiente desfavorable, puede hacerse una gran división: niños que tienen probable retraso del desarrollo por causa ambiental, y niños que tienen retraso del desarrollo debido a otras causas. Esta división (orientación diagnóstica), puede hacerla un pediatra del desarrollo, que es un pediatra con formación en trastornos del desarrollo. Este pediatra especializado, evalúa al niño, hace un examen clínico y eventualmente administra algún test, y con estos elementos puede hacer una aproximación diagnóstica, y discriminar entre dos 42 grandes grupos de niños: aquellos en quienes el retardo del desarrollo es probablemente debido a un medio ambiente desfavorable, y aquellos en que es debido a otras causas. El primer grupo de niños puede ser asignado a un grupo que se ocupe de una atención pediátrica adecuada, de corregir eventuales carencias (anemia ferropénica, etc.), o problemas (otitis recurrente, etc.) y ofrecerle al niño estimulación psicomotriz, en colaboración con la madre. Pueden organizarse grupos de madres, etc. El pediatra puede trabajar desde el comienzo con el pediatra del desarrollo, de manera tal de aprender con el tiempo la orientación diagnóstica. Los niños cuyo probable retraso del desarrollo no es atribuible a un ambiente desfavorable, debe ser estudiado por especialistas o por un grupo multidisciplinario, a los fines de llegar a un diagnóstico y proponer un tratamiento. 43 7. Estimación de la prevalencia total de niños que no pasan la Prunape en base a los resultados de la secuencia CPPP-Prunape en grupos de población. 7.1. Introducción Cuando la PRUNAPE es aplicada a todos los individuos de una comunidad, la prevalencia de fracasos observada es un resultado que se obtiene directamente (proporción e niños que no pasan la prueba / total de niños evaluados). En cambio, si el esquema de evaluación utilizado administrando primero el CPPP a todos los niños y luego la PRUNAPE solo a aquellos que no pasan el CPPP (PCPPP + para usar la terminología de screening), la prevalencia de los que resultan PRUNAPE + en toda la población no se puede realizar en forma directa, porque esa prueba (la PRUNAPE) no se realizó a toda la población sino solo a aquellos individuos que no pasaron el CPPP. No obstante, puede ser muy útil contar con una estimación de la prevalencia total PRUNAPE + (PTP+), es decir una estimación aproximada de la proporción de niños que no pasarían la PRUNAPE si se le hubiera administrado a todos los niños. Esta estimación puede ser requerida para planificar recursos humanos y materiales, o para comparar resultados entre programas que usan el sistema CPPP-PRUNAPE con programas que usan PRUNAPE a toda la población. A continuación describimos el método para hacer una estimación de la PTP+ es decir un método para calcular la proporción de niños que no pasarían la PRUNAPE si se les hubiera administrado a todos los individuos. 7.2. Estimación de la Prevalencia total de fracasos PRUNAPE (PTP +) Esta estimación depende de la proporción de niños que no pasaron el CPPP (CPPP +), de la sensibilidad del CPPP (SCPPP), y de la proporción de niños con CPPP + que no pasaron la PRUNAPE (P+CPPP+): PTP+ = CPPP+ / SCPPP x (P+CPPP+), en donde PTP+ = Prevalencia total estimada de niños que no pasarían la PRUNAPE si se les hubiera administrado a todos los individuos. CPPP + = Proporción de niños que no pasaron el CPPP SCPPP = Sensibilidad del CPPP P+CPPP+= Proporción de niños CPPP + que no pasaron la PRUNAPE Ejemplo N° 1 Tomemos el ejemplo de una de las encuestas realizadas por la DGSA en un municipio, en el cual se implementó el sistema CPPP – PRUNAPE, y en el cual se encontraron los siguientes resultados: N total de niños a encuestar = 300 N total de niños a quienes se les administró el CPPP = 300 44 CPPP + (proporción de niños que no pasaron el CPPP= 90; 90/300 = 0.30 Sensibilidad del CPPP administrado por personal de salud = 0.45 P+CPPP + (proporción de los 90 niños que fueron derivados para PRUNAPE y que no pasaron esa prueba: 61; 61/90 = 0.68 Estimación de la prevalencia total de niños que no pasarían la PRUNAPE PTP+ = CPPP+/SCPPP x P+CPPP+ = expression (1) PTP+ = 0.30 / 0.45 x 0.68 = 0.67 x 0.68 = 0.45187 PTP+ = 0.45 o sea, que si se hubiera administrado la PRUNAPE a todos los 90 niños se habría encontrado una prevalencia del 45 %. La expresión (1) ofrece una estimación directa de la prevalencia de PRUNAPE+ pero siempre que todos aquellos niños que no pasaron el CPPP luego se evalúen mediante la PRUNAPE. Este requisito suele no satisfacerse en la práctica; es frecuente que haya algún niño que se lo cite para PRUNAPE y no acuda a la cita por muy diversas razones. En estos casos, naturalmente la estimación del PTP+ va a estar sujeto a un cierto error. Veamos a continuación algunos ejemplos con hipotéticos resultados diferentes, para poder medir este error. 7.3. Cálculo del error de estimación El error de estimación depende de la suma de muchos tipos de errores, incluyendo el error de muestreo de la población, del error del CPPP, del error de la PRUNAPE, del error del observador, del error debido a la variación del grado de atención del niño, etc. Pero todos estos errores forman parte de todos los procesos de evaluación de campo. El error que es específico de esta estimación que nos ocupa (PTP+) es el que surge cuando algunos niños que fracasan en el CPPP no concurren para “hacerse” la PRUNAPE. En estos casos la estimación de la prevalencia total, está sometido a una nueva fuente de error, que es aquel en que nos basamos para estimar su magnitud: Error absoluto de estimación del PTP+ = ePTP+ ePTP+ = CPPP+/SCPPP x K/NP en donde : ePTP+ = error de Estimación de la prevalencia total PRUNAPE CPPP += Proporción de niños que no pasan el CPPP SCPPP = Sensibilidad del CPPP = 0.45 K = Número de niños que no pasaron CPPP pero que no concurrieron a “hacerse” la PRUNAPE NP = Número total de niños que no pasaron el CPPP y que deben concurrir a “hacerse” la PRUNAPE Daremos dos ejemplos de cálculo del error de estimación del ePTP+. 45 Ejemplo N° 2. Tomemos el ejemplo anterior (N° 1), en el que la CPPP+ es de 0.30, en el que hubo 90 niños que no pasaron el CPPP, pero que en lugar de concurrir todos (los 90 niños) a hacerse la PRUNAPE, concurrieron solamente 87 (87/90 = 97 %) o sea, que hubo 3 % de no concurrencia) . CPPP + = 0.30 NP= 90 K=3, tres niños no concurrieron En el ejemplo N° 1, todos los niños que no pasaron el CPPP (CPPP+) concurrieron a “hacerse” la Prunape. De todos ellos (90 niños), 61 no pasaron la Prunape. En este caso en la estimación de la prevalencia (dada anteriormente) es de: PTP+ = 0.30 / 0.45 x 61/90 = 0.45187 (1) Si hay 3 niños que no concurrieron a hacerse la Prunape, no sabemos cuál sería el resultado PRUNAPE si se hubieran presentado. Consideremos entonces dos alternativas: Alternativa 1): los tres niños habrían pasado la PRUNAPE Entonces, PTP+ = 0.30 / 045 x 61 / (87 + 3) EL PTP + es igual a la ecuación (1) = 030/ 0.45 x 61 / 87+3 = 0.45187; aproximando = 0.45 Aquí estamos asumiendo que todos los que no se presentaron habrían pasado la PRUNAPE. Alternativa 2): Si, en cambio, asumimos que todos los niños no presentados no habrían pasado la PRUNAPE, la estimación de la prevalencia queda: PTP+ = 0.30 / 0.45 x (61+3)/90 = 0.30/0.45 *64/90 = 0.4740741; aproximando = 0.47 Tomando ambas alternativas, 0.45 -0.47 es el rango de valores posibles de PTP+ y la diferencia de esos dos valores da el error absoluto de estimación 0.47 – 0.45 = 0.022. Este último error puede calcularse directamente mediante la fórmula: Error absoluto = ePTP+= PCPPP+ /SCPPP x K /Np, en donde: PCPPP + = Proporción de niños que no pasaron el CPPP SCPPP = Sensibilidad del CPPP = 0.45 K = número de niños que no concurrieron a “hacerse” Prunape NP = Número total de niños que debería haber concurrido a “hacerse” la PRUNAPE (N° de niños que no pasaron el CPPP). Error absoluto = 0.30/0.45 x 3/90 = 0.67 x 0.033 = 0.022 Error absoluto =0.022 46 Como vimos antes, la estimación del rango de valores posibles de la prevalencia total es 0.45 0.47 y su estimación puntual, teniendo en cuenta sólo los que se presentaron es: PTP+ = CPPP+/SCPPP x P+CPPP+ = 0.30 / 0.45 x 61 /87 = 0.467433 Esta estimación se encuentra dentro del intervalo de valores [0.45 , 0.47] Se trata a nuestro entender, de un rango de estimación razonable. Ejemplo 3 Estimación del error si de 90 niños hay 6 niños (el 6.7 %) que no van a “hacerse la Prunape: Error absoluto = PCPPP + / SCPPP x K/NP Error absoluto = 0.30 / 0.44 x 6/ 90 = 0.68 x 0.067 = 0.04556 aproximando a dos decimales = 0.46 Error absoluto = 0.046 La estimación de la prevalencia es ahora, teniendo en cuenta sólo los que se presentaron es: PTP+ = CPPP+/SCPPP x P+CPPP+ = 0.30 / 0.45 x 61 /84 = 0.484127 y el intervalo total de valores posibles tiene unalongitud de 0.046 esto da: 0.484127 + 0.046 = 0.530127 y 0.484127-0.045 = 0.439127 La ecuación (2) asume que todos los niños que no concurrieron habrían pasado la PRUNAPE, y la ecuación (3) asume que todos los niños que no concurrieron no habrían pasado la PRUNAPE. redondeando a dos decimales queda que la estimación de la prevalencia de la prunape es 0.48 se encuentra dentro del rango de valores 0.45 - 0.50. El Error absoluto (con 6 niños que no concurren a la Prunape) es 0.046, aproximando = 0.05 Este error de estimación puede resultar demasiado amplio en el caso de que se quieran tomar decisiones. Recomendación final En base a los presentes resultados y consideraciones, se recomienda que no se haga la estimación de la prevalencia total de fracasos Prunape (ePTP+) si la proporción de niños CPPP + (que no pasaron el CPPP) que deberían concurrir a “hacerse” la Prunape y no concurren es mayor del 5 %. 47 8. Bibliografía 1) Glascoe FP. Evidence – based approach to developmental and behavioral surveillance using parents´s concerns. Child Care and Health Development 26 (2) 137-149, 2000. 2) Meier JH. Screening, assessment, and intervention for young children at developmental risk. In: Yjossem TD, ed. Intervention Strategies for high risk infants and young children. Baltimore: University Park Press, 1976. 3) Strangler SR, Huber Cj, Routh DK. Screening growth and development of preschool children. New York: Mc Grow Hill, 1980. 4) Frankemburg WK, Emde RN, Sulivan JW. Early identification of children at risk. New York Plenum Press, 1985. 5) Lazar I, Darlingotn R eds. Lasting effects of early education : a report from the consortium for Longitudinal Studies. Monographies of the Social research on Child Development 1982, 47 (2-3 serial N 195). 6) Simeonsson R. Cooper D, Scheiner A. A review and analysis of the effectiveness of early intervention programs. Pediatrics 1982, 69, 635-641. 7) The Education for All Handicapped Children Act of 1975. P.L. 94-142; 20 S.C. 1401 et seq; Fed. Reg 42 (163); 4247442518; August 23, 1977. 8) Education of the Handicapped Act Ammendements. 1986 Federal Register June 22, 1989, 54 (119) 26306-26348. 9) Lejarraga H, Kelmansky D, Pascucci MC, Salamanco G. Prueba Nacional de Pesqusia. PRUNAPE. Fundación Hospital Garrahan. 2004. 10) Pascucci MC, Lejarraga H, Kelmansky D, Alvarz M, Boullon M, Breiter P, Breuning S, Brik G Campmany M, Contreras M, Convertini G, Cugnasco I, Czornyj L, D´Anna C, Echeverría H, Estevez E, Farizzano M, Fejerman N, Frankel J, Jaitt M, López B, Manzitti J, Martin H, Medina C, Moretti J, Navoni MJ, Patin D, Prieto ME, Segura M, Salvia M, Prozzi V, Salamanco G, Splívalo G, Waisburg H. Validación de la Prueba Nacional de Pesquisa PRUNAPE. Archivos Argentinos de Pediatría, 100 (3) 374 – 385, 2002. 11) Sociedad Argentina de Pediatría. Comité de Pediatría Ambulatoria. Boggiano E, Breitman F, Andrade M. Manual de supervisión de la Salud par aniñas niños y adolescentes. La detección oportuna de problemas de desarrollo. La prueba nacional de Pesquisa. PRUNAPE. Buenos Aires, SAP. Fundasap. 2010, pp 447-450. 12) Lejarraga, H; Menéndez, A; Menzano E, Guerra, L; Biancato, S; Pianelli, P; Del Pino, M; Fattore MJ; Contreras, M. Screening for developmental problems at primary care level: a field programme in San Isidro, Argentina. Paediatric and Perinatal Epidemiology. 22, 180 187, 2008. 13) Lejarraga, H; Menéndez, A; Menzano E, Fattore MJ; Guerra, L; Biancato, S; Pianelli, P; Glomba, C; Bellusci, C; Lusnig, A; Rautenstrauch, C; Paris, V; Galeana, A; Larigoitia, D; Feinsilber, V; Andrews, M; Del Pino, M; Contreras, M. PRUNAPE: Pesquisa de trastornos de desarrollo en el primer nivel de atención . Archivos Argentinos de Pediatría, 106 (2) 119125, 2008. 48 14) Salamanco G, D´Anna C, Lejarraga H. Tiempo requerido para la administración de una prueba de pesquisa de trastornos de desarrollo psicomotor infantil. Archivos Argentinos de Pediatría, 102, (3), 165-169, 2004. 15) Lejarraga H, Berardi C, Ortale S, Contreras MM, Sanjurjo A, Lejarraga C, Martínez Cáceres MJ, y col. Crecimiento, desarrollo, integración social y prácticas de crianza en niños que bien con sus madres en prisión. Archivos Argentinos de Pediatría. 109 (6), 485-491, 2011. 16) Lejarraga, H., Krupitzky, S., Giménez, E., Diament, N., Tibaldi, F., Kelmansky, D., Cameron, N. Organización de un Programa Nacional Colaborativo de Evaluación del Desarrollo Psicomotor en Niños Menores de seis años. Archivos Argentinos de Pediatría, 94, 290-300, 1996. 17) Lejarraga, H., Krupitzky, S., Kelmansky, Bianco, A., Martínez, E., Pascucci, M.C. , Giménez, E., Tibaldi, F, Cameron, N. Edad de cumplimiento de pautas de desarrollo en niños argentinos menores de seis años argentinos. Archivos Argentinos de Pediatría, 94, 355367, 1996. 18) Lejarraga, H, Krupitzky, S., Giménez, E., Tibaldi, F., Kelmansky, D., Cameron, N. The organisation of a national survey for evaluating child psychomotor development in Argentina, with a training programme for paediatricians. Pediatric and Perinatal Epidemiology, 11, 359 -373, 1997. 19) Mc Gee RK Response style as a personal variable: by what criterion? Psychological Bulletin 50, 284, 1962. 20) Robbins LC. The accuracy of parental recall of aspects of child rearing practices. Journal of abnormal Social Psychology 66, 261, 1963. 21) Yarrow MR. Problems of method in parent – child research. Child Development 34: 215, 1963. 22) Glascoe FP, Foster EM. An economic analysis of developmental detection methods. Pediatrics 99 (6) 830-837, 1997. 23) Frankemburg WK. K, van Doorninck WJ, Liddell TN, Dick NP. The Denver Prescreening Developmental Questionnaire (PDQ). Pediatrics, 57, 744-753, 1976. 24) Frankemburg WK, Fandal AW, Thornton SM, Revision of Denver Pre-screening Developmental Questionnaire. Journal of Pediatrics 110 (1), 653-657. 110 (1), 653-657, 1987. 25) Chen IC, Kin CH (2207). How effectively do parents discern their children ´s cognitive deficits at preschool age? Journal of the Chinese Medical Association, 70 (10) 445-450, 2007. 26) Coghlan D, Kling JS. Parent’s evaluation of developmental status in the Australian day – care setting: developmental concerns of parents and careers. Journal of Paediatric Child Health 39 (1 49-54, 2003. 27) Pulsifer, M. B., A. H. Hoon, et al. (1994). Maternal estimates of developmental age in preschool children. Journal of Pediatrics 125(1): S18-24. 1994/07/01. 28) Malhi P, Kashyap S..Maternal estimates of mental age in developmental assessment. Indian Journal of Pediatrics 72 (11) 931-934, 2005. 49 29) Novick J. Ascertaining deviant behaviour in children. Journal of Consulting Psychology 30.2 30, 1966. 30) Harris, S. R. (1994). Parent’s and caregiver’s perceptions of their children’s development. Developmental Medicine and Child Neurology 36(10): 918-23. 1994. 31) Limbos, M. M. Joyce DP. Comparison of the ASQ and PEDS in screening for developmental delay in children presenting for primary care.” J Developmental and Behavioral Pediatrics 32(7): 499-511. 2011. 32) Glascoe, F. P. and P. H. Dworkin (1995). The role of parents in the detection of developmental and behavioral problems. Pediatrics 95(6): 829-36. 1995. 33) Glascoe, F. P. (1991). “Can clinical judgment detect children with speech-language problems?” Pediatrics 87(3): 317-22. 1991. 34) Cox, J. E., N. Huntington, et al. “Developmental screening and parents’ written comments: an added dimension to the parents’ evaluation of developmental status questionnaire.” Pediatrics 126 Suppl 3: S170-6. 35) Glascoe, F. P. (1994). “It’s not what it seems. The relationship between parents’ concerns and children with global delays.” Clinical Pediatrics (Phila) 33(5): 292-296. 1994. 36) Glascoe, F. P. (2000). “Evidence-based approach to developmental and behavioural surveillance using parents’ concerns.” Child Care Health Dev 26 (2): 137-49. 2000/04/12. 37) Kiing, J. S., L. P. Sim, et al. “Interpreting Parents Concerns About Their Children’s Development with the Parents Evaluation of Developmental Status: Culture Matters.” J Dev Behav Pediatr. 2011/12/14. 38) Glascoe, F. P., W. A. Althemeier, et al. (1989). “The importance of parents’ concerns about their child’s development.” American Journal of Diseases of Children 143(8): 955-8. 1989. 39) McCune, Y. D., M. M. Richardson, et al. (1984). “Psychosocial health issues in pediatric practices: parents’ knowledge and concerns.” Pediatrics 74(2): 183-90, 1984. 40) Glascoe, FP. Parents´ concerns about children ´s development: prescreening technique or screening tests? Pediatrics 99 (4) 522-528, 1997. 41) Glascoe, F. P. (2003). “Parents’ evaluation of developmental status: how well do parents’ concerns identify children with behavioral and emotional problems?” Clin Pediatr (Phila) 42(2): 133-8, 2003/03/28. 42) Schonwald, A., N. Huntington, et al. (2009). “Routine developmental screening implemented in urban primary care settings: more evidence of feasibility and effectiveness.” Pediatrics 123(2): 660-8, 2009/01/28. 43) Cunningham, R. D., Jr. (1997). “Parents’ concerns about children’s development: prescreening techniques or screening test?” Pediatrics 100(5): 901-2, 1998/02/12. 44) Sheldrick, R. C., E. N. Neger, et al. “Concerns About Development, Behavior, and Learning Among Parents Seeking Pediatric Care.” Journal of Developmental and Behavioral Pediatrics, 2011/12/21. 45) Glascoe, F. P. and P. H. Dworkin (1993). “Obstacles to effective developmental surveillance: errors in clinical reasoning.” Journal of Developmental and Behavioral Pediatrics 14(5): 344-9, 1993/10/0.1 50 46) Institute of Medicine. Neurological, psychiatric and developmental disorders. Meeting the challenge into developing world. National Academic Press. Washington DC. http//nap.edu/catalog/10111.html 47) Ministerio de Salud. Subsecretaría de Programas de Prevención y Protección de la Salud. Evaluación del Sistema de Vigilancia Epidemiológica. Buenos Aires, Argentina. Metodología para la construcción de un cuestionario para el sistema de vigilancia. Cap. 3 pp 18. Elaborado para el Programa Vigía por el Dr. Percy Minaya León, 2003. 48) Abusamra, V; Ferreres, A.; Raiter, A.; De Beni, R. y Cornoldi, C:“TEST. Leer para Comprender TLC. Evaluación de la comprensión de textos”. Editorial Paidós, Buenos Aires, 2010. 49) Arribas, Martín: “Formación continuada. Diseño y validación de cuestionarios”, en Revista Matronas Profesión; Vol. 5, nº17, Ediciones Mayo S.A, Madrid, 2004. 50) Montanero Fernández, Manuel: Cómo evaluar la comprensión lectora: alternativas y limitaciones, en Revista de Educación; núm. 335, Ministerio de Educación y Cultura, Madrid, 2004. 51) Percy Minaya, León: Modelo de Evaluación del Sistema de Vigilancia Epidemiológica, Ministerio de Salud de la Nación, Sub Secretaria de Programas de Prevención y Protección de la Salud, Bs As, Argentina, 2003. 52) Flesh R. Flesh readability scale. In: Flesh R. (ed). Art of Readable writing. New York; Harper & Row, 1974, pp247. 53) Lejarraga H, Kelmansky D, Lejarraga C, Charrúa G, Salamanco G, Insua I, Nunes F. Validación de un formulario para la detección de niños con alto riesgo de padecer trastornos del desarrollo. Cuestionario Prunape Pre-Pesquisa. Archivos Argentinos de Pediatría 2013, 111 (6), 476-483. 54) Pascucci MC. Validación de instrumentos de pesquisa de trastornos del desarrollo. En: Lejarraga H. (Ed) Desarrollo del Niño en contexto. Cap. 14, pp 477-516. Paidós Buenos Aires, 2006. 51 ANEXO I Carta de invitación a las madres o cuidadores. “Estamos preparando un cuestionario para saber qué cosas pueden hacer los niños y las niñas a distintas edades (sonreír, tomar un objeto, patear una pelota, decir „mamá‟, etc.). Su participación en este estudio nos va a ayudar a preparar en el futuro un instrumento para la mejor atención de los niños. Si está de acuerdo en participar, le vamos a pedir que responda a este cuestionario sobre las cosas que su hijo o hija puede hacer, y luego participe de una reunión con otras madres y un encuestador (uno de nosotros), para conocer su opinión sobre las preguntas contestadas en el cuestionario. Su colaboración es muy importante para nosotros”. Dirección General de Salud Ambiental ANEXO 2 Formularios 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 ANEXO 3 Consentimiento Informado Se me ha invitado a participar de un estudio sobre un cuestionario preparado para saber las cosas que pueden hacer los niños y las niñas a distintas edades. Se me ha informado que luego de llenar el cuestionario me harán unas preguntas y le harán unas pruebas a mi niño o niña para conocer qué cosas puede hacer. Se me ha informado que todo el proceso puede durar una o dos horas en total y que las pruebas que me piden de hacerle a mi niño o niña no son molestas para él o ella. Se me ha informado que mi participación puede ser útil en el futuro para ayudar al desarrollo de otros niños y niñas, cuando el cuestionario esté terminado. Relación con el niño o niña: madre, padre o cuidador (circule la relación correcta) Firma: Aclaración: Lugar: Fecha: ANEXO 4 Comparaciones de concordancias entre ítems del CPPP e ítems de la Prunape Se comparan los resultados de ítems que pueden compararse entre sí (por su similitud): 1) Entre cuestionario CPPP auto administrado y PRUNAPE. 2) Entre cuestionario administrado por personal de salud y PRUNAPE 3) Entre cuestionario auto administrado y cuestionario administrado por personal de salud Se calculan: concordancia, kappa, especificidad, sensibilidad y valores predictivos. Total: 57 Ítems considerados:3, 4, 5. 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 17, 24, 25, 27, 28, 29, 33, 34, 36, 37, 39, 40, 41, 42, 43, 44, 46, 47, 48, 49, 50 51, 52, 54, 55, 56, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78, 79. Referencias: “cumple”: = 0; “no cumple” = 1 Ejemplo de la forma en que se muestran los resultados (Item 3) p3 significa pauta (o ítem) 3de la Prunape El número de coinicidencias se muestran en tablas d doble entrada, lascolumnas indic<n los resultados Prunape, y las filas los resultados CPPP. P13 Item (o pauta) 3 Prunape a3 0 1 0 54 2 1 5 1 73 54 SÍ cumplen prunape y SÍ CPPP. autoadm. 5 SÍ prunape y NO CPPP 2 NO prunape y SI CPPP 1 NO Prunape y NO CPPP. De un total de 62 casos, hay 55 coincidencias (54 Si/Si y 1 No/No7 Los indicadores de concordancia son: Porc.Concord. : Porcentaje de concordancia (de coincidencias) Kappa: coeficiente Kappa de Cohen Esp: especificidad Sens¨Sensibilidad Pred. Neg:.Valor predictivo negativo Pred.Pos: Valor predictivo positivo Se muestran de la siguiente forma: Porc. concord 88.7 kappa 0.17 esp 0.91 sens pred.neg 0.33 0.96 pred.pos 0.17 porc.concord = porcentaje de concordancia = 100*(54+1)/( 54+1+2+5) = 88.70968 kappa= índice kappa = (po-pe)/(1-pe) = (0.8870968-0.864204)/(1-0.864204) = 0.1685823 po (proporciòn observada) = (54+1)/62 = 0.89 pe proporción esperada = 54/59 = 0.91 Sens = sensibilidad cant. de niños q no pasan la prunape = 1/3 = 0.33 pred.neg = valor predictivo negativo = cant. de niños que sí pasan la prunape entre los que sí pasan el cuestionario = 54/56 = 0.96 pred.pos = valor predictivo positivo = cant. de niños que no pasan la prunape entre los que no pasan el cuestionario = 1 / 6 = 0.17 ue no pasan el cuestionario entre todos los que Todas las tablas que siguen se leen de igual forma 1) Indicadores de concordancia entre ítems CPPP (c) de cuestionarios autoadministrados e ítems similares (comparables) de la Prunape (p). p3 a3 0 1 0 54 2 1 5 1 74 porc.concord 88.71 kappa 0.17 esp 0.91 sens 0.33 pred.neg 0.96 pred.pos 0.17 p4 a4 0 1 0 54 1 1 12 1 porc.concord kappa esp sens pred.neg pred.pos 80.882 0.087 0.818 0.500 0.982 0.077 p5 a5 0 1 0 45 3 1 18 2 porc.concord kappa esp sens pred.neg pred.pos 69.118 0.048 0.714 0.400 0.938 0.100 p6 a6 0 1 0 84 10 1 9 4 porc.concord kappa esp sens pred.neg pred.pos 82.243 0.195 0.903 0.286 0.894 0.308 p7 a7 0 1 0 62 4 1 4 2 porc.concord kappa esp sens pred.neg pred.pos 88.889 0.273 0.939 0.333 0.939 0.333 p8 a8 0 1 0 105 4 1 13 3 porc.concord kappa esp sens pred.neg pred.pos 86.400 0.198 0.890 0.429 0.963 0.188 p9 a9 0 1 0 21 1 1 2 0 porc.concord kappa esp sens pred.neg pred.pos 87.500 -0.059 0.913 0.000 0.955 0.000 p10 a10 0 1 0 127 3 1 7 3 75 10porc.concord kappa 92.857 0.340 0.948 p11 esp sens pred.neg pred.pos 0.500 0.977 0.300 a11 0 1 0 139 18 1 7 1 porc.concord kappa esp sens pred.neg pred.pos 84.848 0.006 0.952 0.053 0.885 0.125 p12 a12 0 1 0 115 2 1 7 1 porc.concord kappa esp sens pred.neg pred.pos 92.800 0.152 0.943 0.333 0.983 0.125 p13 a13 0 1 0 99 5 1 9 0 porc.concord kappa esp sens pred.neg pred.pos 87.611 -0.060 0.917 0.000 0.952 0.000 p14 a14 0 1 0 85 2 1 15 5 porc.concord kappa esp sens pred.neg pred.pos 84.112 0.303 0.850 0.714 0.977 0.250 p15 a15 0 1 0 39 4 1 5 21 porc.concord kappa esp sens pred.neg pred.pos 86.957 0.720 0.886 0.840 0.907 0.808 p17 a17 0 1 0 129 12 1 10 4 porc.concord kappa esp sens pred.neg pred.pos 85.806 0.188 0.928 0.250 0.915 0.286 p24 a24 0 1 0 70 2 1 1 0 porc.concord kappa esp sens pred.neg pred.pos 76 95.890 p25 -0.019 0.986 0.000 0.972 0.000 a25 0 1 0 78 2 1 6 1 porc.concord kappa esp sens pred.neg pred.pos 90.805 0.159 0.929 0.333 0.975 0.143 p27 a27 0 1 0 75 6 1 19 0 porc.concord kappa esp sens pred.neg pred.pos 75.000 -0.100 0.798 0.000 0.926 0.000 p28 a28 0 1 0 106 11 1 6 2 porc.concord kappa esp sens pred.neg pred.pos 86.400 0.121 0.946 0.154 0.906 0.250 p29 a29 0 1 0 38 14 1 29 17 porc.concord kappa esp sens pred.neg pred.pos 56.122 0.102 0.567 0.548 0.731 0.370 p33 a33 0 1 0 91 7 1 4 7 porc.concord kappa esp sens pred.neg pred.pos 89.908 0.504 0.958 0.500 0.929 0.636 p34 a34 0 1 0 98 2 1 9 9 porc.concord kappa esp sens pred.neg pred.pos 90.678 0.571 0.916 0.818 0.980 0.500 p36 a36 0 1 0 56 5 1 4 2 porc.concord kappa esp sens pred.neg pred.pos 77 86.567 p37 0.234 0.933 0.286 0.918 0.333 a37 0 1 0 12 2 1 6 2 porc.concord kappa esp sens pred.neg pred.pos 63.636 0.120 0.667 0.500 0.857 0.250 p39 a39 0 1 0 45 2 1 2 0 porc.concord kappa esp sens pred.neg pred.pos 91.837 -0.043 0.957 0.000 0.957 0.000 p40 a40 0 1 0 104 10 1 20 3 porc.concord kappa esp sens pred.neg pred.pos 78.102 0.052 0.839 0.231 0.912 0.130 p41 a41 0 1 0 46 2 1 9 7 porc.concord kappa esp sens pred.neg pred.pos 82.812 0.463 0.836 0.778 0.958 0.438 p42 a42 0 1 0 110 0 1 5 7 porc.concord kappa esp sens pred.neg pred.pos 95.902 0.716 0.957 1.000 1.000 0.583 p43 a43 0 1 0 99 11 1 2 1 porc.concord kappa esp sens pred.neg pred.pos 88.496 0.095 0.980 0.083 0.900 0.333 p44 a44 0 1 0 97 11 1 3 7 porc.concord kappa esp sens pred.neg pred.pos 88.136 0.439 0.970 0.389 0.898 0.700 78 p46 a46 0 1 0 109 7 1 4 2 porc.concord kappa esp sens pred.neg pred.pos 90.984 0.221 0.965 0.222 0.940 0.333 p47 a47 0 1 0 38 10 1 12 6 porc.concord kappa esp sens pred.neg pred.pos 66.667 0.129 0.760 0.375 0.792 0.333 p48 a48 0 1 0 111 16 1 7 4 porc.concord kappa esp sens pred.neg pred.pos 83.333 0.173 0.941 0.200 0.874 0.364 p49 a49 0 1 0 47 19 1 6 20 porc.concord kappa esp sens pred.neg pred.pos 72.826 0.418 0.887 0.513 0.712 0.769 p50 a50 0 1 0 93 9 1 2 3 porc.concord kappa esp sens pred.neg pred.pos 89.720 0.307 0.979 0.250 0.912 0.600 p51 a51 0 1 0 51 11 1 1 0 porc.concord kappa esp sens pred.neg pred.pos 80.952 -0.030 0.981 0.000 0.823 0.000 p52 a52 0 1 0 77 9 1 13 2 porc.concord kappa esp sens pred.neg pred.pos 78.218 0.032 0.856 0.182 0.895 0.133 p54 79 a54 0 1 0 99 27 1 2 1 porc.concord kappa esp sens pred.neg pred.pos 77.519 0.023 0.980 0.036 0.786 0.333 p55 a55 0 1 0 88 11 1 2 3 porc.concord kappa esp sens pred.neg pred.pos 87.500 0.264 0.978 0.214 0.889 0.600 p56 a56 0 1 0 65 9 1 2 3 porc.concord kappa esp sens pred.neg pred.pos 86.076 0.289 0.970 0.250 0.878 0.600 p63 a63 0 1 0 26 7 1 2 4 porc.concord kappa esp sens pred.neg pred.pos 76.923 0.339 0.929 0.364 0.788 0.667 p64 a64 0 1 0 62 2 1 8 0 porc.concord kappa esp sens pred.neg pred.pos 86.111 -0.047 0.886 0.000 0.969 0.000 p66 a66 0 1 0 43 7 1 1 3 porc.concord kappa esp sens pred.neg pred.pos 85.185 0.361 0.977 0.300 0.860 0.750 p67 a67 0 1 0 47 0 1 6 8 porc.concord kappa esp sens pred.neg pred.pos 90.164 0.673 0.887 1.000 1.000 0.571 p68 80 a68 0 1 0 65 0 1 6 1 porc.concord kappa esp sens pred.neg pred.pos 91.667 0.231 0.915 1.000 1.000 0.143 p69 a69 0 1 0 42 2 1 2 3 porc.concord kappa esp sens pred.neg pred.pos 91.837 0.555 0.955 0.600 0.955 0.600 p70 a70 0 1 0 41 8 1 0 1 porc.concord kappa esp sens pred.neg pred.pos 84.000 0.170 1.000 0.111 0.837 1.000 p71 a71 0 1 0 95 23 1 3 4 porc.concord kappa esp sens pred.neg pred.pos 79.200 0.161 0.969 0.148 0.805 0.571 p72 a72 0 1 0 113 4 1 6 2 porc.concord kappa esp sens pred.neg pred.pos 92.000 0.244 0.950 0.333 0.966 0.250 p73 a73 0 1 0 146 39 1 6 3 porc.concord kappa esp sens pred.neg pred.pos 76.804 0.045 0.961 0.071 0.789 0.333 p74 a74 0 1 0 76 31 1 11 10 porc.concord kappa esp sens pred.neg pred.pos 67.188 0.135 0.874 0.244 0.710 0.476 p75 a75 0 1 81 0 100 18 1 14 10 porc.concord kappa esp sens pred.neg pred.pos 77.465 0.248 0.877 0.357 0.847 0.417 p76 a76 0 1 0 110 45 1 22 18 porc.concord kappa esp sens pred.neg pred.pos 65.641 0.132 0.833 0.286 0.710 0.450 p77 a77 0 1 0 101 13 1 6 9 porc.concord kappa esp sens pred.neg pred.pos 85.271 0.404 0.944 0.409 0.886 0.600 p78 a78 0 1 0 80 16 1 8 4 porc.concord kappa esp sens pred.neg pred.pos 77.778 0.129 0.909 0.200 0.833 0.333 p79 a79 0 1 0 30 5 1 2 1 porc.concord kappa esp sens pred.neg pred.pos 81.579 0.131 0.938 0.167 0.857 0.333 2) Indicadores de concordancia entre ítems CPPP (c) de cuestionarios administrados por personal de salud e ítems similares (comparables) de la Prunape (p). p3 s3 0 1 0 57 2 1 2 1 porc.concord kappa esp sens pred.neg pred.pos 93.548 0.299 0.966 0.333 0.966 0.333 p4 s4 0 1 0 57 1 1 9 1 82 porc.concord kappa esp sens pred.neg pred.pos 85.294 0.124 0.864 0.500 0.983 0.100 p5 s5 0 1 0 54 4 1 9 1 porc.concord kappa esp sens pred.neg pred.pos 80.882 0.039 0.857 0.200 0.931 0.100 p6 s6 0 1 0 89 12 1 3 2 porc.concord kappa esp sens pred.neg pred.pos 85.849 0.152 0.967 0.143 0.881 0.400 p7 s7 0 1 0 65 5 1 1 1 porc.concord kappa esp sens pred.neg pred.pos 91.667 0.217 0.985 0.167 0.929 0.500 p8 s8 0 1 0 117 7 1 3 0 porc.concord kappa esp sens pred.neg pred.pos 92.126 -0.034 0.975 0.000 0.944 0.000 p9 s9 0 1 0 22 1 1 1 0 porc.concord kappa esp sens pred.neg pred.pos 91.667 -0.043 0.957 0.000 0.957 0.000 p10 s10 0 1 0 131 1 1 3 5 porc.concord kappa esp sens pred.neg pred.pos 97.143 0.700 0.978 0.833 0.992 0.625 p11 s11 0 1 0 145 19 1 2 0 porc.concord kappa esp sens pred.neg pred.pos 83 87.349 p12 -0.022 0.986 0.000 0.884 0.000 s12 0 1 0 123 1 1 1 2 porc.concord kappa esp sens pred.neg pred.pos 98.425 0.659 0.992 0.667 0.992 0.667 p13 s13 0 1 0 104 4 1 4 1 porc.concord kappa esp sens pred.neg pred.pos 92.920 0.163 0.963 0.200 0.963 0.200 p14 s14 0 1 0 90 3 1 10 4 porc.concord kappa esp sens pred.neg pred.pos 87.850 0.322 0.900 0.571 0.968 0.286 p15 s15 0 1 0 40 1 1 4 24 porc.concord kappa esp sens pred.neg pred.pos 92.754 0.847 0.909 0.960 0.976 0.857 p17 s17 0 1 0 133 10 1 7 6 porc.concord kappa esp sens pred.neg pred.pos 89.103 0.354 0.950 0.375 0.930 0.462 p24 s24 0 1 0 69 2 1 2 0 porc.concord kappa esp sens pred.neg pred.pos 94.521 -0.028 0.972 0.000 0.972 0.000 p25 s25 0 1 0 75 2 1 8 1 porc.concord kappa esp sens pred.neg pred.pos 88.372 0.121 0.904 0.333 0.974 0.111 p27 84 s27 0 1 0 81 6 1 13 0 porc.concord kappa esp sens pred.neg pred.pos 81.000 -0.089 0.862 0.000 0.931 0.000 p28 s28 0 1 0 112 12 1 2 1 porc.concord kappa esp sens pred.neg pred.pos 88.976 0.090 0.982 0.077 0.903 0.333 p29 s29 0 1 0 40 15 1 28 16 porc.concord kappa esp sens pred.neg pred.pos 56.566 0.094 0.588 0.516 0.727 0.364 p33 s33 0 1 0 86 1 1 9 14 porc.concord kappa esp sens pred.neg pred.pos 90.909 0.685 0.905 0.933 0.989 0.609 p34 s34 0 1 0 95 1 1 12 11 porc.concord kappa esp sens pred.neg pred.pos 89.076 0.572 0.888 0.917 0.990 0.478 p36 s36 0 1 0 50 2 1 10 5 porc.concord kappa esp sens pred.neg pred.pos 82.090 0.364 0.833 0.714 0.962 0.333 p37 s37 0 1 0 16 1 1 2 3 porc.concord kappa esp sens pred.neg pred.pos 86.364 0.582 0.889 0.750 0.941 0.600 p39 85 s39 0 1 0 47 2 1 0 0 porc.concord kappa esp sens pred.neg pred.pos 95.918 0.000 1.000 0.000 0.959 NaN p40 s40 0 1 0 110 10 1 13 3 porc.concord kappa esp sens pred.neg pred.pos 83.088 0.113 0.894 0.231 0.917 0.188 p41 s41 0 1 0 50 3 1 5 6 porc.concord kappa esp sens pred.neg pred.pos 87.500 0.527 0.909 0.667 0.943 0.545 p42 s42 0 1 0 110 1 1 4 6 porc.concord kappa esp sens pred.neg pred.pos 95.868 0.684 0.965 0.857 0.991 0.600 p43 s43 0 1 0 100 9 1 2 3 porc.concord kappa esp sens pred.neg pred.pos 90.351 0.310 0.980 0.250 0.917 0.600 p44 s44 0 1 0 99 11 1 1 7 porc.concord kappa esp sens pred.neg pred.pos 89.831 0.491 0.990 0.389 0.900 0.875 p46 s46 0 1 0 112 6 1 1 3 porc.concord kappa esp sens pred.neg pred.pos 94.262 0.436 0.991 0.333 0.949 0.750 p47 s47 0 1 0 39 6 1 11 10 86 porc.concord kappa esp sens pred.neg pred.pos 74.242 0.366 0.780 0.625 0.867 0.476 p48 s48 0 1 0 118 12 1 1 8 porc.concord kappa esp sens pred.neg pred.pos 90.647 0.508 0.992 0.400 0.908 0.889 p49 s49 0 1 0 48 14 1 5 25 porc.concord kappa esp sens pred.neg pred.pos 79.348 0.564 0.906 0.641 0.774 0.833 p50 s50 0 1 0 91 9 1 4 3 porc.concord kappa esp sens pred.neg pred.pos 87.850 0.254 0.958 0.250 0.910 0.429 p51 s51 0 1 0 49 10 1 3 2 porc.concord kappa esp sens pred.neg pred.pos 79.688 0.140 0.942 0.167 0.831 0.400 p52 s52 0 1 0 86 11 1 5 0 porc.concord kappa esp sens pred.neg pred.pos 84.314 -0.072 0.945 0.000 0.887 0.000 p54 s54 0 1 0 90 15 1 12 13 porc.concord kappa esp sens pred.neg pred.pos 79.231 0.361 0.882 0.464 0.857 0.520 p55 s55 0 1 0 83 7 1 7 8 87 porc.concord kappa esp sens pred.neg pred.pos 86.667 0.456 0.922 0.533 0.922 0.533 p56 s56 0 1 0 60 8 1 7 5 porc.concord kappa esp sens pred.neg pred.pos 81.250 0.289 0.896 0.385 0.882 0.417 p63 s63 0 1 0 26 10 1 2 1 porc.concord kappa esp sens pred.neg pred.pos 69.231 0.025 0.929 0.091 0.722 0.333 p64 s64 0 1 0 64 2 1 6 0 porc.concord kappa esp sens pred.neg pred.pos 88.889 -0.043 0.914 0.000 0.970 0.000 p66 s66 0 1 0 44 8 1 0 2 porc.concord kappa esp sens pred.neg pred.pos 85.185 0.289 1.000 0.200 0.846 1.000 p67 s67 0 1 0 50 0 1 3 8 porc.concord kappa esp sens pred.neg pred.pos 95.082 0.814 0.943 1.000 1.000 0.727 p68 s68 0 1 0 66 0 1 2 1 porc.concord kappa esp sens pred.neg pred.pos 97.101 0.489 0.971 1.000 1.000 0.333 p69 s69 0 1 0 41 2 1 2 3 88 porc.concord kappa esp sens pred.neg pred.pos 91.667 0.553 0.953 0.600 0.953 0.600 p70 s70 0 1 0 37 9 1 3 0 porc.concord kappa esp sens pred.neg pred.pos 75.510 -0.101 0.925 0.000 0.804 0.000 p71 s71 0 1 0 98 22 1 2 5 porc.concord kappa esp sens pred.neg pred.pos 81.102 0.226 0.980 0.185 0.817 0.714 p72 s72 0 1 0 114 4 1 7 2 porc.concord kappa esp sens pred.neg pred.pos 91.339 0.223 0.942 0.333 0.966 0.222 p73 s73 0 1 0 151 42 1 2 0 porc.concord kappa esp sens pred.neg pred.pos 77.436 -0.020 0.987 0.000 0.782 0.000 p74 s74 0 1 0 80 34 1 7 7 porc.concord kappa esp sens pred.neg pred.pos 67.969 0.109 0.920 0.171 0.702 0.500 p75 s75 0 1 0 98 11 1 17 17 porc.concord kappa esp sens pred.neg pred.pos 80.420 0.425 0.852 0.607 0.899 0.500 p76 s76 0 1 0 117 46 1 15 18 porc.concord kappa esp sens pred.neg pred.pos 89 68.878 p77 0.192 0.886 0.281 0.718 0.545 s77 0 1 0 100 14 1 7 9 porc.concord kappa esp sens pred.neg pred.pos 83.846 0.370 0.935 0.391 0.877 0.562 p78 s78 0 1 0 73 13 1 15 8 porc.concord kappa esp sens pred.neg pred.pos 74.312 0.203 0.830 0.381 0.849 0.348 p79 s79 0 1 0 26 4 1 6 2 porc.concord kappa esp sens pred.neg pred.pos 73.684 0.128 0.812 0.333 0.867 0.250 3)Indicadores de concordancia entre ítems CPPP (c) autoadmininistrado e ítems CPPP administrado por personal de salud. a3 0 1 0 69 0 1 3 3 porc.concord kappa esp sens pred.neg pred.pos 96.000 0.648 0.958 1.000 1.000 0.500 s4 a4 0 1 0 55 7 1 9 4 porc.concord kappa esp sens pred.neg pred.pos 78.667 0.207 0.859 0.364 0.887 0.308 s5 a5 0 1 0 50 2 1 13 10 porc.concord kappa esp sens pred.neg pred.pos 80.000 0.457 0.794 0.833 0.962 0.435 s6 a6 0 1 0 110 3 1 15 19 porc.concord kappa esp sens pred.neg pred.pos 87.755 0.607 0.880 0.864 0.973 0.559 90 s7 a7 0 1 0 173 5 1 14 4 porc.concord kappa esp sens pred.neg pred.pos 90.306 0.250 0.925 0.444 0.972 0.222 s8 a8 0 1 0 107 2 1 15 1 porc.concord kappa esp sens pred.neg pred.pos 86.400 0.068 0.877 0.333 0.982 0.062 s9 a9 0 1 0 170 5 1 10 11 porc.concord 92.347 s10 a10 0 1 0 165 5 1 8 18 porc.concord 93.367 s11 a11 0 1 0 230 4 1 18 1 porc.concord 91.304 s12 a12 0 1 0 115 2 1 7 1 porc.concord 92.800 s13 a13 0 1 0 116 3 1 7 2 porc.concord 92.188 s14 a14 0 1 0 99 1 kappa esp sens pred.neg pred.pos 0.553 0.944 0.688 0.971 0.524 kappa esp sens pred.neg pred.pos 0.697 0.954 0.783 0.971 0.692 kappa esp sens pred.neg pred.pos 0.054 0.927 0.200 0.983 0.053 kappa esp sens pred.neg pred.pos 0.152 0.943 0.333 0.983 0.125 kappa esp sens pred.neg pred.pos 0.248 0.943 0.400 0.975 0.222 1 9 19 porc.concord kappa esp sens pred.neg pred.pos 92.188 0.745 0.917 0.950 0.990 0.679 s15 a15 0 1 0 83 10 91 1 11 24 porc.concord kappa esp sens pred.neg pred.pos 83.594 0.583 0.883 0.706 0.892 0.686 s17 a17 0 1 0 159 34 1 23 40 porc.concord kappa esp sens pred.neg pred.pos 77.734 0.433 0.874 0.541 0.824 0.635 s24 a24 0 1 0 73 1 1 0 1 porc.concord kappa esp sens pred.neg pred.pos 98.667 0.661 1.000 0.500 0.986 1.000 s25 a25 0 1 0 105 10 1 9 23 porc.concord kappa esp sens pred.neg pred.pos 87.075 0.625 0.921 0.697 0.913 0.719 s27 a27 0 1 0 152 1 1 13 30 porc.concord kappa esp sens pred.neg pred.pos 92.857 0.768 0.921 0.968 0.993 0.698 s28 a28 0 1 0 116 1 1 6 2 porc.concord kappa esp sens pred.neg pred.pos 94.400 0.341 0.951 0.667 0.991 0.250 s29 a29 0 1 0 54 6 1 8 57 porc.concord kappa esp sens pred.neg pred.pos 88.800 0.776 0.871 0.905 0.900 0.877 s33 a33 0 1 0 97 18 1 4 9 porc.concord kappa esp sens pred.neg pred.pos 82.812 0.363 0.960 0.333 0.843 0.692 s34 a34 0 1 92 0 94 13 1 8 13 porc.concord kappa esp sens pred.neg pred.pos 83.594 0.454 0.922 0.500 0.879 0.619 s36 a36 0 1 0 78 24 1 5 21 porc.concord kappa esp sens pred.neg pred.pos 77.344 0.450 0.940 0.467 0.765 0.808 s37 a37 0 1 0 32 18 1 22 56 porc.concord kappa esp sens pred.neg pred.pos 68.750 0.353 0.593 0.757 0.640 0.718 s39 a39 0 1 0 72 1 1 2 0 porc.concord kappa esp sens pred.neg pred.pos 96.000 -0.018 0.973 0.000 0.986 0.000 s40 a40 0 1 0 112 5 1 15 15 porc.concord kappa esp sens pred.neg pred.pos 86.395 0.522 0.882 0.750 0.957 0.500 s41 a41 0 1 0 51 4 1 11 9 porc.concord kappa esp sens pred.neg pred.pos 80.000 0.425 0.823 0.692 0.927 0.450 s42 a42 0 1 0 124 3 1 5 15 porc.concord kappa esp sens pred.neg pred.pos 94.558 0.758 0.961 0.833 0.976 0.750 s43 a43 0 1 0 117 5 1 2 1 porc.concord kappa esp sens pred.neg pred.pos 94.400 0.197 0.983 0.167 0.959 0.333 s44 a44 0 1 93 0 112 2 1 4 7 porc.concord kappa esp sens pred.neg pred.pos 95.200 0.674 0.966 0.778 0.982 0.636 s46 a46 0 1 0 119 2 1 5 2 porc.concord kappa esp sens pred.neg pred.pos 94.531 0.337 0.960 0.500 0.983 0.286 s47 a47 0 1 0 81 20 1 15 12 porc.concord kappa esp sens pred.neg pred.pos 72.656 0.231 0.844 0.375 0.802 0.444 s48 a48 0 1 0 191 16 1 13 33 porc.concord kappa esp sens pred.neg pred.pos 88.538 0.624 0.936 0.673 0.923 0.717 s49 a49 0 1 0 68 13 1 7 40 porc.concord kappa esp sens pred.neg pred.pos 84.375 0.673 0.907 0.755 0.840 0.851 s50 a50 0 1 0 116 4 1 3 5 porc.concord kappa esp sens pred.neg pred.pos 94.531 0.559 0.975 0.556 0.967 0.625 s51 a51 0 1 0 109 11 1 7 1 porc.concord kappa esp sens pred.neg pred.pos 85.938 0.027 0.940 0.083 0.908 0.125 s52 a52 0 1 0 107 1 1 15 5 porc.concord kappa esp sens pred.neg pred.pos 87.500 0.337 0.877 0.833 0.991 0.250 s54 a54 0 1 0 102 23 94 1 1 2 porc.concord kappa esp sens pred.neg pred.pos 81.250 0.105 0.990 0.080 0.816 0.667 s55 a55 0 1 0 104 15 1 1 8 porc.concord kappa esp sens pred.neg pred.pos 87.500 0.444 0.990 0.348 0.874 0.889 s56 a56 0 1 0 96 18 1 6 8 porc.concord kappa esp sens pred.neg pred.pos 81.250 0.301 0.941 0.308 0.842 0.571 s62 a62 0 1 0 57 0 1 8 10 porc.concord kappa esp sens pred.neg pred.pos 89.333 0.655 0.877 1.000 1.000 0.556 s63 a63 0 1 0 64 1 1 5 5 porc.concord kappa esp sens pred.neg pred.pos 92.000 0.583 0.928 0.833 0.985 0.500 s64 a64 0 1 0 130 6 1 8 3 porc.concord kappa esp sens pred.neg pred.pos 90.476 0.249 0.942 0.333 0.956 0.273 s65 a65 0 1 0 55 1 1 3 16 porc.concord kappa esp sens pred.neg pred.pos 94.667 0.854 0.948 0.941 0.982 0.842 s66 a66 0 1 0 105 2 1 5 35 porc.concord kappa esp sens pred.neg pred.pos 95.238 0.877 0.955 0.946 0.981 0.875 s67 a67 0 1 0 81 5 95 1 8 53 porc.concord kappa esp sens pred.neg pred.pos 91.156 0.817 0.910 0.914 0.942 0.869 s68 a68 0 1 0 61 1 1 5 3 porc.concord kappa esp sens pred.neg pred.pos 91.429 0.459 0.924 0.750 0.984 0.375 s69 a69 0 1 0 48 3 1 2 17 porc.concord kappa esp sens pred.neg pred.pos 92.857 0.822 0.960 0.850 0.941 0.895 s70 a70 0 1 0 51 7 1 1 11 porc.concord 88.571 s71 a71 0 1 0 115 3 1 3 4 porc.concord 95.200 s72 a72 0 1 0 116 1 1 0 8 porc.concord 99.200 s73 a73 0 1 0 236 1 1 10 6 porc.concord 95.652 s74 a74 0 1 0 104 3 1 10 11 kappa esp sens pred.neg pred.pos 0.664 0.981 0.611 0.879 0.917 kappa esp sens pred.neg pred.pos 0.546 0.975 0.571 0.975 0.571 kappa esp sens pred.neg pred.pos 0.937 1.000 0.889 0.991 1.000 kappa esp sens pred.neg pred.pos 0.503 0.959 0.857 0.996 0.375 porc.concord kappa esp sens pred.neg pred.pos 89.844 0.572 0.912 0.786 0.972 0.524 s75 a75 0 1 0 165 31 1 17 43 96 porc.concord kappa esp sens pred.neg pred.pos 81.250 0.517 0.907 0.581 0.842 0.717 s76 a76 0 1 0 164 16 1 26 50 porc.concord kappa esp sens pred.neg pred.pos 83.594 0.591 0.863 0.758 0.911 0.658 s77 a77 0 1 0 102 11 1 10 5 porc.concord kappa esp sens pred.neg pred.pos 83.594 0.229 0.911 0.312 0.903 0.333 s78 a78 0 1 0 85 26 1 9 8 porc.concord kappa esp sens pred.neg pred.pos 72.656 0.166 0.904 0.235 0.766 0.471 s79 a79 0 1 0 69 30 1 10 19 porc.concord kappa esp sens pred.neg pred.pos 68.750 0.283 0.873 0.388 0.697 0.655 4) Item 62 tiene “cumple” (o sea 0) en todos los casos de la PRUNAPE ( p62). p62 a62 0 0 53 1 18 p62 s62 0 0 61 1 10 s62 a62 0 1 0 57 0 1 8 10 97 porc.concord kappa esp sens pred.neg pred.pos 89.333 0.655 0.877 1.000 1.000 0.556 98 ANEXO 5 Intervalos de Confianza de las estimaciones de los indicadores de validación del Cuestionario Prunape Pre-Pesqusia (CPPP) respecto ala Prunape Instrucciones: Para todos los criterios de aprobación del cuestionario considerados, se presentan intervalos de 95% de confianza para los siguientes indicadores prop.concord = proporción de concordancia entre pautas prunape y preguntas cuestionario esp = especificidad = Probabilidad de cuestionario negativo entre prunape negativos = Probabilidad de negativos “verdaderos” sens = sensibilidad = Probabilidad de cuestionario positivo entre prunape positivos = Probabilidad de positivos “verdaderos” pred.neg = valor predictivo negativo = Probabilidad de prunape negativa entre cuestionarios negativos = Probabilidad de verdadero negativo si el cuestionario resulta negativo pred.pos = valor predictivo positivo = Probabilidad de prunape positiva entre cuestionarios positivos = Probabilidad de verdadero positivo si el cuestionario resulta positivo Los límites inferior y superior se indican respectivamente como prop.concordInf espInf sensInf pred.negInf pred.posInf prop.concordSup espSup sensSup pred.negSup pred.posSup O sea que para los intervalos de confianza se agregan a los nombres de los indicadores los sufijos Inf y Sup Para qué sirven estos intervalos 1) Para evaluar la precisión de las estimaciones de los indicadores Por ejemplo los intervalos de confianza para la especificidad con el criterio nocumple2auto.90 son ( 0.835; 0.919 ) toda la muestra junta 2) Para comparar el valor de los indicadores entre dos cuestionarios diferentes Por ejemplo el intervalo de confianza de la especificidad con el criterio nocumple2auto.90 en el cuestionario 1 es (0.610; 0.877) en el cuestionario 2 es (0.807; 0.983) Los intervalos se superponen, no podemos afirmar que la especificidad difiera entre el cuestionario 1 y el 2. 3) Para comparar el valor de los indicadores entre dos niveles de educación de la madre o tutor Para qué NO sirven estos intervalos Estos intervalos no sirven para comparar distintos criterios dentro del mismo cuestionario porque los intervalos fueron calculados 99 con las mismas observaciones. 100 Toda la muestra junta criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1sal.90 0.578 0.7 0.441 0.516 0.634 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple1sal.90 0.621 0.759 0.5 0.571 0.703 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1sal.90 0.764 0.662 0.81 0.559 0.625 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1auto.90 0.548 0.608 0.461 0.493 0.577 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple1auto.90 0.591 0.671 0.521 0.551 0.643 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1auto.90 0.633 0.728 0.58 0.608 0.705 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2sal.90 0.519 0.901 0.185 0.471 0.71 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple2sal.90 0.563 0.94 0.232 0.518 0.815 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2sal.90 0.889 0.605 0.965 0.287 0.565 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2auto.90 0.518 0.835 0.228 0.469 0.636 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple2auto.90 0.561 0.884 0.278 0.518 0.731 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2auto.90 0.603 0.919 0.335 0.566 0.81 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1sal.75 0.611 0.482 0.691 0.584 0.597 criterio ...prop.concord...esp ...sens ...pred.neg ...pred.pos 1 nocumple1sal.75 0.653 0.546 0.746 0.654 0.652 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 101 1 nocumple1sal.75 0.703 0.693 0.609 0.795 0.717 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1auto.75 0.582 0.438 0.676 0.551 0.572 criterio...prop.concord...esp ...sens ...pred.neg ...pred.pos 1 nocumple1auto.75 0.625 0.502 0.732 0.622 0.627 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1auto.75 0.666 0.566 0.782 0.688 0.678 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2sal.75 0.593 0.791 0.396 0.523 0.695 criterio...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple2sal.75 0.636 0.843 0.454 0.575 0.768 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2sal.75 0.828 0.677 0.885 0.514 0.626 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2auto.75 0.567 0.734 0.392 0.505 0.638 criterio...prop.concord ...esp...sens ...pred.neg ...pred.pos 1 nocumple2auto.75 0.61 0.791 0.451 0.558 0.711 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2auto.75 0.651 0.839 0.511 0.61 0.775 En los próximos cuadros, el criterio seleccionado está resaltado en turquesa Cuestionario 1 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1sal.90 0.507 0.49 0.408 0.518 0.381 criterio...prop.concord ...esp ...sens ..pred.neg ...pred.pos 1 nocumple1sal.90 0.627 0.651 0.594 0.683 0.559 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1sal.90 0.724 0.733 0.785 0.758 0.814 102 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1auto.90 0.534 0.357 0.665 0.613 0.413 criterio...prop.concord ...esp ...sens ..pred.neg ...pred.pos 1 nocumple1auto.90 0.653 0.512 0.844 0.815 0.562 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1auto.90 0.757 0.664 0.941 0.93 0.702 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2sal.90 0.547 0.741 0.217 0.518 0.44 criterio...prop.concord ...esp ...sens ..pred.neg ...pred.pos 1 nocumple2sal.90 0.667 0.884 0.375 0.655 0.706 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2sal.90 0.886 0.769 0.956 0.563 0.772 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2auto.90 0.547 0.61 0.35 0.536 0.425 criterio...prop.concord ...esp ...sens ..pred.neg ...pred.pos 1 nocumple2auto.90 0.667 0.767 0.531 0.688 0.63 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2auto.90 0.769 0.877 0.705 0.809 0.799 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1sal.75 0.441 0.274 0.562 0.481 0.346 criterio...prop.concord ...esp ...sens ..pred.neg ...pred.pos 1 nocumple1sal.75 0.56 0.419 0.75 0.692 0.49 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1sal.75 0.635 0.673 0.578 0.879 0.849 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1auto.75 0.454 0.215 0.701 0.539 0.365 103 criterio...prop.concord ...esp ...sens ..pred.neg ...pred.pos 1 nocumple1auto.75 0.573 0.349 0.875 0.789 0.5 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1auto.75 0.635 0.685 0.51 0.959 0.93 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2sal.75 0.467 0.537 0.268 0.473 0.324 criterio...prop.concord ...esp ...sens ..pred.neg ...pred.pos 1 nocumple2sal.75 0.587 0.698 0.438 0.625 0.519 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2sal.75 0.708 0.697 0.823 0.621 0.757 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2auto.75 0.534 0.467 0.499 0.556 0.409 criterio...prop.concord ...esp ...sens ..pred.neg ...pred.pos 1 nocumple2auto.75 0.653 0.628 0.688 0.73 0.579 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2auto.75 0.757 0.766 0.833 0.856 0.733 Cuestionario 2 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1sal.90 0.509 0.674 0.166 0.521 0.285 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple1sal.90 0.63 0.822 0.321 0.661 0.529 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1sal.90 0.761 0.738 0.915 0.524 0.778 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1auto.90 0.414 0.487 0.193 0.464 0.209 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple1auto.90 0.534 0.644 0.357 0.617 0.385 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 104 1 nocumple1auto.90 0.593 0.65 0.777 0.559 0.751 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2sal.90 0.55 0.868 0.068 0.365 criterio ...prop.concord ...esp ...sens ...pred.pos 1 nocumple2sal.90 0.671 0.978 0.179 0.833 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2sal.90 0.991 0.774 0.999 0.376 0.53 ...pred.neg 0.657 0.766 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2auto.90 0.522 0.807 0.068 0.517 0.259 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple2auto.90 0.644 0.933 0.179 0.646 0.625 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2auto.90 0.75 0.983 0.376 0.758 0.898 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1sal.75 0.454 0.509 0.25 0.497 0.26 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple1sal.75 0.575 0.667 0.429 0.652 0.444 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1sal.75 0.644 0.688 0.796 0.626 0.782 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1auto.75 0.401 0.339 0.374 0.465 0.26 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple1auto.75 0.521 0.489 0.571 0.647 0.41 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1auto.75 0.638 0.64 0.75 0.797 0.578 105 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2sal.75 0.536 0.779 0.114 0.529 0.316 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple2sal.75 0.658 0.911 0.25 0.661 0.636 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2sal.75 0.876 0.762 0.971 0.452 0.774 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2auto.75 0.536 0.779 0.114 0.529 0.316 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple2auto.75 0.658 0.911 0.25 0.661 0.636 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2auto.75 0.762 0.971 0.452 0.774 0.876 Cuestionario 3 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1sal.90 0.449 0.571 0.283 0.388 0.455 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple1sal.90 0.54 0.707 0.397 0.5 0.614 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1sal.90 0.753 0.628 0.815 0.523 0.612 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1auto.90 0.496 0.571 0.364 0.422 0.511 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple1auto.90 0.587 0.707 0.485 0.539 0.66 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1auto.90 0.673 0.815 0.609 0.653 0.784 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2sal.90 0.449 0.847 0.11 0.404 0.537 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple2sal.90 0.54 0.948 0.191 0.5 0.812 106 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2sal.90 0.95 0.628 0.987 0.308 0.596 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2auto.90 0.488 0.782 0.205 0.423 0.573 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple2auto.90 0.579 0.897 0.309 0.525 0.778 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2auto.90 0.666 0.957 0.434 0.626 0.906 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1sal.75 0.504 0.4 0.521 0.424 0.496 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple1sal.75 0.595 0.534 0.647 0.564 0.62 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1sal.75 0.73 0.681 0.665 0.756 0.694 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1auto.75 0.512 0.383 0.551 0.433 0.501 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple1auto.75 0.603 0.517 0.676 0.577 0.622 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1auto.75 0.688 0.649 0.782 0.71 0.73 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2sal.75 0.472 0.761 0.193 0.413 0.534 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple2sal.75 0.563 0.879 0.294 0.515 0.741 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2sal.75 0.881 0.651 0.946 0.419 0.616 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 107 1 nocumple2auto.75 0.504 0.682 0.296 0.43 0.549 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple2auto.75 0.595 0.81 0.412 0.54 0.718 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2auto.75 0.681 0.897 0.538 0.646 0.845 Cuestionario 4 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1sal.90 0.566 0.673 0.474 0.331 0.785 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple1sal.90 0.656 0.838 0.582 0.449 0.898 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1sal.90 0.958 0.736 0.932 0.683 0.573 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1auto.90 0.488 0.556 0.41 0.27 0.696 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple1auto.90 0.578 0.73 0.516 0.38 0.825 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1auto.90 0.664 0.856 0.622 0.504 0.908 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2sal.90 0.351 0.842 0.142 0.25 0.741 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple2sal.90 0.438 0.973 0.22 0.336 0.952 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2sal.90 0.998 0.528 0.999 0.321 0.435 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2auto.90 0.366 0.805 0.17 0.251 0.725 108 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple2auto.90 0.453 0.946 0.253 0.34 0.92 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2auto.90 0.543 0.991 0.357 0.441 0.986 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1sal.75 0.689 0.371 0.777 0.437 0.729 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple1sal.75 0.773 0.541 0.868 0.625 0.823 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1sal.75 0.891 0.841 0.702 0.927 0.783 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1auto.75 0.656 0.396 0.715 0.385 0.724 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple1auto.75 0.742 0.568 0.813 0.553 0.822 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1auto.75 0.814 0.725 0.884 0.71 0.892 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2sal.75 0.551 0.704 0.442 0.324 0.793 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple2sal.75 0.641 0.865 0.549 0.438 0.909 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2sal.75 0.966 0.722 0.949 0.653 0.559 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2auto.75 0.457 0.556 0.368 0.255 0.676 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple2auto.75 0.547 0.73 0.473 0.36 0.811 109 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2auto.75 0.634 0.856 0.579 0.48 0.901 Cuestionario 5 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1sal.90 0.568 0.667 0.396 0.513 0.557 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple1sal.90 0.656 0.788 0.523 0.627 0.708 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1sal.90 0.826 0.736 0.875 0.647 0.728 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1auto.90 0.514 0.602 0.353 0.471 0.483 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple1auto.90 0.603 0.727 0.477 0.585 0.633 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1auto.90 0.686 0.826 0.604 0.691 0.762 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2sal.90 0.498 0.825 0.151 0.457 0.525 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple2sal.90 0.588 0.924 0.246 0.555 0.762 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2sal.90 0.909 0.672 0.972 0.371 0.648 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2auto.90 0.453 0.77 0.115 0.43 0.387 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple2auto.90 0.542 0.879 0.2 0.527 0.619 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2auto.90 0.629 0.943 0.321 0.622 0.81 110 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1sal.75 0.599 0.433 0.696 0.608 0.532 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple1sal.75 0.687 0.561 0.815 0.755 0.646 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1sal.75 0.747 0.764 0.681 0.897 0.862 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1auto.75 0.529 0.433 0.548 0.501 0.481 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple1auto.75 0.618 0.561 0.677 0.638 0.603 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1auto.75 0.701 0.681 0.785 0.757 0.713 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2sal.75 0.631 0.734 0.456 0.562 0.646 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple2sal.75 0.718 0.848 0.585 0.675 0.792 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2sal.75 0.89 0.791 0.921 0.703 0.771 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2auto.75 0.544 0.717 0.311 0.49 0.549 criterio ...prop.concord ...esp ...sens ...pred.neg ...pred.pos 1 nocumple2auto.75 0.634 0.833 0.431 0.598 0.718 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2auto.75 0.715 0.91 0.559 0.697 0.845 111 ANEXO 6 Criterios de validez de los formularios según nivel educativo materno PRIMARIA SECUNDARIA O UNIV 219 308 SIN DATO 6 PRIMARIA criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1sal.90 0.534 0.7 0.387 0.411 0.679 criterio ..prop.concord ..esp ...sens ..pred.neg ..pred.pos 1 nocumple1sal.90 0.603 0.802 0.474 0.496 0.788 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1sal.90 0.868 0.667 0.877 0.562 0.582 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1auto.90 0.475 0.493 0.416 0.35 0.562 criterio ..prop.concord ..esp ...sens ..pred.neg ..pred.pos 1 nocumple1auto.90 0.543 0.605 0.504 0.441 0.663 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1auto.90 0.61 0.707 0.591 0.535 0.752 112 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2sal.90 0.434 0.911 0.134 0.369 0.75 criterio ..prop.concord ..esp ...sens ..pred.neg ..pred.pos 1 nocumple2sal.90 0.502 0.977 0.195 0.44 0.929 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2sal.90 0.988 0.57 0.996 0.275 0.513 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2auto.90 0.457 0.806 0.212 0.373 0.663 criterio ..prop.concord ..esp ...sens ..pred.neg ..pred.pos 1 nocumple2auto.90 0.525 0.895 0.286 0.448 0.809 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2auto.90 0.592 0.948 0.372 0.525 0.904 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1sal.75 0.571 0.425 0.621 0.615 criterio ..prop.concord ..esp ...sens ..pred.pos 1 nocumple1sal.75 0.639 0.535 0.707 0.701 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1sal.75 0.776 0.702 0.642 0.781 0.43 ..pred.neg 0.541 0.649 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1auto.75 0.53 0.315 0.628 0.37 0.571 criterio ..prop.concord ..esp ...sens ..pred.neg ..pred.pos 1 nocumple1auto.75 0.598 0.419 0.714 0.486 0.655 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1auto.75 0.663 0.53 0.788 0.605 0.731 113 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2sal.75 0.525 0.806 0.316 0.41 0.737 criterio ..prop.concord ..esp ...sens ..pred.neg ..pred.pos 1 nocumple2sal.75 0.594 0.895 0.398 0.49 0.855 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2sal.75 0.659 0.948 0.487 0.571 0.927 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2auto.75 0.507 0.649 0.373 0.389 0.634 criterio ..prop.concord ..esp ...sens ..pred.neg ..pred.pos 1 nocumple2auto.75 0.575 0.756 0.459 0.474 0.744 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2auto.75 0.641 0.839 0.547 0.561 0.831 SECUNDARIA O UNIV criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1sal.90 0.573 0.654 0.437 0.549 0.548 criterio ..prop.concord ..esp ...sens ..pred.neg ..pred.pos 1 nocumple1sal.90 0.63 0.731 0.52 0.622 0.642 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1sal.90 0.726 0.683 0.797 0.602 0.691 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1auto.90 0.57 0.635 0.45 0.548 0.541 criterio ..prop.concord ..esp ...sens ..pred.neg ..pred.pos 1 nocumple1auto.90 0.627 0.712 0.534 0.623 0.632 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1auto.90 0.68 0.78 0.616 0.693 0.715 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 114 1 nocumple2sal.90 0.547 0.862 0.196 0.511 0.608 criterio ..prop.concord ..esp ...sens ..pred.neg ..pred.pos 1 nocumple2sal.90 0.604 0.919 0.264 0.574 0.75 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2sal.90 0.855 0.658 0.954 0.343 0.635 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2auto.90 0.527 0.818 0.196 0.5 0.535 criterio ..prop.concord ..esp ...sens ..pred.neg ..pred.pos 1 nocumple2auto.90 0.584 0.881 0.264 0.564 0.672 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2auto.90 0.64 0.925 0.343 0.626 0.786 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1sal.75 0.599 0.463 0.7 0.635 0.538 criterio ..prop.concord ..esp ...sens ..pred.neg ..pred.pos 1 nocumple1sal.75 0.656 0.544 0.777 0.725 0.612 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1sal.75 0.681 0.708 0.622 0.84 0.801 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple1auto.75 0.59 0.47 0.671 0.615 0.532 criterio ..prop.concord ..esp ...sens ..pred.neg ..pred.pos 1 nocumple1auto.75 0.646 0.55 0.75 0.704 0.607 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple1auto.75 0.699 0.628 0.816 0.781 0.677 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2sal.75 0.606 0.742 0.417 0.567 0.613 criterio ..prop.concord ..esp ...sens ..pred.neg ..pred.pos 1 nocumple2sal.75 0.662 0.812 0.5 0.637 0.712 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2sal.75 0.794 0.714 0.868 0.583 0.702 115 criterio prop.concordInf espInf sensInf pred.negInf pred.posInf 1 nocumple2auto.75 0.576 0.742 0.359 0.541 0.58 criterio ..prop.concord ..esp ...sens ..pred.neg ..pred.pos 1 nocumple2auto.75 0.633 0.812 0.439 0.61 0.684 criterio prop.concordSup espSup sensSup pred.negSup pred.posSup 1 nocumple2auto.75 0.687 0.868 0.523 0.676 0.774