Cálculos de Poder Juan Saavedra RAND Corporation ¿Qué es poder estadístico? ¿Qué es poder estadístico? Beta= Impacto ¿Qué es poder estadístico? Beta= Impacto ¿Qué es poder estadístico? Beta= Impacto ¿Qué es poder estadístico? Beta= Impacto ¿Por qué calcular poder? Tema práctico: • Ayuda a anticipar si el tamaño de la muestra será lo suficientemente grande para detectar “efectos esperados”. • Administrar encuestas y tratamientos puede ser muy caro y uno tiene que adherirse a un presupuesto. • Necesario optimizar la muestra al presupuesto. • Tamaño de muestra limitado por factores de implementación. Incertidumbre Tema Estadístico • Queremos minimizar las probabilidades de no poder rechazar la hipótesis nula dado que es falsa. • Cálculos de poder dependen de algunos parámetros con valores desconocidos. ¿De qué depende el poder muestral? Beta= Impacto ¿De qué depende el poder muestral? La probabilidad de rechazar la hipótesis nula dado que es falsa depende (principalmente) de: • • • • • Magnitud del efecto bajo la hipótesis alternativa Tamaño de muestra Varianza de los resultados en la población Criterio de significancia Diseño Formalicemos la intuición… La hipótesis que queremos probar es: Formalicemos la intuición… La hipótesis que queremos probar es: En muestras grandes se rechaza la hipótesis nula si: Donde: Formalicemos la intuición… Pero si β>0, en muestras grandes: Formalicemos la intuición… Pero si β>0, en muestras grandes: Por tanto, el poder muestral es: Gráficamente… Beta= Impacto Formalicemos la intuición… Restando β/SE(.) a ambos lados: Formalicemos la intuición… Restando β/SE(.) a ambos lados: Formalicemos la intuición… Restando β/SE(.) a ambos lados: Formalicemos la intuición… Aplicando la función inversa de Φ(∙) a ambos lados de la ecuación y utilizando el hecho de que la distribución normal es simétrica y centrada en cero obtenemos: Formalicemos la intuición… Aplicando la función inversa de Φ(∙) a ambos lados de la ecuación y utilizando el hecho de que la distribución normal es simétrica y centrada en cero obtenemos: Formalicemos la intuición… Aplicando la función inversa de Φ(∙) a ambos lados de la ecuación y utilizando el hecho de que la distribución normal es simétrica y centrada en cero obtenemos: Por tanto, para alcanzar un poder κ es necesario que: Formalicemos la intuición… Es decir, el EFECTO MINIMO DETECTABLE es tal que: Puesto que el EFECTO MINIMO DETECTABLE es generalmente una diferencia de medias en el indicador de impacto entre tratamientos y controles: Formalicemos la intuición… Resolviendo para N tenemos: Formalicemos la intuición… Resolviendo para N tenemos: ¿De qué depende N? Formalicemos la intuición… Resolviendo para N tenemos: ¿De qué depende N? Efecto Mínimo Estandarizado Ejercicio 1 Imagine que usted quiere diseñar un experimento para estudiar el impacto de la tecnología (por ejemplo semillas de alto rendimiento) sobre la productividad agrícola. Con asignación individual 50% a tratamiento y 50% a control y sin línea de base, estime cuantos agricultores necesita si quiere encontrar un incremento en el rendimiento por hectárea de 10% dado un rendimiento promedio de 50 kilos/hectárea y una desviación estándar de 60 kilos/hectárea. Asuma significancia de 5% y poder de 90% tal que: tα=1.65 t1-κ=1.28 Tamaño del Efecto Tamaño del Efecto de…. Es considerado.. Lo que significa que… Necesita un N de (bajo 50% de tratamiento, 5% sig y 90% poder) 0.2 Modesto El participante promedio del grupo de tratamiento tuvo un resultado mejor que el 58 percentil del grupo de control 859 0.5 Grande El participante promedio del grupo de tratamiento tuvo un resultado mejor que el 69 percentil del grupo de control 138 0.8 MUY grande El participante promedio del grupo de tratamiento tuvo un resultado mejor que el 79 percentil del grupo de control 54 Distribución tratamientos/controles ¿Es siempre deseable 50% de la muestra total en cada grupo? ¿Por qué si? Distribución tratamientos/controles ¿Es siempre deseable 50% de la muestra total en cada grupo? ¿Por qué si? Minimiza la varianza Distribución tratamientos/controles ¿Es siempre deseable 50% de la muestra total en cada grupo? ¿Por qué si? Minimiza la varianza ¿Por qué no? Distribución tratamientos/controles ¿Es siempre deseable 50% de la muestra total en cada grupo? ¿Por qué si? Minimiza la varianza ¿Por qué no? Cuando el tratamiento es caro y la recolección de datos barata, asignación óptima esta dada por: Donde Cc y CT son costos unitarios de encuesta + tratamiento ¿Cómo incrementar el poder muestral? ¿Dado un N, un nivel de significacia y un nivel de poder, se puede reducir el EFECTO MINIMO DETECTABLE? Si, con covariables de línea de base ¿Cómo incrementar el poder muestral? ¿Cómo incrementar el poder muestral? Es un caso particular de: Donde R2 es la proporción de la varianza en el indicador de impacto que explican las covariables de línea de base. Ejercicio 2 ¿Cuál es el EFECTO MINIMO DETECTABLE de un programa de capacitación laboral para el que, σ=$7,000, N=500, q=0.5, R2=0, tα=1.65 y t1-κ=1.28 ? Ejercicio 2 ¿Cuál es el EFECTO MINIMO DETECTABLE de un programa de capacitación laboral para el que σ=$7,000, N=500, q=0.5, R2=0, tα=1.65 y t1-κ=1.28 ? ¿Y si ahora R2=0.2? ¿Cómo incrementar el poder muestral? ¿Dado un N, un nivel de significacia y un nivel de poder, se puede reducir el EFECTO MINIMO DETECTABLE? Sí, con covariables de línea de base. Sí, balanceando la distribución de covariables de línea de base entre los grupos de tratamiento y control. ¿Cómo incrementar el poder muestral? ¿Dado un N, un nivel de significacia y un nivel de poder, se puede reducir el EFECTO MINIMO DETECTABLE? Si, con covariables de línea de base. Si, balanceando la distribución de covariables de línea de base entre los grupos de tratamiento y control. ¿Cómo puedo balancear la distribución de covariables de línea de base entre tratamientos y controles? ¿Cómo incrementar el poder muestral? Estratificando: dividiendo la muestra de análisis en estratos (bloques) según alguna característica (por ejemplo, hombres y mujeres) y aleatorizando al interior de cada estrato. ¿Cómo incrementar el poder muestral? Estratificando: dividiendo la muestra de análisis en estratos (bloques) según alguna característica (por ejemplo, hombres y mujeres) y aleatorizando al interior de cada estrato. Varianza total del indicador de impacto (en ausencia de estratificación) es la suma de la varianza entre estratos y la varianza al interior de cada estrato: ¿Cómo incrementar el poder muestral? Y el EFECTO MINIMO DETECTABLE se puede escribir como: Entre mayor la varianza entre estratos (en ausencia de estratificación) mayor la ganancia de poder muestral que obtengo estratificando. ¿Cómo incrementar el poder muestral? ¿Dado un N, un nivel de significacia y un nivel de poder, se puede reducir el EFECTO MINIMO DETECTABLE? Sí, con covariables de línea de base. Sí, balanceando la distribución de covariables de línea de base entre los grupos de tratamiento y control. Sí, usando pruebas de significancia estadística direccionales (Bloom, 1995) Intuición gráfica: prueba direccional Beta= Impacto Intuición gráfica: prueba no direccional Beta= Impacto Recordemos que… Cumplimiento Imperfecto Cuando la asignación al tratamiento no es idéntica al tratamiento recibido: • Diseño por invitación/estímulo • Algunos asignados a tratamiento deciden no recibirlo • Algunos que no fueron asignados sí reciben tratamiento Cumplimiento Imperfecto Denotemos como d la diferencia en la participación (P) entre tratamientos y controles. Si z es la asignación al tratamiento: Cumplimiento Imperfecto Denotemos como d la diferencia en la participación (P) entre tratamientos y controles. Si z es la asignación al tratamiento: Podemos re-escribir ecuación que define EFECTO MÍNIMO DETECTABLE en función de d como: Impacto de Cumplimiento Imperfecto Con diferencia de 50% entre la participación de tratamientos y controles: Impacto de Cumplimiento Imperfecto Con diferencia de 50% entre la participación de tratamientos y controles: Asignación aleatoria por conglomerados • Hasta ahora, nos hemos enfocado en asignaciones aleatorias a individuos. • Pero en mucho casos es deseable y/o necesario aleatorizar a un nivel de agregación grupal: municipio, escuela, aula de clase, etc, tal que: • Individuos dentro de cada conglomerado reciben el mismo tratamiento. • ¿Puede esto afectar los cálculos de poder estadístico de un experimento? ¿Cómo? Impacto de asignación por conglomerados • Los individuos dentro de cada conglomerado comparten carácterísticas comunes: • Estudiantes dentro de una misma aula de clase comparten el mismo profesor y los mismos compañeros. • Individuos dentro de cada conglomerado no representan observaciones independientes: • Un individuo adicional no aporta el mismo poder que en un diseño simple (a nivel individual). Impacto de asignación por conglomerados El EFECTO MÍNIMO DETECTABLE se puede escribir como: Donde J es el número de conglomerados, n número de individuos en cada conglomerado, ρ es la correlación intra-clase. Cuando ρ>0, J tiene (mucho) mayor impacto sobre EMD que n ¿Por qué? Impacto de asignación por conglomerados La razón entre el error estándar del impacto estimado bajo asignación por conglomerados y bajo asignación individual se denomina efecto de diseño: Cuando ρ=0, asignación por conglomerados tiene el mismo poder estadístico que la asignación individual ¿Qué tan malo puede ser? Si ρ = 0.2, En un experimento con 50 escuelas: D =√(1+(n-1) ρ)= 3.3 Con 30 estudiantes por escuela, N = 1500 Efecto Mínimo Detectable estandarizado con aleatorización individual: 0.15 Efecto Mínimo Detectable estandarizado con efecto de diseño: 0.15*3.3 = 0.50 Transición de “pequeño” a “grande” Tomado de Lipsey y Hurley (2009) Ejemplos de Valores de ρ en educación Busia, Kenia: Matemáticas y Lenguaje 0.22 Udaipur, India: Matemáticas y Lenguaje 0.23 Mumbai, India: Matemáticas y Lenguaje 0.29 Vadodara, India: Matemáticas y Lenguaje 0.28 Busia, Kenia: Matemáticas 0.62 Chile: Comprensión Lectora, clusters de clases en escuelas municipales 0.42 ¿Ideas centrales a manera de resumen? ¡Gracias!