PRUEBAS DE COMPARACION ENTRE TRATAMIENTOS Y PRUEBAS DE HOMOCEDASTICIDAD ARMANDO AYALA MOYANO HENRY CHACÓN ZAMORA Asig: DISEÑO EXPERIMENTAL Prof: SARA CRISTINA GUERRERO UNIVERSIDAD PEDAGÓGICA Y TECNOLÓGICA DE COLOMBIA FACULTAD DE CIENCIAS AGROPECUARIAS ESCUELA DE INGENIERÍA AGRONÓMICA TUNJA-2010 PRUEBAS PARA ESTABLECER COMPARACIONES ENTRE TRATAMIENTOS Diferencia Mínima Significativa La Diferencia Mínima Significativa (DMS) sólo debe emplearse para comparar medias adyacentes en un arreglo ordenado, aunque también se puede emplear para comparar las medias con un testigo o tratamiento estándar. La DMS es una prueba de t de Student que utiliza la varianza combinada, es decir: Sd es el error estándar de la diferencia y su cálculo a partir de los datos de la ANDEVA es como sigue: Donde: r CME es el es el número de repeticiones. cuadrado medio del error Ejemplo: ANDEVA Fuentes de variación SC GL CM F Tratamientos 0.73 4 0.1825 4.1196 Repeticiones 0.096 2 0.048 1.0835 Error 0.354 8 0.0443 Total 1.1790 14 Promedios ordenados B 8.05 A 7.85 C 7.74 D 7.51 E 7.45 El valor de la t se toma de la tabla con los grados de libertad del error. Si la diferencia entre dos promedios seguidos excede el valor de 0.397, se la declara significativa al nivel del 5%. En este ejemplo, la DMS indica que no hay diferencias significativas entre tratamientos adyacentes, pero la F de la ANDEVA indica que sí existen diferencias si se comparan medias no adyacentes, en este caso, el investigador podría optar por otro tipo de prueba de rango múltiple. Prueba De Tukey Prueba de Duncan TEMA: DISEÑO COMPLETAMENTE AL AZAR (DCA) DESARROLLO TEMÁTICO CALCULOS Se desea comparar el efecto de 3 distanciamientos en el cultivo de maíz, dicha investigación se la realizará con 3 repeticiones y 1 testigo. Desarrollo: 4 tratamientos x 3 repeticiones = 12 unidades experimentales Tratamientos: T1 = Testigo (25 cm) T2 = 50 cm T3 = 75 cm T4 = 100 cm Mapa de Campo: T4 T2 T3 T2 T3 T2 T1 T1 T4 T3 T4 T1 Datos tomados: Producción de maíz en Kg. 55 115 90 120 98 135 70 75 50 88 42 67 Sistematización de la Información Tratamientos Análisis de la Varianza (ADEVA) Cálculo del Factor de Corrección (FC) Cálculo de los Grados de Libertad (GL) GLT = total tratamientos - 1 GLT = (4 x 3) - 1 GLT = 11 GLt = número de tratamientos - 1 GLt = 4 - 1 GLt = 3 GLE = GLT - GLt GLE = 11 - 3 GLE = 8 Cálculo de la suma de cuadrados total (SCT) SCT = (resultados tratamientos)2 - FC SCT = [ (55)2 + (120)2 + (70)2 + (88)2 + (115)2 + (98)2 + (75)2 + (42)2 + (90)2 + ..............(135)2 + (50)2 + (67)2 ] - FC SCT = 9442.25 Suma de cuadrados de tratamientos (SCt) Suma de los cuadrados del error (SCE) SCE = SCT - SCt SCE = 9442.25 - 9040.92 SCE = 401.33 Cálculo de los cuadrados medios (CMt) Cuadrados medio error (CME) Cálculo de F calculada (FC) Determinación de Valores F Tabular Para 0.05 es igual a 4.07 Para 0.01 es igual a 7.59 Interpretación Como F calculada es mayor que F Tabular los resultados son altamente significativos (**). Cálculo del Coeficiente de Variación (CV) % GRADOS DE SUMA DE F Tabular FUENTE DE CUADRADOS LIBERTAD CUADRADOS FC VARIACION MEDIOS 0.05 0.01 (SC) (GL) TOTAL 11 9442.25 TRATAMIENTOS 3 9040.92 58.90 4.07 7.59 ERROR 8 401.33 51.17 X 83.75 CV% 8.54 Prueba de Duncan Cálculo de la Desviación Típica Rangos mínimos de Duncan (RMD) y rangos mínimos significativos (RMS) RMD 3.26 3.39 3.47 RMS 11.67 12.14 12.42 Ordenamiento de medias de menor a mayor T4 T1 T3 T2 49.00 70.67 92.00 123.33 C B A Comparación entre medias 123.33 - 49.00 = 74.33 Como es mayor al RMS 12.42, entonces es significativo. 70.67 - 49.00 = 21.67 Como es mayor al RMS 12.42, entonces es significativo. Clasificación de los datos significativos: 123.33 - 12.42 = 110.91 A todos los valores de las medias que se hallan en el rango de 110.91 a 123.33 se identificarán con la letra A. 92.00 - 12.14 = 79.86 A todos los valores de las medias que se hallan en el rango de 77.86 a 92.00 se identificarán con la letra B. 70.67 - 11.67 = 59.00 A todos los valores de las medias que se hallan en el rango de 59.00 a 70.67 se identificarán con la letra C. Interpretación de la Prueba de Duncan Como se observa en los resultados de la Prueba de Duncan podemos confirmar que existen diferencias estadísticas entre los tratamientos en estudios, obteniendo el mayor promedio T2 con 123.33 Kg. de producción, en tanto que en T4 obtuvo el menor promedio con 49.00 kg. PROCEDIMIENTOS PARA VERIFICAR EL AJUSTE A UNA DISTRIBUCIÓN DE PROBABILIDAD (PRUEBAS DE NORMALIDAD) Existen diferentes pruebas para verificar el ajuste de nuestros datos a una distribución de probabilidad. Las dos más utilizadas son el contraste Contraste de Pearson, y la prueba de Kolmogorov-Smirnov. de Pearson La idea del contraste de Pearson es muy sencilla: se agrupan los datos en k clases (k>5), como si fuéramos a construir un histograma, cubriendo todo el rango posible de valores, siendo deseable disponer, aproximadamente, del mismo número de datos en cada clase y al menos de tres datos en cada una. Llamamos Oi al número de datos observado en la clase i. Mediante el modelo de probabilidad que se desea verificar se calcula la probabilidad Pi asignada a cada clase, y por lo tanto, para una muestra de n datos, la frecuencia esperada según ese modelo de probabilidad es Ei=n.Pi. Se calcula entonces el siguiente índice de discrepancia entre las frecuencias observadas y las que era previsible encontrar si el modelo fuera el adecuado: que se distribuye aproximadamente como una si el modelo es correcto. Si el modelo se especifica de forma completa con las probabilidades Pi, conocidas antes de tomar los datos, el número de grados de libertad es k-1. Pero si se han estimado r parámetros del modelo a partir de los datos, entonces los grados de libertad son k-r-1. Prueba de Kolmogorov-Smirnov Este contraste, que es válido únicamente para variables continuas, compara la función de distribución (probabilidad acumulada) teórica con la observada, y calcula un valor de discrepancia, representado habitualmente como D, que corresponde a la discrepancia máxima en valor absoluto entre la distribución observada y la distribución teórica, proporcionando asimismo un valor de probabilidad P, que corresponde, si estamos verificando un ajuste a la distribución normal, a la probabilidad de obtener una distribución que discrepe tanto como la observada si verdaderamente se hubiera obtenido una muestra aleatoria, de tamaño n, de una distribución normal. Si esa probabilidad es grande no habrá por tanto razones estadísticas para suponer que nuestros datos no proceden de una distribución, mientras que si es muy pequeña, no será aceptable suponer ese modelo probabilístico para los datos. Prueba de Shapiro-Wilks Aunque esta prueba es menos conocida es la que se recomienda para contrastar el ajuste de nuestros datos a una distribución normal, sobre todo cuando la muestra es pequeña (n<30). Mide el ajuste de la muestra a una recta, al dibujarla en papel probabilístico normal. Este tipo de representación también lo proporcionan algunos programas de estadística, de tal manera que nos permite además apreciar el ajuste o desajuste de forma visual: En escala probabilística normal se representa en el eje horizontal, para cada valor observado en nuestros datos, la función de distribución o probabilidad acumulada observada, y en el eje vertical la prevista por el modelo de distribución normal. Si el ajuste es bueno, los puntos se deben distribuir aproximadamente según una recta a 45º. En la imagen vemos que en este ejemplo existe cierta discrepancia. En cualquier caso siempre es adecuado efectuar una representación gráfica de tipo histograma de los datos, y comparar el valor de la media y la mediana, así como evaluar el coeficiente de asimetría y apuntamiento, además de llevar a cabo una representación en escala probabilística de la distribución de probabilidad esperada versus observada, como la de la figura. Posibles soluciones cuando se rechaza la hipótesis de normalidad Si rechazamos o dudamos de la normalidad de nuestros datos, existen varias soluciones posibles: Si la distribución es más apuntada que la normal (mayor parte de los valores agrupados en torno de la media y colas más largas en los extremos), se debe investigar la presencia de heterogeneidad en los datos y de posibles valores atípicos o errores en los datos. La solución puede ser emplear pruebas no paramétricas. Si la distribución es unimodal y asimétrica, la solución más simple y efectiva suele ser utilizar una transformación para convertir los datos en normales. Cuando la distribución no es unimodal hay que investigar la presencia de heterogeneidad, ya que en estos casos la utilización de transformaciones no es adecuada y los métodos no paramétricos pueden también no serlo. Una alternativa muy interesante a los métodos paramétricos y a las pruebas no paramétricas clásicas, la constituye la metodología de estimación autosuficiente ya esbozada en otro artículo de esta serie. Transformaciones para conseguir datos normales La utilización de transformaciones para lograr que los datos se ajusten a una distribución normal es en muchas ocasiones la solución más natural, ya que existen gran cantidad de parámetros biológicos que tienen una distribución asimétrica como la de la figura de la izquierda, y que se convierten en aproximadamente simétricas al transformarlas mediante el logaritmo. Tenemos problemas con la transformación logarítmica ln(x) si la variable puede tomar el valor 0, por lo que en esos casos, o incluso si existen valores muy pequeños, será adecuado emplear la transformación ln(x+1). Cuando la desviación típica de los datos es proporcional a la media o cuando el efecto de los factores es multiplicativo, en lugar de aditivo, está indicado el uso de la transformación logarítmica. Otra transformación posible es , que es aplicable cuando las varianzas son proporcionales a la media, lo que ocurre a menudo cuando los datos provienen de una distribución de Poisson (recuentos). Otra transformación habitualmente empleada es 1/x, que también precisa que sumemos una cantidad a cada valor si existen ceros. Estas tres transformaciones comprimen los valores altos de los datos y expanden los bajos, en sentido creciente en el siguiente orden: (la que menos), ln x, 1/x. Si la concentración de datos está, a diferencia de la figura anterior, en el lado de la derecha y la cola en la izquierda, se puede utilizar la transformación x², que comprime la escala para valores pequeños y la expande para valores altos. Cuando los datos son proporciones o porcentajes de una distribución binomial, las diferencias con una distribución normal son más acusadas para valores pequeños o grandes de las proporciones, utilizándose entonces transformaciones basadas en . En todos los casos para los cálculos estadísticos basados en la teoría normal, se utilizarán los valores transformados, pero después para la presentación de los resultados se efectuará la transformación inversa para presentarlos en su escala de medida natural. PRUEBAS DE HOMOCEDASTICIDAD (HOMOGENEIDAD DE VARIANZA) Prueba De Levene Uno de los pasos previos a la comprobación de si existen diferencias entre las medias de varias muestras es determinar si las varianzas en tales muestras son iguales (es decir, si se cumple la condición de homogeneidad de varianzas o homoscedasticidad), ya que de que se cumpla o no esta condición dependerá la formulación que empleemos en el contraste de medias. Existen varias pruebas que permiten comprobar la igualdad de varianzas (F de Fisher, Fmax de Hartley, prueba de Bartlett, etc), pero aquí desarrollaremos la prueba de Levene que es la que emplea SPSS. Para su cálculo se siguen los siguientes pasos: 1.- Calcular la diferencia (en valor absoluto) entre cada valor y la media de su grupo: donde... Xij: es la puntuación del sujeto i perteneciente al grupo j. j: es la media del grupo j. 2.- Calcular la media de las diferencias de cada grupo: donde... Dij: es la suma de las puntuaciones D en el grupo j. nj: es el tamaño del grupo j. 3.- Calcular la media total de las diferencias: donde... Dij: es la suma de las puntuaciones D de todos los sujetos. N: es la suma de todos los sujetos. 4.- Calcular la suma de cuadrados intragrupo (SCintra): 5.- Calcular la suma de cuadrados intergrupo (SCinter): 6.- Calcular los grados de libertad: G.L.(inter) = k -1; siendo k el número de grupos. G.L.(intra) = ; siendo nj el tamaño muestral del grupo j. 7.- Calcular la media cuadrática intergrupos (MCinter)= SCinter / G.L.inter 8.- Calcular la media cuadrática intragrupos (MCintra)=SCintra / G.L.intra 9.- Calcular la F = MCinter / MCintra Prueba De Ji Cuadrada De Bartlett En las pruebas paramétricas de estadística, como la t de Student y el análisis de varianza de Fischer, se exige como requisito previo la homogeneidad de las varianzas. Esta técnica es un valioso auxiliar para decidir la homogeneidad o heterogeneidad del error estadístico. Al respecto, se debe considerar que la varianza corresponde a la suma de las diferencias de los valores individuales en relación con el promedio, elevadas al cuadrado y divididas entre los grados de libertad, es decir, son variaciones alrededor de la medida de tendencia central, representativa de la muestra con la cual se estudia un fenómeno, sin embargo, no se puede saber si esas variaciones se deben a errores dados por el fenómeno en sí o a errores del observador o del método para efectuar las mediciones. Cuando existen dos o más grupos de población que se desea comparar y las varianzas son iguales, se puede considerar que la fuente de error es la misma, en caso contrario, si son desiguales, se tiene la probabilidad de que otra fuente desconocida de error en alguna de las muestras intervenga desfavorablemente en los resultados del análisis estadístico. En las tareas de la investigación científica de los fenómenos psicológicos es poco probable que al medir las observaciones en dos o más muestras poblacionales, la variación sea idéntica. Por lo general, esas varianzas tienen números diferentes y el investigador cae en la incertidumbre de decidir si las fuentes de error fueron las mismas o si intervinieron uno o más agentes de variación. La prueba de ji cuadrada de Bartlett permite saber, en función de la probabilidad, si la discrepancia entre varianzas fue dada por el azar o por otros factores de error no deseados por el experimentador. La X2 de Bartlett se define matemáticamente con la ecuación siguiente: Donde: X2Bartlett = valor estadístico de ln = logaritmo 2 = n = tamaño de la muestra K = número de grupos N = tamaño total (sumatoria de las muestras). esta del prueba. natural. varianza. grupo. participantes. Pasos: 1. 2. 3. 4. 5. 6. 2) de cada grupo. 2 (n - 1). Transformar la varianza de cada grupo en el logaritmo natural y multiplicarla por los grados de 2 (n - 1). Obtener la sumat - 1). 2 (n - 1). 2 (n - 1)) entre la sumatoria de los grados de - 1)), transformar el resultado en logaritmo natural y multiplicarlo por la sumatoria de los grados de libertad: 7. Obtener 8. EDividir la diferencia obtenida entre el factor de ajuste, el cual está en función del número de grupos que intervienen en el análisis estadístico: 9. la diferencia del paso 6 y 5. El valor obtenido corresponde al estadístico ji cuadrada de Bartlett. Calcular los grados de libertad (gl): gl = K - 1. 10. Comparar el valor de ji cuadrada de Bartlett con los valores críticos de la distribución de ji cuadrada de Pearson. 11. Decidir si se acepta o rechaza la hipótesis. Ejemplo: Un investigador realizó un estudio para mostrar que los niveles de ansiedad de las personas obsesas que asisten de manera constante a tratamiento para control de peso corporal es mayor que el de los obesos que no asisten a tratamiento. Él desea saber si las varianzas de los grupos son homogéneas o no. Especificaciones: Participaron 28 personas obesas (hombres y mujeres). 14 personas obesas que no asistían a tratamiento y 14 que asistían de manera regular a algún tipo de tratamiento. A los 28 participantes se les solicitó que dieran respuesta a la escala de estado de ansiedad (IDARE), la cual está diseñada para evaluar el grado de ansiedad ante situaciones cotidianas. Los puntajes de la escala varían en un rango de 20 a 80 puntos, siendo los puntajes más altos los indicativos de un mayor nivel de ansiedad. Elección de la prueba El modelo experimental tiene dos muestras independientes. Véase: Flujograma 4 estadística. Planteamiento de Hipótesis. Hipótesis alterna (Ha). El investigador, al observar los valores de las varianzas de los dos grupos, percibe que son diferentes entre sí, pero ignora si las fuentes de error son las mismas. La hipótesis se refiere a que las varianzas, de acuerdo con lo observado, son diferentes.. Hipótesis nula (Ho). Las diferencias observadas entre las varianzas se debe al azar; por lo tanto, son iguales y la fuente de error probablemente es la misma. Nivel de Para todo valor de probabilidad igual o menor que 0.05, se acepta Ha y se rechaza Ho. Zona de Para todo valor de probabilidad mayor que 0.05, se acepta Ho y se rechaza Ha. significación. rechazo. Aplicación de la prueba estadística. Primeramente se determina el tamaño de la muestra y las varianzas de cada grupo, con lo cual creamos una tabla de apoyo. 2 = 558.9286 / (14 - 1) = 42.99 1 2 = 837.5 / (14 - 1) = 64.42 2 Cálculo de ln. Para este cálculo utilizamos una tabla logarítmica de base 10 (logaritmos comunes) 2 = 42.99 = 0.6325 + 1 = 1.6325 1 2 = 64.42 = 0.8089 + 1 = 1.8089 2 El logaritmo de base (10) del numero neperiano es 0.4343. Al dividir un logaritmo de base (10) de un número entero entre 0.4343, se obtiene el logaritmo natural de ese número, entonces: N = 28 K=2 (n - 1) = 26E 2 (n - 1) = 1396.33 2 (n - 1) = 103 Entonces tenemos ya los cálculos requeridos para poder aplicar la prueba X2 Bartlett. *Hacemos un paréntesis para calcular el (ln) de: Continuamos con el cálculo de la X2 de Bartlett. Calculamos los grados de libertad (gl): gl = K - 1 = 2 -1 = 1 El valor de ji cuadrada de Bartlett calculado se compara con los valores críticos de la distribución de ji cuadrada de Pearson, y resulta que el valor 3.48 con 1 grado de libertad corresponde a una probabilidad de 0.05. Decisión. Como el valor de ji cuadrada de Bartlett es notoriamente menor que el crítico, el cual equivale a 0.05, la probabilidad de ji cuadrada de 0.46 con 1 grado de libertad mayor que 0.05. Por lo tanto, se acepta Ho y se rechaza Ha. Interpretación. Existe homogeneidad de las varianzas, es decir, aún cuando los valores de error estadístico difieren entre sí, el procedimiento señala que es un efecto aleatorio y existe gran probabilidad de que la fuente o fuentes de variación sean las mismas. Prueba de Box-Jenkins Al finalizar esta parte el lector deberá estar en la posibilidad de elaborar sus propios modelos usando el método de Box-Jenkins. Al ir siguiendo las etapas él verá como es la experiencia práctica. No es aquí una parte teórica donde se revise digamos el teorema de Wold, sino el objetivo es usar la técnica. Es por tanto necesario que al revisar sus lecturas, simultáneamente use su PC para analizar las series económicas de su interés. Transformaciones útiles en la práctica. Es común que la serie inicial que se desea analizar sea una serie evolutiva, el lector puede recordar las gráficas del PIB, las manufacturas, el nivel general de precios, la masa monetaria, etc. Estas son series evolutivas, ya que la variable va creciendo conforme pasa el tiempo. Las series con las que se trabaja se les llama: series estacionarias en covarianza, lo que esto quiere decir es que son series que: A) Oscilan alrededor de un nivel constante. B) Estas oscilaciones presentan regularidad en su comportamiento, ya que no hay explosiones de volatilidad (la desviación estandar) y por último. C) Los patrones de co-movimiento (la autocorrelación) de la serie con su pasado no dependen del momento (en el tiempo) donde se le mire. Este último punto mostrará ser vital; ya que si analizamos la tendencia a moverse ayer (usando los datos) y obtenemos una ecuación que la reproduzca, esta formula va a generar los pronósticos, ¿por que funciona? porque el co-movimiento revelado en la muestra es el mismo que presentará a futuro. En otras palabras la teoría establece una correspondencia entre funciones de autocovarianza (y autocorrelacion) y modelos ARMA. Los datos nos llevan a la función de autocorrelación, la teoría nos dice su modelo ARMA con este proyectamos y por ser una serie estacionaria en covarianza el patrón de co-movimiento ayer es el de mañana. El modelo correcto debe ser capaz de anticipar, puesto que captura la estructura del proceso que genera a los datos. Si se tiene una serie que no sea estacionaria, ya sea que la media m(t), la varianza s²(t), o la autocorrelación r(t,k) dependan de t. Lo que implica que al pasar el tiempo cambia el nivel, la dispersión o el grado de enlace lineal entre las observaciones que están a la misma distancia. Las variables económicas observadas en general presentan una tendencia hacia el crecimiento, por lo que esta teoría no se puede aplicar directamente. Lo que se hace es realizar una transformación que modifique a la serie original en otra serie que si sea estacionaria en covarianza, lo usual es pasar a tasas de crecimiento o primeras diferencias (llamada también variación absoluta) Las transformaciones frecuentes de aplicar son: 1. Cambio porcentual: Zt% = 100*( Zt - Zt-1) / Zt-1 2. Cambio porcentual en Logs: Zt%= 100* Log( Zt / Zt-1 ) Note que: 100* Log( Zt / Zt-1 )= 100*[ Log( Zt ) - Log(Zt-1)] Si el crecimiento de Z es chico los dos caminos dan resultados muy similares ya que al desarrollar hasta orden dos en la serie de Taylor se tiene: Log( Zt / Zt-1) ~ [ Zt - Zt-1] / Zt-1 - { [Zt / Zt-1] -1}² /2 El termino cuadrático [ { [Zt / Zt-1] -1}² /2 ] es chico si el crecimiento es moderado. 3. Logaritmos Zt= Log( Zt ) este requiere que Zt>0. 4. Diferencias de logaritmos: W t = Log( Xt) - Log( Yt ) = Log( Xt / Yt) 5. Primeras diferencias DZt = ( Zt - Zt-1) 6. Segundas diferencias D²Zt = DZt - DZt-1 o sea: D²Zt = Zt - 2 Zt-1 + Zt-2 7. d-esimas diferencias DdZt = (1-B)dZt 8. Diferencia estacional (1 - B4) Zt = Zt - Zt-4 9. Diferencia estacional (1 - B12) Zt = Zt - Zt-12 Las dos últimas son usadas con datos trimestrales y mensuales respectivamente, lo que hacen es filtrar la componente estacional, es decir la eliminan. Una decisión importante al construir un modelo si la serie original, { Z t } no es estacionaria pero es posible asumir que existen (p,d,q) tales que: A.- Hay una valor d que es el orden de diferenciación W t= (1-B)dZt, pasamos a una serie ya diferenciada W t la cual si es estacionaria ya que son constantes la media m , la varianza s2 y la covarianza r(k) ya no depende del tiempo. B.- Debido a que W t ya es un proceso estacionario puramente no determinista,. Existe una representación MA que se puede reparametrizar como un ARMA(p,q). Esta idea siempre estará presente en el desarrollo, trabajaremos con series que ya son estacionarias y que les podemos asociar su modelo ARMA. El método de trabajo de Box-Jenkins es constructivo, o sea no se trata de decir que existe el modelo y ya, sino de mostrar como se establece esta representación lineal. La idea es ir por etapas: transformaciones iniciales, identificación, estimación, validación, pronóstico son las componentes del método que muestra explícitamente que la serie original Zt se puede modelar por un ARIMA(p,d,q).