Probabilidad y Estadística (I.I.) Tema 7 Tema 7 PRUEBA DE HIPOTESIS ESTADISTICAS 1.- Introducción: En el tema anterior se examinó la inferencia estadística con respecto a la estimación puntual y por intervalo. Ahora estudiaremos otra área de la inferencia: la prueba o contraste de hipótesis estadística que, como veremos, está fuertemente relacionada con la estimación. El objetivo del contraste de hipótesis es decidir si una determinada hipótesis o conjetura sobre la distribución poblacional estudiada es confirmada o invalidada estadísticamente a partir de las observaciones de una muestra, es decir, avalar o rechazar tales informaciones sobre la característica de la población, pero no estimarla. Ejemplos: Antes de apostar “cara” o “cruz” en el lanzamiento de una moneda, se prueba que la moneda está equilibrada. La hipótesis de trabajo es entonces que el parámetro p =probabilidad de sacar “cara” de la Bernoulli es p = 0, 5 La altura media en Madrid no difiere de la del resto de España µ = 1, 68 Cuando se hizo la estimación puntual de la talla promedia µ1 de los hombres chilenos, se prueba antes la hipótesis de trabajo que la v.a. X = talla de los hombres chilenos sigue una distribución F∈ Normal El planteamiento general de un problema de contraste es el siguiente: se formula una hipótesis o conjetura acerca de la población y se trata de ver si esa afirmación se encuentra apoyada por la evidencia experimental que se obtiene a través de una muestra aleatoria. Nunca se sabe con absoluta certeza la verdad o falsedad de una hipótesis estadística, a no ser que se examine la población entera, lo cual es impráctico en la mayoría de los casos, bien sea porque la población en estudio sea infinita, bien porque la investigación sea destructiva o muy costosa. Entonces es necesario conformarse para realizar la investigación, con observar una muestra de la citada población. Si los valores muestrales difieren mucho de los valores teóricos que cabría esperar bajo la hipótesis formulada, rechazaremos la hipótesis, caso contrario se aceptaría. Naturalmente, no se espera que, para cualquier muestra, el valor empírico obtenido en la muestra coincida con el valor esperado de la hipótesis; el problema es entonces decidir si la desviación encontrada entre el valor esperado y el valor observado en la muestra es demasiado grande para poner en duda la hipótesis de trabajo. Ahora bien, si se pone en duda la hipótesis original, entonces se la rechaza en favor de una hipótesis alternativa. 2. Tipos de Hipótesis. El estadístico del contraste: Una hipótesis estadística es una afirmación que se hace con respecto a una o más características 1 Probabilidad y Estadística (I.I.) Tema 7 desconocidas de una población de interés. En forma general, las afirmaciones no son todas del mismo tipo, pueden involucrar ya sea el valor numérico de algún parámetro, suponiendo la distribución conocida (generalmente la Normal), o la forma funcional no conocida de la distribución de interés a partir de la cual se obtiene la muestra. 1. H0 : p = 0, 5 2. H0 : µ = 1, 68 3. H0 : F ~ Normal Las hipótesis del primer tipo (1 y 2) se conocen como hipótesis paramétricas (contrastes paramétricos) y a las del segundo tipo (3), donde la distribución completa se pone en tela de juicio son las llamadas hipótesis no paramétricas (contrastes no paramétricos) Se puede clasificar también las hipótesis paramétricas según su grado de especifidad: Hipótesis paramétrica simple: Hipótesis que especifica un único valor para cada parámetro poblacional desconocido (σ = 150, µx = µy ,. . . ) Hipótesis paramétrica compuesta: Hipótesis que asigna un conjunto de valores posibles a parámetros poblacionales desconocidos (σ2 > 1, 2 < µ < 5,. . . ) La realización de un contraste implica la existencia de dos hipótesis, que denominaremos hipótesis nula (H0), e hipótesis alternativa (H1), cada una de las cuales, en principio, puede ser simple o compuesta. Si a partir de la muestra se decide que la hipótesis nula H0 es falsa, entonces se acepta como cierta la hipótesis alternativa H1 Hipótesis nula (H0): es la hipótesis que se formula y que se quiere contrastar; es por tanto, la hipótesis que se acepta o se rechaza como consecuencia del contraste (generalmente, la que intentamos rechazar). La hipótesis nula H0 es la que el investigador asume como correcta y que no necesita ser probada, es decir, se sigue la máxima de los procesos judiciales de que “el acusado es inocente hasta que no se demuestre lo contrario”, en este caso, la hipótesis nula es cierta hasta que los valores obtenidos en la muestra no demuestren lo contrario. Por ejemplo, si un médico desea avalar empíricamente que una nueva vacuna es efectiva, entonces la hipótesis nula será H0 : “La vacuna no es efectiva” Si un ingeniero desea mostrar que una determinada máquina está desajustada y no produce el promedio de piezas preespecificado (supongamos 1.000) entonces planteará la hipótesis: H0 : “El promedio diario de piezas producido por la máquina es 1.000” En ambos casos sus argumentos se justificarán empíricamente si los datos muestrales conducen al rechazo de H0. La aceptación de H0 no implica que ésta sea correcta o que haya sido probada, sino que los datos no han proporcionado evidencia suficiente como para refutarla. El rechazo de H0 implica que la evidencia de la muestra la refuta, o lo que es lo mismo que, si la hipótesis es verdadera, existe una probabilidad muy pequeña de obtener la información muestral que de hecho se ha observado. Hipótesis alternativa (H1): es cualquier otra hipótesis que difiera de la formulada y que nos sitúe 2 Probabilidad y Estadística (I.I.) Tema 7 frente a H0, de forma que si se acepta H0 se rechaza H1 y viceversa. Si se desea respaldar con contundencia un determinado argumento es debido a que éste no puede ser asumido gratuitamente y, por tanto, sólo podrá ser defendido a través del rechazo del argumento contrario (el establecido en H0). Siguiendo el símil judicial, sólo se condena a un acusado cuando existen suficientes evidencias en contra, caso contrario se le declara no-culpable (que no es lo mismo que inocente). Una hipótesis nula referente a un parámetro de la población siempre será establecida de forma tal que especifique un valor exacto del parámetro, mientras que la hipótesis alternativa admite la posibilidad de varios valores. Si H0: p = 0.5, entonces H1 puede ser cualquiera de estas: H1: H1: H1: H1: p > 0.5 p < 0.5 p ≠ 0.5 p = 0.7 En la hipótesis nula se incluye siempre el signo igual. Para la determinación de la hipótesis alternativa, podemos seguir, a modo de guía, estas normas: Si la afirmación que deseamos probar sugiere una dirección, como por ej: más que, menos que, superior a, inferior a, etc..., entonces H1 se establecerá utilizando el signo de desigualdad (< o >) correspondiente a la dirección sugerida. Si la afirmación sugiere una dirección compuesta, como por ej: al menos, igual que o mayor que, no mayor que, etc..., entonces esa dirección (≤ o ≥) se considerará como H0, y en H1 se representará el signo opuesto. Si la afirmación no sugiere dirección, entonces H1 se establece con el ≠ Podemos distinguir entonces tres tipos de contrastes de hipótesis, a saber: Una prueba de la forma H0: θ = θ0 H1: θ ≠ θ0 (Contraste bilateral) Una prueba de la forma H0: θ ≤ θ0 H1: θ > θ0 (Contraste unilateral derecho) Una prueba de la forma H0: θ ≥ θ0 H1: θ < θ0 (Contraste unilateral izquierdo) Para la realización del contraste se utiliza una estadística apropiada, cuya distribución en el muestreo se conoce si la hipótesis que hemos hecho es verdadera; esta estadística recibe el nombre de estadística de prueba o estadístico del contraste. Extraída la muestra, el estadístico tomará un cierto valor; algunos valores del estadístico puede llevarnos a sospechar que la hipótesis no es razonable y debe ser rechazada. Otros valores del estadístico pueden considerarse como justificación de la hipótesis. Sin embargo, tanto en un caso como en otro podemos estar sujetos a equivocarnos, es decir, a rechazar una hipótesis siendo verdadera, o bien aceptarla siendo falsa. Al aplicar un contraste de hipótesis clasificamos los puntos del espacio muestral en dos regiones 3 Probabilidad y Estadística (I.I.) Tema 7 excluyentes y complementarias. La formada por los puntos tales que los valores del estadístico de contraste nos lleva a rechazar la hipótesis nula, se llama región crítica, y la formada por los puntos tales que los valores del estadístico de contraste nos llevan a aceptar la hipótesis nula, se llama región de aceptación. El valor del estadístico de contraste que separa una región de otra recibe el nombre de valor crítico. 3. Tipos de error: Al probar una hipótesis estadística, nos podemos encontrar con estas situaciones: H0 es verdadera H0 es falsa Se acepta H0 Decisión correcta Error tipo II Se rechaza H0 Error tipo I Decisión (1-β) correcta Existen dos posibilidades de tomar una decisión equivocada con respecto al verdadero estado de la naturaleza. Necesitamos tener alguna cantidad que mida la posibilidad de cometer alguno de estos errores y esta medida es una probabilidad. El error tipo I es el que cometemos cuando rechazamos la hipótesis nula siendo verdadera. La probabilidad de cometer este tipo de error, también conocido como nivel de significación, se denota por α, 0 ≤ α ≤ 1. Este nivel de significación nos indica el tamaño de la región crítica. P(rechazar H0 / H0 es cierta) = α El error tipo II es el que se comete cuando aceptamos la hipótesis nula siendo falsa. La probabilidad de cometer este tipo de error se denota por β, 0 ≤ β ≤ 1, y es imposible calcularla, a menos que se tenga una hipótesis alternativa específica. P(no rechazar H0 / H0 es falsa) = β y por tanto la probabilidad de rechazar H0 cuando es falsa es 1-β, es lo que se llama función de potencia de la prueba. La función de potencia representa la probabilidad de rechazar la hipótesis nula, cuando esta es falsa, y con frecuencia se utiliza para comparar diferentes tipos de pruebas. También esta función de potencia toma un valor diferente para cada valor de θ de la hipótesis alternativa. Debe notarse que el valor de α no puede hacerse muy pequeño sin que se incremente el valor de β. Para una muestra de tamaño n dado, el tamaño del error de tipo II normalmente aumentará al disminuir el tamaño del error de tipo I. Afortunadamente, la probabilidad de cometer ambos tipos de errores puede reducirse incrementando el tamaño de la muestra. Lo ideal sería que las probabilidades de los dos tipos de error fuesen lo más pequeñas posibles, pero esto no se consigue fácilmente, pues fijado un tamaño muestral n, si disminuimos la probabilidad de un error entonces aumenta la probabilidad de cometer el otro error. En la práctica se pueden seguir los siguientes criterios de error: 1. Que únicamente se pretenda controlar el error de tipo I, cuando sólo se rechaza H0 si la evidencia en su contra es muy importante, y no importa cometer el error tipo II (aceptar H0 cuando es falsa). 4 Probabilidad y Estadística (I.I.) Tema 7 2. Que la decisión garantice probabilidades para que ambos errores queden fijados de antemano. Fijar sólo α es inadecuado cuando el error tipo II resulte tanto o más grave que un error tipo I. El enfoque general es aceptar la premisa de que el error tipo I es mucho más serio que el error de tipo II, y formular las hipótesis nula y alternativa de acuerdo con lo anterior (criterio 1). Esto también es equiparable al principio judicial generalmente aceptado de que es peor condenar a un inocente que dejar libre a un culpable. Se seleccionará entonces con anticipación el tamaño máximo del error de tipo I que puede tolerarse y se intenta construir un procedimiento de prueba que minimice el tamaño del error de tipo II. Lo que se hace es seleccionar aquel procedimiento de prueba que tenga el tamaño más pequeño para el error de tipo II, entre todos los procedimientos que tengan el mismo tamaño para el error tipo I. Es usual tomar como niveles de significación: α = 0.05, α = 0.01 y α = 0.005, en cuyo caso diremos que el resultado es casi significativo, significativo y muy significativo. Es deseable establecer tanto una hipótesis nula como una alternativa simples, ya que sólo de esa forma es posible determinar valores únicos de los tamaños de los errores de tipo I y tipo II. Si esto no es posible, siempre se establecerá la hipótesis nula conteniendo el signo igual, con objeto de controlar la probabilidad de cometer el error de tipo I (más importante), mientras que la probabilidad del error de tipo II, quedará como una función de los valores del parámetro θ en la hipótesis alternativa que se plantee, obteniendo un valor de β diferente, para cada valor de θ de la hipótesis alternativa. Para aclarar todos los conceptos que hemos introducido hasta ahora, veamos el siguiente EJEMPLO: Se sabe que un tipo de vacuna fría es sólo 25% eficaz después de un período de 2 años. Para determinar si una vacuna nueva y algo más cara es mejor para proteger contra el mismo virus durante un período más largo, se seleccionan 20 personas al azar y se les inyecta ésta. Sólo si más de 8 de los que recibieron la nueva vacuna superan los 2 años sin contraer el virus, la nueva vacuna se considerará superior. SOLUCION: Esto equivale a probar la hipótesis de que el parámetro binomial para la probabilidad de éxito en un intento dado es p = 1/4 (25%), contra la alternativa p > 1/4. H0: p = 1/4 H1: p > 1/4 Obsérvese que el signo igual está en H0, y que se desea aceptar H1 y rechazar H0. El estadístico de prueba sobre el que se basa la decisión es X = cantidad de individuos en el grupo de prueba que reciben protección con la nueva vacuna para el período de al menos 2 años. Los posibles valores de X, de 0 a 20, se divide en 2 grupos: los menores que o iguales que 8 y aquellos mayores que 8. REGION ACEPTACION DE REGION CRITICA Se acepta H0 (p =1/4) Se rechaza H0 (p >1/4) 5 Probabilidad y Estadística (I.I.) Tema 7 Error tipo I: Rechazar H0 cuando, de hecho, es cierta La nueva vacuna puede no ser mejor que la que actualmente está en uso, pero para el grupo de individuos seleccionados aleatoriamente, más de 8 sobrepasan el período de 2 años sin contraer el virus. α = Prob. error tipo I = nivel de significación = P (rechazar H0/H0 cierta) = P(X > 8 cuando p =1/4) = Σ b(x;20,1/4) = 1-Σ b(x;20,1/4) = 1 - 0.9591 = 0.0409. Es decir, la prueba, rechaza H0 equivocadamente en el 4,09 % de los casos. En otras palabras, si el valor de p es realmente 1/4, y si se tomasen en forma repetida muestras de tamaño 20 de la población, cabe esperarse que en un 4,09 % de las veces, se encuentre un valor de la estadística de prueba X mayor que 8, y de esta forma deba rechazarse H0. Error tipo II: Aceptar H0 cuando, de hecho, es falsa. Si 8 o menos individuos del grupo seleccionado sobrepasan el período de 2 años exitosamente y se concluye que la nueva vacuna no es mejor, cuando en realidad sí lo es. Para poder calcular la probabilidad de cometer el error de tipo II, es necesario fijar una hipótesis alternativa sencilla y concreta. Pongamos por ejemplo p=1/2. β = Prob. error tipo II = P (aceptar H0/H0 falsa) = P(X ≤ 8 cuando p =1/2) = Σ b(x;20,1/2) = 0.2517. 1- β = 1- 0.2517 = 0.7483 Î Función de potencia. Es decir, la prueba acepta H0 equivocadamente, en el 25,17 % de los casos y rechaza H0 de forma acertada, en el 74,83 % de los casos. Podemos modificar estos valores bien modificando el valor crítico, o bien aumentando el tamaño de la muestra: Si cambiamos el valor crítico a 7 en el ejemplo anterior obtenemos: α = Σ b(x; 20, 1/4) = 1- Σ b(x;20,1/4) = 1-0.8982 = 0.1018 β = Σ b(x; 20, 1/2) = 0.1316 como vemos, disminuye el valor de β a expensas de aumentar el de α Si aumentamos el tamaño de la muestra a 100 y el valor crítico a 36, podremos aproximar la binomial a la normal y obtendremos: Para determinar el error tipo I utilizaremos una normal con: µ = n*p = 100*1/4 = 25 σ= 1 3 n * p * q = 100 * * = 4.33 4 4 α = P (error tipo I) = P (X > 36 cuando p =1/4) ≅ P (Z > 2.66) = 1-P (Z < 2.66) = 1 - 0.9961 = 0.0039 ya que, aproximando la binomial por la normal, para x = 36 (valor crítico), obtendríamos: z = (36.5 - 25)/4.33 = 2.66 De forma análoga, para determinar el error tipo II utilizaremos la normal con: µ = n*p = 100*1/2 = 50 σ= 1 3 n * p * q = 100 * * = 5 2 2 β = P (error tipo II) = P (X ≤ 36 cuando p=1/2) ≅ P (Z < -2.7) = 0.0035 ya que, aproximando la binomial por la normal, para x = 36 (valor crítico), obtendríamos: z = (36.5-50)/5 = -2.7 como vemos, en este caso disminuyen ambos errores. 6 Probabilidad y Estadística (I.I.) Tema 7 EJEMPLO: En cierta ciudad sólo hay dos canales de televisión: el canal 6 y el canal 10. Una compañía se interesa en probar la afirmación de que la proporción de televidentes para las noticias de la tarde es igual a 0.5 para ambos canales. La compañía encuesta a 18 residentes seleccionados al azar y pregunta qué canal prefieren para ver las noticias de la tarde. El número X indica que el canal 6 es el seleccionado. Se proponen las siguientes dos pruebas: Prueba A: Rechazar H0 si X ≤ 4 ó X ≥ 14 Prueba B: Rechazar H0 si X ≤ 5 ó X ≥ 13 Si la compañía piensa tolerar un tamaño máximo de 0.1 para el error de tipo I, determinar la mejor prueba a emplear para decidir entre H0 y H1. SOLUCION: Las hipótesis planteadas son: H0: p = 0.5 H1: p ≠ 0.5 La estadística de prueba X es una variable aleatoria binomial con n=18 y, bajo la hipótesis nula, p=0.5. Para la prueba A, la probabilidad de error de tipo I es: αA = P(X ≤ 4 | p = 0.5) + P(X ≥ 14 | p = 0.5) = 0.0154 + 0.0154 = 0.0308 Para la prueba B, tenemos: αB = P(X ≤ 5 | p = 0.5) + P(X ≥ 13 | p = 0.5) = 0.0962 Ya que ambas pruebas tienen valores de α menores al tamaño máximo que puede tolerarse de error de tipo I (0.1), se compararán las funciones de potencia para decidir cual es la mejor de las dos. Para p = 0.4 obtenemos los siguientes datos: βA = P(4 < X < 14 | p = 0.4) = Σ b(x; 18,0.4) - Σ b(x; 18, 0.4) = 0.9987 - 0.0942 = 0.9045 1 - βA = 1- 0.9045 = 0.0955 βB = P(5 < X < 13 | p = 0.4) = Σ b(x; 18,0.4) - Σ b(x; 18, 0.4) = 0.9942 - 0.2088 = 0.7854 1 - βB = 1- 0.7854 = 0.2146 Para p = 0.6 obtenemos los siguientes datos: βA = P(4 < X < 14 | p = 0.6) = Σ b(x; 18,0.6) - Σ b(x; 18, 0.6) = 0.9058 - 0.0013 = 0.9045 1 - βA = 1- 0.9045 = 0.0955 βB = P(5 < X < 13 | p = 0.6) = Σ b(x; 18,0.6) - Σ b(x; 18, 0.6) = 0.7912 - 0.0058 = 0.7854 1 - βB = 1 - 0.7854 = 0.2146 Observamos que para cualquiera de los valores de p probados, la potencia de la prueba B es mayor que la de la A, por lo que concluimos que la prueba B es más poderosa que la A y la mejor a utilizar para probar las hipótesis indicadas. 4.- Tipos de regiones de aceptación-rechazo: Si suponemos fijado el valor de α, el tamaño máximo del error de tipo I que estamos dispuestos a tolerar, podríamos establecer varias regiones críticas posibles, todas ellas de tamaño menor o igual que α. ¿Cuál elegir?, es decir, ¿Cómo establecer en concreto el valor crítico que nos separa las regiones de rechazo y aceptación de la prueba de hipótesis?. La determinación de las mejores regiones críticas para cada tipo de contraste se hace siguiendo el Teorema de Neymann-Pearson, que coinciden con las que se habrían establecido de forma intuitiva. Para una prueba de hipótesis unilateral, tal como: H0: θ ≤ θ0 o tal vez H1: θ > θ0 H0: θ ≥ θ0 H1: θ < θ0 7 tenemos: Probabilidad y Estadística (I.I.) Tema 7 En el primer caso, la región crítica cae totalmente en la cola derecha de la distribución del estadístico de prueba, mientras que en el segundo caso, la región crítica cae totalmente en la cola izquierda de la distribución del estadístico de prueba. Dada una muestra aleatoria de tamaño n de la distribución de interés, el procedimiento general para probar H0, es escoger el mejor estimador T de θ, y rechazar H0 cuando el valor estimado t obtenido de la muestra, es en forma "suficiente" mayor/menor que el valor propuesto θ0. Para un tamaño α, del error de tipo I, la región crítica se encuentra localizada en el extremo superior/inferior de la distribución de muestreo de T y H0 se rechaza si el estimado t es mayor /menor que el valor crítico. Para una prueba de hipótesis bilateral, tal como: H0: θ = θ0 H1: θ ≠ θ0 la región crítica se divide en dos partes, generalmente simétricas, con iguales probabilidades en cada cola de la distribución del estadístico de prueba. El procedimiento general para probar H0 es, para un tamaño preseleccionado α, del error de tipo I se obtiene una región crítica bilateral en los extremos de la distribución de muestreo de T, el mejor estimador de θ, de tal manera que el área, en cualquier lado, más allá del valor crítico es igual a α/2. Se rechaza H0 en favor de H1 cuando el estimado t se encuentra dentro de la región crítica. Cuando no está dentro, no puede rechazarse H0. 5.- Valor crítico o p-valor: En el método clásico de contraste de hipótesis, se acostumbraba a seleccionar un valor de α como 0.05 ó 0.01 y determinar la región crítica de acuerdo con eso, tal y como hemos comentado anteriormente. Entonces, el rechazo o aceptación de H0 dependería de esa región crítica; pero esta decisión en ocasiones puede resultar demasiado cortante y seca, ya que trata por igual valores del estadístico de prueba que están "cerca" del valor crítico, que los que están completamente dentro de la región crítica. Para solucionar esto, se ha sugerido el cálculo del llamado valor P que nos da una medida, en términos de probabilidad de que la decisión que tomemos sea correcta. El p-valor es la probabilidad, dado que H0 es cierta, de que la estadística de prueba tome un valor mayor/menor o igual que el calculado con base en la muestra aleatoria. 8 Probabilidad y Estadística (I.I.) Tema 7 Sea D un estadístico de contraste y d̂ el valor observado para una muestra determinada (X1, . . . , Xn), es decir, dˆ = D( X 1 , X 2 ,..., X n ) . Se denomina valor crítico o p−valor a la probabilidad de obtener una discrepancia mayor o igual que d̂ cuando H0 es cierta. El p−valor sólo puede calcularse cuando la muestra está tomada, y es distinto para cada una de ellas. [ p − valor = P D ≥ dˆ = D( X 1 , X 2 ,..., X n ) ] Un p-valor pequeño, puede sugerir que si H0 es realmente cierta, el valor de la estadística de prueba es poco probable, por lo que se puede optar por rechazar H0, ya que esta decisión tendrá una alta probabilidad de ser correcta. El cálculo del p-valor se suele usar acoplado al enfoque clásico de escoger un tamaño del error de tipo I antes de la determinación de la muestra aleatoria, de la siguiente manera: se elige un nivel de significación α y si el p-valor es menor o igual que α, se rechaza H0; de otra forma no puede rechazarse la hipótesis nula. Para el contraste unilateral izquierdo: Para el contraste unilateral derecho: Para el contraste bilateral: ó P = Prob. (T ≤ t cuando θ = θ0) P = Prob. (T ≥ t cuando θ = θ0) P = 2Prob. (T ≤ t cuando θ = θ0) P = 2Prob. (T ≥ t cuando θ = θ0) En cualquier caso, si P ≤ α se rechaza H0, caso contrario se acepta H0 Muchos paquetes estadísticos para ordenador, tales como SAS, SPSS, BMDP y otros, imprimen el p-valor para casi todas las situaciones en las que se involucra prueba de hipótesis. 6.- Etapas en la resolución de un contraste de hipótesis: 1.- Lectura cuidadosa del enunciado y comprobación de que lo que se necesita es un contraste de hipótesis y de que se verifican las condiciones necesarias para que se pueda aplicar un contraste paramétrico. 2.- Determinación de las hipótesis nula (H0) y alternativa (H1) adecuadas de entre los tres tipos de contrastes posibles (unilateral derecho e izquierdo o bilateral). 3.- Selección del nivel de significación α (si no viniera ya fijado). 4.- Selección del estadístico de prueba apropiado, cuya distribución en el muestreo se conoce si la hipótesis nula es cierta. 5.- Determinación de las regiones crítica y de aceptación, en función del valor de α seleccionado. (Si la decisión se va a basar en un p-valor, no es necesario establecer región crítica). 6.- Calcular el valor del estadístico de prueba para la muestra particular. 7.- Conclusiones de tipo estadístico: rechazar H0 si el estadístico de prueba cae en la región crítica (o el p-valor calculado es menor o igual que el nivel de significación deseado α); de otra forma aceptar H0. 8.- Conclusiones de naturaleza no estadística, como pueden ser conclusiones biológicas, médicas, químicas, psicológicas, económicas, etc... 7.- Relación con la estimación por intervalos de confianza 9 Probabilidad y Estadística (I.I.) Tema 7 La estimación del intervalo de confianza implica el cálculo de límites para los cuales es "razonable" que el parámetro en cuestión esté dentro de ellos mientras que en el contraste se decide si hay evidencias suficientes de que el parámetro en cuestión tenga un determinado valor. Ambos métodos basan su decisión en el mismo estadístico, cuya distribución muestral es conocida. La prueba de H0: θ = θ0 contra H1 : θ ≠ θ0 en un nivel de significación α es equivalente a calcular un intervalo de confianza del 100 (1 - α) % de θ y rechazar H0 si θ0 no está dentro del intervalo de confianza y aceptarla en caso contrario. Para el caso de una sola media poblacional µ conociendo σ2, tanto el contraste de hipótesis como el cálculo del intervalo, se basan en la variable aleatoria: Z= X -µ σ/ n Con un valor observado x , rechazar H0 en un nivel de significación α implica que: - zα/2 ≤ lo que es equivalente a: x - zα/2 σ n x - µ0 σ/ n ≤ zα/2 ≤ µ 0 ≤ x + zα/2 σ n que es el intervalo de confianza para la media. La equivalencia del intervalo de confianza con las pruebas de hipótesis se extiende a diferencias entre dos medias, varianzas, relaciones de varianzas, etc... En el ejemplo siguiente, un intervalo de confianza al 95% de la media µ, da los límites [9.937, 10.463]. Como µ0 = 10 según la hipótesis nula, y este valor se encuentra dentro del intervalo, no se podría rechazar H0. O lo que es lo mismo, el valor del estadístico, 1.4907 estaría entre -1.96 y +1.96 que son los valores de -zα/2 y zα/2 para α = 0.05 y considerando la hipótesis alternativa bilateral, con lo cual tampoco se rechazaría H0. 8.- Expresiones para los contrastes: 8.1.- Contraste de la media de una población Normal, conocida la varianza poblacional. Sea X1, X2, ... Xn una muestra aleatoria de una distribución normal con media µ desconocida, suponiendo conocido el valor de la varianza poblacional σ2. Nos interesa probar uno de los siguientes conjuntos de hipótesis respecto a µ : Contraste Bilateral: H0 : µ = µ0 H1 : µ ≠ µ0 Contraste Unilateral Derecho: H0 : µ = µ0 ( µ ≤ µ0) H1 : µ > µ0 Contraste Unilateral Izquierdo: H0 : µ = µ0 ( µ ≥ µ0) H1 : µ < µ0 Tomamos como estadístico de prueba la media muestral X . Bajo la hipótesis nula ( µ = µ0) este estadístico sigue una distribución normal N (µ0 , distribución de la variable tipificada: σ 10 n ) donde n es el tamaño de la muestra. La Probabilidad y Estadística (I.I.) Tema 7 Z= x - µ0 donde x = σ 1 ∑ xi n n sigue una N(0,1). Si fijamos un nivel de significación α y la hipótesis nula es cierta, el valor de z, obtenido de una muestra real para el estadístico x , se encontrará entre - zα/2 y zα/2, con una probabilidad de 1- α. Las regiones críticas y de aceptación serán entonces: Contraste Bilateral: R.C = { z: |z| > zα/2} Se acepta H0 si |x - µ 0| Se rechaza H0 si σ R.A = { z: |z| ≤ zα/2} ≤ zα 2 n |x - µ 0| σ > zα 2 n Contraste Unilateral Derecho: Contraste Unilateral Izquierdo: R.C = { z: z > zα} R.C = { z: z < zα} R.A = { z: z ≤ zα } R.A = { z: z ≥ zα } Ejemplo: Los siguientes datos representan los tiempos de armado para 20 unidades seleccionadas aleatoriamente: 9.8, 10.4, 10.6, 9.6, 9.7, 9.9, 10.9, 11.1, 9.6, 10.2, 10.3, 9.6, 9.9, 11.2, 10.6, 9.8, 10.5, 10.1, 10.5, 9.7. Supóngase que el tiempo necesario para armar una unidad es una variable aleatoria normal con media µ y desviación típica σ = 0.6 minutos. Con base en esta muestra, ¿existe alguna razón para creer, a un nivel de 0.05, que el tiempo de armado promedio es mayor de 10 minutos? Solución: Hipótesis: H0: µ = 10 H1: µ > 10 De los datos de la muestra obtenemos que el valor de x es igual a 10.2 minutos. Entonces z= x - µ0 σ/ n = 10.2 - 10 0.6/ 20 = 1.4907 Dado que P(Z ≥ 1.645) = 0.05, el valor crítico en términos de la variable aleatoria normal estándar es z0.95 = 1.645, y puesto que z = 1.4907 < z0.95 = 1.645, no puede rechazarse la hipótesis nula. El p-valor en este caso vendría dado por P(Z ≥ 1.4907 / µ = 10) = 0.0681, que al ser mayor que el nivel de significación fijado α = 0.05, nos indica que, con base a la muestra, no existe suficiente evidencia como para rechazar la hipótesis de que el tiempo promedio necesario para armar una unidad es de 10 minutos. 8.2.- Contraste de la media de una población Normal, con varianza desconocida En este caso cabría distinguir dos situaciones, según que la muestra que tomemos sea grande (n > 30) o pequeña (n ≤ 30). Sea X1, X2, ... Xn una muestra aleatoria grande de una distribución normal con media µ desconocida, 11 Probabilidad y Estadística (I.I.) Tema 7 suponiendo también desconocido el valor de la varianza poblacional σ2, por lo que se aproxima por su estimación, la cuasivarianza muestral. Nos interesa probar uno de los siguientes conjuntos de hipótesis respecto a µ : Contraste Bilateral: H0 : µ = µ0 H1 : µ ≠ µ0 Contraste Unilateral Derecho: H0 : µ = µ0 ( µ ≤ µ0) H1 : µ > µ0 Contraste Unilateral Izquierdo: H0 : µ = µ0 ( µ ≥ µ0) H1 : µ < µ0 Tomamos como estadístico de prueba la media muestral X. 8.2.1.- Muestras grandes: Bajo la hipótesis nula (µ = µ0) y para muestras grandes, este estadístico sigue una distribución aproximadamente normal N(µ0 , s z= x - µ0 s/ n n ) donde n es el tamaño de la muestra. La variable tipificada: donde x = 1 1 2 ∑ xi y s 2 = ∑ ( xi - x ) n n-1 Las regiones críticas y de aceptación serán entonces: Contraste Bilateral: R.C = { z: |z| > zα/2} Se acepta H0 si |x - µ 0| s/ n ≤ zα 2 Contraste Unilateral Derecho: Contraste Unilateral Izquierdo: Se rechaza H0 si R.A = { z: |z| ≤ zα/2} |x - µ 0| s/ n R.C = { z: z > zα} R.C = { z: z < -zα} > zα 2 R.A = { z: z ≤ zα} R.A = { z: z ≥ - zα} 8.2.2.- Muestras pequeñas: En este caso todo es igual que en el caso anterior exceptuando que ahora el estadístico elegido, sigue una distribución t de Student con n-1 grados de libertad, en lugar de una distribución normal, y por tanto cambian también las regiones críticas: t= x - µ0 s/ n Las regiones críticas y de aceptación serán entonces: Contraste Bilateral: R.C = {t: |t| > tα/2, n-1} Se acepta H0 si |x - µ 0| s/ n ≤ t α ,n-1 2 Contraste Unilateral Derecho: Contraste Unilateral Izquierdo: R.A = {t: |t| ≤ tα/2, n-1} Se rechaza H0 si R.C = { t: t > tα, n-1} R.C = { t: t <-tα, n-1} 12 |x - µ 0| s/ n > t α ,n-1 2 R.A = { t: t ≤ tα, n-1} R.A = { t: t ≥ - tα, n-1} Probabilidad y Estadística (I.I.) Tema 7 Contrastes de la Diferencia de Medias: Seleccionamos dos muestras aleatorias independientes de tamaños n1 y n2 de dos poblaciones normales con medias µ1 y µ2 y varianzas σ21 y σ22 respectivamente. La estadística a utilizar en este caso es X 1 − X 2 . Se puede esperar que la distribución muestral de X 1 − X 2 sea aproximadamente [ ] normal, con media E X 1 − X 2 = σ 12 + σ 22 µ1 − µ 2 y desviación típica σ x − x = 1 n1 + n2 2 Contrastes diferencia de medias Varianzas conocidas Observaciones pareadas Varianzas desconocidas Muestras grandes Muestras pequeñas Var. iguales Var. distintas 8.3.- Contraste de igualdad de medias de dos poblaciones normales de varianzas conocidas Sean X1, X2, ... Xn1 y Y1, Y2, ... Yn2 muestras aleatorias provenientes de dos distribuciones normales independientes con medias µx y µy y varianzas conocidas σx2 y σy2, respectivamente. Entonces, como σx n1 ) y y según La estadística a utilizar en este caso es la diferencia muestral de las medias, X − Y que es una ya hemos visto, las medias muestrales se distribuyen: x según una N (µx, una N (µy, σy n2 ). Supóngase que se desea probar la hipótesis nula: contra una de las siguientes alternativas: H1: µx > µy variable aleatoria, ya que según una N ( µx-µy , σ 2 x n1 X + e σ y2 n2 Y H0: µx = µy H1: µx < µy H1: µx ≠ µy son variables aleatorias independientes, y además se distribuye ). 13 Probabilidad y Estadística (I.I.) Por tanto la estadística: Tema 7 x- y z= sigue una N(0,1) si la hipótesis nula es cierta (µx = µy). 2 σ 2x +σ y n1 n2 Las regiones críticas y de aceptación serán entonces: Contraste Bilateral: R.C = { z: |z| > zα/2} Se acepta H0 si |x - y| σ +σ 2 x 2 y ≤ zα R.A = { z: |z| ≤ zα/2} Se rechaza H0 si 2 n1 n2 |x - y| σ +σ 2 x 2 y > zα 2 n1 n2 Contraste Unilateral Derecho: Contraste Unilateral Izquierdo: R.C = { z: z > zα} R.C = { z: z < - zα} R.A = { z: z ≤ zα} R.A = { z: z ≥ - zα} 8.4.- Contraste de igualdad de medias de dos poblaciones normales de varianzas desconocidas Sean X1, X2, ... Xn1 y Y1, Y2, ... Yn2 muestras aleatorias provenientes de dos distribuciones normales independientes con medias µx y µy y varianzas desconocidas, por lo que se aproximan por las cuasivarianzas muestrales S x2 y S y2 respectivamente. Supóngase que se desea probar la hipótesis nula : contra una de las siguientes alternativas: H1: µx > µy H0: µx = µy H1: µx < µy H1: µx ≠ µy La estadística a utilizar en este caso es la diferencia muestral de las medias, X − Y que es una variable aleatoria, ya que X e Y son variables aleatorias independientes. La distribución que sigue esta estadística así como las regiones críticas a que da lugar, las podemos dividir en tres casos diferentes: 8.4.1.- Muestras grandes: n1+ n2 > 30; n1 ≈ n2 El estadístico del contraste viene dado por: z= x- y 2 2 sx s y + n1 n2 que, en este caso, bajo la hipótesis nula, sigue una distribución aproximadamente N(0,1) Las regiones críticas y de aceptación serán entonces: Contraste Bilateral: R.C = { z: |z| > zα/2} Contraste Unilateral Derecho: R.C = { z: z > zα} Contraste Unilateral Izquierdo: R.C = { z: z < - zα} R.A = { z: |z| ≤ zα/2} R.A = { z: z ≤ zα} R.A = { z: z ≥ - zα} 8.4.2.- Muestras pequeñas: n1+n2 ≤ 30; Varianzas desconocidas pero iguales σx2 = σy2 El estadístico del contraste viene dado por: x- y t= sp 1 + 1 donde s 2p = n1 n2 14 ( n1 - 1) s 2x + ( n2 - 1) s 2y n1 + n2 - 2 Probabilidad y Estadística (I.I.) Tema 7 que, en este caso, bajo la hipótesis nula, sigue una distribución t de Student con (n1 + n2 - 2) grados de libertad. Las regiones críticas y de aceptación serán entonces: Contraste Bilateral: R.C = { t: |t| > tα/2, n1 + n2- 2} Contraste Unilateral Derecho: R.C = { t: t > tα, n1 + n2- 2} Contraste Unilateral Izquierdo: R.C = { t: t <-tα, n1 + n2- 2} R.A = { t: |t| ≤ tα/2, n1 + n2 - 2} R.A = { t: t ≤ tα, n1 + n2- 2} R.A = { t: t ≥ -tα, n1 + n2- 2} 8.4.3.- Muestras pequeñas: n1+n2 ≤ 30; Varianzas desconocidas y distintas σx2 ≠ σy2 El estadístico del contraste viene dado por: t= x- y 2 2 sx s y + n1 n2 que, en este caso, bajo la hipótesis nula, sigue una distribución t de Student con f grados de libertad, siendo f la aproximación de Welch dada por: f= redondeado al entero más cercano. s 2x s 2y + n n 2 1 2 2 2 s 2y s 2x n1 + n2 n1 - 1 n2 - 1 Las regiones críticas y de aceptación serán entonces: Contraste Bilateral: R.C = { t: |t| > tα/2, f} Contraste Unilateral Derecho: R.C = { t: t > tα, f} Contraste Unilateral Izquierdo: R.C = { t: t <-tα, f} R.A = { t: |t| ≤ tα/2, f } R.A = { t: t ≤ tα, f} R.A = { t: t ≥ - tα, f} 8.5.- Contraste de igualdad de medias en el caso de datos emparejados En este caso tenemos las observaciones en pares, de manera que existe una relación natural entre las observaciones de un par y donde se supone que las condiciones externas son las mismas para cada par pero pueden variar de par en par. Sean (X1, Y1), (X2, Y2), ..., (Xn, Yn) los n pares a partir de los cuales calculamos las diferencias Di = Yi Xi, que constituyen variables aleatorias independientes distribuidas normales, tales que E[Di] = µd = µy - µx y V[Di] = σd2 para toda i=1,2, ..., n. Como no conocemos µd ni σd2, se estimarán por d y S d2 . De esta manera se pueden formular inferencias sobre las medias de dos niveles cuando las observaciones están pareadas considerando la columna de diferencias como una sola variable aleatoria y aplicar los métodos que ya hemos visto en 8.2.2. Como en ese caso, estamos interesados en contrastar la hipótesis nula: que equivale a µd = 0 H0: µx = µy contra una de las siguientes alternativas: H1: µy > µx (µd > 0) H1: µy < µx (µd < 0) H1: µx ≠ µy El estadístico de contraste es: 15 (µd ≠ 0) Probabilidad y Estadística (I.I.) t= d Sd / n Tema 7 donde d = 1 ∑ d i con d i = xi - yi n Sd = 1 ∑( d i - d )2 n-1 que, bajo la hipótesis nula, sigue una distribución t de Student con n-1 grados de libertad. Las regiones críticas y de aceptación serán entonces: Contraste Bilateral: R.C = { t: |t| > tα/2, n-1} Contraste Unilateral Derecho: R.C = { t: t > tα, n-1} Contraste Unilateral Izquierdo: R.C = { t: t < - tα, n-1} R.A = { t: |t| ≤ tα/2, n-1 } R.A = { t: t ≤ tα, n-1} R.A = { t: t ≥ - tα, n-1} 8.6.- Contraste para la varianza de una población normal: En esta ocasión deseamos probar la hipótesis que considera la uniformidad de una población. Consideraremos la hipótesis nula: H0: σ2 = σ02 contra una de las siguientes alternativas: H1: σ2 > σ02 H1: σ2 < σ02 H1: σ2 ≠ σ02 El estadístico apropiado sobre el cual se basa la decisión es el mismo que se utilizó para determinar el intervalo de confianza para la varianza, que si la hipótesis nula es cierta, viene dado por: χ2= (n - 1) s 2 σ 2 0 donde s 2 = 1 ∑( xi - x )2 n -1 donde n es el tamaño de la muestra y sigue una distribución ji- cuadrado con n-1 grados de libertad. Las regiones críticas y de aceptación serán entonces: Contraste Bilateral: R.C = { χ2: χ2 ≥ χ21 - α/2, n-1 ; χ2 ≤ χ2α/2, n - 1} Contraste Unilateral Derecho: R.C = { χ2: χ2 ≥ χ21 - α, n-1} R.A = { χ2: χ2 < χ21 - α, n-1} 2 2 2 Contraste Unilateral Izquierdo: R.C = { χ : χ ≤ χ α, n-1} R.A = { χ2: χ2 > χ2 α, n-1} 8.7.- Contraste de igualdad de varianzas de dos poblaciones normales: Consideramos ahora el problema de contrastar dos varianzas poblacionales, que en general se aplica antes de una prueba t combinada para comprobar la suposición de igualdad de varianzas. Sean X1, X2, ... Xn1 y Y1, Y2, ... Yn2 muestras aleatorias provenientes de dos distribuciones normales independientes con medias desconocidas µx y µy y varianzas desconocidas, por lo que se aproximan por las cuasivarianzas muestrales S x2 y S y2 respectivamente. Contrastaremos la hipótesis nula: contra una de las siguientes alternativas: H1: σx2 > σy2 H0: σx2 = σy2 H1: σx2 < σy2 H1: σx2 ≠ σy2 La estadística a utilizar en este caso, al igual que para el intervalo de confianza, vendrá dado por: 2 f= sx 2 sy que, si la hipótesis nula es cierta, sigue una distribución F de Snedecor con n1-1, n2-1 grados de libertad. Las regiones críticas serán entonces: Contraste Bilateral: Contraste Unilateral Derecho: Contraste Unilateral Izquierdo: R.C = { f:f ≥ F1 - α/2, (n1-1),(n2 -1) ; f ≤ 1/ F1 - α/2, (n2 - 1), (n1 - 1) } R.C = { f: f ≥ F 1 - α, (n1-1), (n2 - 1)} R.C = { f: f ≤ 1/F1 - α, (n2-1),(n1 - 1)} 16 Probabilidad y Estadística (I.I.) Tema 7 8.8.- Contraste para el parametro p de una distribucion binomial: Se considerará el problema de probar la hipótesis de que la proporción de éxitos en un experimento binomial es igual a un valor especificado. Es decir, se está probando la hipótesis nula: H0: p = p0 frente a cualquiera de las alternativas: H1: p < p0 H1: p ≠ p0 H1: p > p0 La variable aleatoria apropiada sobre la cual se fundamenta el criterio de decisión es la variable aleatoria binomial de parámetros n (nº de experimentos) y p (proporción poblacional de éxitos, es decir, el parámetro cuyo valor queremos contrastar). Si H0 es cierta, entonces X se distribuye como una B(n,p0). Para valores pequeños de n, se deben obtener las probabilidades binomiales, a partir de la fórmula binomial real o de su tabla correspondiente. Pero, puesto que X es una variable aleatoria discreta, es poco probable que pueda determinarse una región crítica cuyo tamaño sea exactamente igual al valor predeterminado de α, por ello es preferible, cuando n es pequeña, basar las decisiones en el p-valor. Siendo x el número de éxitos en la muestra, tendríamos entonces: Para el contraste unilateral izquierdo: P = Prob. (X ≤ x cuando p = p0) Para el contraste unilateral derecho: P = Prob. (X ≥ x cuando p = p0) Para el contraste bilateral: si x < n p0 P = 2Prob. (X ≤ x cuando p = p0) si x > n p0 P = 2Prob. (X ≥ x cuando p = p0) En cualquier caso, Si P ≤ α se rechaza H0 Sin embargo, si n es grande, y utilizamos la variable binomial X, generalmente se prefiere utilizar su aproximación a la curva normal con parámetros µ = np y σ2 = npq. También es posible utilizar el estadístico p̂ = x que, para n grande, se puede aproximar, como ya n vimos, a una normal de parámetros µ = p y σ2 = pq/n. Por tanto tendremos: x -p pˆ -p x - np n = z= = pq npq pq n n que, como vemos, sigue dependiendo del parámetro p que queremos contrastar. Igual que se hizo en la estimación por intervalos, para valores de n grandes y si p0 no está cerca de 0 ni de 1, se suele sustituir la p del denominador, por su aproximación muestral, y obtendríamos entonces que, si la H0 es cierta, z= pˆ - p0 pˆ (1 - pˆ ) n sigue una distribución aproximadamente N(0,1). Si se verifican las condiciones anteriores, y si H0 es cierta, también se puede sustituir p por p0 tanto en el numerador como en el denominador, y se obtiene una aproximación bastante precisa en muchos 17 Probabilidad y Estadística (I.I.) Tema 7 casos, quedando entonces que z= x - n p0 n p0 (1 - p0 ) sigue una distribución aproximadamente N(0,1). Nosotros utilizaremos la primera de las aproximaciones, por similitud con la estimación por intervalos, y entonces las regiones críticas y de aceptación para este contraste vendrían dadas por: R.A = { z: |z| ≤ zα/2} Contraste Bilateral: R.C = { z: |z| > zα/2} R.A = { z: z ≤ zα} Contraste Unilateral Derecho: R.C = { z: z > zα} Contraste Unilateral Izquierdo: R.C = { z: z < -zα} R.A = { z: z ≥ -zα} 8.9.- Contraste para la diferencia de dos proporciones: Se seleccionan al azar dos muestras independientes grandes, de tamaño n1 y n2, de dos poblaciones binomiales, de parámetros p1 y p2 respectivamente. Se desea contrastar la hipótesis de que las proporciones (parámetro p) de ambas poblaciones son iguales. Es decir, se está probando la hipótesis nula: H0: p1 = p2 frente a cualquiera de las alternativas: H1: p1 > p2 H1: p1 < p2 H1: p1 ≠ p2 El estadístico sobre el que se basaría la decisión es: Pˆ 1 - Pˆ 2 En la estimación por intervalos, habíamos visto que la diferencia de proporciones muestrales de éxito, para una n lo bastante grande, tenía una distribución aproximadamente normal con media: µ pˆ - pˆ = p1 - p 2 1 y varianza: σ 2 pˆ - pˆ = 1 2 p1 q1 n1 + 2 p2 q2 n2 Y por tanto, el estadístico de contraste quedaría: z= pˆ 1 - pˆ 2 p1 q 1 n1 + p2 q2 n2 Cuando H0 es cierta, se puede sustituir p1 = p2 = p y q1 = q2 = q, donde p y q seguirían siendo los valores que queremos contrastar. Una estimación muestral de estos parámetros, la podemos obtener combinando los datos de ambas muestras, de la siguiente forma: x +x pˆ = 1 2 n1 + n2 siendo x1 y x2 el número de éxitos en ambas muestras. Por tanto quedaría: z= pˆ 1 - pˆ 2 1 1 pˆ qˆ + n1 n2 Siendo las regiones críticas y de aceptación, para un nivel de significación α: Contraste Bilateral: Contraste Unilateral Derecho: Contraste Unilateral Izquierdo: R.C = { z: |z| > zα/2} R.C = { z: z > zα} R.C = { z: z < - zα} 18 R.A = { z: |z| ≤ zα/2} R.A = { z: z ≤ zα} R.A = { z: z ≥ - zα}