Contraste de hipótesis Estadística aplicada a la empresa II Prof. D. Juan José Pérez Castejón 1 CONTRASTE DE HIPOTESIS Toca ahora la revisión de la tercera técnica de inferencia citada en temas anteriores: los contraste o tests de hipótesis. Dentro del campo de los contrastes haremos una amplia revisión tanto de métodos paramétricos como no paramétricos, a diferencia de lo hecho con otras técnicas donde fundamentalmente tratamos siempre el área paramétrico. Ello obliga a dividir en dos temas, el estudio que haremos de los contrastes. En el primer tema, se efectuará una amplia introducción general de la cuestión, centrándonos después en los contrastes de tipo paramétrico. La revisión de los no paramétricos quedará para el segundo tema. Tras la introducción de carácter general con la que comenzará el presente tema, en las secciones posteriores trataremos diferentes situaciones paramétricas donde se precise contrastar una hipótesis. Veremos cómo desarrollar contrastes para ellas buscando, si es posible, el mejor de todos. Comprobaremos el amplio de abanico de diferentes situaciones que pueden surgir y de respuestas mas o menos eficaces que se pueden hallar a esa cuestión. Una ultima sección estará dedicada a las poblaciones normales y a examinar los contrastes más importante para ellas. Introducción. Conceptos fundamentales. La técnica del contraste de hipótesis es una técnica diseñada de manera que aporte una regla de decisión. Lo que con esa regla se trata de decidir es si se acepta o rechaza cierta hipótesis que se ha planteado previamente y que afecta a la variable poblacional X en estudio. Desde el principio debe advertirse que como toda técnica que use el razonamiento de tipo inductivo, un contraste estadístico de hipótesis no pretende ser una demostración irrefutable de la veracidad o falsedad de la hipótesis correspondiente. La regla de decisión que a él está asociada solo nos indicará si dada la muestra de X que se haya observado, podemos aceptar la hipótesis propuesta como hipótesis plausible con esos datos, o bien rechazarla como hipótesis difícilmente compatible con ellos. Desde luego, sea cual sea la decisión que se adopte, se estará sujeto a la posibilidad de error. La técnica de contraste de hipótesis no estará completa mientras que la regla de Prof. D. Juan José Pérez Castejón 2 decisión que genera, no se acompañe de una medida del grado de certidumbre de cometer error. La inducción de tipo paramétrico ha ocupado casi por completo la totalidad de los contenidos expuestos en temas anteriores. En lo que se refiere a los contrastes de hipótesis, en cambio, se comentarán abundantes métodos tanto de carácter paramétrico como no paramétrico. Los revisión de los segundos se pospondrá al tema siguiente, mientras que el presente se compondrá de comentarios de carácter general o de carácter específicamente paramétrico. Las técnicas inductivas de tipo paramétrico se desarrollan todas bajo el supuesto de que para X se ha establecido que X~fπ(x) ó pπ(x). π es el único elemento desconocido de la distribución de esa variable y por tanto, es aquel en el que se centra toda la investigación. Bajo un supuesto así, las hipótesis que se contrastan en el presente tema, vienen dadas en términos de π. En concreto, plantear una hipótesis sobre π consistirá en seleccionar cierto subconjunto ∏0 del espacio paramétrico ∏ y afirmar que π∈∏0. Esa será, en principio, la hipótesis acerca de la cual nos plantearemos su aceptación o rechazo. Realmente, una vez que se plantea una hipótesis como la anterior, de forma natural aparece su hipótesis contraria. Esta se obtendría fijando ahora la atención en ∏1=∏–∏0 y afirmando que π∈∏1. Obviamente, aceptar(rechazar) la primera hipótesis planteada, es equivalente a rechazar(aceptar) esta segunda. A la hipótesis π∈∏0 se acostumbra a llamarla hipótesis nula, y se la denota como H0. Por contra, a π∈∏1 se la conoce como hipótesis alternativa, H1. Aunque por ahora pueda parecerlo, los papeles que juegan hipótesis nula y alternativa no son simétricos ni intercambiables y, por ello, es importante elegir adecuadamente desde un principio cuál es la que ocupa cada uno de los dos lugares. Dentro de las hipótesis posibles, ya se planteen como hipótesis nulas o alternativas, se suele distinguir entre hipótesis simples e hipótesis compuestas. En general, ya sea de tipo paramétrico o no, una hipótesis es simple si bajo ella, la distribución de X queda perfectamente especificada. En el caso paramétrico, una hipótesis simple es una en la que se afirme que π=π0 siendo π0 cierto valor fijo conocido. Prof. D. Juan José Pérez Castejón 3 Ya en el caso paramétrico y cuando π es unidimensional, una clase de hipótesis de gran interés es la constituida por las que se conocen como hipótesis a un lado (laterales) que son aquellas del estilo π≥π0, π<π0, etc., siendo π0 cierto valor fijo conocido. Esta definición es fácilmente extensible al caso en el que π no sea unidimensional pero la hipótesis correspondiente se refiera únicamente a una de sus componentes. El papel de los estadísticos muestrales dentro de los contrastes de hipótesis, sigue siendo fundamental. En particular, para formular la regla de decisión se escoge cierto estadístico T(X1,...,Xn), que no podrá depender de ningún elemento desconocido, empezando por π, y se considera también la función determinista a partir de la cual está definido, T(x1,...,xn). Con el segundo de esos elementos se establece lo que se conoce como región crítica: C={(x1,...,xn)∈Rn/ T(x1,...,xn) cumple cierta condición}. Finalmente se decide rechazar la hipótesis nula H0 (aceptar la alternativa H1) si el valor que se observe de la muestra cae dentro de C, esto es, si T(X1,...,Xn) cumple la condición que define a C. Obviamente, algunas de las cuestiones importantes que se plantean y que habrá que resolver durante el tema serán: ¿cómo se selecciona T?, ¿cuál es la condición con la que se determina C?. Como se deduce del párrafo anterior, es costumbre expresar un contraste en términos de la región crítica C o región de rechazo de la hipótesis nula. También suele ser habitual que la condición sobre T que determina a C –o sobre sus componente– sea de la forma T>c, T<c, T>c1 ó T<c2, o similar, siendo las constantes c, c1,... números reales fijos que se conocen con el nombre de valores críticos del test. Un procedimiento como el descrito no evita la posibilidad de tomar una decisión equivocada. Supongamos, por ejemplo, que el valor verdadero de π pertenezca a H0. Si en ese caso existe posibilidad de que (X1,...,Xn)∈C, entonces cuando los valores muestrales que se observen supongan de hecho el que ese suceso se dé, la hipótesis nula acabará siendo rechazada aún siendo cierta. De manera análoga, es fácil concluir también cuando ocurrirá un rechazo de la hipótesis alternativa en el caso en el que ella sea la cierta. Tenemos pues dos posibles situaciones para el verdadero valor del parámetro y dos opciones entre las que tenemos que elegir con nuestra decisión. En principio, cualquier posibilidad de π Prof. D. Juan José Pérez Castejón 4 se puede combinar con cualquier tipo de decisión y, como se ha razonado, algunas de esas combinaciones dan lugar a una toma de decisión equivocada. En la siguiente tabla aparecen reflejadas todas las combinaciones posibles, y se les da diferentes denominaciones a los dos tipos distintos de error que se pueden cometer: Estado de la naturaleza⇒ ⇓Decisión tomada Aceptar H0 Rechazar H0 H0 cierta H1 cierta Decisión correcta Error (de tipo I) Error (de tipo II) Decisión correcta La medición del grado de certidumbre que existe de cometer error de tipo I y error de tipo II, va a ser posible gracias a lo que se conoce como la función potencia del contraste. Tal función depende de π y vale β(π)=Pπ((X1,...,Xn)∈C)=Pπ(T(X1,...,Xn) cumpla la condición que define a C). Cuando H0 sea la hipótesis cierta, y si π∈H0 es el verdadero valor del parámetro, β(π) mediría para tal valor, la probabilidad de rechazar la nula (y cometer error de tipo I). Por el contrario, cuando H1 sea la hipótesis cierta, siendo π∈H1, β(π) mediría la probabilidad de rechazar la nula, por lo que en este caso la cantidad 1–β(π) sería la que cuantificaría la probabilidad de cometer error de tipo II. Si ya se encontraron numerosas dificultades en temas pasados a la hora de hallar ‘el mejor estimador’ o ‘el intervalo de confianza mas preciso’, los problemas van a aumentar cuando lo que se busca es ‘el mejor contraste’ para unas hipótesis dadas. Problemas que aparecen ya con la propia definición de ese concepto. ¿Cuál debería ser la definición formal del ‘mejor contraste’? Parece que se debería de buscar aquel test que hiciera lo más pequeñas posibles todas las probabilidades de cometer error, sea este del tipo que sea. Sin embargo ello parece un poco difícil pues si minimizar esas probabilidades bajo la nula supondría minimizar β(π) en esa zona del espacio paramétrico, por contra, hacer lo mismo bajo la alternativa requeriría minimizar 1–β(π) bajo esta otra zona, o lo que es igual, maximizar β(π) bajo ella. Se puede intuir ya que será difícil que exista en la práctica un concepto que requiera, a la vez, maximizar y minimizar la misma función aunque sea en áreas diferentes de su dominio de definición. Los requerimientos para que un contraste pueda ser considerado el mejor, van a tener que ser mucho menores que los Prof. D. Juan José Pérez Castejón 5 esbozados más arriba. Se recogen más adelante en la definición de test uniformemente mas potente (test u.m.p.) de tamaño α, donde α es cierta constante elegida por nosotros y tal que 0<α<1. Para poder entender adecuadamente esa definición, se debe de precisar primero lo que se denomina como tamaño de un test. Sea el contraste de H0 contra H1. Sea C su correspondiente región crítica. Se denomina tamaño de ese contraste al supπ∈H0β(π)=supπ∈H0Pπ((X1,...,Xn)∈C). Como se aprecia, el tamaño de un test no es nada mas que el máximo de la probabilidad de cometer error de tipo I con ese test, esto es, de rechazar H0 siendo cierta. Definición de test u.m.p.: Sea α cierta constante prefijada de antemano tal que 0<α<1. Sea un contraste de H0 contra H1 cuya función potencia y región crítica denotaremos como β(π) y C respectivamente. Tal test se dirá que es el contraste uniformemente más potente (u.m.p.) de tamaño α para esas hipótesis si: a) Su tamaño es menor o igual que α. b) Cualquier otro contraste para las mismas hipótesis y también de tamaño menor o igual a α, cuya función potencia denotaremos β’(π), cumple que β’(π)≤β(π) ∀π∈H1. Como se deduce, lo que se exige a un test u.m.p. es bastante menos de lo que al principio se indicaba. Primero se escoge α, el nivel máximo de probabilidad de cometer error de tipo I que estamos dispuestos a admitir, y se trabaja solo con tests cuyos tamaños estén por debajo de tal nivel. Después, entre ellos se selecciona como test u.m.p. a aquel que maximiza la potencia bajo todo punto de la alternativa, o lo que es igual, el que minimice la probabilidad de cometer error de tipo II (1–β(π)). Nótese, que como ya se adelantó, en el contraste u.m.p., el trato que se da a cada hipótesis no es simétrico. La hipótesis nula es, en cierto sentido, la más ‘mimada’ pues bajo ella no estamos dispuestos a admitir un test cuyo nivel de error pueda estar alguna vez por encima de una cantidad α que nos parezca correcta. El valor que se suele escoger para α es más bien pequeño (entre el 1% y el 10%). Por su lado, bajo la alternativa, solo nos preocupamos de que la probabilidad de cometer error de tipo I sea lo más pequeña posible pero sin exigir que de hecho esté por debajo de algún valor que estemos dispuestos a aceptar. Nótese Prof. D. Juan José Pérez Castejón 6 que aún siendo mínimos, los valores 1–β(π) pueden permanecer en valores elevados. Realmente, como ha ocurrido con toda definición en la que se ha exigido cierta optimización uniforme (o sea, válida para todo valor de π en una cierta región), la segunda condición para ser test u.m.p., por ser tan exigente, impide afirmar que con seguridad ese tipo de test siempre existirá. Así, del contraste u.m.p. no tendremos siempre asegurada su existencia. En el resto del tema, investigaremos métodos de obtención de contrastes y, si es posible, se investigará si el método desarrollado produce contrastes u.m.p. Las distintas secciones del tema se organizarán según el tipo de hipótesis a tratar y/o el método de obtención del contraste que se emplee. Veremos que a medida que la situación se haga más y más compleja, tanto por el tipo de hipótesis que se analiza como por la técnica de obtención de contrastes que se emplee, serán cada vez mas raros resultados que afirmen que los tests que se obtengan sean u.m.p. Hipótesis simples y contrastes u.m.p. Lema de NeymanPearson. Los ejemplos en los que las hipótesis a contrastar son simples, especialmente si lo son tanto la nula como la alternativa, resultan poco realistas. Sin embargo, sí son interesantes pues sirven como introducción sencilla de los métodos de obtención de contrastes u.m.p. y porque asociado a ellos surge uno de los resultados fundamentales en la cuestión de los contrastes de hipótesis: el Lema de Neyman-Pearson. Supongamos que se desea contrastar H0:π=π0 contra H1:π=π1 siendo π0 y π1 valores fijos conocidos. Como se ha comentado antes, en el ámbito paramétrico, esa debe ser la forma que adopten tanto H0 como H1, para poder ser hipótesis simples. Alguno de los conceptos generales revisados anteriormente, se simplifican mucho en esta situación. Nótese que, para empezar, la potencia de un contraste tendrá solamente dos valores diferentes: β(π0)=β0 y β(π1)=β1. El tamaño de un contraste será siempre β0. Y un test u.m.p. de tamaño α será uno que β0≤α y que además cumpla que β1≥β’1 para todo otro contraste de potencia β’(π) que también cumpla β’0≤α Prof. D. Juan José Pérez Castejón 7 Se utiliza para contrastar tales hipótesis, un método con una fundamentación muy intuitiva. Retomemos la función de verosimilitud muestral, en sus dos versiones, determinista y aleatoria: Lπ(x1,...,xn) y Lπ(X1,...,Xn). Recuérdense las interpretaciones probabilísticas que cada una tiene. Por existir solamente dos valores posibles para π, existirán dos posibles expresiones para esas funciones: Lπ0(x1,...,xn) y Lπ1(x1,...,xn) en el caso determinista, y expresiones análogas en el aleatorio. El cociente Λc(x1,...,xn)=Lπ0(x1,...,xn)/Lπ1(x1,...,xn) puede servir para comparar entre sí las probabilidades que tiene la muestra de, bajo nula y alternativa, caer en un punto (x1,...,xn) escogido de manera determinista. Si ahora lo valoramos sobre la muestra, Λc(X1,...,Xn), lo que tendríamos es un cociente que compara las probabilidades a priori que teníamos, bajo H0 y H1 respectivamente, de que la muestra tome los valores que se observen en ella. Nótese que Λc(X1,...,Xn) es una v.a. mayor o igual que 0 siempre y, además, es un estadístico que no depende de valores desconocidos pues en él intervienen las cantidades conocidas π0 y π1. Un valor de Λc(X1,...,Xn) más bien pequeño sería señal de que la probabilidad bajo H0 de que se dieran los valores observados en la muestra, es mucho menor que bajo H1. Análogamente, un valor alto indicaría lo contrario. Un criterio bastante intuitivo que se podría pensar en adoptar es el de rechazar H0 cuando se observe una muestra en la que Λc tome un valor lo bastante pequeño. El siguiente lema, que es un resultado fundamental para el desarrollo de la teoría de contrastes, demuestra que ese proceder es correcto pues aporta el contraste u.m.p. de H0 frente a H1. Además, concreta de manera precisa la vaga expresión ‘valor lo bastante pequeño’ que hemos empleado al introducir el criterio. Lema de Neyman–Pearson: Supongamos que X~fπ(x) ó pπ(x) y que se desea contrastar que H0:π=π0 contra H1:π=π1. Supongamos que para ello se dispone de una m.a.s. de X, X1,...,Xn. Un test con región crítica C es el test u.m.p. de tamaño α para ello si cumple: a) Su tamaño es exactamente α: β(π0)=Pπ0((X1,...,Xn)∈C)=α b) Existe cierta constante k>0 tal que ∀(x1,...,xn)∈C se cumple que Λc(x1,...,xn)≤k, mientras que ∀(x1,...,xn)∉C se cumple que Λc(x1,...,xn)≥k. Prof. D. Juan José Pérez Castejón 8 El Lema anterior es una herramienta que puede emplearse en dos sentidos. En primer lugar, directamente se puede usar para comprobar si un test disponible es u.m.p. Se trataría de demostrar si el test cumple las condiciones señaladas. Pero de forma inversa, y como resultado mucho más interesante, el Lema también se puede usar para construir un test u.m.p. Si por definición, se construye un contraste que tenga como región crítica C={(x1,...,xn)∈Rn t.q. Λc(x1,...,xn)≤k} cuidando de que k sea tal que Pπ0((X1,...,Xn)∈C)=Pπ0(Λc(X1,...,Xn)≤k)=α, tendremos ya un test que cumple las condiciones del Lema y que será por ello el u.m.p. de tamaño α. Desde luego, el Lema en sí no asegura que siempre sea posible llevar adelante el proceso señalado en el párrafo anterior. Solo asegura que caso de poder hacerse, el resultado es un test u.m.p. Un caso relevante y frecuente en el que no está asegurada la finalización con éxito del proceso, es aquel en el que la distribución de Λc sea discreta bajo H0, lo que suele ocurrir, a su vez, cuando también lo es la distribución de X. En tal caso, debido al característico crecimiento a saltos de la función de distribución de Λc, fácilmente puede ocurrir que para un α determinado, la constante k tal que Pπ0(Λc≤k)=α simplemente no exista. Afortunadamente, en estos casos de ocurrencia tan frecuente, para aquellos α en lo que sí que exista Pπ0(Λc≤k)=α, el proceso sí que se desarrolla en las mismas condiciones generales que se han descrito. La variedad y complejidad que puede tener la distribución del estadístico Λc(X1,...,Xn), puede provocar que, en las aplicaciones prácticas del Lema de Neyman–Pearson, aún sabiendo que una constante k como la que venimos tratando existe, su cálculo efectivo se convierta en una tarea complicada o imposible de realizar. Por ello, si es factible transformar Λc≤k en otra expresión equivalente pero en la que los estadísticos involucrados sean mas fáciles de manejar, es aconsejable proceder a tal transformación. Ello permitiría trabajar con la región crítica C de manera más sencilla. El saber que la nueva expresión es equivalente a la de partida y que por ello, se trata de la misma región de rechazo, nos aseguraría que seguimos ajustándonos a los requerimientos del Lema y que por tanto se trata de un test u.m.p., test que sin Prof. D. Juan José Pérez Castejón 9 embargo no vendría dado en términos del complejo estadístico Λc sino de otro(s) de manejo más sencillo. Finalmente, indicaremos que los puntos (x1,...,xn) de Rn sobre los que realmente hay que decidir si se incluyen o no en la región C del test derivado del Lema, son aquellos en los que no se anulan ni Lπ0(x1,...,xn) ni Lπ1(x1,...,xn). Ello es así porque si en un punto es Lπ0(x1,...,xn)=0, obviamente ese punto debe pertenecer siempre a C, mientras que si es Lπ1(x1,...,xn)=0, entonces ese punto debe ser de aceptación de H0. Aún más, de los puntos en los que ambas cantidades sean nulas, no hay ni que preocuparse, pues en ellos, la muestra nunca caería. Podemos concluir que el cociente Λc –en su versión determinista o aleatoria–, precisa solo ser calculado y manejado cuando ambos, numerador y denominador, sean no nulos. Este punto, al igual que el señalado en el párrafo anterior, simplifica mucho la aplicación práctica del Lema de Neyman– Pearson. Ejemplo 1: El tiempo de vida (en días) de un determinado componente sigue una distribución e(λ). Se desea contrastar si la media de esa distribución es 175 (H0) ó 200 (H1) días. Empleando un tamaño del 5%, razone qué decisión tomaría si en una m.a.s. de 60 componentes, se obtuvieron los siguientes resultados: Tiempo de vida de los componentes (medido en días) 339.0 68.1 21.6 386.7 319.6 224.2 283.6 557.1 800.0 86.3 329.3 534.2 142.6 221.4 162.0 826.5 275.2 211.5 101.6 168.0 69.2 446.3 611.7 8.6 20.6 72.5 23.0 125.2 59.5 330.7 182.2 244.4 12.8 204.8 60.7 62.5 136.8 147.1 75.6 44.8 459.9 121.6 223.5 122.8 36.2 24.6 22.5 56.7 19.7 152.1 511.6 227.6 34.6 3.1 30.6 91.8 935.4 402.6 65.0 12.6 Hipótesis compuestas y test u.m.p. Cuando las hipótesis pasan de ser simples a ser compuestas – con lo que, a su vez, se vuelven en general más realistas– ya no es siempre posible encontrar test u.m.p para contrastarlas. Solo se puede asegurar su existencia restringiendo el tipo de hipótesis y haciendo lo mismo con el tipo de distribución de probabilidad de la v.a. poblacional. Además de ser necesarias otras restricciones adicionales. Prof. D. Juan José Pérez Castejón 10 En lo que sigue, supondremos, para empezar, que estamos trabajando con una población en la que el parámetro desconocido es unidimensional. Por otro lado, también supondremos que las hipótesis paramétricas que consideramos, tanto en el caso de la nula como de la alternativa, serán todas del tipo a un lado. Ya se definió anteriormente cómo son tales hipótesis aunque, más adelante, al presentar los resultados pertinentes se concretará más las forma de las hipótesis laterales con las que se trabajará. La restricción que se debe imponer sobre el tipo de distribución poblacional para conseguir llegar a contrastes u.m.p. requiere una definición pausada, definición que se va a hacer a continuación. Adelantemos que lo que se trata es de exigir que la familia de distribuciones, fπ(x) ó pπ(x), que se ha supuesto desde el principio cierta para X, cumpla la propiedad que se conoce como la de cociente de verosimilitudes monótono (c.v.m.). Para caracterizar adecuadamente la propiedad de c.v.m. empezaremos por definir lo que denominaremos a partir de ahora como el cociente de verosimilitudes, Λc(x1,...,xn,π0,π1)= =Lπ0(x1,...,xn)/Lπ1(x1,...,xn), que es la extensión directa de la versión determinista del cociente Λc introducido en relación con el Lema de Neyman–Pearson. Nótese que por no tratar ahora con hipótesis simples, las cantidades π0 y π1 serán dos cantidades unidimensionales, pues π lo es, pero no fijas, sino que varían dentro de todo el espacio paramétrico. Λc dependerá de ellas, por lo que las hemos introducido como dos argumentos más de esa función. Realmente vamos a imponer siempre la condición de que π0<π1. Y por razones análogas a las que se comentaron al final de la sección anterior, Λc(x1,...,xn,π0,π1) se calculará únicamente en los puntos en los que su numerador y denominador no se anule. La familia de densidades o de probabilidades fπ(x) ó pπ(x), se dirá a partir de ahora que posee cociente de verosimilitudes monónotono si Λc(x1,...,xn,π0,π1) se puede poner de la forma Λc(x1,...,xn,π0,π1)=h(T(x1,...,xn),π0,π1) ∀(x1,...,xn,π0,π1) siendo T una función que tome valores en la recta real y que no dependa ni de π0 ni de π1, y h una función monótona (no creciente o no decreciente) como función de su primer argumento, esto es, de T. Como se deduce de la igualdad anterior, la clave de la descomposición exigida es que la dependencia que Λc presente respecto de los xi, se concentre de forma monótona en la función real T(x1,...,xn). Prof. D. Juan José Pérez Castejón 11 La mayoría –pero no todas– de las familias de distribuciones continuas y discretas que habitualmente manejamos, son a su vez familias c.v.m. Aparte de la propia definición, existe otra forma de comprobar si una familia tiene esta propiedad, si previamente demostramos que esa familia es una familia exponencial. Una vez demostrado el carácter de familia exponencial y si la descomposición de fπ(x) ó pπ(x) como tal es a( π)b( x )e c ( π )d( x ) –nótese que aquí es k=1–, entonces si se cumple que c(π) es una función no creciente o no decreciente de π, la familia de distribuciones tiene c.v.m. siendo T(x1,...,xn)=∑d(xi). Hay que advertir que, en este caso, el comportamiento de la función h respecto de T presenta el carácter inverso que c respecto de π, esto es, es monótona no decreciente si c(π) es no creciente y viceversa. Como ya se ha adelantado, la propiedad c.v.m. resulta clave para que la existencia de contrastes u.m.p. se pueda extender a hipótesis compuestas. El siguiente resultado afirma tal cosa. En él se señalan, los tipos de hipótesis compuestas para los que se puede hallar contrastes u.m.p. y cuáles son estos. Aunque no se va a hacer una demostración rigurosa del resultado sí que se puede indicar que tal demostración se basa en una aplicación directa a las nuevas hipótesis, del test suministrado por el Lema de Neyman– Pearson, y una comprobación de que también es u.m.p. para ellas, hecho este último que es posible gracias a la propiedad de c.v.m. Teorema: Supongamos cierto todo lo indicado hasta ahora (π unidimensional y X~fπ(x) ó pπ(x) familia con c.v.m) y supongamos que disponemos de una m.a.s. de X. Entonces, para algunas hipótesis compuestas, existe un contraste u.m.p. de tamaño α. La lista de hipótesis y la de los contrastes u.m.p. correspondientes es la siguiente: – Caso 1: H0:π≤π0 (ó π=π0) contra H1: π>π0 – si h es no decreciente como función de T, entonces la región crítica C={(x1,...,xn)∈Rn t.q. T(x1,...,xn)≤k} corresponde a un test u.m.p. – si h es no creciente como función de T, entonces la región crítica C={(x1,...,xn)∈Rn t.q. T(x1,...,xn)≥k} corresponde a un test u.m.p. Prof. D. Juan José Pérez Castejón 12 – Caso 2: H0:π≥π0 (ó π=π0) contra H1: π<π0 – si h es no decreciente como función de T, entonces la región crítica C={(x1,...,xn)∈Rn t.q. T(x1,...,xn)≥k} corresponde a un test u.m.p. – si h es no creciente como función de T, entonces la región crítica C={(x1,...,xn)∈Rn t.q. T(x1,...,xn)≤k} corresponde a un test u.m.p. siendo, en todo caso, k la constante tal que Pπ0((X1,...,Xn)∈C)=α. Ejemplo 1 (continuación): En la misma situación y con los mismos datos del Ejemplo 1, es el fabricante del componente quien afirma que el tiempo medio de vida de sus componentes es mayor que el de la competencia (este último se establece en 175 días). Empleando un tamaño del 5%, razone si se debe aceptar o rechazar esa afirmación. Ejemplo 2: De una población P(λ) se conoce que λ, como mínimo, vale cierto valor conocido λ0. Como contrastaría a un tamaño dado, si λ es igual a ese valor o no. ¿Es ese el test u.m.p.?. Como ocurría con el Lema de Neyman–Person, el resultado anterior no asegura realmente que el test u.m.p. vaya a existir. Su existencia realmente queda pendiente de que una constante como la k descrita se pueda hallar. Este hecho tendrá lugar siempre si el estadístico T(X1,...,Xn) es de tipo continuo, y solo para ciertos α, si fuera de tipo discreto. Al aplicar estos contrastes se aprecia con toda su fuerza, un hecho general que se advirtió en la introducción del tema, y que se refería al diferente comportamiento de la función potencia de un tests u.m.p. bajo nula o alternativa. Los tests que se derivan de la aplicación de c.v.m. tienen, obviamente, probabilidad de error de tipo I que no supera a α para níngun valor de π en la nula. Sin embargo, el hecho de haber minimizado la probabilidad de error de tipo II no quiere decir que para todos los valores de la alternativa tal probabilidad llegue a ser muy baja. De hecho, en las aplicaciones prácticas se obtienen tests u.m.p. con una función potencia bajo la altenativa –o sea, uno menos la probabilidad de error de tipo II– que va desde valores muy próximos a uno si π se encuentra en una zona de H1 muy alejada de H0, hasta valores casi iguales a α –y, Prof. D. Juan José Pérez Castejón 13 por ello, bajos normalmente– cuando π está en zonas de H1 cercanas a H0. Existen otras hipótesis compuestas en las que también es posible hallar contrastes u.m.p., pudiendo consultarse los resultados correspondientes en la literatura estadística correspondiente. Aquí, no se van a revisar, y solo indicaremos, que esos resultados a su vez requieren condiciones adicionales o simplemente distintas de los que aquí hemos comentado. Métodos generales de obtención de contrastes. En lo que sigue, ya no nos ocuparemos más de dar resultados que busquen específicamente el test u.m.p. Enunciaremos criterios generales de obtención de contrastes que no necesariamente tienen porqué ser los uniformemente más potentes. Estos criterios deberán de emplearse cuando los condiciones del problema en estudio lo permitan y en ausencia de resultados más potentes que sí que aportaran contrastes u.m.p. CRITERIO BASADO EN VEROSIMILITUDES GENERALIZADO. EL COCIENTE DE El criterio basado en el cociente de verosimilitudes generalizado constituye un procedimiento de obtención de contrastes de uso casi general y que muchas veces, caso de existir un contraste u.m.p para una determinada situación, es de hecho un método que lo proporciona. Sin entrar en la demostración de ninguno de los resultados que se expongan, comentaremos en lo que sigue los fundamentos de ese procedimiento. El elemento central de este nuevo método de contraste es el estadístico que se denomina cociente de verosimilitudes (generalizado). El calificativo ‘generalizado’ lo emplearemos cuando exista confusión entre el nuevo estadístico y otros ya tratados anteriormente y que también recibieron el nombre de cociente de verosimilitudes. Una vez expuesta su fórmula resultará fácil apreciar que aún teniendo expresiones parecidas, no se trata de los mismos estadísticos, y que, a veces, para saber a cual de ellos se hace referencia es preciso añadir el calificativo citado a la denominación del estadístico que ahora definimos. Prof. D. Juan José Pérez Castejón 14 Como ha pasado con más de un estadístico, el estadístico cociente de verosimilitudes tendrá dos versiones: la versión determinista y la aleatoria. La primera será, realmente, la función determinista que aplicada sobre la muestra dé lugar a la segunda, la cual a su vez constituirá el verdadero estadístico. La versión determinista es ΛG(x1,...,xn)=supπ∈H0Lπ(x1,...,xn)/supπ∈ΠLπ(x1,...,xn). Obviamente, el estadístico –esto es, la versión aleatoria– será entonces ΛG(X1,...,Xn). La principal diferencia entre Λc y ΛG radica en que, en el segundo, numerador y denominador se calculan con sendos supremos, el del numerador hallado sobre H0, y el del denominador sobre todo Π, mientras que los elementos análogos del primero se hallan sobre valores individuales de π. Cuando ΛG se emplea sobre hipótesis simples como en el Lema de Neyman– Pearson, su numerador coincide con el de Λc, pero no así su denominador. Nótese también que si denotamos como π̂ al e.m.v. de π, el denominador de ΛG(X1,...,Xn) valdría L π̂ (X1,...,Xn), mientras que lo mismo ocurriría con el numerador pero si ese estimador máximo verosímil lo calculáramos restringidos a considerar que H0 es el verdadero espacio paramétrico. ΛG(X1,...,Xn) se debe interpretar como el cociente entre la máxima probabilidad bajo la nula de que la muestra tome sus valores allí donde sea observada, y la máxima probabilidad de lo mismo en todo el espacio paramétrico –incluyendo tanto nula como alternativa–. Desde luego, siempre es 0≤ΛG≤1. Valores cercanos a cero de ΛG indicarían que para la muestra observada existen opciones de π no contenidas en H0 para las que la probabilidad de que la muestra tome su valor es muy superior a cualquiera de las probabilidades de que hiciera lo mismo si H0 fuera cierta. Por el contrario, valores cercanos a uno indicarían que esas mismas probabilidades alcanzan ya su valores mayores con ciertos π incluidos en la propia H0. Extendiendo la forma de razonar ya empleada en el Lema de Neyman–Pearson, se puede adoptar el siguiente criterio de rechazo de la nula: ‘rechazar si ΛG es lo suficientemente pequeño’. Pero es preciso formalizar mejor la ambigua expresión: ‘lo suficientemente pequeño’. En concreto se rechazará la nula si ΛG≤k siendo k la constante positiva que asegure un tamaño α para el contraste: supπ∈H0Pπ(ΛG≤k)=α. Prof. D. Juan José Pérez Castejón 15 Se puede demostrar que los contrastes basados en ese criterio presentan muy buenas propiedades, al menos asintóticamente. Aún teniendo en cuenta la relación señalada antes entre ΛG y el e.m.v., el trabajo estadístico con el cociente de verosimilitudes puede ser muy complejo por la complicada expresión analítica que llega a tener. De hecho, más de una vez ni siquiera se dispone de tal expresión analítica. Afortunadamente, existe un resultado asintótico que afirma que si H0 es cierta, la distribución de –2lnΛG es asintóticamente una χ2 con ciertos grados de libertad s, independientemente del valor de π. Ello permite que trabajando con el estadístico –2lnΛG en lugar del propio ΛG y rechazando la nula si –2lnΛG≥χ2 s,α, tengamos un contraste equivalente al anterior y que, al menos asintóticamente, posee tamaño α. Desde luego, esta aproximación asintótica se empleará siempre que el trabajo con la distribución exacta de ΛG resulte inabordable. CONTRASTES BASADOS EN INTERVALOS DE CONFIANZA. En diferentes tipos de investigaciones estadísticas, suele ocurrir que la hipótesis H0 a contrastar sea del tipo h(π)=h0 frente a H1: h(π)≠h0, siendo h cierta función unidimensional de π, y h0 cierto valor hipotético conocido. Existe un procedimiento estándar para contrastar esas hipótesis, procedimiento que además nos da por primera vez una pista acerca de la relación entre los dos técnicas inferenciales más importantes: la estimación por intervalos de confianza y los contrastes de hipótesis. Cuando se desea hallar un contraste de tamaño igual a α para esas hipótesis, un forma de proceder estándar consiste en hallar un intervalo de confianza c=1–α para h(π) y rechazar la hipótesis nula en el caso en el que h0 no esté dentro de ese intervalo. Sin entrar a demostrar qué propiedades puede tener el contraste así obtenido, si vamos a demostrar que al menos su tamaño vale α, con lo que de paso justificamos la relación entre esa cantidad y c. Nótese que supπ∈H0β(π)=supπ∈H0Pπ((X1,...,Xn)∈C)= supπ∈H0Pπ(h0=h(π)∉intervalo aleatorio de probabilidad c). Pero por la propia definición de intervalo de confianza, la ultima probabilidad que aparece en esas igualdades es independiente de π y siempre vale 1–c=α con lo que se llega al resultado buscado. Prof. D. Juan José Pérez Castejón 16 CRITERIO GENERAL PARA CUALQUIER CONTRASTE. No hay que dejar pasar la oportunidad de resumir brevemente el proceso intuitivo que subyace detrás de todas las reglas de rechazo que se han ido obteniendo en el tema. Esto incluiría desde las que se razonaron rigurosamente al principio del capítulo, hasta las últimas presentadas únicamente de una manera informal. El comentario que se haga podrá, además, ser tomado como una regla intuitiva a aplicar para obtener nuevos contrastes allí donde otro procedimiento con un fundamente teórico más profundo sea impracticable. La idea que subyace a todos los contrastes comentados es la siguiente. Se ha buscado un cierto estadístico T(X1,...,Xn) que sirva para basar en él el contraste. Aparte de no depender de parámetros desconocidos, la propiedad clave de T es siempre la de que tiende a presentar comportamientos claramente diferentes bajo nula y alternativa. Inmediatamente se busca una zona C de valores posibles para T donde tienda a caer bajo H1 y, sin embargo, tenga poca probabilidad de tomar sus valores bajo H0. En particular, si el tamaño que se desea que tenga el contraste es α, C se configura de manera definitiva teniendo en cuenta esa afirmación: C debe cumplir que supπ∈H0Pπ(T∈C)=α. Tomando C como región crítica, se obtiene un test que, al menos, tendrá tamaño α. Contrastes de hipótesis en poblaciones normales. Siguiendo la tónica de lo hecho en temas anteriores, se pretende revisar en esta última sección, los principales contrastes de hipótesis para poblaciones normales. Supondremos pues, a partir de ahora, que la v.a. X analizada es normal. Para simplificar, añadiremos la hipótesis de que la muestra obtenida de ella, es una m.a.s. Los distintos tests que hay que presentar se organizan según las diferentes situaciones inferenciales que se pueden presentar en este tipo de poblaciones, que coinciden con las que se distinguían cuando analizábamos los más importantes resultados muestrales para poblaciones normales en el tema dedicado a inferencia y estadísticos. Pero ahora, también hay que considerar, dentro de cada situación, diferentes posibilidades según el tipo de hipótesis que se desee contrastar. Dado la inmensa variedad de combinaciones que Prof. D. Juan José Pérez Castejón 17 pueden surgir por ello, se puede imaginar el lector que no se van a tratar todas, sino, solamente, las que se consideren más importantes. Y además, como a pesar de que se resuma el número, su enumeración y comentario detenido todavía puede ser muy largo, solamente las enumeramos en la tabla adjunta. Algunos de los contrastes que se recogen en la tabla sirven además como ejemplos de aplicación de los distintos métodos de obtención que hemos ido comentando en este tema. Prof. D. Juan José Pérez Castejón 18