“Pruebas de Hipótesis Hipótesis”” Hay un contexto. Hay un fenómeno aleatorio de interés. (Ω, F, P (θ )) Valor de θ desconocido. Se observa X , realización del fenómeno aleatorio. Lo anterior implica razonamiento inductivo. Modelo estadístico (paramétrico) {P(θ ) | θ ∈ Θ} Θ espacio paramétrico θ parámetro (desconocido) El modelo estadístico elegido para representar el fenómeno aleatorio puede variar, dependiendo de opiniones. Hipótesis H ⊂Θ H ech o : co m o se d esco n o ce θ , n o h ay certeza so b re valid ez d e H . P ro b lem a in feren cial d e "p ru eb a d e h ip ó tesis": a la lu z d e d ato s, X , ¿cu ál es la p lau sib ilid ad d e H ? (co n trastar co n p reg u n ta: A la lu z d e d ato s, X , ¿cu ál es valo r d e θ ?) N o ta: ¡¡H ex iste an tes d e co m en zar!! Evidencia o datos (X) H Medida de viabilidad o plausibilidad de la hipótesis H a la luz de los datos X Componente “conductual conductual”” en una prueba de hipótesis ¿Para qué queremos resolver el problema de inferencia inferencia? ? A veces (no siempre siempre): ): para modificar mi conducta conducta.. Ejemplo:: Observo cielo gris (datos Ejemplo datos). ). Infiero que va a llover llover.. Decido llevar un paraguas paraguas.. No siempre es “conductual conductual”” Ejemplo: niño observa que mago adivinó Ejemplo: la carta (datos datos). ). Infiere que el mago tiene poderes sobrenaturales sobrenaturales.. Jerzy Neyman (1894−1981) (1894−1981) Egon Pearson (1895−1980) (1895−1980) Karl Pearson (1857−1936) (1857−1936) Paradigma de NeymanNeyman-Pearson Premisas: Premisas: Hay una hipótesis alternativa a H. Para distinguirla distinguirla,, usemos H=H0 y H1. Existe una actitud “conductual conductual”, ”, asociada a ““rechazar rechazar”” y a “no rechazar rechazar”” H0 en favor de H1. Se originan como consecuencia dos tipos de error: Tipo I y Tipo II. El error de Tipo I es conceptualmente más grave que el de Tipo II. Para realizar una prueba prueba,, se debe conceder la posibilidad de cometer en cierto grado el error de Tipo I. Denotemos esto por α, la probabilidad de cometer error de Tipo I. Neyman--Pearson=juicio Neyman H0 es presunción de inocencia inocencia;; H1 es “no inocencia”. inocencia ”. Error de Tipo I es peor que Tipo II Hay implicación “conductual conductual”: ”: condenar o exonerar.. exonerar La “prueba “prueba”” de la hipótesis es el juicio juicio.. Los “datos “datos”” es la evidencia evidencia.. Se trata de un proceso de razonamiento inductivo,, no deductivo. inductivo deductivo. Hay incertidumbre. incertidumbre. ¿Cuánto vale α? En un juicio: No rechazar no es demostración de inocencia (¿OJ Simpson?). Rechazar no es demostración de culpabilidad (no rechazar no es lo mismo que aceptar). Si error de Tipo I aumenta, entonces Tipo II disminuye y vicevice-versa. Noción matemática de optimalidad que se deriva: Fijar el valor de la constante α. Minimizar la probabilidad de ocurrencia del error de Tipo II. Noción de prueba más potente. Ejemplo #1 Línea de producción industrial. X1, X2,..., Xn observaciones de defectodefecto-no defecto. p=proporción p=proporción de defectos Hipótesis: H0: p<=10% vs. H0: p>10% Consecuencia “conductual”: parar línea de producción o no pararla. Error de Tipo I es más grave que el error de Tipo II. α=proporción de “falsas alarmas” Ejemplo #2 Observación en astronomía. X1, X2,..., Xn observaciones de conteos de cúmulos en sectores de la bóveda celeste. Hipótesis: los conteos tienen distribución de Poisson (distribución homogénea de estrellas en el espacio tridimensional). Consecuencia “conductual”: ??? Error de Tipo I es más grave que el error de Tipo II??? α=??? ¿Los datos rechazan la hipótesis? “Según los datos, se rechaza la hipótesis nula.” No exactamente: se rechaza también porque alguien, o algo, eligió el valor de α. Hipótesis H ⊂Θ P ro b lem a d e "p ru eb a d e h ip ó tesis": a la lu z d e d ato s, X , ¿cu ál es la p lau sib ilid ad d e H ? Ronald Aylmer Fisher (1890−1962) (1890 −1962) Paradigma de Fisher (p (p-valores, o pruebas de significancia) Premisas: D(X,H)>0 es una “distancia entre datos y la hipótesis”, con la propiedad de que si D(X1,H)>D(X2,H), entonces X1 constituye mayor evidencia en contra de H que X2. p-valor= valor=P PH(D>d) (D>d),, donde d=valor observado de D. Paradigma de Fisher (p (p-valores, o pruebas de significancia) Interpretación: La estadística D ordena muestras de acuerdo a la cantidad de evidencia en contra de H que representan. No es relevante la noción “H “H es cierta”, sino la utilidad de H para describir X. p-valor es un re re--escalamiento de D a una escala [0,1] [0,1].. Cualquier D que cumpla ordenar muestras funciona. No hay noción de que una D sea mejor que otra. No hay noción de optimalidad. Bajo H, la distribución del p-valor es U(0,1). Un valor chico de p indica evidencia en contra de H. Un valor grande de p, también, aunque con otra interpretación. Replicabilidad de experimentos es importante. p-valor puede cuantificar evidencia en contra de H, no a favor. p-valor NO representa la probabilidad de que H sea cierta. p-valor NO es un concepto frecuentista, como lo es el error de Tipo I-II en NeymanNeyman-Pearson. No es relevante el concepto de hipótesis alternativa, como en NN-P. Paradigma Bayesiano Premisas: Se sabe algo acerca de θ aún antes de observar X. Esta información previa es cuantificable a través de una densidad de probabilidad, π(θ). Se conoce un modelo para datos, f(X| θ). Una vez observado X, la información se actualiza, mediante el Teorema de Bayes: f ( X | θ )π (θ ) f (θ | X ) = ∫ f ( X | θ )π (θ )dθ La probabilidad de que H sea cierta a la luz de los datos es: ∫ H f (θ | X )dθ Paradigma Bayesiano Interpretación: π(θ) es información subjetiva; luego la interpretación de probabilidad es subjetiva. Si no hay información previa, usar π(θ) “no informativa”. Principales críticas Neyman--Pearson Neyman Por naturaleza binaria se pierde resolución. No siempre existen pruebas UMP. p-valores La cuantificación de incertidumbre no posee interpretación probabilística probabilística.. Bayesiano Origen de densidad previa. Conceptos básicos en pruebas de hipótesis a la N N--P Hipótesis nula nula,, hipótesis alternativa alternativa.. Errores de Tipo I y Tipo II. Estadística de prueba y región crítica crítica.. Función de potencia de una prueba prueba..