Proyección ortogonal y mı́nimos cuadrados Profesores Omar Darı́o Saldarriaga Ortı́z Iván Dario Gómez Hernán Giraldo 2009 Definición (Proyección ortogonal sobre un vector) Sean a y b vectores en Rn , definimos la proyección ortogonal del vector a sobre el vector b, el cual será denotado por proyb a, como el vector dado por proyb a = b·a b. b·b Definición (La matriz proyección) Esta fórmula la podemos expresar matricialmente de la siguiente forma: bt a 1 b·a b = t b = t bbt a. Nótese que bbt es una matriz y a la matriz b·b bb bb P = 1 t bb bt b se le llama la matriz de la proyección y tiene la propiedad que para todo a ∈ Rn , P a = proyb a. (1) Definición (Proyección ortogonal sobre un vector) Sean a y b vectores en Rn , definimos la proyección ortogonal del vector a sobre el vector b, el cual será denotado por proyb a, como el vector dado por proyb a = b·a b. b·b Definición (La matriz proyección) Esta fórmula la podemos expresar matricialmente de la siguiente forma: bt a 1 b·a b = t b = t bbt a. Nótese que bbt es una matriz y a la matriz b·b bb bb P = 1 t bb bt b se le llama la matriz de la proyección y tiene la propiedad que para todo a ∈ Rn , P a = proyb a. (1) Ejemplo 1 Sea b = 0, calcular la matriz que proyecta sobre b y usarla para calcular 2 1 proyb a donde a = 1 1 Teorema 1 Sea b ∈ Rn y P = t bbt la matriz proyección, entonces para todo a ∈ Rn bb tenemos lo siguiente: 1 P a = proyb a ∈ hbi, 2 a − P a ⊥ b, 3 P P a = P a, es decir, P 2 = P , 4 Si a ∈ hbi entonces P a = a, 5 Si a ⊥ b entonces P a = 0. Ejemplo 1 Sea b = 0, calcular la matriz que proyecta sobre b y usarla para calcular 2 1 proyb a donde a = 1 1 Teorema 1 Sea b ∈ Rn y P = t bbt la matriz proyección, entonces para todo a ∈ Rn bb tenemos lo siguiente: 1 P a = proyb a ∈ hbi, 2 a − P a ⊥ b, 3 P P a = P a, es decir, P 2 = P , 4 Si a ∈ hbi entonces P a = a, 5 Si a ⊥ b entonces P a = 0. Lema Sea A una matriz, entonces N ul(A) = N ul(At A). Lema Sea A = v1 · · · son LI entonces vk una matriz donde {v1 , . . . , vk } son las columnas y 1 At A es invertible, 2 La matriz (At A)−1 At es una inversa a la izquierda de A. Lema Sea A una matriz, entonces N ul(A) = N ul(At A). Lema Sea A = v1 · · · son LI entonces vk una matriz donde {v1 , . . . , vk } son las columnas y 1 At A es invertible, 2 La matriz (At A)−1 At es una inversa a la izquierda de A. Ejemplo 1 Calcular una inversa a la izquierda de la matriz A = 1 1 0 1. 2 Lema Sea A una matriz, entonces N ul(A) = N ul(At A). Lema Sea A = v1 · · · son LI entonces vk una matriz donde {v1 , . . . , vk } son las columnas y 1 At A es invertible, 2 La matriz (At A)−1 At es una inversa a la izquierda de A. Ejemplo 1 Calcular una inversa a la izquierda de la matriz A = 1 1 0 1. 2 Corolario Sea A una matriz cuyas filas son linealmente independientes, entonces se tiene que 1 AAt es invertible, 2 La matriz At (AAt )−1 es una inversa a la derecha de A. Ejemplo Sea A = 1 0 1 1 1 , calcular una inversa a la derecha de A. 1 Corolario Sea A una matriz cuyas filas son linealmente independientes, entonces se tiene que 1 AAt es invertible, 2 La matriz At (AAt )−1 es una inversa a la derecha de A. Ejemplo Sea A = 1 0 1 1 1 , calcular una inversa a la derecha de A. 1 Teorema n Sean H un subespacio , . . . , hk } una base para H, de R , t{h1−1 A = h1 · · · hk , P = A(A A) At y b ∈ Rn , entonces se tiene que 1 P b ∈ H, 2 b − P b ∈ H ⊥, 3 P2 = P, 4 Si b ∈ H entonces P b = b, 5 Si b ∈ H ⊥ entonces P b = 0. Corolario Sea A una matriz cuyas filas son linealmente independientes, entonces se tiene que 1 AAt es invertible, 2 La matriz At (AAt )−1 es una inversa a la derecha de A. Ejemplo Sea A = 1 0 1 1 1 , calcular una inversa a la derecha de A. 1 Teorema n Sean H un subespacio , . . . , hk } una base para H, de R , t{h1−1 A = h1 · · · hk , P = A(A A) At y b ∈ Rn , entonces se tiene que 1 P b ∈ H, 2 b − P b ∈ H ⊥, 3 P2 = P, 4 Si b ∈ H entonces P b = b, 5 Si b ∈ H ⊥ entonces P b = 0. Definición Sean H un subespacio de Rn , {v1 , . . . , vk } una base para H, A = v1 · · · vk y b ∈ Rn . Definimos la proyección de b sobre H, denotada por proyH b, como el vector: proyH b = P b, donde P es la matriz P = A(A A)−1 At . t Ejemplo *1 0+ 1 Calcular el vector proyH b donde b = 1 y H = 1 , 1 . 3 0 1 Definición Sean H un subespacio de Rn , {v1 , . . . , vk } una base para H, A = v1 · · · vk y b ∈ Rn . Definimos la proyección de b sobre H, denotada por proyH b, como el vector: proyH b = P b, donde P es la matriz P = A(A A)−1 At . t Ejemplo *1 0+ 1 Calcular el vector proyH b donde b = 1 y H = 1 , 1 . 3 0 1 Definición (MÍNIMOS CUADRADOS) Sea A una matriz cuyas columnas son linealmente independientes y b ∈ Rn , si el sistema Ax = b es inconsistente entonces la solución de los mı́nimos cuadrados al sistema está dada por −1 t x̂ = At A A b. Ejemplo 2 1 1 Considere el sistema Ax = b donde −1 1 y b = 2. Use el método de 1 1 0 los mı́nimos cuadrados para calcular la ”mejor”solución. Definición (MÍNIMOS CUADRADOS) Sea A una matriz cuyas columnas son linealmente independientes y b ∈ Rn , si el sistema Ax = b es inconsistente entonces la solución de los mı́nimos cuadrados al sistema está dada por −1 t x̂ = At A A b. Ejemplo 2 1 1 Considere el sistema Ax = b donde −1 1 y b = 2. Use el método de 1 1 0 los mı́nimos cuadrados para calcular la ”mejor”solución. Ejemplo Supongamos que los valores observados son (−2, 0), (1, 0) y (2, 3), es fácil ver que estos valores no pertecen a una linea. Use el método de los mı́nimos cuadrados para calcular la ”mejor.aproximación a una recta de estos puntos. Definición (MÍNIMOS CUADRADOS) Sea A una matriz cuyas columnas son linealmente independientes y b ∈ Rn , si el sistema Ax = b es inconsistente entonces la solución de los mı́nimos cuadrados al sistema está dada por −1 t x̂ = At A A b. Ejemplo 2 1 1 Considere el sistema Ax = b donde −1 1 y b = 2. Use el método de 1 1 0 los mı́nimos cuadrados para calcular la ”mejor”solución. Ejemplo Supongamos que los valores observados son (−2, 0), (1, 0) y (2, 3), es fácil ver que estos valores no pertecen a una linea. Use el método de los mı́nimos cuadrados para calcular la ”mejor.aproximación a una recta de estos puntos.