Optimización Matrices de Proyección Dr. E Uresti ITESM Matrices de Proyección Profr. E. Uresti - p. 1/21 Proyección ortogonal Teorema Sea Y una matriz m × n y un espacio lineal V de dimensión r, ambos dentro de un espacio lineal U . Matrices de Proyección Proyección Ortogonal Proyección de un Vector Matriz de Proyección Profr. E. Uresti - p. 2/21 Proyección ortogonal Teorema Sea Y una matriz m × n y un espacio lineal V de dimensión r, ambos dentro de un espacio lineal U . Entonces, existe una única matriz Z en V tal que (Y − Z) ⊥ V . Matrices de Proyección Proyección Ortogonal Proyección de un Vector Matriz de Proyección Profr. E. Uresti - p. 2/21 Proyección ortogonal Teorema Sea Y una matriz m × n y un espacio lineal V de dimensión r, ambos dentro de un espacio lineal U . Entonces, existe una única matriz Z en V tal que (Y − Z) ⊥ V . Si r = 0 entonces Z = 0, Matrices de Proyección Proyección Ortogonal Proyección de un Vector Matriz de Proyección Profr. E. Uresti - p. 2/21 Proyección ortogonal Teorema Sea Y una matriz m × n y un espacio lineal V de dimensión r, ambos dentro de un espacio lineal U . Entonces, existe una única matriz Z en V tal que (Y − Z) ⊥ V . Si r = 0 entonces Z = 0, y si r > 0 entonces Z se puede expresar como Proyección Ortogonal Proyección de un Vector Matriz de Proyección Z = c1 X1 + . . . + cr Xr , donde {X1 , . . . , Xr } forman una base ortonormal de V y ci = Y • Xi para i = 1, . . . , r. Matrices de Proyección Profr. E. Uresti - p. 2/21 Proyección ortogonal Teorema Sea Y una matriz m × n y un espacio lineal V de dimensión r, ambos dentro de un espacio lineal U . Entonces, existe una única matriz Z en V tal que (Y − Z) ⊥ V . Si r = 0 entonces Z = 0, y si r > 0 entonces Z se puede expresar como Proyección Ortogonal Proyección de un Vector Matriz de Proyección Z = c1 X1 + . . . + cr Xr , donde {X1 , . . . , Xr } forman una base ortonormal de V y ci = Y • Xi para i = 1, . . . , r. Además, Z = Y si y sólo si Y ∈V. Matrices de Proyección Profr. E. Uresti - p. 2/21 Proyección ortogonal Teorema Sea Y una matriz m × n y un espacio lineal V de dimensión r, ambos dentro de un espacio lineal U . Entonces, existe una única matriz Z en V tal que (Y − Z) ⊥ V . Si r = 0 entonces Z = 0, y si r > 0 entonces Z se puede expresar como Proyección Ortogonal Proyección de un Vector Matriz de Proyección Z = c1 X1 + . . . + cr Xr , donde {X1 , . . . , Xr } forman una base ortonormal de V y ci = Y • Xi para i = 1, . . . , r. Además, Z = Y si y sólo si Y ∈ V . La matriz Z se llamará la proyección ortogonal de Y sobre V . Matrices de Proyección Profr. E. Uresti - p. 2/21 Demostración Si r = 0 entonces dim(V ) = 0, y por tanto V = {0}. Matrices de Proyección Proyección Ortogonal Proyección de un Vector Matriz de Proyección Profr. E. Uresti - p. 3/21 Demostración Si r = 0 entonces dim(V ) = 0, y por tanto V = {0}. Para Z = 0 se tiene (Y − Z) ⊥ V . Matrices de Proyección Proyección Ortogonal Proyección de un Vector Matriz de Proyección Profr. E. Uresti - p. 3/21 Demostración Si r = 0 entonces dim(V ) = 0, y por tanto V = {0}. Para Z = 0 se tiene (Y − Z) ⊥ V . Y es claramente la única matriz en V que cumple esto. Matrices de Proyección Proyección Ortogonal Proyección de un Vector Matriz de Proyección Profr. E. Uresti - p. 3/21 Si r > 0 sea {X1 , . . . , Xr } una base ortonormal de V y definamos ci = Y • Xi para i = 1, . . . , r y Pr Z = i=1 ci Xi . Matrices de Proyección Proyección Ortogonal Proyección de un Vector Matriz de Proyección Profr. E. Uresti - p. 4/21 Si r > 0 sea {X1 , . . . , Xr } una base ortonormal de V y definamos ci = Y • Xi para i = 1, . . . , r y Pr Z = i=1 ci Xi . Claramente, Z ∈ V y ! r X Y− ci Xi • Xj = Y • Xj − cj = 0 Proyección Ortogonal Proyección de un Vector Matriz de Proyección i=1 para cada j = 1, . . . , r. Matrices de Proyección Profr. E. Uresti - p. 4/21 Si r > 0 sea {X1 , . . . , Xr } una base ortonormal de V y definamos ci = Y • Xi para i = 1, . . . , r y Pr Z = i=1 ci Xi . Claramente, Z ∈ V y ! r X Y− ci Xi • Xj = Y • Xj − cj = 0 Proyección Ortogonal Proyección de un Vector Matriz de Proyección i=1 para cada j = 1, . . . , r. Y por tanto (Y − Z) ⊥ V . Matrices de Proyección Profr. E. Uresti - p. 4/21 Si r > 0 sea {X1 , . . . , Xr } una base ortonormal de V y definamos ci = Y • Xi para i = 1, . . . , r y Pr Z = i=1 ci Xi . Claramente, Z ∈ V y ! r X Y− ci Xi • Xj = Y • Xj − cj = 0 Proyección Ortogonal Proyección de un Vector Matriz de Proyección i=1 para cada j = 1, . . . , r. Y por tanto (Y − Z) ⊥ V . Si X ∈ V y (Y − X) ⊥ V : (X − Z) • (X − Z) = (X − Y + Y − Z) • (X − Z) = −(Y − X) • (X − Z) + (Y − Z) • (X − Z) = −0 + 0 = 0 Matrices de Proyección Profr. E. Uresti - p. 4/21 Proyección Ortogonal Proyección de un Vector Matriz de Proyección Ejercicio 1 Considere el espacio lineal formado por todas las soluciones al sistema homogéneo: x+y+z−w = 0 x−y−z+w = 0 y el vector d =< 1, 3, 2, 1 >. ■ Usando el orden primero x, luego y, luego z, y por último w, encuentre una base para el espacio solución. ■ Ortogonolice la base encontrada. ■ Usando la base encontrada, determine la proyección ortogonal de d sobre tal espacio. ■ Usando el orden primero y, luego w, luego y, y por último z, encuentre una base para el espacio solución. ■ Ortogonolice la base nueva base. ■ Usando la nueva base encontrada, determine la Matrices de proyección Proyecciónortogonal de d sobre tal espacio. Profr. E. Uresti - p. 5/21 Lema Sean A una matriz m × n. Si X es invertible n × n entonces Proyección Ortogonal Proyección de un Vector Matriz de Proyección C(A X) = C(A) y en particular, rank (A X) = rank (A). Demostración Claramente C(A X) ⊆ C(A). Como A = A (X X−1 ) = (A X)X−1 entonces, C(A) ⊆ C(A X). De estas dos contenciones tenemos la igualdad de los conjuntos ⋄ Matrices de Proyección Profr. E. Uresti - p. 6/21 Lema Para cualquier matriz A: Proyección Ortogonal Proyección de un Vector Matriz de Proyección rank(A′ A) = rank(A′ ) = rank(A) Matrices de Proyección Profr. E. Uresti - p. 7/21 Proyección Ortogonal Proyección de un Vector Matriz de Proyección Lema Para cualquier matriz A: rank(A′ A) = rank(A′ ) = rank(A) Demostración Sea A una matriz m × n con rango r. Sea A = Q R la factorización QR de A. Por tanto, Q′ Q = In y R es una matriz cuadrada triangular superior con rango r. Así A′ A = (Q R)′ (Q R) = R′ Q′ QR = R′ R Matrices de Proyección Profr. E. Uresti - p. 7/21 Proyección Ortogonal Proyección de un Vector Matriz de Proyección Lema Para cualquier matriz A: rank(A′ A) = rank(A′ ) = rank(A) Demostración Sea A una matriz m × n con rango r. Sea A = Q R la factorización QR de A. Por tanto, Q′ Q = In y R es una matriz cuadrada triangular superior con rango r. Así A′ A = (Q R)′ (Q R) = R′ Q′ QR = R′ R Si r = n, entonces R es invertible y R′ también y por consiguiente también R′ R, indicando que A′ A = R′ R tiene rango n el mismo rango que A y que A′ . Matrices de Proyección Profr. E. Uresti - p. 7/21 Si r < n, entonces R= Z 0 con Z matriz r × r invertible. Así Z′ Z ′ RR= B′ Z Matrices de Proyección B 0 Proyección Ortogonal Proyección de un Vector Matriz de Proyección Z′ B B′ B Profr. E. Uresti - p. 8/21 Si r < n, entonces R= Z B 0 0 con Z matriz r × r invertible. Así Z′ Z ′ RR= B′ Z Proyección Ortogonal Proyección de un Vector Matriz de Proyección Z′ B B′ B Haciendo operaciones elementales sobre esta matriz se puede reducir a: I 0 Z−1 B 0 Indicando que A′ A = R′ R tiene rango r Matrices de Proyección ⋄ Profr. E. Uresti - p. 8/21 Ejercicio 2 Para las matrices 2 1 A1 = 1 2 0 1 " # 2 1 −1 A2 = 1 2 1 2 3 0 A3 = 2 3 0 2 3 0 Proyección Ortogonal Proyección de un Vector Matriz de Proyección repita los cálculos presentes en la demostración del lema 12.3. Matrices de Proyección Profr. E. Uresti - p. 9/21 Lema Para cualquier matriz A m × n y cualquier vector b en Rm el sistema de ecuaciones: Proyección Ortogonal Proyección de un Vector Matriz de Proyección A′ A x = A′ b es consistente. Matrices de Proyección Profr. E. Uresti - p. 10/21 Lema Para cualquier matriz A m × n y cualquier vector b en Rm el sistema de ecuaciones: Proyección Ortogonal Proyección de un Vector Matriz de Proyección A′ A x = A′ b es consistente. Demostración Del lema anterior se deduce que C(A′ A) = C(A′ ). Como el vector A′ b está en C(A′ ), entonces también está en C(A′ A). Por consiguiente, el sistema formulado es consistente ⋄ Matrices de Proyección Profr. E. Uresti - p. 10/21 Proyección Ortogonal Proyección de un Vector Matriz de Proyección Ejercicio 3 Para las matrices 2 1 A1 = 1 2 0 1 2 3 0 A2 = 2 3 0 2 3 0 y vectores b1 =< 1, 0, 1 > y b2 =< 1, −1, 0 >, vea que los sistemas A x = b con inconsistentes pero los sistemas A′ A x = A′ b son consistentes. Matrices de Proyección Profr. E. Uresti - p. 11/21 Proyección de un vector en Rm Teorema Sea z la proyección de b sobre C(A), A m × n. Matrices de Proyección Proyección Ortogonal Proyección de un Vector Matriz de Proyección Profr. E. Uresti - p. 12/21 Proyección de un vector en Rm Teorema Sea z la proyección de b sobre C(A), A m × n. Entonces, Proyección Ortogonal Proyección de un Vector Matriz de Proyección z = Ax∗ para cuaquier solución x∗ al sistema A′ Ax = A′ b Matrices de Proyección Profr. E. Uresti - p. 12/21 Demostración Suponga que x∗ es la solución al sistema A′ Ax = A′ b. Por el lema anterior, estos sistemas siempre son consistentes. Matrices de Proyección Proyección Ortogonal Proyección de un Vector Matriz de Proyección Profr. E. Uresti - p. 13/21 Demostración Suponga que x∗ es la solución al sistema A′ Ax = A′ b. Por el lema anterior, estos sistemas siempre son consistentes. Por tanto, A′ (Ax∗ − b) = 0, es decir que b − Ax∗ es ortogonal C(A). Matrices de Proyección Proyección Ortogonal Proyección de un Vector Matriz de Proyección Profr. E. Uresti - p. 13/21 Demostración Suponga que x∗ es la solución al sistema A′ Ax = A′ b. Por el lema anterior, estos sistemas siempre son consistentes. Por tanto, A′ (Ax∗ − b) = 0, es decir que b − Ax∗ es ortogonal C(A). Como Ax∗ está en C(A), por el resultado anterior Ax∗ es la proyeccción ortogonal de b sobre C(A)⋄ Matrices de Proyección Proyección Ortogonal Proyección de un Vector Matriz de Proyección Profr. E. Uresti - p. 13/21 Proyección Ortogonal Proyección de un Vector Matriz de Proyección Ejercicio 4 Para las matrices 2 1 A1 = 1 2 0 1 2 3 0 A2 = 2 3 0 2 3 0 y los vectores b1 =< 1, 0, 1 > y b2 =< 1, −1, 0 >, determine las proyecciones de cada b a los espacios columnas de cada A y compruebe que da lo mismo que se obtiene resolviendo los sistemas A′ A x = A′ b. Matrices de Proyección Profr. E. Uresti - p. 14/21 Si uno dispone de una inversa generalizada de A′ A entonces es simple el cálculo del vector proyección sobre un espacio. El siguiente resultado indica cómo y es una consecuencia inmediante del anterior y de las propiedades de la inversa generalizada: Proyección Ortogonal Proyección de un Vector Matriz de Proyección Corolario Sea z la proyección del b sobre C(A), entonces − z = A(A′ A) A′ b Matrices de Proyección Profr. E. Uresti - p. 15/21 Proyección Ortogonal Proyección de un Vector Matriz de Proyección Ejercicio 5 Para las matrices 2 1 A1 = 1 2 0 1 2 3 0 A2 = 2 3 0 2 3 0 y los vectores b1 =< 1, 0, 1 > y b2 =< 1, −1, 0 >, en cada caso determine una inversa generalizada para A′ A y compruebe que la proyección de b sobre C(A) coinde con el resultado que da la fórmula del colorario 12.6. Matrices de Proyección Profr. E. Uresti - p. 16/21 Ejercicio 6 Encuentre la proyección del vector < 1, 1, 1 > sobre el plano 2x + 3y − z = 0. Proyección Ortogonal Proyección de un Vector Matriz de Proyección Sugerencia De acuerdo al resultado anterior se debe encontrar una matriz A tal que C(A) sea el plano. Para ello hay que encontrar los vectores que general tal plano: “Resolviendo” la ecuación del plano: x y = z − 32 y + 1 z 2 = y y z − 32 1 0 1 2 +z 0 1 Así el plano es el espacio generado por los vectores: Matrices de Proyección − 32 1 0 1 2 , 0 1 Profr. E. Uresti - p. 17/21 Matriz de Proyección El corolario anterior motiva la siguiente definición: Definición Sea A una matriz cualquiera, la matriz PA se definirá como: − T T PA = A A A A Proyección Ortogonal Proyección de un Vector Matriz de Proyección se conoce como la matriz de proyección ortogonal sobre A. Nuestra meta ahora es probar que esta matriz no depende de la elección de la inversa generalizada − T de A A . Matrices de Proyección Profr. E. Uresti - p. 18/21 Teorema Sean matrices X m × n, Y q × n, y X m × q. Si R(Y) ⊆ R(X) y C(Z) ⊆ C(X), entonces la matriz YX− Z es independiente de la elección de X− . Matrices de Proyección Proyección Ortogonal Proyección de un Vector Matriz de Proyección Profr. E. Uresti - p. 19/21 Teorema Sean matrices X m × n, Y q × n, y X m × q. Si R(Y) ⊆ R(X) y C(Z) ⊆ C(X), entonces la matriz YX− Z es independiente de la elección de X− . Proyección Ortogonal Proyección de un Vector Matriz de Proyección Demostración Suponga que R(Y) ⊆ R(X) y C(Z) ⊆ C(X) Matrices de Proyección Profr. E. Uresti - p. 19/21 Teorema Sean matrices X m × n, Y q × n, y X m × q. Si R(Y) ⊆ R(X) y C(Z) ⊆ C(X), entonces la matriz YX− Z es independiente de la elección de X− . Proyección Ortogonal Proyección de un Vector Matriz de Proyección Demostración Suponga que R(Y) ⊆ R(X) y C(Z) ⊆ C(X) entonces existen matrices L y R tales que Y = LX y Z = XR. Matrices de Proyección Profr. E. Uresti - p. 19/21 Teorema Sean matrices X m × n, Y q × n, y X m × q. Si R(Y) ⊆ R(X) y C(Z) ⊆ C(X), entonces la matriz YX− Z es independiente de la elección de X− . Proyección Ortogonal Proyección de un Vector Matriz de Proyección Demostración Suponga que R(Y) ⊆ R(X) y C(Z) ⊆ C(X) entonces existen matrices L y R tales que Y = LX y Z = XR. Así: YX− Z = (RX)X− (XR) = R(XX− X)R = LXR el segundo miembro no depende de X− Matrices de Proyección ⋄ Profr. E. Uresti - p. 19/21 Teorema Sea A una matriz cualquiera, entonces la matriz proyección − de A es independiente de la matriz (A′ A) . Matrices de Proyección Proyección Ortogonal Proyección de un Vector Matriz de Proyección Profr. E. Uresti - p. 20/21 Teorema Sea A una matriz cualquiera, entonces la matriz proyección − de A es independiente de la matriz (A′ A) . Proyección Ortogonal Proyección de un Vector Matriz de Proyección Demostración Por lema previo, rank A′ A = rank(A′ ) = rank(A) Matrices de Proyección Profr. E. Uresti - p. 20/21 Teorema Sea A una matriz cualquiera, entonces la matriz proyección − de A es independiente de la matriz (A′ A) . Proyección Ortogonal Proyección de un Vector Matriz de Proyección Demostración Por lema previo, rank A′ A = rank(A′ ) = rank(A) En particular, C(A′ ) ⊆ C(A′ A) y R(A) ⊆ R(A′ A). Matrices de Proyección Profr. E. Uresti - p. 20/21 Teorema Sea A una matriz cualquiera, entonces la matriz proyección − de A es independiente de la matriz (A′ A) . Proyección Ortogonal Proyección de un Vector Matriz de Proyección Demostración Por lema previo, rank A′ A = rank(A′ ) = rank(A) En particular, C(A′ ) ⊆ C(A′ A) y R(A) ⊆ R(A′ A). Por tanto, se cumplen las condiciones del teorema anterior para X = A′ A, Y = A y Z = A′ : Matrices de Proyección Profr. E. Uresti - p. 20/21 Teorema Sea A una matriz cualquiera, entonces la matriz proyección − de A es independiente de la matriz (A′ A) . Proyección Ortogonal Proyección de un Vector Matriz de Proyección Demostración Por lema previo, rank A′ A = rank(A′ ) = rank(A) En particular, C(A′ ) ⊆ C(A′ A) y R(A) ⊆ R(A′ A). Por tanto, se cumplen las condiciones del teorema anterior para X = A′ A, Y = A y Z = A′ : Por tanto, − ′ YX Z = A A A es independiente de (A′ A) Matrices de Proyección − A′ − ⋄ Profr. E. Uresti - p. 20/21 Proyección Ortogonal Proyección de un Vector Matriz de Proyección Ejercicio 7 Para las matrices 2 A1 = 1 0 2 A2 = 2 2 1 3 2 3 1 0 0 0 1 3 3 3 determine dos matrices inversas generalizadas de A′ A y vea que las matrices de proyección arrojan el mismo resultado. En la determinación de las inversas generalizadas, utilice la inversa de Moore-Penrose y otra obtenida del algoritmo visto en clase. Matrices de Proyección Profr. E. Uresti - p. 21/21