Clase 7 Herramientas de Álgebra Lineal Clase 7 Herramientas de Álgebra Lineal 1. Formas cuadráticas 2. La descomposición en valores singulares 3. Normas de matrices 4. Ejercicios Clase 7 Herramientas de Álgebra Lineal Formas Cuadráticas Formas Cuadráticas Dada una matriz M ∈ Rn×n , la función escalar x T Mx, donde x ∈ Rn , es una forma cuadrática. Sin pérdida de generalidad se puede tomar M como simétrica, M = M T , ya que x T (Q + Q T )x = 2x T Qx, para todo x ∈ Rn . Los autovalores de una matriz simétrica son todos reales, ya que para todo autovalor λ con autovector v de M = M T , 1. el escalar v ∗ Mv (donde v ∗ denota la transpuesta conjugada de v ) es real (sea v real o no), (v ∗ Mv )∗ = v ∗ M ∗ v = v ∗ Mv , 2. λ debe ser real dado que v ∗ Mv = v ∗ λv = λ(v ∗ v ) . y así Clase 7 Herramientas de Álgebra Lineal Formas Cuadráticas Diagonalizabilidad de Matrices Simétricas (y Hermíticas) Toda matriz real simétrica M es diagonalizable, es decir, el orden de su mayor bloque de Jordan es 1. Si no lo fuera, es decir, si existiera un autovector generalizado v de orden mayor que 1 asociado a algún autovalor repetido λ, tendría que verificarse que (λI − M)k v = 0, para algún k > 1, y (λI − M)k −1 v 6= 0. (1) (2) Pero entonces “ ”∗ k −1 (λI − M) v (λI − M)k −1 v = v ∗ (λI − M ∗ )k −1 (λI − M)k −1 v = v ∗ (λI − M)2k −2 v = v ∗ (λI − M)k −2 (λI − M)k v (3) debería ser nulo por (1) y no nulo por (2). Una contradicción que prueba que M = M T no puede tener bloques de Jordan de orden mayor que 1. Clase 7 Herramientas de Álgebra Lineal Formas Cuadráticas Por lo tanto debe ser similar a una matriz diagonal: existe una matriz Q ∈ Rn×n no singular tal que M = QDQ −1 , donde D ∈ Rn×n es diagonal. Notar que como M es simétrica y D diagonal, M = QDQ −1 = (QDQ −1 )T = (Q −1 )T DQ T , que implica que Q T = Q −1 y QQ T = I. Toda matriz no singular Q con esta propiedad se llama ortogonal, y sus columnas son vectores ortonormales. Teorema Para toda matriz real simétrica M existe una matriz ortogonal Q tal que M = QDQ T o D = Q T MQ , donde D es una matriz diagonal con los autovalores de M, que son todos reales, en la diagonal. Una desigualdad importante para una matriz simétrica M es la desigualdad de Rayleigh-Ritz, que dice que para cualquier x ∈ Rn λm«ın x T x ≤ x T Mx ≤ λma«x x T x , donde λm«ın y λm«ax son respectivamente el menor y mayor autovalor de M. Clase 7 Herramientas de Álgebra Lineal Formas Cuadráticas Matrices definidas y semi-definidas positivas Matrices definidas y semi-definidas positivas Una matriz simétrica M se dice definida positiva, que denotamos M > 0, si x T Mx > 0 para todo vector x ∈ Rn no nulo. Es semi-definida positiva, que denotamos M ≥ 0, si x T Mx ≥ 0 para todo vector x ∈ Rn no nulo. Si M es definida positiva, entonces x T Mx = 0 sii x = 0. Si M es semi-definida positiva, entonces existe algún x no nulo tal que x T Mx = 0. Clase 7 Herramientas de Álgebra Lineal Formas Cuadráticas Matrices definidas y semi-definidas positivas Existen pruebas para determinar si una matriz es definida o semi-definida positiva basados en las propiedades del signo de los determinantes de diversas submatrices. Uno de ellos se basa en los menores principales. Sea una matriz simétrica M ∈ Rn×n con entradas {mij }. Entonces dados los enteros p = 1, . . . , n y {i1 , i2 , . . . , ip }, con 1 ≤ i1 ≤ i2 ≤ · · · ≤ ip ≤ n, definimos los menores principales de la matriz M como 2 3 mi1 ,i1 mi1 i2 · · · mi1 ip 6mi ,i mi2 i2 · · · mi2 ip 7 2 1 7. M(i1 , i2 , . . . , ip ) = det 6 4 ··· ··· ··· ··· 5 mip ,i1 mip i2 · · · mip ip Los escalares M(1, 2, . . . , p), p = 1, 2, . . . , n, que son simplemente los determinantes de las submatrices de la esquina superior izquierda de M, ˆ m11 m12 ˜ M(1) = m11 , M(1, 2) = det m , 21 m22 h m11 m12 m13 i M(1, 2, 3) = det m21 m22 m23 , · · · m31 m32 m33 son los primeros menores principales de M. Clase 7 Herramientas de Álgebra Lineal Formas Cuadráticas Matrices definidas y semi-definidas positivas Teorema Una matriz simétrica M es definida positiva (semi-definida positiva) sii cualquiera de las siguientes condiciones se satisface: 1. Cada uno de sus autovalores es positivo (no negativo). 2. Todos sus primeros menores principales son positivos (todos su menores principales son no negativos). 3. Existe una matriz no singular N ∈ Rn×n (una matriz singular N ∈ Rn×n , o una matriz N ∈ Rm×n , con m < n) tal que M = N T N. Una matriz simétrica M es definida negativa (semi-definida negativa ) si −M es definida positiva (semi-definida positiva). Clase 7 Herramientas de Álgebra Lineal Formas Cuadráticas Matrices definidas y semi-definidas positivas Ejemplo La matriz simétrica » m11 M= m12 m12 m22 – 2 es definida positiva si y sólo si m11 > 0 y m11 m22 − m12 > 0. Es semi-definida 2 positiva si y sólo si m11 ≥ 0, m22 ≥ 0, y m11 m22 − m12 ≥ 0. Clase 7 Herramientas de Álgebra Lineal Descomposición en Valores Singulares (SVD) Descomposición en Valores Singulares (SVD) Consideremos una matriz A ∈ Rm×n y definamos M = AT A. Claramente M es n × n, simétrica, y semi-definida positiva. Sus autovalores λi son no negativos. Como det(λIm − AAT ) = λm−n det(λIn − AT A) las matrices cuadradas AT A y AAT comparten los mismos autovalores positivos y sólo difieren en el número de autovalores nulos. Supongamos que hay r autovalores positivos de M, y sea p = m«ın(m, n). Entonces podemos ordenar λ1 ≥ λ2 ≥ · · · ≥ λr > 0 = λr +1 = · · · = λp , Los valores singulares de la matriz A son p σi , λi , i = 1, . . . , p . Por el Teorema 2, para M = AT A existe una matriz ortogonal Q tal que Q T AT AQ = D = S T S, donde D es una matriz diagonal con los σi2 en la diagonal. La matriz S es m × n con los σi en la diagonal. Clase 7 Herramientas de Álgebra Lineal Descomposición en Valores Singulares (SVD) Teorema (Descomposición en Valores Singulares) Para toda matriz A ∈ Rm×n , existen matrices ortonormales U ∈ Rm×m y V ∈ Rn×n tales que σ1 60 6 6 .. 6. 6 T U AV = S , 6 60 60 6 6. 4 .. 2 0 0 σ2 .. . 0 0 .. . 0 ··· ··· .. . ··· ··· ··· ··· 0 0 .. . σp 0 .. . 0 0 0 .. . 0 0 .. . 0 ··· ··· ··· ··· ··· ··· ··· 3 0 07 7 .. 7 .7 7 07 7 07 7 .. 7 .5 0 m×n donde σ1 ≥ σ2 ≥ · · · ≥ σp ≥ 0. Los vectores en las columnas de U = [ u1 ,...,um ] y V = [ v1 ,...,vn ] son los vectores singulares izquierdos y derechos respectivamente de A. Clase 7 Herramientas de Álgebra Lineal Descomposición en Valores Singulares (SVD) Es fácil verificar comparando las columnas de las ecuaciones AV = US y AT U = VS T que ff Avi = σi ui i = 1, . . . , p = m«ın(m, n) . AT ui = σi vi La descomposición en valores singulares (SVD)1 revela muchas propiedades de la matriz A. Por ejemplo, si r es el índice del valor singular positivo más pequeño, entonces 1. el rango de A es r , 2. los vectores {vr +1 , . . . , vn } son una base ortonormal del kernel de A, 3. los vectores {u1 , . . . , ur } son una base ortonormal de la imagen de A, 4. tenemos la representación A= r X σi ui viT . i=1 1 Singular Value Decomposition. Clase 7 Herramientas de Álgebra Lineal Descomposición en Valores Singulares (SVD) Los valores singulares representan precisamente las longitudes de los semiejes del hiper-elipsoide E = {Ax : kxk = 1}. La Figura 1 muestra el conjunto E para una matriz A con σ1 = 0,8, σ2 = 0,6, σ3 = 0,4. 1 0.5 z 0 x y −0.5 −1 1 1 0.5 0.5 0 0 −0.5 −0.5 −1 −1 Figura: Hiper-elipsoide E en R3 . En M ATLAB la función [U,S,V]=svd(A) calcula los valores y vectores singulares. Clase 7 Herramientas de Álgebra Lineal Normas de Matrices Normas de Matrices El concepto de norma de vectores se extiende a matrices. Sea A una matriz m × n. La norma de A puede definirse como kAk = m« ax x6=0 kAxk = sup kAxk kxk kxk=1 (4) Esta norma definida desde la norma de los vectores se llama norma inducida. Usando diferentes normas vectoriales (1, 2, ∞, etc.) obtenemos diferentes normas inducidas. En este curso vamos a utilizar la norma inducida por la norma vectorial euclídea, kxk2 , que es la que se conoce como norma espectral de una matriz. Otra propiedad importante de la descomposición en valores singulares de A es que la norma espectral de A está dada por su mayor valor singular, kAk = σ1 . Clase 7 Herramientas de Álgebra Lineal Normas de Matrices Ejemplo Si λ1 y λ2 son números reales, la norma espectral de » – λ1 1 A= 0 λ2 está dada por (4) como kAk = √ ma «x x12 +x22 =1 q (λ1 x1 + x2 )2 + λ22 x22 . Para no tener que resolver un problema de optimización con restricciones, calculamos kAk a través de σ1 computando los autovalores de AT A. El polinomio característico de AT A es – » λ − λ21 −λ1 T det(λI − A A) = det −λ1 λ − λ22 − 1 = λ2 − (1 + λ21 + λ22 )λ + λ21 λ22 . Clase 7 Herramientas de Álgebra Lineal Normas de Matrices Ejemplo (cont) Las raíces de esta cuadrática están dadas por q 2 2 1 + λ! + λ2 ± (1 + λ21 + λ22 )2 − 4λ21 λ22 λ= 2 El radical puede escribirse de forma que su positividad es obvia. Eligiendo el signo positivo, y después de un poco de álgebra llegamos a p p (λ1 + λ2 )2 + 1 + (λ1 − λ2 )2 + 1 kAk = . (5) 2 De (5) se ve que kAk = σ1 ≥ |λ1 + λ2 | + |λ1 − λ2 | = ma «x(|λ1 |, |λ2 |) . 2 Clase 7 Herramientas de Álgebra Lineal Normas de Matrices La propiedad de que σ1 es mayor que la magnitud mayor de los autovalores de A es general, y más aún, para cualquier autovalor no nulo λi de A ∈ Rn×n σp ≤ |λi | ≤ σ1 La norma espectral de una matriz A en M ATLAB se calcula con norm(A). Algunas propiedades útiles de la norma espectral de matrices: kAxk ≤ kAkkxk kA + Bk ≤ kAk + kBk kABk ≤ kAkkBk . Clase 7 Herramientas de Álgebra Lineal Ejercicios Ejercicios Ejercicio ¿Son las siguientes matrices definidas o semi-definidas positivas? 2 3 2 3 2 2 a1 a1 a2 2 3 2 0 0 −1 4 5 4 5 4 0 0 , A3 = a2 a1 A1 = 3 1 0 , A2 = 0 a22 2 0 2 −1 0 2 a3 a1 a3 a2 3 a1 a3 a2 a3 5 a32 Ejercicio Calcular los valores singulares de las siguientes matrices » – » – −1 0 1 −1 2 A1 = , A2 = 2 −1 0 2 4 Clase 7 Herramientas de Álgebra Lineal Ejercicios Ejercicio Calcular la norma espectral de las siguientes matrices – » » – » 1−j 0 0 3 1 , A3 = A1 = , A2 = 1 0 1 3 0 0 1+j – Ejercicio Dada una constante α > 1, mostrar cómo definir una matriz 2 × 2 A tal que los autovalores de A sean los dos 1/α y kAk ≥ α. Ejercicio Si A es invertible probar que kA−1 k ≥ kAk−1 . Clase 7 Herramientas de Álgebra Lineal Ejercicios Conclusiones Hemos visto en esta clase 1. Las formas cuadráticas x T Mx, que son funciones escalares cuadráticas en los elementos del vector x, donde M puede tomarse como simétrica (o ser reemplada por (M + M T )/2). 2. Que las matrices simétricas tienen siempre autovalores reales, y que son siempre diagonalizables. 3. Matrices simétricas definidas, y semi-definidas positivas, que son aquellas M para las que x T Mx es positiva, y no negativa, respectivamente. 4. La descomposición en valores singulares de una matriz A. Los valores singulares son la raíz cuadrada de los autovalores de AT A. 5. La norma espectral de una matriz A, que es la inducida por la norma euclídea de vectores, y es el máximo valor singular, σ1 de A.