Ortogonalidad

Ortogonalidad
1 Producto interior. Longitud y ortogonalidad
Definición 1 Sean u y v vectores de Rn . Se define el producto escalar (o producto interior) de u y v como



u · v = uT v = (u1 , u2 , . . . , un ) 


v1
v2
..
.
vn



 = u1 v1 + u2 v2 + . . . un vn .





3
2




Ejemplo 1 Calcular el producto escalar de u =  −5  y v =  2  .
−3
1

Dados u, v y w vectores de Rn y λ un escalar, el producto escalar verifica las siguientes propiedades:
1. u · v = v · u.
3. (λu) · v = λ(u · v) = u · (λv).
2. (u + v) · w = u · w + v · w.
4. u · u ≥ 0 y u · u = 0 si y sólo si u = 0.
Definición 2 Dado un vector u ∈ Rn . Definimos su norma (o longitud) como el escalar no negativo
q
√
√
kuk = uT u = u · u = u21 + u22 + · · · + u2n .
Ejercicio 2 Demostrar que para cualquier escalar c se tiene kcuk = |c| kuk.
Un vector cuya longitud es 1 se llama vector unitario. Para obtener un vector unitario u a partir de otro dado, v,
basta dividir el vector v por su norma. Ambos vectores tienen la misma dirección, pero distinta longitud. Al proceso
mediante el cual se obtiene u a partir de v se le conoce con el nombre de normalización.



Ejercicio 3 Sea v = 

1
−2
2
0



. Encontrar un vector unitario u en la misma dirección que v.

Ejercicio 4 Sea W el subespacio generado por x = ( 32 , 1)T . Encontrar un vector unitario z que sea una base de W .
Definición 3 Sean u, v ∈ Rn . Se define la distancia entre los vectores u y v como la norma del vector u − v,
dist(u, v) = ku − vk = kv − uk = dist(v, u).
Ã
Ejercicio 5 Calcular la distancia entre u =
7
2
!
Ã
yv=
3
2
!
.
Definición 4 Sean u, v ∈ Rn . Diremos que u y v son ortogonales si u · v = 0.
1
Obsérvese que el vector 0 es ortogonal a cualquier vector u, porque 0 · u = 0, siempre.
Definición 5 Dado un vector v y un subespacio W diremos que v es ortogonal a W si v · w = 0 para todo vector
w ∈ W.
Dos subespacios vectoriales V y W de un espacio vectorial se dicen ortogonales si v · w = 0 para todo vector v ∈ V y
w ∈ W . En este caso, diremos que V es el complemento ortogonal de W y lo denotamos por V = W ⊥ (y W es también
el complemento ortogonal de V ). Dicho de otra forma: el complemento ortogonal de W es el conjunto de todos los
vectores v que son perpendiculares a W ,
W ⊥ = {v ∈ Rn : v · w = 0, para todo w ∈ W }.
Observación. Obsérvese que para comprobar si un vector v pertenece al complemento ortogonal
de un espacio dado W , basta con comprobar si v es ortogonal a un conjunto que genere W .
Ejemplo 6 Hay cuatro subespacios importantes N (A), C(A), F (A), N (AT ). ¿Cuáles son ortogonales?
El espacio F (A) es por definición el generado por las filas de A, F (A) = Gen{f1 , f2 , . . . , fn } (visto como vectores columna).
Para demostrar que los subespacios son ortogonales, basta con ver que dado x ∈ N (A), entonces x es ortogonal a cada una de
las filas. Pero como x ∈ N (A), por definición



Ax = 


−f1 T −
−f2 T −
..
.
−fn T −



 x = 0,


¡Cuidado con la notación!
y por tanto
f1 T x = 0, . . . , fn T x = 0.
Análogamente, para demostrar que C(A) = Gen{a1 , a2 , . . . , am } es el complemento ortogonal de N (AT ) comprobamos que
un vector y ∈ N (AT ) arbitrario es ortogonal a todas las columnas de A: Si y ∈ N (AT ), entonces



A y=


T
−a1 T −
−a2 T −
..
.
−am T −



 y = 0,


¡Cuidado con la notación!
y por tanto
a1 T y = 0, . . . , am T y = 0.
Importante. Sea A una matriz m × n. El complemento ortogonal del espacio fila de A es el
espacio nulo de A y el complemento ortogonal del espacio columna de A es el espacio nulo de AT :
(F (A))⊥ = N (A),
(C(A))⊥ = N (AT ).
2 Proyecciones ortogonales
¿Cuál es la sombra que proyecta el vector b = (2, 3, 4)T sobre el plano xy? ¿Y sobre el eje z? ¿Cómo podemos
calcular la proyección de un vector sobre un subespacio arbitrario?
Idea. Dado v ∈ Rn y W un subespacio de Rn , queremos descomponer v
como suma de dos vectores
v = pW + e,
tal que pW ∈ W y e ∈ W ⊥ .
2
Ejemplo 7 Proyectar un vector v sobre un subespacio vectorial de dimensión 1 (una recta):
Sea a el vector director de la recta. Buscamos λ y pW tal que
pW = λa
Sabemos que si v = pW + e, entonces
a·e=0
e = v − pW = v − λa
Juntando estas dos expresiones se obtiene:
0 = a · e = a · (v − λa) = a · v − λa · a
y por tanto λ =
aT v
aT v
y pW = T a
aT a
a a
Ejercicio 8 Calcular la proyección del vector v = (1, 1, 1)T sobre la recta cuyo vector director es a = (1, 2, 2)T .
Si W es un subespacio vectorial generado por los vectores {a1 , . . . , ap } linealmente independientes para proyectar
v sobre W usamos la misma idea que en dimensión 1. Buscamos
pW = [a1 | . . . |ap ]p×n x = Ax.
Utilizando que AT · e = 0 concluimos x tiene que ser solución del sistema AT v = AT Ax y entonces la proyección es
pW = A(AT A)−1 AT v .
Ejercicio 9 Dados el vector v = (6, 0, 0)T y el subespacio W = {(1, 1, 1)T , (0, 1, 2)T }. Calcular la proyección de v sobre W .
Importante.
Teorema de la descomposición ortogonal
Sea W un subespacio de Rn . Todo vector v ∈ Rn se escribe de manera única como
suma de dos vectores
v = pW + e,
tales que pW ∈ W y e ∈ W ⊥ .
Distancia mı́nima
pW es el elemento de W que más cerca está de v:
kpW − vk ≤ kpW − bk,
para todo b ∈ W.
Ejercicio 10 Encontrar la distancia del vector v = (−1, −5, 10)T al subespacio W generado por (5, −2, 1)T , (1, 2, −1)T .
3 Problemas de mı́nimos cuadrados
Idea. En muchos problemas prácticos Ax = b no tiene solución. Hay demasiadas ecuaciones. Sin
embargo necesitamos encontrar una “solución”, de forma que Ax se parezca lo más posible a b.
Sea e = b − Ax; como el sistema no tiene solución e 6= 0, y buscamos x tal que e sea lo más pequeño posible.
Definición 6 Dada A una matriz m × n y b ∈ Rn . Una solución de mı́nimos cuadrados de Ax = b es y ∈ Rn tal que
kb − Ayk ≤ kb − Axk,
3
para todo x ∈ Rn .
¿Cómo calculamos la solución de mı́nimos cuadrados?
Idea. A es rectangular y Ax = b no tiene solución. Multiplicar ambos lados
de la ecuación por AT ,
AT Ax = AT b.
Es un nuevo sistema, que sı́ tiene solución. La solución de este sistema, es la
solución de mı́nimos cuadrados del problema original.
Ejemplo 11 Dados los puntos (0, 6), (1, 0) y (2, 0) encontrar la recta que esté más cerca de los tres puntos.
Buscamos y = mx + n con incógnitas m y n. El sistema que

1 0

 1 1
1 2
tenemos que resolver se escribe en forma matricial como

|6

|0 
|0
Es fácil ver que este sistema es incompatible.
Buscamos una solución de mı́nimos cuadrados. Para ello calculamos


Ã
!
Ã
Ã
!
1 0
3 3
1
1
1
1


T
T
,
A b=
A A=
 1 1 =
3 5
0
0 1 2
1 2
y resolvemos el sistema
Ã
3
3
3
5
! Ã
n
m
!Ã
6
0
1
1
1
2
!


Ã
!
6
6


 0 =
0
0
!
.
La solución de mı́nimos cuadrados es m = −3 y n = 5, luego la recta que mejor aproxima a los tres puntos es y = −3x + 5.
4 El proceso de ortogonalización de Gram-Schmidt
Un problema de mı́nimos cuadrados es más fácil de resolver si AT A es diagonal.
Definición 7 Los vectores {q1 , . . . qn } son
ortogonales si qi · qj = 0, para i 6= j.
ortonormales si son ortogonales y qi · qi = 1 para todo i.
Definición 8 Una matriz Q con columnas ortonormales entre sı́ se llama ortogonal
Propiedad. Si Q es cuadrada y ortogonal
QT = Q−1
Dada una base {a1 , . . . , an } de un subespacio, queremos encontrar otra {q1 , . . . , qn } base de ese mismo espacio
cuyos elementos sean ortogonales (o incluso ortonormales). La ventaja que tiene el trabajar con bases ortonormales
es que, si bien el espacio generado por ambas bases el mismo, las cuentas se simplifican si utilizamos Q = [q1 | . . . |qn ]
(Recordar que QT Q = I).
Proceso de Gram-Schmidt. Dados n vectores linealmente independientes {a1 , . . . , an } de
un subespacio vectorial, construimos una base ortogonal de vectores {w1 , . . . , wn } a partir de la
base original. La base ortonormal {q1 , . . . , qn } se obtiene dividiendo cada wi por su norma.
Paso i: Elegimos w1 = a1 .
4
Paso ii: El vector w2 tiene que ser ortogonal a w1 . Por el teorema de de descomposición ortogonal sabemos que
a2 = pW + e,
donde pW es la proyección de a2 sobre el subespacio W y e ∈ W ⊥ . Sea en este caso W = Gen{w1 }. Entonces e y w1
son ortogonales. Por tanto tomamos e = w2 y ası́
w 1 T a2
w2 = a2 − pW = a2 −
w1 .
w1 T w1
Paso iii: Usamos la misma idea que en el paso anterior. El vector w3 tiene que ser ortogonal a w1 y w2 . De nuevo,
por el teorema de de descomposición ortogonal sabemos que
a3 = pW + e,
donde pW es la proyección de a2 sobre el subespacio W y e ∈ W ⊥ . Definamos W = Gen{w1 , w2 }. Entonces e es
ortogonal a w1 y w2 , (que a su vez son ortogonales entre sı́). Tomamos e = w3 y ası́, como estamos proyectando sobre
un espacio generado por un conjunto ortogonal {w1 , w2 } tenemos
w3 = a3 − pW = a3 −
w1 T a3
w2 T a3
w1 −
w2 .
T
w1 w1
w2 T w2
..
.
Paso n: Para calcular wn proyectamos an sobre el espacio generado por {w1 , . . . wn−1 }, que por la construcción que
hemos hecho, son ortogonales entre sı́. Entonces
w1 T an
w 2 T an
wn−1 T an
wn = an − pW = an −
w
−
w
−
·
·
·
−
wn−1 .
1
2
w1 T w1
w2 T w2
wn−1 T wn−1
De esta forma obtenemos una base ortogonal {w1 , . . . , wn } y tal que Gen{a1 , . . . , an } = Gen{w1 , . . . , wn }. Para
conseguir una base ortonormal basta con dividir cada uno de los vectores de la base ortogonal por su norma; es decir
{q1 , . . . , qn } =
n w
wn o
1
,...,
.
kw1 k
kwn k
5 Diagonalización de matrices simétricas
Recordatorio.
A es simétrica si AT = A.
A es diagonalizable si existen matrices D diagonal y P invertible tal que
A = P DP −1
Si Q es cuadrada y ortogonal Q−1 = QT
Ejemplo 12 La matriz

6

A =  −2
−1
−2
6
−1

−1

−1 
4
tiene por valores propios λ = 8, 6, 3 y por vectores propios




−1
−1




v1 =  1  , v2 =  −1  ,
2
0
5

1


v3 =  1  .
1

que son ortogonales entre sı́. Si v1 , v2 , v3 son vectores propios
w1 =
v1
,
kv1 k
w2 =
v2
,
kv2 k
w3 =
v3
,
kv3 k
también lo son y A se puede diagonalizar como
A = [w1 |w2 |w3 ]D[w1 |w2 |w3 ]−1 = [w1 |w2 |w3 ]D[w1 |w2 |w3 ]T .
¿Cuándo se puede hacer este tipo de diagonalización (diagonalización ortogonal)?
Importante. Dada A simétrica. Entonces
A es siempre diagonalizable
Vectores propios de espacios propios diferentes son siempre ortogonales
Los vectores propios se pueden escoger todos ortogonales entre sı́ (con el proceso de GramSchmidt, cuando sea necesario)
Es más:
A es diagonalizable ortogonalmente ⇐⇒ A es simétrica.
Ejercicio 13 Diagonalizar ortogonalmente la siguiente matriz

5 −4

A =  −4
5
−2
2
6

−2

2 .
2