Ejercicio 1 Ejercicio 2

Teorı́a de la Información y Codificación de Canal
Master Universitario en Ingenierı́a de Telecomunicación
Departamento de Ingenierı́a de Comunicaciones (DICOM)
Problemas Tema 1: Entropı́a e Información Mutua
Ejercicio 1
Sea X una v.a. de Bernoulli que toma valor 1 con probabilidad p. Considere
ahora la siguiente variable aleatoria:
Y = {Número de realizaciones independientes de X hasta obtener un 1},
que toma valores en el alfabeto Y = {1, 2, . . .}.
1. Calcule H(Y ).
Ejercicio 2
Sean (X, Y ) dos v.a. discretas cuya pmf viene dada en la siguiente tabla.
p(x, y)
y=0
y=1
x=0 x=1
1/3
1/3
0
1/3
Calcule las siguientes cantidades:
1. H(X).
2. H(Y ).
3. H(X, Y ).
4. H(X|Y ).
5. H(Y |X).
6. I(X; Y ).
1
Ejercicio 3
Una fuente produce un carácter X del alfabeto X = {0, 1, 2, . . . , 9, a, b, c, . . . , z}.
Con probabilidad 1/3, X es un número {0, 1, 2, . . . , 9}, con probabilidad 1/3
es una vocal {a, e, i, o, u}, y con probabilidad 1/3 es una de las 22 consonantes simples del español. Todos los números son equiprobables, y lo mismo
sucede para las vocales y las consonantes. Determine la entropı́a de X.
Ejercicio 4
Considere una variable aleatoria discreta X que toma valores en un alfabeto
X , con pmf p(x). Demuestre que:
H(X) = log |X | − D(p(x)||u(x))
donde |X | denota la cardinalidad del alfabeto y u(x) es una pmf uniforme en
el alfabeto. De esta manera se demuestra que la entropı́a de X se relaciona
con la distancia de KL entre p(x) y una distribución uniforme que tome
valores en el mismo conjunto. A mayor diferencia entre p(x) y una uniforme,
menor entropı́a.
Ejercicio 5
Calcule la entropı́a diferencial para las siguientes variables aleatorias.
1. Una v.a. exponencial con fdp: f (x) = λe−λx , x ≥ 0.
2. Una v.a. Laplaciana con fdp: f (x) = λ2 e−λ|x| .
3. Z = X1 + X2 , siendo X1 ∼ N (0, σ12 ) y X2 ∼ N (0, σ22 ) dos Gaussianas
independientes.
Ejercicio 6
Sea un canal aditivo de la forma Y = X + N , donde X es la entrada y N
modela el ruido que se asume independiente de la entrada. Considere que
X ∼ U (−1/2, 1/2) y que N ∼ U (−a/2, a/2).
1. Calcule I(X; Y ) en función de a.
2