Backtesting

Backtesting
Modelos de Capital y Reservas
Mayo 2009
Contenido
1. Antecedentes
2. Backtesting
3. Perspectivas
Backtesting de los Modelos de Reservas y Capital
Antecedentes
z
Nuevos esquemas regulatorios a nivel mundial, como Solvencia II, tienden a la
utilización de modelos propios por parte de las compañías de seguros y bancos.
z
Dichos modelos idealmente habrían de medir las obligaciones de la compañía con
base en las características y comportamiento propio de sus riesgos; sin embargo,
ante la complejidad de éstos, no es posible determinar analíticamente si darán
resultados congruentes con la realidad.
z
Adicionalmente, ante el comportamiento dinámico de los riesgos, existe la constante
posibilidad de que el modelo se desajuste.
z
Ante tal circunstancia, la herramienta más eficiente para vigilar el desempeño de los
modelos es la prueba retrospectiva llamada “Back Testing”.
z
México tiende a la adopción de un esquema regulatorio que contempla la aplicación
de modelos propios, lo que obliga a implementar esquemas de Back Testing.
Contenido
1. Antecedentes
2. Backtesting
3. Perspectivas
Backtesting de Reservas y Capital
Definición de Backtesting
z
El Backtesting es un procedimiento técnico que consiste en validar la
precisión y validez de un modelo ideado para hacer estimaciones de un
determinado valor contingente, mediante la comparación de las
estimaciones hechas por el modelo respecto de los valores reales
observados en periodos anteriores.
z
No existe modelos únicos predefinidos de Backtesting, se debe crear la
prueba dependiendo del tipo de modelos que se quieren validar.
z
No obstante, existen principios fundamentales para hacer el Backtesting.
• Un grado de tolerancia para la magnitud del error entre la estimación y la
realidad.
• Una tolerancia para el número de veces que puede fallar el modelo.
Backtesting de Reservas y Capital
Utilidad la Prueba de Backtesting en el Contexto de Solvencia II
z
En el contexto de Solvencia II, la adopción de modelos propios para
estimar las reservas y capital de solvencia, pueden generar resultados
que son susceptibles de diferir de la realidad en un grado de error
producido por la variación natural del fenómeno o por que el modelo es
erróneo.
z
Ante esto, resulta necesario definir esquemas de Backtesting para
determinar la precisión y validez de los modelos adoptados por la
compañías.
z
Tres cuestiones fundamentales deben definirse:
• ¿Cómo serán los modelos de Backtesting que deben aplicarse?
• ¿A qué modelos se le debe aplicar Backtesting?
• ¿Cuáles serán las tolerancias para el error de los modelos?
Backtesting de Reservas y Capital
El Esquema de Basilea II, para Instituciones Bancarias
z
En el esquema regulatorio de Basilea II, se establece el Backtesting que deben
aplicar las instituciones bancarias, al momento de calcular su capital de solvencia.
z
Consiste en analizar el número de veces que un modelo de estimación del capital,
ajustado con un nivel del confianza del 99%, falla en un año, de 250 pruebas
realizadas durante el periodo de un año.
1. Se dice que el modelo presenta una excepción, cuando se observa que el valor real de las
pérdidas son superiores a la estimación dada por el modelo.
2. Dado que el modelo se supone ajustado al 99% de confianza, entonces se establece que la
tolerancia es de una excepción por cada 100 ensayos (uno diario).
3. Cuando el modelo falla más de una vez en cada 100, se establecen esquemas de alerta que
van de amarillo a rojo, dependiendo del número de veces que las excepciones han superado
al parámetro de tolerancia. La máxima tolerancia es de 4 fallas en 100 veces (4%).
Backtesting de Reservas y Capital
El Esquema de Basilea II, para Instituciones Bancarias
z
En modelos de predicción, los valores que exceden la magnitud de la estimación
son llamadas “excepciones” o “fracasos”.
Función de Densidad de Pérdidas
Se presenta una excepción,
cuando la realidad supera a
la estimación hecha con el
modelo (excedencia).
Backtesting de Reservas y Capital
El Esquema de Basilea II, para Instituciones Bancarias
z
Dado que la estimación está determinada al 99% de confianza, se puede considerar
un modelo binomial con probabilidad de éxito del 0.99 y probabilidad de fracaso del
0.01. Con base en este criterio se establece que en 100 observaciones o más, sólo
habrá el 1% de excepciones. En Basilea II, se da una tolerancia máxima del 4%, es
decir, cuatro excepciones en 100 ensayos.
z
La tolerancia del 4% se establece para evitar errores de tipo I y II. El error de tipo I
consiste en rechazar un modelo que es adecuado, el error tipo II consiste en
aceptar un modelo que es inadecuado.
z
Aun cuando un modelo sea adecuado, puede presentar excepciones por encima del
número esperado, pero a medida que se desvía el número de excepciones, es más
improbable que el modelo sea adecuado. Para ello se puede establecer el número
de excepciones a partir de lo cual se rechaza la hipótesis de que el modelo sea
adecuado, con un alto grado de confianza.
z
Este criterio ha sido criticado por no tomar en cuenta la magnitud de la excedencia
que se genera en cada excepción.
Backtesting de Reservas y Capital
La fórmula de Capital de Argentina
z
A manera de ejemplo, tenemos la fórmula de Requerimiento de Capital para
instituciones bancarias en Argentina:
MRC t +1
z

= max VaRt , (3 + s t ) ∗


VaRt −1 
i =1

60
∑
El factor multiplicativo ha sido justificado mediante la desigualdad de Chebyshev,
desigualdad que implica que las fronteras para un nivel de confianza del 99%, nunca
estarán a más de 10 desviaciones de la media, independientemente de la
distribución. En este sentido, cuando se desconoce la verdadera distribución, el
factor se justifica.
Backtesting de Reservas y Capital
Qué debe hacerse en México?
z
Se deben crear pruebas de Backtesting para los modelos propios de estimación de
reservas. En este caso, se debe probar tanto el valor esperado del riesgo, como el
margen de riesgo.
z
También se deben crear pruebas de Backtesting para modelos propios de capital.
z
Por otra parte, las técnicas de VaR no son apropiadas, debido a que el riesgo de
seguros difiere de manera importante del riesgo financiero de instrumentos de
inversión.
z
Las diferencias más relevantes son:
1. Las mediciones de pérdidas de seguros no son diarias, por lo que la serie estadística para el
backtesting requiere un mayor periodo de observación.
2. Las variables de riesgo de seguros son dos (siniestros y tasa), por lo que se presenta la
dificultad de tener variables aleatorias conjuntas, cuya función de distribución conjunta es
difícil de obtener.
Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
z
Las reservas son el valor medio de las obligaciones. Lo anterior plantea la
necesidad de elaborar un Backtesting para la media. La media es un valor que con
un determinado grado de confianza su valor se encontrará en un determinado
intervalo (intervalo de confianza).
z
Resulta natural realizar la prueba de Backtesting dando un intervalo de confianza
para la variación de esa media, y determinar en función de ello, el número de
excepciones que se realizarán en un determinado periodo, que deben corresponder
a aquéllas que permiten eliminar errores del tipo I y II. Con base en el número de
excepciones, se pueden definir zonas de aceptación (verde), advertencia (amarilla),
y rechazo (roja).
z
Otro enfoque es crear un intervalo de confianza para el error de la media, con base
en una estadística de errores observado en el mercado, definidos dichos errores
como porcentaje de la media.
z
Se produce una excepción cuando el valor de la media real difiere del estimador en
una cantidad que se ubica fuera del intervalo de confianza.
Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
z
Las reservas son el valor medio de las obligaciones. Lo anterior plantea la necesidad de elaborar
un Backtesting para la media. La media es un valor que con un determinado grado de confianza su
valor se encontrará en un determinado intervalo (intervalo de confianza).
Media
Varianza
10
1
Veces la desv. (k)
2.00
Intervalo aceptación
8.00
Prob. acumuladas
Prob. intervalo
Prob. excepción
0.25
0.0228
Zona de Excepciones
0.20
Prob intervalo
Densidad
0.15
95.45%
4.55%
0.10
0.05
0.00
0
2
4
6
8
10
12
14
16
18
20
Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
0.25
0.20
Excepciones
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
Probabilidad
18.70%
50.80%
77.58%
92.04%
97.73%
99.47%
99.90%
99.98%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
Prob intervalo
Densidad
0.15
0.10
0.05
0.00
0
Media
Varianza
Veces la desv. (k)
Prob. intervalo
Prob. excepción
2
4
6
8
10
10
14
1
12
2.00
10
95.45%
8
4.55%
12
14
16
18
20
6
observaciones
4
limite inferior
media
2
limite superior
0
1
3
5
7
9
11 13 15 17 19 21 23 25 27 29 31 33 35
Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
Excepciones
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
Probabilidad
18.70%
50.80%
77.58%
92.04%
97.73%
99.47%
99.90%
99.98%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
z
Con base en el número de excepciones, calculando la
probabilidad del número excepciones mediante una binomial,
cuya probabilidad de éxito es la probabilidad de excedencia
de la estimación, en caso de pruebas de una cola o la
probabilidad de caer fuera del intervalo de confianza en el
caso de pruebas con intervalos de confianza, como es el
caso.
z
El número de excepciones que puedan presentarse con a lo
más el 95% de confianza definen la zona verde, en tanto que
la zona amarilla es para número de excepciones que puedan
presentarse con un grado de confianza superior al 95%, pero
menor al 99.99% de confianza, definiendo la zona roja como
aquella en donde el número de excepciones sólo puede
ocurrir con una probabilidad muy pequeña, es decir que la
probabilidad de que ese número de excepciones no ocurra es
del 99.99%.
Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
Excepciones
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
Probabilidad
90.73%
99.57%
99.99%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
100.00%
0.25
0.20
Prob intervalo
Densidad
0.15
0.10
0.05
0.00
0
2
Media
Varianza
Veces la desv (k)
Prob. intervalo
Prob. de excepción
4
6
8
10
10
14
1
12
12
14
16
18
20
3.00
99.73%
0.27%
10
8
6
observaciones
4
limite inferior
media
2
limite superior
0
1
3
5
7
9
11 13 15 17 19 21 23 25 27 29 31 33 35
Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
z
Adicionalmente, es necesario establecer una prueba que permita detectar un modelo que no
obstante que se mantiene dentro del intervalo, “extrañamente” presente resultados siempre
inferiores a la media.
z
En este caso, se puede aplicar una prueba binomial que nos indique la probabilidad de que una
serie de valores aleatorios sea factible. Supongamos que se observó que de 30 ensayos, 25 veces
estos se ubicaron debajo de la media. ¿Cuál es la probabilidad de tener 25 valores por debajo de la
media en 30 ensayos?.
14
12
10
8
6
observaciones
4
limite inferior
media
2
limite superior
0
1
3
5
7
9
11
13
15
17
19
21
23
25
27
29
Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
14
12
10
8
6
observaciones
4
limite inferior
media
2
limite superior
0
1
z
3
5
7
9
11
13
15
17
19
21
23
25
27
29
La probabilidad de que ese escenario ocurra es inferior a 0.005 por lo que el modelo se rechaza,
con una probabilidad muy baja de que exista un error de tipo I o II.
25
5
 30  1   1 
Pr( E i ) =      = 0.000132719
 25  2   2 
Backtesting de Reservas y Capital
Un modelo de Backtesting para Reservas
z
No obstante, un modelo incorrecto podría pasar las dos pruebas ya que podría cumplir con la
binomial pero estar “cargado” hacia abajo o hacia arriba.
z
Para estos caso, se probaría la diferencia de medias, determinando que el modelo es incorrecto
cuando la media de los resultados del modelo, aún pasando las dos pruebas anteriores, sea
inferior “representativamente a la media real”. Esta último caso se basaría en realizar una prueba
de hipótesis sobre la media.
14
12
10
8
6
observaciones
limite inferior
media
limite superior
Serie5
4
2
0
1
3
5
7
9
11
13
15
17
19
21
23
25
27
29
Backtesting de Reservas y Capital
Un modelo de Backtesting para Capital
z
El modelo de Backtesting para capital o para margen de riesgo, debe basarse en la probabilidad de
exceder la estimación hecha al 99.5% de confianza, considerando excedencia a toda pérdida
observada superior a la estimación.
z
Se debe considerar que el criterio coincide con el de VaR, sin embargo la función de distribución de
pérdidas tiene un mayor grado de dificultad.
Función de Densidad de Pérdidas
Se presenta una excepción,
cuando la realidad supera a
la estimación hecha con el
modelo (excedencia).
Contenido
1. Antecedentes
2. Backtesting
3. Perspectivas
Backtesting de Reservas y Capital
Perspectivas
z
Es necesario idear modelos de Backtesting apropiados para cada modelo
que se quiera probar, entre de los más importantes:
• Reservas de riesgos en curso
• Reserva de Siniestros ocurridos no reportados
• Requerimientos de Capital de Solvencia
• Modelos de estimación de pérdidas financieras VaR.
• Modelos de estimación de pérdidas por descalce
• Modelos de estimación de PML
Backtesting de Reservas y Capital
Perspectivas
no existen, se deben idear !! de acuerdo a
Estos modelos
nuestras necesidades…..
Backtesting
Modelos de Capital y Reservas
Mayo 2009