Programas de reforzamiento y conducta de elección

Programas de reforzamiento y
conducta de elección
Domjan, Capítulo 6
Programas de reforzamiento
En la vida real, no siempre que damos una respuesta
aparecerá el reforzador.
El programa de reforzamiento determina cuándo la
ocurrencia de la respuesta va a ir seguida de un
reforzador.
n1, n2, n3...
1
Programas de reforzamiento
Programa de reforzamiento continuo: Cada
respuesta correcta es reforzada.
Ej: Interruptor de la luz, botón del mando a distancia…
R
Ref
R
Ref
R
Ref
Programas de reforzamiento
Programa de reforzamiento continuo: Cada
respuesta correcta es reforzada.
Programa de reforzamiento parcial o intermitente:
No todas las respuestas correctas son reforzadas.
Y estos pueden
ser de varios
tipos...
2
Programas de reforzamiento
Programas de RAZÓN:
El reforzador se otorga en función del número de
respuestas.
Razón Fija: El número de respuestas necesarias para
obtener un reforzador es siempre el mismo.
Ej: RF5 = Cada 5 respuestas, me dan un premio.
El programa de RF1 es un programa de reforzamiento
continuo.
Produce pausas post-reforzamiento.
Razón Variable: El número de respuestas necesarias para
obtener un reforzador va variando.
Ej: RV5 = Cada 5 respuestas de media, me dan un premio.
Programas de reforzamiento
Pausas
post-reforzamiento
RV10
Respuestas
RF10
Tiempo
Carrera de razón: el animal
mantiene una tasa de
respuesta alta y estable hasta
que lo refuerzan.
Tensión de la razón: Si la
razón aumenta mucho de
golpe, el animal puede dejar
de responder. Estaba
acostumbrado a responder X
por un reforzador, y cuando le
pedimos mucho más, desiste.
3
Programas de reforzamiento
Programas de INTERVALO:
El reforzador se otorga en función del tiempo que ha
transcurrido desde el último reforzador (Pero todavía hay
que responder al menos 1 vez para obtener el reforzador).
R
00:05
00:04
00:03
00:02
00:01
00:00
Reforzador
Programas de reforzamiento
Programas de INTERVALO:
El reforzador se otorga en función del tiempo que ha
transcurrido desde el último reforzador (Pero todavía hay
que responder al menos 1 vez para obtener el reforzador).
Intervalo Fijo: El tiempo que pasa entre dos reforzamientos
es siempre el mismo.
Ej: IF5 = Cada 5 segundos, el reforzador está disponible
(cada 5 segundos, si respondo me dan un premio).
Produce pausas post-reforzamiento y aceleración prereforzamiento (Patrón “festoneado”).
Intervalo Variable: El tiempo que pasa entre dos
reforzadores va variando.
Ej: IV5 = Cada 5 segundos de media, el reforzador está
disponible.
4
Programas de reforzamiento
Patrón “festoneado”
Aceleración de
la Respuesta
Respuestas
IF10
IV10
Pone a prueba
la capacidad
de “contar
el tiempo”.
Tiempo
Programas de reforzamiento
Pregunta:
Los exámenes de la universidad, ¿qué tipo de programa de
reforzamiento serían?
Solución:
Un programa de Intervalo Fijo. La conducta es la esperada
en este tipo de programas: se responde sólo al final del
intervalo, y de forma acelerada.
5
Programas de reforzamiento
Pregunta:
Las máquinas tragaperras ¿Qué programa de reforzamiento
utilizan?
Solución:
Un programa de Razón Variable. Por eso son tan adictivas,
producen una tasa de respuesta estable y persistente.
Programas de reforzamiento
Pregunta:
Un vendedor de frutos secos que saca un beneficio por
cada bolsa de pipas vendida. ¿Qué programa de
reforzamiento sería?
Solución:
Un programa de Razón Fija, de hecho es un programa de
reforzamiento continuo.
6
Programas de reforzamiento
RV
IF
IV
RF
Tiempo
Programas de reforzamiento
¿Cuál produce más respuesta?
Los programas que más respuestas producen son los de
razón (porque en los de intervalo el reforzador se obtiene
por esperar al momento idóneo, no por dar un número
determinado de respuestas).
7
Programas de reforzamiento
¿Cuál produce más respuesta?
Los programas fijos producen menos respuestas que los
variables porque son más predecibles. Además son más
fáciles de extinguir (tema 9).
De modo que el programa más efectivo para crear
respuesta es el de razón variable (ej: máquina
tragaperras, por eso son tan “adictivas” y peligrosas).
Programas de reforzamiento
Además de las respuestas independientes, también
podemos reforzar la tasa de respuesta (la velocidad a la
que se dan las respuestas).
Ejemplo: quiero que un animal dé, como mínimo, 12
respuestas por minuto.
Entonces, le doy el reforzador sólo si produce una
respuesta en los 5 segundos siguientes a la anterior
respuesta. Si responde cada 5 segundos o menos, tiene
una tasa de 12 respuestas por minuto, lo que yo quería.
Si tarda más de 5 segundos en responder, no es reforzado
aunque responda. Eso hará que se vuelva más rápido en el
futuro.
8
Programas concurrentes
Ahora queremos investigar la conducta de elección.
Si te dejan elegir, ¿qué prefieres hacer?
En los programas concurrentes se deja elegir al animal
entre dos programas de reforzamiento.
Programa A:
IV 60 seg.
¿?
Programa B:
RF 10.
A
B
Programas concurrentes
Programa A:
IV 60 seg.
¿?
Programa B:
RF 10.
A
B
Para saber qué programa prefiere seguir la paloma,
recurrimos a la tasa relativa de respuesta.
Tasa relativa de respuesta de la tecla A =
RA
RA+RB
Si la paloma no tiene ninguna preferencia en especial, la
tasa relativa se queda en 0,5.
9
Programas concurrentes
¿?
Programa A:
IV 60 seg.
Programa B:
RF 10.
A
B
Para saber qué programa administra más reforzadores a la
paloma, recurrimos a la tasa relativa de reforzamiento.
Tasa relativa de reforzamiento de la tecla A =
rA
rA+rB
Si la paloma recibe reforzadores con la misma frecuencia
en cada lado, la tasa relativa se queda en 0,5.
Programas concurrentes
Ley de la igualación (Herrnstein)
La tasa de respuesta = tasa de reforzamiento.
O sea, que la paloma responde más en el programa que
más reforzadores le proporciona.
Si te dejan escoger entre pasar una tarde en el cine o
paseando con un amigo, escogerás probablemente la
actividad más reforzante.
RA
RA+RB
rA
rA+rB
10
Programas concurrentes
Infraigualación, supraigualación y sesgo de respuesta
A veces la ley de la igualación no se cumple, y en esos casos se cumple
esta norma:
r
RA
= b( A )s
rB
RB
El parámetro s es la sensibilidad de la
conducta de elección a las tasas de
reforzamiento (“cuánto me afecta la tasa
de reforzamiento de este programa”).
Una buena comida es reforzante, pero si no
me gustan los pescados a lo mejor no
eligiría ese menú (sensibilidad).
El parámetro b es el sesgo (bias) de respuesta. Es una preferencia por
uno de los dos programas en particular, incluso aunque proporcione la
misma tasa de reforzamiento que el otro (por ejemplo, la respuesta en sí
puede ser más cómoda).
Ir al gimnasio podría ser más reforzante que ver la televisión (porque
produce un beneficio a largo plazo), pero como la respuesta es costosa,
puede que prefiramos quedarnos en casa (sesgo de respuesta).
Programas concurrentes
Infraigualación, supraigualación y sesgo de respuesta
r
RA
= b( rA )s
RB
B
Infraigualación: El animal tiene una tasa de respuesta menor que la
tasa de reforzamiento (recibe muchos reforzadores, pero no responde
mucho), es como si los reforzadores obtenidos no produjeran mucho
efecto en su elección. El parámetro sensibilidad (s) es < 1.
Supraigualación: El animal responde más de lo que le
correspondería en función de su tasa de reforzamiento La sensibilidad
es >1.
En realidad, en estas relaciones influyen tanto la cantidad como la
calidad del reforzador: si es un reforzador valioso, unos poquitos
bastan para que el animal prefiera ese programa a otro.
11
Programas concurrentes
En el “deporte” del zapping
tenemos un ejemplo de
programas concurrentes.
Programas concurrentes
RA
r
= b( A ) s
R A + RB
rA + rB
h
Abuelita A
Abuelita B
12
Programas concurrentes
RA
r
= b( A ) s
R A + RB
rA + rB
Abuelita A
Abuelita B
Programas concurrentes
La ley de la igualación también puede aplicarse a programas sencillos
de reforzamiento (no a la elección en programas concurrentes):
Realizar cualquier conducta supone una elección (elegimos realizar
esa conducta en vez de hacer cualquier otra cosa). Si una conducta no
me “refuerza” más que cualquier otra alternativa, si no es atractiva, es
poco probable que la realice.
13
Programas concurrentes
¿Qué determina los cambios de un programa a otro?
-Teorías de la maximización molecular: El animal hace un cambio de
programa para obtener un reforzador determinado.
-Teorías de la maximización molar: El animal hace los cambios
precisos para obtener el máximo de reforzadores a la larga.
-Teoría del mejoramiento: El animal cambia para obtener una tasa
local de reforzamiento mejor que la actual.
Tasa local de reforzamiento en el programa A: Número de
reforzadores obtenidos durante el tiempo que se ha dedicado al
programa A.
La alternancia de programas continúa hasta que las tasas
locales se igualan.
Programas concurrentes
Mecanismo del Mejoramiento
Programa
A: IV1min
Programa
B: IV3min
En una sesión de 30 min, entre los 2
programas hay un máximo de 40
reforzadores posibles (30+10).
Si la paloma se queda sólo en el
programa A, no obtiene más que 30
reforzadores.
1. La paloma empieza con el
programa A, porque ofrece la mayor
tasa de reforzamiento (30/30).
2. Prueba por azar a responder un
par de veces en la tecla B, y como
las respuestas están espaciadas
consigue reforzadores.
3. Eso eleva mucho la tasa local de
reforzamiento en B: le ha dedicado
poco tiempo y ha obtenido muchos
reforzadores. Por eso cambia a B.
4. El proceso se repite hasta que las
tasas locales de A y B se igualan. Ya
no hay un programa mejor que otro.
(Esto es la ley de la igualación).
14
Programas concurrentes
Elección con compromiso: Una vez tomada una decisión, no se
puede cambiar.
Programas concurrentes encadenados:
1
A
A
B
A
Eslabón de
elección
Programa de reforzamiento 1
Eslabón terminal
2
Programa de reforzamiento 2
Programas concurrentes
Programas concurrentes encadenados:
1
A
A
B
A
Si le damos a escoger así entre
un programa de RF y otro de RV,
la paloma se queda en el de RV,
incluso aunque tenga que dar
más respuestas.
2
En realidad lo que se refuerza es la respuesta en el eslabón inicial (A
vs B), y es un reforzamiento condicionado.
15
Autocontrol
Autocontrol:
Normalmente, es una decisión entre una recompensa importante
demorada o una más pequeña pero inmediata.
Hoy
Mañana
Autocontrol
Autocontrol:
Rachlin y Green (1972)
A
Recompensa
pequeña e
inmediata
B
Recompensa
grande y
demorada
Programa concurrente:
la paloma prefiere el
beneficio inmediato.
16
Autcontrol
Autocontrol:
Rachlin y Green (1972)
A
A
A
B
A
B
Recompensa
pequeña e
inmediata
Programa concurrente
encadenado: la paloma
“se controla”.
Ya puestos a esperar…
Recompensa
grande y
demorada
Autocontrol
Autocontrol:
El valor del reforzador se reduce cuanto más hay que esperar para
obtenerlo.
Función descontadora del valor:
V=M/(1+KD)
V = Valor del reforzador.
M = Magnitud de la recompensa.
D = Demora.
K = Tasa descontadora (cuánto se devalúa el reforzador por cada
unidad de tiempo que nos separa de él). Indica el grado de
“impulsividad”.
Ejemplo de los heroinómanos (pág. 186 del libro).
Entrenamiento del autocontrol: Usando demoras largas para el
reforzamiento.
17
Valor de la recompensa
Autocontrol
Recompensa
pequeña
inmediata
Recompensa
mayor
demorada
Tiempo
Si la demora es más larga,
entonces el valor de la
recompensa grande es mayor.
Si la demora es corta, entonces el
valor de la recompensa pequeña e
inmediata es mayor.
Y esto se acabó, ¡Muchas gracias!
Diapositivas de Fernando Blanco
http://www.labpsico.com/pers/blanco/FernandoBlanco.htm
18