Ensayos clínicos multicéntricos: grado de homogeneidad en la

Documento descargado de http://www.elsevier.es el 20/11/2016. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
ARTÍCULO ESPECIAL
Ensayos clínicos multicéntricos: grado de homogeneidad
en la revisión ético-científica realizada por los comités
éticos de investigación clínica
99.303
Rafael Dal-Réa, Alejandro Pedromingob, Elena Morejóna e Isabel Luquea
a
Departamento Médico. GlaxoSmithKline S.A. Tres Cantos. Madrid.
Departamento de Biometría. GlaxoSmithKline S.A. Tres Cantos. Madrid. España.
b
Desde varios meses antes de la entrada en vigor en mayo
de 2004 de las disposiciones de la Directiva 2001/20/CE1
–que comporta ciertos cambios, algunos muy significativos,
en la realización de ensayos clínicos en los países de la Europa Comunitaria–, se ha generado una viva polémica sobre
su contenido y aplicación2-5. España no ha sido ajena a esta
polémica, aunque haya tenido sus particularidades. De hecho, durante los meses previos a la entrada en vigor del
Real Decreto 223/20046, que traspone las disposiciones de
la Directiva1, se han realizado múltiples reuniones entre los
agentes implicados en la evaluación y realización de ensayos clínicos. Uno de los puntos que han causado más discrepancia de pareceres en España es cómo llevar a cabo el
dictamen único que establece la nueva normativa para ensayos clínicos multicéntricos (ECM). Hay quienes entienden
que entre comités éticos de investigación clínica (CEIC)
acreditados por las autoridades competentes, el dictamen
de un CEIC (denominado «de referencia»), con respecto a
la evaluación ético-científica del protocolo, debiera ser
aceptado por los otros CEIC implicados en el ECM7. Según
este criterio, éstos sólo podrían rechazar la participación de
un investigador en un ECM por los aspectos locales que
«distingan a ese centro del resto de centros involucrados»
(p. ej., cualificación del equipo investigador), aceptando en
el resto de circunstancias el dictamen del CEIC de referencia7. Otros, sin embargo, opinan que no se debe aceptar el
dictamen del CEIC de referencia, y que sólo sería aceptable
la evaluación del CEIC que les correspondiese, como lo han
estado haciendo desde 1993. En cualquier caso, el legislador, quizá en un intento de conciliar ambas posturas, determinó en el artículo 19.4 del Real Decreto6: «Cada comité
[se refiere a CEIC] implicado remitirá con tiempo suficiente
al comité de referencia un informe sobre los aspectos locales del ensayo, así como sobre cualquier otro aspecto del
ensayo que considere relevante».
Una razón que, entre otras, se esgrimió –y se sigue esgrimiendo– como crucial para no aceptar la resolución que decida un CEIC (el de referencia) es la falta de homogeneidad
en los criterios de evaluación. Hay personas –algunos directores de centros hospitalarios, autoridades de las comunidades autónomas y miembros de CEIC– que entienden que
sólo considerarán la opinión del CEIC del centro al que pertenece el investigador implicado o, todo lo más, del CEIC
que le corresponda administrativamente (p. ej., el regional
de su comunidad autónoma). Es cierto que hay estudios
Correspondencia: Dr. R. Dal-Ré.
Departamento Médico. GlaxoSmithKline S.A.
Parque Tecnológico de Madrid.
Severo Ochoa, 2. 28760 Tres Cantos. Madrid. España.
Correo electrónico: rafael.dal-re@gsk.com
Recibido el 9-12-2004; aceptado para su publicación el 7-3-2005.
27
que indican que los CEIC difieren en su manera de evaluar
los protocolos de estudios multicéntricos8-12, pero no es menos cierto que casi no se ha estudiado hasta qué grado esta
aparente heterogeneidad en la evaluación resulta relevante
y es reflejo de unos criterios de evaluación significativamente diferentes entre unos CEIC y otros. Hasta donde nosotros
sabemos, sólo un trabajo ha abordado pormenorizadamente
este tema a través del estudio de la evaluación realizada por
CEIC en la hojas de información para el paciente (HIP) de
24 ECM internacionales13, mientras que otros lo han hecho
de forma muy parcial o casi anecdótica14-19. En este trabajo
se estudia el grado de homogeneidad en la evaluación entre
los CEIC en la revisión ético-científica del protocolo y de la
HIP de un ECM. Ello permitirá tener datos objetivos que
ayuden a los agentes implicados en la evaluación de protocolos y realización de ECM a reconsiderar sus posturas actuales.
Material y método
El ECM (estudio FOS) que ha permitido realizar este trabajo es un ensayo en
fase 3, no comparativo, multicéntrico, nacional, de un fármaco antirretroviral,
el fosamprenavir (profármaco de un medicamento comercializado, el amprenavir). El estudio era un programa de acceso expandido que, desde el punto
de vista administrativo, se gestionó como un ECM. En una base de datos se
recogió el tipo de aclaraciones y modificaciones que solicitaron los CEIC, referidas tanto al protocolo como a la HIP.
Para su estudio, el protocolo se estructuró en los 12 apartados que consideraba la normativa vigente en el momento en que se inició el proceso administrativo de evaluación20. Con objeto de poder estudiar la homogeneidad de las
evaluaciones, se asignaron las aclaraciones de los CEIC a los puntos correspondientes del protocolo, de acuerdo con la experiencia recogida durante
años previos10,12. Ésta señala en qué partes de un protocolo de ensayo clínico
los CEIC formulan aclaraciones y en cuáles no. Con esta información, el protocolo del estudio FOS se estructuró en 32 puntos, 12 apartados y 6 secciones, según se aprecia en la tabla 1. Para este estudio no se tendrán en cuenta las aclaraciones tipográficas o administrativas formuladas por los CEIC. En
el punto 10B (tabla 1), «Información a los pacientes y consentimiento», sólo
se ha tenido en cuenta si el CEIC ha solicitado añadir al formulario de consentimiento por escrito el de consentimiento ante testigo. Los requerimientos
de otra índole serán objeto del estudio específico de la HIP.
La HIP se estructuró en 7 puntos de información según se observa en la tabla 2. La HIP del estudio FOS se presentó inicialmente a 10 CEIC. Antes de
ser presentada al resto de CEIC sufrió un cambio relevante, por cuanto se
modificó la posología del fosamprenavir. La segunda versión de la HIP se remitió para su evaluación a todos los CEIC (n = 56). Este artículo se refiere a
lo acontecido con la segunda versión de la HIP, teniendo en cuenta sólo los
cambios solicitados por los 52 CEIC que aprobaron el protocolo del estudio
FOS. No se han incluido en el análisis los cambios tipográficos propuestos.
Este trabajo estudia: a) la concordancia de decisión (CdD) en el rechazo o
aprobación del protocolo y la concordancia de procedimiento (CdP), referida
a qué tipo de aclaraciones sobre el protocolo formularon los CEIC, y b) la CdP
relativa a las modificaciones propuestas en el texto de la HIP por los CEIC.
Para ello se ha utilizado un modelo matemático cuya formulación, propiedades y asunciones se especifican en el anexo 1. Baste aquí decir que la CdD
se define como la probabilidad, expresada en porcentaje, de que 2 CEIC elegidos aleatoriamente coincidan en su dictamen (aprobar o rechazar el protocolo). Para calcular la CdP se ha utilizado un modelo matemático de concordancia (homogeneidad) entre múltiples observadores (los CEIC) para
constructos (el protocolo, la HIP) multiatributo (las secciones, los puntos) con
variables binarias simétricas (acuerdo/no acuerdo), que corresponde a una
modificación, por ponderaciones de las frecuencias, de la concordancia de
Sokal y Sneath21.
Med Clin (Barc). 2005;125(9):335-40
335
Documento descargado de http://www.elsevier.es el 20/11/2016. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
DAL-RÉ R, ET AL. ENSAYOS CLÍNICOS MULTICÉNTRICOS: GRADO DE HOMOGENEIDAD EN LA REVISIÓN ÉTICO-CIENTÍFICA REALIZADA
POR LOS COMITÉS ÉTICOS DE INVESTIGACIÓN CLÍNICA
Resultados
El protocolo
Entre mayo de 2003 y febrero de 2004 el protocolo del estudio FOS se presentó a los 56 CEIC responsables de su evaluación para los 99 hospitales participantes, ubicados en todas las comunidades autónomas. Entre ellos, 8 fueron CEIC
regionales. La población de CEIC involucrada se considera
representativa de todos los CEIC acreditados en España.
Todos los CEIC aprobaron el ensayo, excepto 4 –93%
(52/56)–, ninguno de los cuales era de ámbito regional. La
CdD fue, por tanto, del 87%. La razón del rechazo fue, en
todos los casos, que no se juzgaba necesario realizar un estudio para un programa de acceso expandido, pues se consideraba suficiente utilizar la vía del uso compasivo.
De los 52 CEIC que aprobaron el protocolo, 20 (39%;
20/52) formularon 44 aclaraciones, es decir, 2,2 aclaraciones por CEIC. Al considerar todos los CEIC, el número de
aclaraciones por CEIC resulta ser de 0,85 (44/52). Se solicitaron aclaraciones en 15 de los 32 puntos (tabla 1). De
cada punto se formularon entre 1 y 6 aclaraciones (mediana: 2). Aunque en este estudio no se consideran las
aclaraciones de índole administrativa y tipográfica, si éstas
(n = 16) se sumasen a las otras, la tasa sería de 1,15 aclaraciones (60/52) por CEIC. La CdP global del estudio FOS y
las concordancias por secciones se muestran en la tabla 3.
Como se observa, la CdP global fue del 89,91%. Por secciones, la CdP varió un máximo de 12 puntos, siendo máxima
en la sección «Práctica» (95,33%) y mínima en la sección
«General» (83,33%). Los resultados de las CdP de las simulaciones y de los análisis de sensibilidad definidos en el
anexo 1 se encuentran en la tabla 4. Como se observa en
esta tabla, en la situación más desfavorable (un incremento
en el número de aclaraciones de 160%, siendo éstas todas
diferentes –máxima disimilitud–), la CdP es del 83%.
TABLA 1
Protocolo. Puntos (n = 32) en los que se clasifican
las aclaraciones solicitadas por los comités éticos
de investigación clínica
Secciones y apartados
Sección 1. General
1. Resumen
2. Índice
3. Información general
4. Justificación y objetivos
Sección 2. Diseño
5. Tipo de ensayo y diseño
6. Selección de sujetos
Sección 3. Experimental
7. Descripción del tratamiento
8. Desarrollo del ensayo
y evaluación
de la respuesta
9. Acontecimientos adversos
Sección 4. Ética
10. Aspectos éticos
Sección 5. Práctica
11. Consideraciones prácticas
Sección 6. Estadística
12. Análisis estadístico
Puntos
1. NA
2. NA
3G. Datos de los investigadores
del ensayo
4A1. Antecedentes*
4A2. Justificación*
4B. Objetivos*
5A. Diseño*
5B. Períodos del estudio*
6A. Criterios de inclusión*
6B. Criterios de exclusión*
6C. N.o de sujetos
6D. Criterios de retirada
6E. Período de reclutamiento
7. Descripción del tratamiento*
8A. Evaluación de la respuesta y
descripción de métodos
utilizados
8B. Desarrollo del ensayo
9. Acontecimientos adversos*
10A. Consideraciones generales
10B. Información a los pacientes
y consentimiento*
10C. Acceso de datos*
10D. Presupuesto del ensayo
10E. Póliza de seguro
11A. Monitorización
11B. Actividades de finalización
11C. Archivo de la documentación
11D. Informe del ensayo*
11E. Propiedad de los datos
11F. Confidencialidad
11G. Publicación de los resultados*
11H. Gestión de datos
12A. Determinación del tamaño
muestral*
12B. Consideraciones generales*
12C. Eficacia
12D. Seguridad
Apartados en los que los comités éticos de investigación clínica (CEIC) emitieron aclaraciones en 24 protocolos de ensayos clínicos internacionales multicéntricos10,12.
NA: no aplicable (los CEIC no formulan preguntas sobre estos apartados)10,12.
*Puntos en los que los CEIC del estudio FOS realizaron aclaraciones.
TABLA 2
Estructura de la hoja de información para el paciente*
1. ¿En qué consiste este estudio? ¿Cuáles son sus objetivos?
2. ¿Cómo se va a realizar este estudio?
3. ¿Cuáles son los beneficios esperables y los riesgos potenciales de este
estudio?
4. ¿Se dispone de otros tratamientos?
5. Su participación es voluntaria
6. Revisión de documentos originales, confidencialidad y protección de
datos de carácter personal
7. Otra información que Vd. debe saber
*A continuación, y como parte del mismo documento, aparece el formulario de consentimiento informado, cuyo texto es el recogido en el Real Decreto de 199320.
336
Med Clin (Barc). 2005;125(9):335-40
La hoja de información para el paciente
De los 52 CEIC que aprobaron el protocolo, 8 (15%) propusieron 19 modificaciones en la HIP en 5 de los 7 puntos.
Ahora bien, siguiendo una de las asunciones del modelo
matemático (anexo 1), que establece que cuando un CEIC
sugiere más de una modificación en un punto se considerará como si sólo se hubiese formulado una, el número de modificaciones de la HIP se redujo de 19 a 15 (tabla 5). Por
esto, el número de modificaciones solicitadas consideradas
fue de 1,9 por CEIC (15/8). Si se incluyen todos los CEIC, el
número de modificaciones por CEIC resulta ser de 0,29
(15/52). Aunque en este trabajo no se tienen en consideración las modificaciones tipográficas, cuando éstas (n = 5) se
añaden, la tasa de cambios es de 0,38 (20/52) por CEIC. La
CdP en la HIP fue del 92,22%. Los resultados de las CdP de
las simulaciones y de los análisis de sensibilidad definidos
en el anexo 1 se encuentran en la tabla 4. En la situación
más desfavorable para el modelo (el número de solicitud de
modificaciones se multiplica por 6,5), la CdP es del 64%.
Discusión
Este trabajo sobre el grado de homogeneidad que tienen los
CEIC en la evaluación de protocolos de ECM es, hasta donde sabemos, singular. Plantea un enfoque novedoso del
problema, tanto en su abordaje como en su extensión, por
cuanto estudia la evaluación de los CEIC tanto del protocolo
de un ECM como de la HIP utilizada. La mayor innovación
radica, sin embargo, en la utilización de un modelo matemático que permita calcular el grado de homogeneidad –o
concordancia o sustituibilidad– que tienen los CEIC cuando
evalúan un mismo protocolo de ECM.
Merece la pena empezar comentando brevemente los puntos débiles del modelo matemático utilizado. Todos ellos vienen derivados de las asunciones (anexo 1) necesarias para
adecuar la realidad a un modelo que sea útil en la práctica.
Así, el hecho de decidir que cuando 2 CEIC soliciten aclaraciones sobre un mismo punto se trataría como si se consi28
Documento descargado de http://www.elsevier.es el 20/11/2016. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
DAL-RÉ R, ET AL. ENSAYOS CLÍNICOS MULTICÉNTRICOS: GRADO DE HOMOGENEIDAD EN LA REVISIÓN ÉTICO-CIENTÍFICA REALIZADA
POR LOS COMITÉS ÉTICOS DE INVESTIGACIÓN CLÍNICA
TABLA 3
Concordancia de procedimiento (CdP) global y por secciones del protocolo. Número de comités éticos de investigación
clínica (CEIC) = 56
N.o de puntos
Global
Sección 1. General
Sección 2. Diseño
Sección 3. Experimental
Sección 4. Ética
Sección 5. Práctica
Sección 6. Estadística
N.o de aclaraciones
N.o de CEIC que solicitaron aclaraciones
44a
9
13
9
3
3
7
32
4
7
4
5
8
5
CdP (%)
89,91b
83,33
87,09
85,91
92,53
95,33
88,02
20
8
12
9
3
3
5
Los puntos de cada sección vienen recogidos en la tabla 1. aDe hecho, hubo 45 aclaraciones pero, según una de las asunciones del modelo, se consideraron sólo 44 (en un caso, un
mismo CEIC formuló 2 aclaraciones sobre el mismo punto, «Antecedentes», 4 A1). bLa CdP global es de 95,06% si sólo se considerasen las aclaraciones formuladas por los CEIC que
aprobaron el protocolo (n = 52).
TABLA 4
Concordancias de procedimiento (CdP) con datos reales del estudio FOS y simulaciones para el protocolo y la hoja
de información para el paciente (HIP)
Documento
Protocolo
Protocolo
Protocolo
Protocolo
HIP
HIP
HIP
HIP
Escenario
Real
Simulación1a
Máxima disimilitudb
Simulación 1a +
máxima disimilitud
Real
Simulación 1c
Simulación 2d
Máxima disimilitudb
λ
N.o de aclaraciones
N.o de aclaraciones por CEIC
CdP (%)
0,5
0,5
1
44
114,4
44
0,85
2,20
0,85
89,91
84,53
89,47
1
0,5
0,5
0,5
1
114,4
15
39
97,5
15
2,20
0,29
0,75
1,88
0,29
83,31
92,22
81,51
64,43
92,12
CEIC: comités éticos de investigación clínica.
a
Simulación 1: todos los CEIC solicitan aclaraciones al protocolo en la misma cuantía que los que lo hicieron, es decir, aumentando un 160% el número de aclaraciones –(52-20)/20– en
relación con el real. Se mantienen los 4 rechazos a la aprobación del protocolo. bAnálisis de sensibilidad con datos reales y asumiendo máxima disimilitud en la solicitud de aclaraciones
(protocolo) o de modificaciones (HIP). cSimulación 1: todos los CEIC solicitan modificaciones a la HIP en la misma cuantía que formulan aclaraciones al protocolo, es decir, aumentando
un 160% el número de aclaraciones –(52-20)/20– en relación al real. dSimulación 2: todos los CEIC solicitan modificaciones en la HIP en la misma cuantía que los que lo hicieron, es decir, aumentando un 550% el número de modificaciones – (52-8)/8– en relación con el real.
derase que hay un 50% de posibilidades de que la aclaración sea la misma o sea diferente, permite aplicar el modelo
sin que de hecho importe conocer en qué consistieron en
realidad tales aclaraciones. Este enfoque permite, además,
no tener en consideración la relevancia cualitativa de cada
aclaración, lo que introduciría un factor de subjetividad según el evaluador. Para someter al modelo a la situación más
desfavorable y observar qué grado de influencia tiene en el
resultado, se realizó un análisis de sensibilidad consistente
en suponer que, cuando 2 CEIC formulan una pregunta sobre un punto, las preguntas son siempre diferentes.
La segunda asunción es la de considerar que si un CEIC solicitase más de una aclaración sobre un mismo punto, en el
modelo se incluiría como si hubiese formulado sólo una. Esta
asunción es una necesidad del modelo, pues de lo contrario
el número máximo de aclaraciones teóricas sería indeterminado. Hay que resaltar que en el estudio del protocolo sólo
hubo un caso en el que un mismo CEIC formuló 2 aclaraciones sobre el mismo punto. En todo caso, hay que tener en
cuenta esto cuando se use el modelo en otros ensayos.
Por último, para la CdP es difícil distinguir los rechazos de
las aprobaciones, teniendo en cuenta, como se ha comentado, que la CdD y la CdP son conceptualmente independientes. Para que el hecho de denegar la aprobación de un
protocolo tuviese un peso en la CdP, se decidió que todo rechazo equivaldría a formular aclaraciones en todos los puntos (los 32). Esta decisión puede considerarse discutible.
Así, por ejemplo, y aunque es muy improbable, un CEIC pudiera solicitar aclaraciones en los 32 puntos y luego aprobar
el protocolo, con lo que en el modelo tendría la misma influencia que si lo hubiese rechazado. A la inversa –y como
de hecho ocurrió con el estudio FOS–, se puede rechazar
un estudio porque se considere que, por principio, no es
necesario hacerlo, sin que la razón, por tanto, se pueda
29
TABLA 5
Modificaciones solicitadas por punto por los 8 comités
éticos de investigación clínica en la hoja de información
para el paciente
Punto
1. En qué consiste este estudio.
Sus objetivos
2. Cómo se va a realizar este estudio
3. Beneficios y riesgos
4. Otros tratamientos
5. Participación voluntaria
6. Confidencialidad. Protección de datos
7. Otro tipo de información
Total
N.o de
modificaciones
solicitadas
N.o de
modificaciones
consideradas
en el modelo*
2
0
5
1
0
5
6
19
2
0
4
1
0
4
4
15
*En cada punto, sólo se considera una modificación por comité ético de investigación clínica.
adscribir a punto alguno. Esta opción es la más desfavorable para los valores de concordancia. Piénsese que otro enfoque podría ser el de considerar para la CdP sólo las aclaraciones solicitadas por los CEIC que al final aprobaron el
protocolo, con lo que la CdP global aumentaría ligeramente
(en este estudio, en concreto, del 89,91 al 95,06%). Sin
embargo, se prefiere la asunción anterior para que la CdP
cubra todos los CEIC puesto que, al inicio del proceso éticoadministrativo, cuando se elige un CEIC para que, siguiendo
el procedimiento vigente, actúe como CEIC de referencia,
no se sabe si aprobará o no el ensayo.
Con respecto a la concordancia existente entre los CEIC involucrados, la variable más dura en este sentido es si el protocolo se aprueba o no. En este estudio sólo el 7% de los
CEIC rechazó el protocolo, porcentaje similar –o ligeramente
superior– a lo que indica la bibliografía que sitúa el porcentaMed Clin (Barc). 2005;125(9):335-40
337
Documento descargado de http://www.elsevier.es el 20/11/2016. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
DAL-RÉ R, ET AL. ENSAYOS CLÍNICOS MULTICÉNTRICOS: GRADO DE HOMOGENEIDAD EN LA REVISIÓN ÉTICO-CIENTÍFICA REALIZADA
POR LOS COMITÉS ÉTICOS DE INVESTIGACIÓN CLÍNICA
je de rechazos entre el 1 y el 6%10,12,22-35. Ahora bien, con un
rechazo del 7%, la CdD fue del 87%. Por ello se puede afirmar que en este estudio hubo una alta CdD, es decir, un notable grado de homogeneidad. En otras palabras, escogido
aleatoriamente un CEIC, éste tomará una decisión (aprobar o
rechazar el estudio) que coincidirá en el 87% de los casos
con la decisión de cualquier otro CEIC tomado al azar.
La CdP del protocolo ha resultado ser muy elevada, del
89,91%. Es decir que, elegido un CEIC al azar, éste representará –en el procedimiento– al 90% de todos los CEIC
participantes. O interpretado de otra manera, 9 de cada 10
CEIC formularían aclaraciones o no en los mismos puntos
del protocolo.
Puede entenderse, sin embargo, que el ensayo escogido no
representa a los ECM que se hacen en España. Esto se puede decir de cualquier ensayo. En el caso del estudio FOS,
hay que admitir que su diseño es sencillo y que carece de
innovaciones metodológicas o en los procedimientos que
pudieran hacerlo susceptible de un número más alto de
aclaraciones por parte de los CEIC. Por ello, se aplicó el modelo a la situación simulada de que todos los CEIC hicieran
las mismas y el mismo número de preguntas que los que
realmente las realizaron. Esto supone pasar de 0,85 a 2,2
aclaraciones/CEIC. Como se ha visto, y como era de esperar, la CdP disminuye –del 89,91 al 84,53%–, pero lo hace
muy ligeramente (5,3 puntos porcentuales). En este caso
extremo, al suponer que todos los centros hubiesen formulado aclaraciones, y manteniendo que 4 de ellos hubiesen
rechazado el protocolo, la homogeneidad en el procedimiento es casi del 85%. Es decir, aunque pongamos al estudio en la situación de que todos los CEIC formulen aclaraciones, escogido uno al azar, éste podría ser sustituido por
otro en el 85% de las ocasiones sin que por ello se afectase
el procedimiento de evaluación.
Ahora bien, ¿el porcentaje de aprobación del protocolo y el
número de aclaraciones solicitadas por los CEIC del estudio
FOS fue similar al que hacen con otros protocolos de ECM
en nuestro país? Para poner en perspectiva el número de
aclaraciones por CEIC del estudio FOS, se ha escogido una
muestra de 24 protocolos de ECM internacionales realizados con 18 fármacos o vacunas diferentes, que supusieron
187 solicitudes de ensayo clínico a realizar en 114 centros
diferentes12. Aquéllas fueron evaluadas en 2002 y 2003 por
62 CEIC localizados en 33 ciudades españolas, considerándose que los CEIC involucrados eran representativos de la
totalidad de CEIC existentes en España12. Los protocolos, de
ensayos de 10 áreas terapéuticas diferentes, y en fases 2 (n
= 8), 3 (n = 10) y 4 (n = 6), incluían 22 estudios controlados, 17 de los cuales eran doble ciego, en 14 de los cuales
el grupo control recibía placebo. El porcentaje de solicitudes
aprobadas fue del 98% (183/187) y la CdD fue del 96%. De
los 62 CEIC, 35 formularon aclaraciones relativas al protocolo. Los CEIC que aprobaron los ensayos realizaron 189 aclaraciones sobre asuntos relacionados con los protocolos (incluyendo las de tipo administrativo), por lo que la tasa fue
de 1,03 aclaraciones/CEIC (189/183)12. En el estudio FOS,
la tasa fue de 1,15 aclaraciones por CEIC. Por tanto, parece
que el estudio FOS es adecuado como ejemplo para evaluar
la idoneidad del modelo matemático, por cuanto: a) el porcentaje de aprobación y la CdD fueron superiores entre los
ECM internacionales (el 98 y el 96%, respectivamente) que
en el estudio FOS (el 93 y el 87%, respectivamente), y b) la
tasa de aclaraciones, aun siendo similar en ambos estudios
(1,03 en los ensayos internacionales, 1,15 en el FOS), es ligeramente superior en el estudio FOS. En este estudio, la
homogeneidad en la decisión fue ligeramente menor y la
tasa de aclaraciones fue ligeramente mayor a las de los 24
338
Med Clin (Barc). 2005;125(9):335-40
ECM. Es decir, un estudio de diseño sencillo puede, y de
hecho así ocurrió, dar lugar a un mayor número de aclaraciones (un 11% más) que ensayos de diseño más complejo.
Con respecto al grado de concordancia en el proceso de
evaluación de la HIP por parte de los CEIC, hay que señalar
que, hasta donde sabemos, sólo hay otro estudio que de
forma descriptiva evaluó los cambios planteados por los
CEIC que evaluaron las HIP de 24 ECM13. En este estudio,
tan sólo el 15% de los CEIC requirieron cambios en la HIP,
porcentaje bastante inferior al de los que requirieron en el
mencionado estudio (36%)13. Esto se debe a que la mayoría
de los CEIC consideraron que en la HIP del estudio FOS los
elementos de información eran los adecuados y estaban correctamente escritos. Cabe argumentar, por tanto, que la
HIP de este estudio planteó menos cuestiones a los CEIC
que las HIP de los ECM internacionales de diseños más
complejos. La homogeneidad en la evaluación de la HIP por
parte de los CEIC se sitúa en este estudio en un 92%. Es
decir, un CEIC aceptará sin modificaciones o requerirá cambios en la HIP que coincidirán, en cuanto a los puntos afectados, con el 92% de los CEIC que evalúen la misma HIP.
Hay que tener en cuenta, sin embargo, que una de las
asunciones del modelo establece que sólo se considera una
modificación por punto y CEIC. Como se ha dicho en este
estudio, esta asunción redujo el número de modificaciones
de 19 a 15. Hay que tener esto presente si se usa este modelo matemático en una HIP que pudiera provocar en los
CEIC la solicitud de múltiples modificaciones por punto.
Para obviar el posible sesgo que esta asunción produce, y la
derivada de que la HIP del estudio FOS pudiera no plantear
demasiadas cuestiones a los CEIC, quizá lo más adecuado
es suponer que en el estudio FOS se hubiesen obtenido el
mismo número de modificaciones por CEIC que en los 24
ECM internacionales13; en este caso la concordancia hubiese sido del 87%, es decir, la homogeneidad entre CEIC seguiría siendo muy elevada.
El hecho de que en la HIP sólo se consideren un número
reducido de puntos, 7, puede hacer pensar al lector que es
más fácil obtener un alto grado de concordancia. Esto no es
así por cuanto a igual número de solicitudes de aclaraciones, si se aumenta el número de puntos a considerar, la
concordancia aumentaría en vez de disminuir.
Por último, hay que tener presente que cuando se piense
en la CdP de la evaluación de la HIP, y sea cual sea su resultado en casos concretos de ECM, la homogeneidad en la
evaluación de la HIP entre los CEIC de un ECM es de mucha menor relevancia que la CdD en la evaluación del protocolo. Así, es improbable que un ECM no se lleve a cabo
por discrepancias en el texto de la HIP. Si el protocolo se
aprueba, es lógico pensar que, en la inmensa mayoría de
los casos, los investigadores y el promotor llegarán a un
acuerdo con los CEIC sobre el texto definitivo de la HIP. En
todo caso, la elevada homogeneidad en la evaluación de la
HIP encontrada en este estudio (92%) no hace sino apuntar
en la misma dirección a la alta concordancia hallada en la
evaluación del protocolo, tanto en la decisión (87%) como
en el procedimiento (90%). Parece claro que lo que la bibliografía ya indicaba en cuanto a la alta homogeneidad en
la decisión de los CEIC (sólo se rechaza la aprobación en el
1-6% de los ensayos) ocurre también en lo referente a las
aclaraciones que éstos formulan a los investigadores y promotores de los ensayos. Los resultados de este trabajo permiten afirmar que los CEIC de nuestro país presentaron una
elevada homogeneidad en su forma de evaluar el protocolo
y la HIP de un ECM. Desde esta perspectiva, y con la normativa vigente, el hecho de elegir un CEIC u otro para que
actúe como CEIC de referencia carece de trascendencia.
30
Documento descargado de http://www.elsevier.es el 20/11/2016. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
DAL-RÉ R, ET AL. ENSAYOS CLÍNICOS MULTICÉNTRICOS: GRADO DE HOMOGENEIDAD EN LA REVISIÓN ÉTICO-CIENTÍFICA REALIZADA
POR LOS COMITÉS ÉTICOS DE INVESTIGACIÓN CLÍNICA
ANEXO 1
Modelo matemático de concordancia
La concordancia de decisión (CdD) se define como la probabilidad, expresada en porcentaje, de que 2 comités éticos de investigación clínica (CEIC) elegidos al azar coincidan en su dictamen.
CdD = [p2 + (1–p)2]*100,
siendo p la proporción de CEIC que aprueban el protocolo.
La concordancia de procedimiento (CdP) se refiere a la homogeneidad entre los CEIC acerca de las aclaraciones solicitadas sobre el protocolo y a las modificaciones solicitadas en la hoja de información para el paciente (HIP). Como se ha mencionado, cada una de las 6 secciones en las que se ha dividido el
protocolo (tabla 1) está conformada por los apartados y éstos por diferentes puntos. Los puntos son elementos unitarios en el protocolo susceptibles de solicitud de aclaraciones por los CEIC. Sobre las secciones del protocolo se calculan las CdP basadas en la petición de aclaraciones sobre sus puntos. Sobre los
7 puntos de la HIP (tabla 2) se calcula la CdP basada en la petición de modificaciones sobre los mismos. Para calcular la CdP se ha utilizado un modelo
matemático de concordancia modificado del de Sokal y Sneath21. La CdP entre 2 CEIC cualesquiera es una distancia, tipo modular, entre 0 y 1.
Así, la CdP entre dos CEIC, para una sección i del protocolo, expresada en tanto por uno, es
Ci = 1-(sumatorio de distancias en la sección/sumatorio de las distancias teóricas de la sección)
La CdP global entre 2 CEIC, para el global del protocolo, expresada en tanto por uno, es
C = 1-(sumatorio de distancias en el protocolo/sumatorio de las distancias teóricas del protocolo)
La definición de la distancia entre CEIC en el modelo para el cálculo de la CdP para el protocolo se recoge en la tabla A. Para obtener el valor de la concordancia entre todos los CEIC se deberán calcular todas las posibles distancias de los CEIC entre sí. La CdP entre todos los CEIC es el promedio de todas las
CdP entre todas las posibles parejas de CEIC participantes.
Las distancias y, por tanto, las concordancias están relacionadas con la proporción de puntos comunes donde se han solicitado o no aclaraciones (protocolo) o modificaciones (HIP). La máxima distancia teórica entre 2 CEIC es 1. La distancia mínima entre 2 CEIC es cero y se alcanza, entre otras situaciones,
cuando no se solicitan aclaraciones sobre ningún punto.
Interpretación de la concordancia
La CdP se puede interpretar como una medida de la homogeneidad en el procedimiento de evaluación –a partir de las aclaraciones formuladas al protocolo y
de las modificaciones solicitadas a la HIP– realizada por los CEIC. También se puede interpretar como una medida de representación de todos los CEIC por
uno cualquiera elegido al azar. Esta medida de representación también incluye la autorrepresentación del CEIC elegido. Las propiedades de los estimadores
de la concordancia se muestran en la tabla B. Hay que resaltar que las respuestas recibidas a las aclaraciones formuladas, su evaluación y decisión última por
parte del CEIC darán lugar a la aprobación o no del protocolo, relacionada con la CdD. Pero la CdP global es conceptualmente independiente de la CdD. Así,
un CEIC puede formular la misma aclaración que otro; ambos, lógicamente, recibir la misma respuesta y finalmente uno aprobar el protocolo y otro denegarlo.
Asunciones en el modelo matemático
Para poder poner en práctica el modelo matemático, se ha asumido lo siguiente:
1. En este estudio no se analiza el contenido sustantivo de las aclaraciones al protocolo ni de las modificaciones a la HIP. Por ello, a) cuando sobre un punto
2 CEIC solicitan aclaraciones o modificaciones, se asigna, arbitrariamente en este estudio, un factor de disimilitud, λ = 0,5. Esto implica que se asume que
las solicitudes de aclaraciones al protocolo (o modificaciones en la HIP) sobre un mismo punto son similares en un 50%. En el análisis de sensibilidad se estudia la influencia de este parámetro, y b) múltiples aclaraciones (o modificaciones) solicitadas por un mismo CEIC sobre un punto se consideran una única
aclaración (o modificación).
2. En este modelo, se consideran los CEIC que aprobaron el protocolo y también los que lo rechazaron. Para situar al modelo en la posición más conservadora en contra de la concordancia, el rechazo a aprobar el protocolo por un CEIC equivaldría a haber solicitado una aclaración en cada uno de los 32 puntos considerados. Es decir, en el modelo, un rechazo equivale a haber formulado 32 aclaraciones.
Análisis de sensibilidad
Como se ha comentado, en este estudio no se ha realizado un análisis cualitativo individualizado de las aclaraciones al protocolo ni de las modificaciones a
la HIP solicitadas. Cuando 2 CEIC han solicitado aclaraciones sobre un mismo punto, se ha decidido que el factor de disimilitud para ese punto sea de un
50% (λ = 0,5; tabla A). Ésta es una decisión razonable y asociada a un supuesto de máxima desinformación puesto que acepta el desconocimiento de si la
aclaración es la misma (disimilitud = 0%) o es diferente (disimilitud = 100%). Para situar al modelo en la situación más desfavorable para los resultados de
la CdP, se realizará un análisis de sensibilidad asumiendo la máxima disimilitud (λ = 1).
Validez externa
Se podría pensar que los resultados de concordancia son dependientes de las características de protocolo (p. ej., diseño, complejidad, innovación metodológica,
calidad y extensión). Por ello, en este trabajo, se realizará una simulación consistente en colocar al modelo en una situación extrema, como suponer que todos
los CEIC que no solicitaron aclaraciones formulan el mismo número y tipo de aclaraciones que los que realmente lo hicieron. De esta forma se podrá evaluar la
utilidad del modelo, sin que dependa exclusivamente de los datos reales obtenidos en la evaluación por parte de los CEIC de este ensayo en concreto.
TABLA A
Modelo matemático. Concordancia de procedimiento. Definición de la distancia entre comités éticos de investigación clínica (CEIC)
La distancia* entre 2 CEIC cualesquiera para una sección i del protocolo se define como:
di = (bi*λ + ci)/(ai + bi + ci)
donde ai: número de puntos comunes sin aclaraciones por los 2 CEIC; bi: número de puntos comunes en donde se han pedido aclaraciones por los dos
CEIC; ci: número de puntos en donde un CEIC ha pedido aclaraciones y el otro no; λ: factor de disimilitud de aclaraciones sobre el mismo punto; ai + bi +
ci: número de puntos de la sección i del protocolo.
Para el estudio FOS, la distancia entre 2 CEIC cualesquiera para el global del protocolo se define como:
d = (b*λ + c)/32
donde b: número de puntos comunes donde han pedido aclaración los 2 CEIC; c: número de puntos donde un centro ha pedido aclaraciones y el otro no; λ:
factor de disimilitud de aclaraciones. En este estudio, λ = 0,5.
*Casos prácticos del cálculo de la distancia para una sección. Estudio FOS
Por ejemplo, para una sección de 7 puntos (sección 2, «Diseño», tabla 1) y para λ = 0,5:
– La distancia para la sección entre 2 CEIC donde uno no ha solicitado aclaraciones y el otro ha solicitado aclaraciones en 3 puntos es d = 3/7 = 0,4285.
– Un CEIC ha solicitado aclaraciones en 2 puntos, y otro las ha solicitado en otros 2 puntos diferentes de los anteriores, y hay un punto adicional donde los 2
CEIC han solicitado aclaraciones. En este caso, d = (1 · 0,5 + [2 + 2])/7 = 0,6429.
– Dos CEIC rechazan aprobar el protocolo. Se procede como si se hubiesen presentado aclaraciones en todos los puntos; entonces b = 7; a = c = 0, y d = 0,5.
– La distancia entre 2 CEIC que no piden ninguna aclaración es: d = 0.
– Si 2 CEIC piden aclaraciones sobre puntos diferentes, y en todos los puntos se piden aclaraciones, se produce la máxima distancia; d = 1.
31
Med Clin (Barc). 2005;125(9):335-40
339
Documento descargado de http://www.elsevier.es el 20/11/2016. Copia para uso personal, se prohíbe la transmisión de este documento por cualquier medio o formato.
DAL-RÉ R, ET AL. ENSAYOS CLÍNICOS MULTICÉNTRICOS: GRADO DE HOMOGENEIDAD EN LA REVISIÓN ÉTICO-CIENTÍFICA REALIZADA
POR LOS COMITÉS ÉTICOS DE INVESTIGACIÓN CLÍNICA
TABLA B
Modelo matemático. Propiedades de los estimadores
de la concordancia
Eficiencia. Se consideran en el modelo todas las posibles relaciones
–distancias– entre parejas de CEIC, incluyendo las autocorrelaciones
(distancias con respecto al centro). Todos los casos están igualmente
ponderados.
Suficiencia. El dominio y la métrica de la CdD son los mismos que los de
la CdP global y los mismos que los de las CdP por secciones. Se
mantiene entre 0 y 1 y para todos los tamaños de muestra y para todos
los supuestos.
Interpretabilidad. Los índices de concordancia se pueden interpretar
como de sustituibilidad de todos los CEIC por uno de ellos al estar
fundamentados en proporciones de componentes iguales.
CEIC: comités éticos de investigación clínica; CdD: concordancia de decisión; CdP: concordancia de procedimiento.
Agradecimiento
Nuestro agradecimiento a Llorenç Badiella Busquets (Servei d’Estadística, Universitat Autònoma de Barcelona) y a Antonio Rial Boubeta (Departamento de Métodos y Técnicas de Investigación, Facultad Psicología, Universidad de Santiago de Compostela), por sus
críticas y sugerencias a una versión preliminar del manuscrito,
REFERENCIAS BIBLIOGRÁFICAS
1. Directiva 2001/20/CE del Parlamento Europeo y del Consejo de 4 de
abril de 2001, relativa a la aproximación de las disposiciones legales, reglamentarias y administrativas de los Estados miembros sobre la aplicación de buenas prácticas clínicas en la realización de ensayos clínicos
de medicamentos de uso humano. Diario Oficial de las Comunidades
Europeas, 1 de mayo 2001, L 121/34-44.
2. Who’s afraid of the European Clinical Trials Directive? [editorial] Lancet.
2003;361:2167.
3. Watson R. Research bodies lobby EU governments over trials legislation.
BMJ. 2003;327:1010.
4. Flavell DJ, Flavell SU, Sullivan R. European clinical trials directive: responses made to MHRA consultation letter MLX 287. Lancet.
2003;362:1415.
5. Woods K. Implementing the European clinical trials directive [editorial].
BMJ. 2004;328:240-1.
6. Real Decreto 223/2004, de 6 de febrero, por el que se regulan los ensayos clínicos con medicamentos. BOE, 7 de febrero de 2004.
7. Avendaño C, Casas A, Dal-Ré R, Gomis R, Gracia D, Moreno A, et al.
Comités éticos de investigación clínica y «dictamen único» en los ensayos clínicos multicéntricos. Med Clin (Barc). 2003;120:180-8.
8. Garfield P. Cross district comparison of applications to research ethics
committees. BMJ. 1995;311:660-1.
9. Watling MIL, Dewhurst JK. Current experience of central versus local ethics approval in multicentre studies. J Roy Coll Phys London.
1993;27:399-402.
10. Dal-Ré R, Espada J, Ortega R. Performance of research ethics committees in Spain. A prospective study of 100 applications for clinical trial
protocols on medicines. J Med Ethics. 1999;25:268-73.
11. Burman WJ, Reves RR, Cohn DL, Schooley RT. Breaking the camel’s
back: multicenter clinical trials and local institutional review boards. Ann
Intern Med. 2001;134:152-7.
12. Dal-Ré R, Ortega R, Morejón E. Multicentre trials review process by Research Ethics Committees in Spain: where do they stand before implementing the new European regulation. J Med Ethics. 2005;31:344-50.
340
Med Clin (Barc). 2005;125(9):335-40
13. Dal-Ré R, Morejón E, Ortega R. Nature and extent of changes in the patient´s information sheets of international multicentre clinical trials as requested by Spanish Research Ethics Committees. Med Clin (Barc).
2004;123:770-4.
14. Lynn J, Johnson J, Levine RJ. The ethical conduct of health services research: a case study of 55 institutions’ applications to the SUPPORT
project. Clin Res. 1994;42:3-10.
15. Stair TO, Reed CR, Radeos MS, Koski G, Camargo CA. Variation in institutional review board responses to a standard protocol for a multicenter
clinical trial. Acad Emerg Med. 2001;8:636-41.
16. Silverman H, Hull SC, Sugarman J. Variability among institutional review
boards’ decisions within the context of a multicenter trial. Crit Care Med.
2001;29:235-41.
17. Burman W, Breese P, Weis S, Bock N, Bernardo J, Vernon A, et al. The
effects of local review on informed consent documents from a multicenter clinical trials consortium. Control Clin Trials. 2003;24:245-55.
18. Sansone RA, McDonald S, Hanley P, Sellbom M, Gaither GA. The stipulations of one institutional review board: a five year review. J Med Ethics.
2004;30:308-10.
19. Kent G. Responses by four LCER to submitted protocols. J Med Ethics.
1999;25:274-7.
20. Real Decreto 561/1993, de 16 de abril, por el que se establecen los requisitos para la realización de ensayos clínicos con medicamentos. BOE,
13 de mayo de 1993.
21. Picón E, Varela J, Real E. Clasificación y segmentación post hoc mediante análisis de conglomerados. En: Levy JP, Valera J, editores. Análisis
multivariante para las ciencias sociales. Madrid: Educación, SA. Pearson
Prentice Hall; 2003. p. 419-50.
22. Huriet MC. Rapport d’information fait au nom de la commission des affaires sociales sur le fonctionnement des comités consultatifs de protection des personnes dans la recherche biomédicale. Sénat, session ordinaire de 2000-2001, n.o 267.
23. Boyce M. Observational study of 353 applications to London multicentre
research ethics committee 1997-2000. BMJ. 2002;325:1081.
24. Godfrey E, Wray E, Nicholson R. Another look at LREC annual reports.
Bull Med Ethics. 2001;171:13-21.
25. Pich J, Carné X, Arnaiz JA, Gomez B, Trilla A, Rodés J. Role of a research ethics committee in follow-up and publication of results. Lancet.
2003;361:1015-6.
26. Keinonen T, Nieminen S, Saareks V, Saano V, Ylitalo P. Acceptability
and profile of the clinical drug trials underway in Finnish university hospitlas in the 1990s: Applications reviewed by Ethics Committees. Meth
Find Exper Clin Pharmacol. 2001;23:415-23.
27. Ferrer P, Ferrer I, Solá R. Análisis de la actividad del CEIC del Hospital
Universitario de Bellvitge: 1997-2001. 18.o Congreso Nacional de la Sociedad Española de Farmacología Clínica. Pamplona, Octubre 2002.
Rev Med Univ Navarra 2002, n.o 45.
28. VEK-Arhus arsberetning (Informe anual del CEIC de Arhus, Dinamarca) [consultado 29/07/2004]. Disponible en: www.aaa.dk/aaa/index/serviceomraader/sundhed/sundhedsfagligt/sus-pris_forskning/komite-aarsberetninger.htm
29. Memorias anuales del Comité Ético de Investigación Clínica 2001, 2002,
2003. Hospital La Paz, Madrid. [Frías J, comunicación personal.]
30. Memorias anuales del Comité Ético de Investigación Clínica 2001, 2002,
2003. Hospital Clínico San Carlos, Madrid. [Moreno A, comunicación
personal.]
31. Memorias anuales del Comité Ético de Investigación Clínica 2001, 2002,
2003. Hospital Virgen del Rocío, Sevilla. [Saldaña M, comunicación personal.]
32. Memorias anuales del Comité Ético de Investigación Clínica 2001, 2002,
2003. Hospital Universitario Infanta Cristina, Badajoz. [Benítez J, comunicación personal.]
33. Iñigo J, Galende I, Cantero M, Gómez M, Gómez E. Actividad y funcionamiento del Comité de Ética en Investigación Clínica, Regional de la Comunidad de Madrid en el período 2002-2003. Actas del XIX Congreso
de la Sociedad Española de Farmacología Clínica; 2004, octubre; Santander. Libro de Resúmenes, I. 32. p. 19.
34. De regionale komiteer for medijinsk forskningsetikk (REK) [consultado
8/09/2004]. Disponible en: www.etikkom.no/REK/omRek
35. Centrale Commissie Mennsgebonden Onderzoek [consultado 8//08/2004].
Disponible en www.ccmo.nl
32