lx congreso chileno de anestesiología Herramienta de evaluación de procedimientos: Validación y determinación de sus propiedades psicométricas en la realidad anestésica chilena Delfino Alejandro1, Altermatt Fernando1, Corvetto Marcia1, Echevarria Ghislaine1 División de Anestesiología, Pontificia Uniersidad Católica de Chile. 1 Introducción: La evaluación de performance ha aumentado en los últimos años. Diversas herramientas, que genéricamente reciben el nombre de Evaluación en Sitio de Trabajo, han sido desarrolladas. Dentro de ellas, destaca la herramienta Observación Directa de Procedimientos (ODP), de probada validez y confiabilidad en realidades foráneas1, no aplicada en nuestro medio. Objetivo General: Los objetivos de éste estudio fueron crear una versión modificada de ODP adaptada al contexto anestésico chileno y establecer sus propiedades psicométricas. Material y Métodos: Desarrollo del instrumento Para lograr consenso sobre la estructura y contenido de la nueva ODP, una serie de entrevistas y una encuesta de consenso fue realizada. El objetivo de las entrevistas fue identificar que dominios del ODP original debían ser incluidos en la versión Chilena, procedimiento efectuado hasta alcanzar saturación. Para validar el prototipo resultante del proceso anterior, una encuesta de consenso fue efectuada, calculándose el Índice de Validez Contextual (CVI) y coeficiente Kappa. Para ser incluidos en la versión final, estos debían ser mayores a 0,78 y 0,60, respectivamente Aplicación del instrumento Empleando una modificación de los criterios de Mulcaster2, las intubaciones desarrolladas por los residentes de anestesia fueron evaluadas durante 4 meses, una vez al día, dos veces por semana. La determinación de confiabilidad y consistencia interna del nuevo ODP fue establecida mediante teoría de la generalización. Una encuesta de satisfacción fue enviada a todos los participantes. Resultados: La entrevista sugirió un ODP con 12 Rev Chil Anest 2012; 41: 209-218 dominios, todos los cuales fueron incluidos en la versión final ya que los valores individuales de CVI y del coeficiente kappa estuvieron sobre 0,9 y 0,8, respectivamente. En relación al CVI para la escala global, estos fueron 0.83 y 0.98, empleando la definición universal y promedio, respectivamente. 585 procedimientos fueron evaluados. El coeficiente de generalización fue 0,9, con un Philambda de 0,96. La intubación efectuada por los residentes debe ser evaluada con ODP al menos 6 veces para obtener un coeficiente de generalización de 0,8. Sobre el 70% de los staff considera DOPS como una herramienta útil, mientras que el 80% de los residentes la incorporaría para evaluar otros procedimientos. Ambos estamentos consideran el feedback como la principal debilidad. Conclusiones: El ODP modificado es una herramienta válida, confiable y práctica para evaluar procedimientos en el contexto anestésico Chileno, permitiendo esto potencialmente mejorar la calidad de la instrucción efectuada. El elevado coeficiente de generalización alcanzado permite poder emplear el instrumento con objetos de evaluaciones sumativas. Mayores esfuerzos se requieren para mejorar la capacidad de feedback de los staff con objeto de obtener los máximos beneficios de la herramienta. Referencias 1. Wragg A, Wade W, Fuller G, Cowan G, Mills P. Assessing the performance of specialist registrars. Clin Med. 2003; 3(2): 131-134. 2. Mulcaster JT, Mills J, Hung OR, MacQuarrie K, Law JA, Pytka S, et al. Laryngoscopic intubation: learning and performance. Anesthesiology. 2003; 98(1): 23-27. 211