ÉTICA Y GOBERNANZA DE LA INTELIGENCIA ARTIFICIAL EN EL ÁMBITO DE LA SALUD RESUMEN ÉTICA Y GOBERNANZA DE LA INTELIGENCIA ARTIFICIAL EN EL ÁMBITO DE LA SALUD ORIENTACIONES DE LA OMS 1 ÉTICA Y GOBERNANZA DE LA INTELIGENCIA ARTIFICIAL EN EL ÁMBITO DE LA SALUD RESUMEN Ética y gobernanza de la inteligencia artificial en el ámbito de la salud: orientaciones de la OMS. Resumen [Ethics and governance of artificial intelligence for health: WHO guidance. Executive summary] ISBN 978-92-4-003744-1 (versión electrónica) ISBN 978-92-4-003745-8 (versión impresa) © Organización Mundial de la Salud 2021 Algunos derechos reservados. Esta obra está disponible en virtud de la licencia 3.0 OIG ReconocimientoNoComercial-CompartirIgual de Creative Commons (CC BY-NC-SA 3.0 IGO; https://creativecommons.org/licenses/ by-nc-sa/3.0/igo/deed.es). Con arreglo a las condiciones de la licencia, se permite copiar, redistribuir y adaptar la obra para fines no comerciales, siempre que se cite correctamente, como se indica a continuación. En ningún uso que se haga de esta obra debe darse a entender que la OMS refrenda una organización, productos o servicios específicos. No está permitido utilizar el logotipo de la OMS. En caso de adaptación, debe concederse a la obra resultante la misma licencia o una licencia equivalente de Creative Commons. Si la obra se traduce, debe añadirse la siguiente nota de descargo junto con la forma de cita propuesta: «La presente traducción no es obra de la Organización Mundial de la Salud (OMS). La OMS no se hace responsable del contenido ni de la exactitud de la traducción. La edición original en inglés será el texto auténtico y vinculante». Toda mediación relativa a las controversias que se deriven con respecto a la licencia se llevará a cabo de conformidad con el Reglamento de Mediación de la Organización Mundial de la Propiedad Intelectual (https://www.wipo.int/amc/es/mediation/rules). Forma de cita propuesta. Ética y gobernanza de la inteligencia artificial en el ámbito de la salud: orientaciones de la OMS. Resumen [Ethics and governance of artificial intelligence for health: WHO guidance. Executive summary]. Ginebra: Organización Mundial de la Salud; 2021. Licencia: CC BY-NC-SA 3.0 IGO. Catalogación (CIP). Puede consultarse en http://apps.who.int/iris. Ventas, derechos y licencias. Para comprar publicaciones de la OMS, véase http://apps.who.int/bookorders. Para presentar solicitudes de uso comercial y consultas sobre derechos y licencias, véase https://www.who.int/es/about/ policies/publishing-policies/copyright. Materiales de terceros. Si se desea reutilizar material contenido en esta obra que sea propiedad de terceros, por ejemplo cuadros, figuras o imágenes, corresponde al usuario determinar si se necesita autorización para tal reutilización y obtener la autorización del titular del derecho de autor. Recae exclusivamente sobre el usuario el riesgo de que se deriven reclamaciones de la infracción de los derechos de uso de un elemento que sea propiedad de terceros. Notas de descargo generales. Las denominaciones empleadas en esta publicación y la forma en que aparecen presentados los datos que contiene no implican, por parte de la OMS, juicio alguno sobre la condición jurídica de países, territorios, ciudades o zonas, o de sus autoridades, ni respecto del trazado de sus fronteras o límites. Las líneas discontinuas en los mapas representan de manera aproximada fronteras respecto de las cuales puede que no haya pleno acuerdo. La mención de determinadas sociedades mercantiles o de nombres comerciales de ciertos productos no implica que la OMS los apruebe o recomiende con preferencia a otros análogos. Salvo error u omisión, las denominaciones de productos patentados llevan letra inicial mayúscula. La OMS ha adoptado todas las precauciones razonables para verificar la información que figura en la presente publicación, no obstante lo cual, el material publicado se distribuye sin garantía de ningún tipo, ni explícita ni implícita. El lector es responsable de la interpretación y el uso que haga de ese material, y en ningún caso la OMS podrá ser considerada responsable de daño alguno causado por su utilización. ii 2 ÉTICA Y GOBERNANZA DE LA INTELIGENCIA ARTIFICIAL EN EL ÁMBITO DE LA SALUD RESUMEN RESUMEN La inteligencia artificial (IA) se refiere a la capacidad de algoritmos codificados en medios tecnológicos de aprender de los datos con el fin de realizar tareas automatizadas sin necesidad de que una persona programe explícitamente cada paso del proceso. La OMS reconoce que la IA es muy prometedora para la práctica de la salud pública y la medicina. La OMS también reconoce que, a fin de aprovechar plenamente los beneficios de la IA, es preciso abordar los problemas éticos que conlleva para los sistemas de atención de la salud, los profesionales sanitarios y los beneficiarios de los servicios médicos y de salud pública. Muchas de las preocupaciones éticas descritas en este informe son anteriores a la llegada de la IA, aunque la propia IA presenta una serie de nuevas inquietudes. El hecho de que la IA pueda favorecer los intereses de los pacientes y las comunidades dependerá de un empeño colectivo en diseñar e implementar leyes y políticas éticamente defendibles y tecnologías de IA cuyo diseño tenga en cuenta los principios éticos. También se presentan posibles consecuencias negativas graves si quienes financien, diseñen, regulen o utilicen las tecnologías de IA en el ámbito de la salud no otorgan prioridad a esos principios y a las obligaciones en materia de derechos humanos. Por lo tanto, las oportunidades y los desafíos de la IA están inextricablemente vinculados. La IA puede aumentar la capacidad de los proveedores de atención de la salud para mejorar la atención al paciente, proporcionar diagnósticos precisos, optimizar los planes de tratamiento, apoyar la preparación y respuesta frente a las pandemias, fundamentar las decisiones de las instancias normativas en la esfera de la salud o asignar recursos en el marco de los sistemas de salud. Para liberar ese potencial, el personal sanitario y los sistemas de salud deben contar con información detallada sobre los contextos en los que dichos sistemas pueden funcionar de manera segura y eficaz, las condiciones necesarias para asegurar un uso fiable y apropiado, y los mecanismos para la auditoría y evaluación continuas del rendimiento de cada sistema. Los trabajadores de la salud y los sistemas sanitarios deben tener acceso a la educación y la formación para poder utilizar y mantener estos sistemas en condiciones que permitan un uso seguro y eficaz. La IA también puede empoderar a los pacientes y las comunidades para que asuman el control sobre su propia atención médica y comprendan mejor unas necesidades que evolucionan. Para lograrlo, los pacientes y las comunidades deben tener la seguridad de que sus derechos e intereses no estarán subordinados a los poderosos intereses comerciales de las empresas tecnológicas ni al interés de los gobiernos en iii 3 ÉTICA Y GOBERNANZA DE LA INTELIGENCIA ARTIFICIAL EN EL ÁMBITO DE LA SALUD RESUMEN la vigilancia y el control social. También es preciso que el potencial de la IA de detectar riesgos para la salud de los pacientes o la comunidad se incorpore en los sistemas de salud de una manera que promueva la autonomía y la dignidad humanas y no desplace a las personas del centro de la toma de decisiones en el ámbito de la salud. La IA puede permitir que los países con escasos recursos, donde los pacientes suelen tener un acceso restringido al personal o los profesionales de la salud, superen las diferencias en el acceso a los servicios de salud. Los sistemas de IA deben diseñarse cuidadosamente a fin de reflejar la diversidad de entornos socioeconómicos y asistenciales, y deben ir acompañados de capacitación en aptitudes digitales, la implicación comunitaria y la concienciación. Los sistemas que están basados principalmente en datos de personas de países de ingresos altos pueden no ser de gran utilidad para las personas en entornos de ingresos bajos y medianos. Por lo tanto, las inversiones de los países en IA y la infraestructura de apoyo deberían contribuir al establecimiento de sistemas de atención de la salud eficaces, evitando la IA que codifique sesgos que impidan la prestación de servicios de salud y el acceso a estos de forma equitativa. Este documento de orientación, elaborado conjuntamente por la Unidad de Ética y Gobernanza en el Ámbito de la Salud, dependiente del Departamento de Investigación para la Salud, y el Departamento de Salud Digital e Innovación, se basa en las opiniones colectivas de un Grupo de Expertos de la OMS sobre Ética y Gobernanza de la Inteligencia Artificial en el Ámbito de la Salud, integrado por 20 expertos en salud pública, medicina, derecho, derechos humanos, tecnología y ética. El grupo analizó numerosas oportunidades y desafíos en relación con la IA y recomendó políticas, principios y prácticas para el uso ético de la IA en dicho ámbito, así como los medios para evitar su uso indebido con el fin de socavar los derechos humanos y las obligaciones legales. La IA en el ámbito de la salud se ha visto afectada por la pandemia de COVID-19. Aunque la pandemia no es un tema central de este informe, ha ilustrado las oportunidades y los desafíos asociados a la IA en ese ámbito. Se han desarrollado numerosas aplicaciones nuevas para responder a la pandemia, mientras que otras han resultado ineficaces. Varias aplicaciones han planteado preocupaciones éticas en relación con la vigilancia, la violación de los derechos de privacidad y autonomía, la salud y la desigualdad social, y las condiciones necesarias para la confianza y los usos legítimos de las aplicaciones que emplean un gran volumen de datos. Durante sus deliberaciones sobre este informe, los miembros del Grupo de Expertos prepararon las orientaciones provisionales de la OMS sobre el uso de las aplicaciones de rastreo de proximidad para el seguimiento de los contactos con COVID-19. iv 4 ÉTICA Y GOBERNANZA DE LA INTELIGENCIA ARTIFICIAL EN EL ÁMBITO DE LA SALUD RESUMEN Principios éticos fundamentales para la utilización de la IA en el ámbito de la salud El presente informe respalda un conjunto de principios éticos fundamentales. La OMS espera que estos principios se utilicen como base para que los gobiernos, los desarrolladores de tecnologías, las empresas, la sociedad civil y las organizaciones intergubernamentales adopten enfoques éticos para el uso adecuado de la IA en el ámbito de la salud. Los seis principios se resumen a continuación y se explican en profundidad en la sección 5. Proteger la autonomía humana: La utilización de la IA puede conducir a situaciones en las que la facultad de adoptar decisiones podría transferirse a las máquinas. El principio de autonomía requiere que el empleo de la IA u otros sistemas informáticos no socave la autonomía humana. En el contexto de la atención de la salud, esto significa que las personas deben mantener el control sobre los sistemas de atención de la salud y las decisiones médicas. El respeto de la autonomía humana también conlleva deberes conexos a fin de que los proveedores cuenten con la información necesaria para hacer un uso seguro y eficaz de los sistemas de IA y de que las personas entiendan el papel de dichos sistemas en la atención de la salud. También requiere la protección de la privacidad y la confidencialidad, así como la obtención de un consentimiento informado válido mediante marcos jurídicos adecuados para la protección de datos. Promover el bienestar y la seguridad de las personas y el interés público. Las tecnologías de IA no deben perjudicar a las personas. Los diseñadores de tecnologías de IA deberían cumplir las prescripciones normativas en materia de seguridad, precisión y eficacia para indicaciones o usos bien definidos. Es preciso establecer medidas de control de la calidad en la práctica y de mejora de la calidad en la utilización de la IA a lo largo del tiempo. La prevención de daños requiere que la IA no ocasione perjuicios mentales o físicos que podrían evitarse mediante el uso de otras prácticas o enfoques alternativos. Garantizar la transparencia, la claridad y la inteligibilidad. Las tecnologías de IA deben ser inteligibles o comprensibles para los desarrolladores, profesionales de la salud, pacientes, usuarios y reguladores. Dos enfoques generales para la inteligibilidad consisten en mejorar la transparencia de la tecnología de IA y hacer que esta sea explicable. La transparencia requiere que se publique o documente información suficiente antes del diseño o despliegue de una tecnología de IA, y que dicha información facilite consultas y debates públicos significativos sobre la manera de diseñar la tecnología y sobre cómo debe o no debe utilizarse. Las tecnologías de IA deben ser explicables conforme a la capacidad de las personas a quienes se dirige esa explicación. 5 v ÉTICA Y GOBERNANZA DE LA INTELIGENCIA ARTIFICIAL EN EL ÁMBITO DE LA SALUD RESUMEN Promover la responsabilidad y la rendición de cuentas. Las personas necesitan una especificación clara y transparente de las tareas que los sistemas pueden realizar y las condiciones en las que pueden alcanzar el rendimiento deseado. Aunque las tecnologías de IA realizan tareas específicas, incumbe a las partes interesadas velar por que esas tareas puedan llevarse a cabo y por que personas debidamente capacitadas utilicen la IA en condiciones adecuadas. La responsabilidad puede asegurarse mediante la aplicación de la «garantía humana», que implica la evaluación por parte de los pacientes y los médicos en el desarrollo y despliegue de las tecnologías de IA. La garantía humana requiere la aplicación de los principios regulatorios en toda la extensión del algoritmo mediante el establecimiento de puntos de supervisión humana. Si surgen problemas con una tecnología de IA, se precisa la rendición de cuentas. Debe disponerse de mecanismos apropiados para la investigación y la reparación en beneficio de las personas y los grupos que se vean afectados negativamente por decisiones basadas en algoritmos. Garantizar la inclusividad y la equidad. La inclusividad requiere que la IA aplicada a la salud se conciba de manera que aliente la utilización y el acceso equitativos, amplios y apropiados en la mayor medida de lo posible, con independencia de la edad, el sexo, el género, los ingresos, la raza, el origen étnico, la orientación sexual, la capacidad u otras características amparadas por los códigos de derechos humanos. Las tecnologías de IA, como cualquier otra tecnología, deben compartirse en la mayor medida de lo posible, y deben estar disponibles no solo para cubrir las necesidades en los entornos de ingresos altos, sino también teniendo en cuenta los contextos, las capacidades y la diversidad de los países de ingresos medianos y bajos (PIMB). Las tecnologías de IA no deben codificar sesgos en detrimento de grupos identificables, especialmente si ya están marginados. El sesgo es una amenaza para la inclusividad y la equidad, ya que puede dar lugar a una desviación, a menudo arbitraria, en la igualdad de trato. Las tecnologías de IA deben minimizar las inevitables disparidades de poder que se producen entre los proveedores y los pacientes, entre las instancias normativas y las personas, y entre las empresas y los gobiernos que crean e implementan tecnologías de IA y quienes las utilizan o dependen de ellas. Las herramientas y los sistemas de IA deben ser objeto de vigilancia y evaluación para identificar efectos desproporcionados en grupos específicos de personas. Ninguna tecnología, sea de IA o de otro tipo, debe apoyar o empeorar las formas existentes de sesgo y discriminación. Promover una IA con capacidad de respuesta y sostenible. La capacidad de respuesta requiere que los diseñadores, desarrolladores y usuarios evalúen de forma continua, sistemática y transparente las aplicaciones de IA en situación real. Deben determinar si la IA responde de manera adecuada y apropiada y de acuerdo con vi 6 ÉTICA Y GOBERNANZA DE LA INTELIGENCIA ARTIFICIAL EN EL ÁMBITO DE LA SALUD RESUMEN las expectativas y los requisitos legítimos que se hayan comunicado. La capacidad de respuesta también requiere que las tecnologías de IA sean coherentes con una promoción más amplia de la sostenibilidad de los sistemas, los entornos y los lugares de trabajo en el ámbito de la salud. Los sistemas de IA deben diseñarse de modo que se reduzcan al mínimo los efectos ambientales y aumente la eficiencia energética. Es decir, la utilización de la IA debe ser coherente con las iniciativas mundiales para reducir el impacto humano en el medio ambiente, los ecosistemas y el clima terrestres. La sostenibilidad también requiere que los gobiernos y las empresas hagan frente a las perturbaciones previstas en los lugares de trabajo, en particular mediante la capacitación del personal de salud para que se familiarice con el uso de los sistemas de IA, así como a las posibles pérdidas de empleos a causa de la utilización de sistemas automatizados. Reseña del informe El presente informe se divide en nueve secciones y un anexo. En la sección 1 se explican las razones que justifican la implicación de la OMS en este tema y se especifican los destinatarios de las conclusiones, los análisis y las recomendaciones del informe. En las secciones 2 y 3 se define la IA en el ámbito de la salud a través de sus métodos y aplicaciones. La sección 2 proporciona una definición no técnica de IA, que incluye varias formas de aprendizaje automático como un subconjunto de técnicas de IA. También define los «macrodatos», incluidas las fuentes de datos que incluyen macrodatos biomédicos o de salud. La Sección 3 proporciona una clasificación no exhaustiva y ejemplos de tecnologías de IA en el ámbito de la salud, lo que incluye las aplicaciones utilizadas en los PIMB, en particular para la medicina, las investigaciones sanitarias, el desarrollo de medicamentos, la gestión y planificación de los sistemas de salud y la vigilancia de la salud pública, entre otras. La Sección 4 resume las leyes, las políticas y los principios que se aplican o podrían aplicarse a la utilización de la IA en el ámbito de la salud. Esto incluyen las obligaciones en materia de derechos humanos aplicables a la IA, el papel de las leyes y los marcos de protección de datos y otras leyes y políticas relativas a los datos de salud. En esta sección se describen varios marcos que recomiendan principios éticos para la utilización de la IA en el ámbito de la salud, así como el papel que juegan la bioética, el derecho, las políticas públicas y los marcos regulatorios como fuentes de normas éticas. En la sección 5 se describen los seis principios éticos que el Grupo de Expertos identificó como fundamentales para el desarrollo y la utilización de la IA en el ámbito de la salud. En la sección 6 se presentan los problemas éticos identificados y examinados por el Grupo de Expertos a los que se pueden aplicar estos principios éticos rectores, a saber: si debe utilizarse la IA; la IA y la brecha digital; la reunión y utilización de los datos; la rendición de cuentas y la responsabilidad vii 7 ÉTICA Y GOBERNANZA DE LA INTELIGENCIA ARTIFICIAL EN EL ÁMBITO DE LA SALUD RESUMEN en la adopción de decisiones mediante IA; la adopción de decisiones autónoma; el sesgo y la discriminación asociados a la IA; los riesgos de la IA para la seguridad y la ciberseguridad; los efectos de la IA en el trabajo y el empleo en el sector de la atención de la salud; las dificultades respecto de la comercialización de la IA en el ámbito de la atención de la salud; y la IA y el cambio climático. En las secciones finales del informe se identifican medidas jurídicas, reglamentarias y no jurídicas para promover el uso ético de la IA en el ámbito de la salud, incluidos marcos de gobernanza adecuados. Asimismo, se proporcionan recomendaciones al respecto. En la sección 7 se examina la forma en que las diversas partes interesadas pueden introducir prácticas, medidas y programas éticos a fin de anticipar o cumplir las normas éticas y las obligaciones jurídicas. Esto incluyen el diseño ético y transparente de las tecnologías de IA; los mecanismos de participación y el papel del público, y la demostración de fiabilidad con los proveedores y los pacientes; la evaluación del impacto; y un programa de investigación para el uso ético de la IA en la atención de la salud. En la sección 8 se examina la manera en que pueden evolucionar los regímenes de responsabilidad con la creciente utilización de la IA en el ámbito de la atención de la salud. Incluye una explicación de cómo se podría asignar la responsabilidad a los proveedores de atención de salud, los proveedores de tecnologías y los sistemas de atención médica u hospitales que elijan una tecnología de IA determinada, y el modo en que las normas sobre la responsabilidad podrían influir en la manera en que los profesionales utilizan la IA. En esta sección también se examina si los algoritmos de aprendizaje automático son productos, cómo indemnizar a las personas perjudicadas por las tecnologías de IA, el papel que juegan los organismos reguladores y los aspectos específicos de estas tecnologías para los PIMB. En la sección 9 se presentan los elementos de un marco de gobernanza para la IA en el ámbito de la salud. La «gobernanza en el ámbito de la salud» se refiere a una serie de funciones que permiten a los gobiernos y otras instancias decisorias, incluidos los organismos internacionales en la esfera de la salud, dirigir y adoptar normas con el fin de lograr objetivos en sus políticas nacionales de salud que favorezcan la cobertura sanitaria universal. En la sección se analizan varios marcos de gobernanza que se están elaborando o ya están preparados. Los marcos examinados son los siguientes: gobernanza de los datos, control y participación en los beneficios, gobernanza del sector privado, gobernanza del sector público, consideraciones en materia de reglamentación, papel de un observatorio de políticas y legislación modelo, y gobernanza global de la IA. Por último, el informe proporciona consejos prácticos sobre la aplicación de las orientaciones de la OMS a tres grupos de partes interesadas, a saber, los viii 8 ÉTICA Y GOBERNANZA DE LA INTELIGENCIA ARTIFICIAL EN EL ÁMBITO DE LA SALUD RESUMEN desarrolladores de tecnologías de IA, los ministerios de salud y los proveedores de atención de la salud. Estas consideraciones solo tienen por finalidad ser un punto de partida para la adopción de decisiones y los debates específicos en el contexto particular de las partes interesadas en cuestión. Si bien los principales destinatarios de este documento de orientación son los ministerios de salud, también está dirigido a otros organismos gubernamentales, los ministerios que regularán la IA, los usuarios de tecnologías de IA en el ámbito de la salud, y entidades que diseñan y financian tecnologías de IA en ese ámbito. La aplicación de estas orientaciones requerirá una acción colectiva. Las empresas y los gobiernos deben introducir las tecnologías de IA únicamente para mejorar la condición humana, y no para objetivos tales como la vigilancia injustificada o el aumento de las ventas de bienes y servicios comerciales no vinculados. Los proveedores deben exigir tecnologías apropiadas y utilizarlas para maximizar tanto las promesas de la IA como los conocimientos especializados de los médicos. Los pacientes, las organizaciones comunitarias y la sociedad civil deben ser capaces de hacer que los gobiernos y las empresas rindan cuentas, participen en el diseño de las tecnologías y las normas, desarrollen nuevas normas y enfoques, y exijan y busquen transparencia con el fin de satisfacer sus propias necesidades, así como las de sus comunidades y sistemas de salud. La IA en el ámbito de la salud evoluciona y cambia deprisa, y se crearán muchas aplicaciones, aún no previstas, mediante inversiones públicas y privadas cada vez más cuantiosas. Es posible que la OMS considere la posibilidad de publicar orientaciones específicas para herramientas y aplicaciones adicionales, y que las actualice periódicamente a fin de seguir el ritmo de este ámbito que cambia con rapidez. ix 9 ÉTICA Y GOBERNANZA DE LA INTELIGENCIA ARTIFICIAL EN EL ÁMBITO DE LA SALUD Unidad de Ética y Gobernanza de la Salud Departamento de Investigaciones en pro de la Salud Departamento de Salud Digital e Innovación División del Director Científico World Health Organization Avenue Appia 20 1121 Geneva 27 Switzerland 10
