¿Cuál es el desempeño de los algoritmos de machine learning para identificar o predecir infección de sitio operatorio?

Una revisión sistemática sobre modelos de diagnóstico y predicción de infección de sitio operatorio usando herramientas de machine learning mostró un rendimiento aceptable. Sin embargo, estas herramientas carecen de validación externa y evidencia experimental de impacto clínico. Por tanto, antes de recomendar su implementación clínica se requiere consolidar un modelo de ML, incluyendo la gestión de fuentes de información y la evaluación de diferentes metodologías para avanzar en su validación.

Otros mensajes clave:

• La capacidad de clasificación de los algoritmos fue alta (área bajo la curva ROC ≥90%) independiente del tipo de datos y técnicas empleadas y la intencionalidad (diagnóstica versus predictiva).
• El rendimiento de los algoritmos de ML es mayor en su capacidad diagnóstica con relación a la predictiva.

Es importante saber lo que no se conoce:

• Se desconoce el impacto de la aplicación de los algoritmos en la práctica clínica diaria.
• Se desconoce la replicabilidad de los resultados de los modelos de ML fuera de los estudios, por falta de validación externa.

Antecedentes

Las infecciones de sitio operatorio (ISO) son complicaciones asociadas al cuidado de la salud derivadas de procedimientos quirúrgicos. Estos eventos ocurren hasta 30 días después de la cirugía (o hasta un año después en pacientes con implantes) y afectan la incisión, los tejidos profundos en el sitio de la operación o incluso órganos o espacios corporales (1). En la última década la incidencia global combinada acumulada de ISO (30 días del posoperatorio) en cirugía general fue de 11% (IC95% 10-13% I²= 99.7%) (2).

Se estima que las ISO están relacionadas con el 38% de las muertes en los pacientes que se identifica este evento; además, para 2017 representaron costos en la atención entre USD $174 y $34.000 (3). Así, la identificación de las ISO es esencial para el control y prevención de esta condición, no solo por la carga que la enfermedad representa para el paciente y los cuidadores, sino también por la carga a los sistemas de salud (4).

De acuerdo con los protocolos de vigilancia de ISO (5), el diagnóstico de estos casos puede hacerse por seguimiento activo y sistemático de pacientes, búsqueda rutinaria luego del reporte de algún signo de alarma en la historia clínica, o métodos de vigilancia post egreso (con la limitante de que no suceden en tiempo real). En todos los casos se requiere de entrenamiento del personal de salud para garantizar un registro exhaustivo (6). Algunas barreras para alcanzar un cubrimiento completo son la sobrecarga de los profesionales, la falta de estandarización de la definición y la forma de reporte, el registro incompleto de datos en las historias clínicas y una cultura organizacional que penalice, más que estimule, el reporte (7).

Los sistemas de vigilancia epidemiológica que se basan en registros administrativos, como los códigos CIE-10, tienen baja precisión en la estimación de estadísticas poblacionales (8–10), para ser depurados requieren alta inversión de recurso humano y tiempo (11).

La inteligencia artificial (IA) se define, desde una perspectiva amplia, como una tecnología que permite la imitación de las máquinas a diversas habilidades humanas complejas (12). Dentro del espectro de herramientas de IA, el Machine Learning (ML) puede proporcionar información sobre conjuntos grandes y complejos de datos en tiempo real lo que en este caso permite una identificación rápida y precisa de las tendencias de ISO y la detección de posibles brotes en curso (13).

Este Recado resume las capacidades operativas de los modelos de ML en la identificación y predicción de ISO dado su potencial impacto en la mejora de los resultados clínicos y la gestión de la atención en salud.

Información en la que se basa este Recado

La estrategia de búsqueda incluyó los términos “Surgical Wound Infection”, “Surgical Site Infection”, “Algorithms”, “Machine Learning”, “Artificial Intelligence”, “Natural Language Processing”, “Data Mining”, “Text Mining” y el filtro para revisiones sistemáticas (14) (Anexo 1, 2 y 3). Se construyó la estrategia para Medline/Pubmed y se adaptó para Embase, IEEE xplore. Se recuperaron 2 referencias relevantes (15,16) y se seleccionó la RS de Wu et al. (2022)(15) por su rigor metodológico.

Esta RS incluyó 47 estudios (32 para síntesis cualitativa y 15 para análisis cuantitativo) realizados principalmente en Asía, Europa y América, siendo la mayoría de los Estados Unidos. Los algoritmos  fueron hechos a partir de datos textuales (9%), estructurados (43%) y mixtos (48%).

Para combinar la sensibilidad y especificidad de los diferentes estudios se presenta una curva de características operativas del receptor resumida (SROC por sus siglas en inglés) y la heterogeneidad se exploró con un modelo jerárquico de SROC (HSROC por sus siglas en inglés). Se graficó la razón de verosimilitud (Likelihood ratio – LR) para mostrar las aplicaciones potenciales de los algoritmos desarrollados. Los resultados informan medianas, rango intercuartílico (RIC) y área bajo la curva ROC.

En relación con el riesgo de sesgo de los estudios que nutrieron la RS, sus autores emplearon la herramienta QUADAS-2, concluyendo sobre los 32 artículos, que no se describió el proceso detallado de selección de pacientes en cuatro de ellos y nueve no especificaron claramente el estándar de referencia utilizado para la validación de algoritmos. Estos autores concluyeron baja probabilidad de sesgo de publicación.

Resultados

Los principales hallazgos de la RS fueron:

• El 53% de los artículos reportaron ISO a 30 días del posoperatorio con una incidencia de 6.076 eventos en 165.717 procedimientos quirúrgicos (3.7%, IC95% 6-3.8%).
• La distribución de los eventos a partir de cinco estudios fue de ISO incisional superficial (42.9%), ISO órgano/espacio (40%), e ISO incisional profunda (17.1%).
• Las intervenciones predominantes fueron mixtas (17.3%), colorrectales (5.2%) y gastrointestinales (5.2%).
• Se incluyeron seis artículos en población adulta, cuatro en pediátrica y veintiuno no especificaron la edad.

Se recuperaron 108 algoritmos de aprendizaje automático de los estudios (36 de modelos de detección y 72 de modelos de predicción), estos se desarrollaron utilizando regresión logística y su variante (31.3%), bosque aleatorio (13.1%), árbol de decisión (8.7%), máquinas de soporte vectorial (8.7%), y red bayesiana (7.6%). Los patrones de referencia utilizados incluyeron programas de vigilancia epidemiológica nacionales (8.2%), revisión de historias clínicas (8.2%) y programas de supervisión hospitalaria (5.2%).

La tabla 1 resume los principales resultados del análisis por subgrupos, para cada modelo (detección/predicción) y tipo de fuente de dato utilizado (textual, estructurado, mixto). Los modelos  de detección muestran mejores resultados de desempeño que los de predicción. La sensibilidad combinada se incrementa cuando se agregan los resultados provenientes de datos estructurados y de texto.

La tabla 2 resume los resultados por tipo de modelo de ML. Las mejores métricas de rendimiento diagnóstico y de clasificación fueron obtenidas a partir de modelos de regresión logística y variante.

El estimado agregado de los índices de LR+ y LR- indican que la prueba diagnostica tiene alta eficacia para identificar las ISO, demostrando tanto alta sensibilidad como especificidad (Figura 1)

Información sobre la evidencia que soporta este Recado

Luego de aplicar la herramienta AMSTAR-2 para RS (17) (Anexo 4) se concluye confianza alta. Aunque los autores aplicaron la herramienta QUADAS-2 no efectuaron una inferencia global sobre el riesgo de sesgo de los estudios agregados para metaanálisis. Por tanto, los autores de este Recado, consideramos que el riesgo de sesgo es bajo toda vez que el análisis de sensibilidad mostró similares resultados al no incluir los 4 estudios con alto riesgo de sesgo.

La certeza en la evidencia a partir de la metodología GRADE (18) (Anexo 5) se concluye moderada por inconsistencia que no fue explicada plenamente por la heterogeneidad clínica y metodológica (19).

Unidad de Síntesis y Transferencia de Conocimiento | Correspondencia: jvillarc@lacardio.org
Barragán AM*; Rodríguez, J*; Villar J**; Moreno, K**; Cruz, J**; Balcázar M**+
(*)Desarrollo, (**)Edición, (+)Diseminación

¿Tienes una pregunta clínica que nuestra Unidad de Síntesis y Transferencia del Conocimiento pueda resolver a través de evidencia científica?

Sí, enviar pregunta