¿Qué es PROBAST y para qué sirve?
PROBAST (Prediction model Risk Of Bias Assessment Tool) es una herramienta metodológica diseñada para evaluar el riesgo de sesgo y las preocupaciones sobre aplicabilidad en estudios primarios que desarrollan, validan o actualizan modelos multivariables de predicción diagnóstica o pronóstica.
Aunque fue creada para ser utilizada en revisiones sistemáticas, PROBAST también es altamente útil para investigadores, clínicos, revisores de revistas científicas, desarrolladores de guías de práctica clínica y lectores críticos interesados en la calidad de los modelos predictivos en salud.
PUEDES VER LA CLASE COMPLETA EN:
https://www.youtube.com/live/DiVzihU2L44?si=mt7K3QdAbL-VWylA
Estructura metodológica de PROBAST: los 4 pasos esenciales
🔹 Paso 1: Especificar la pregunta de revisión sistemática
El primer paso es definir con precisión la pregunta que guiará la revisión. Esta debe incluir:
Uso clínico del modelo: diagnóstico o pronóstico
Población objetivo: participantes incluidos
Predictores considerados: tipo, momento de medición, disponibilidad
Desenlace: evento a predecir (ej. mortalidad, recaída)
Esta formulación es esencial para juzgar posteriormente la aplicabilidad de los estudios incluidos.
🔹 Paso 2: Clasificar el tipo de estudio de predicción
Se debe clasificar el modelo evaluado como uno de los siguientes tipos:
Desarrollo solamente: el estudio crea un modelo sin validación externa.
Desarrollo y validación en la misma publicación: el estudio crea y valida el modelo en un segundo conjunto de datos.
Validación solamente: el estudio evalúa un modelo previamente publicado en una nueva cohorte.
Esta clasificación determinará qué preguntas deben aplicarse en la evaluación.
🔹 Paso 3: Evaluar el riesgo de sesgo (ROB) y la aplicabilidad
Este paso evalúa en profundidad cuatro dominios críticos del estudio:
Participantes
Predictores
Desenlace
Análisis estadístico
Cada dominio incluye preguntas de señalamiento (signaling questions), que se responden como: “Sí”, “Probablemente sí”, “Probablemente no”, “No” o “Sin información”. En base a estas respuestas, se determina:
Riesgo de sesgo (ROB): Bajo, Alto o Incierto
Aplicabilidad: Baja, Alta o Incierta (solo en los tres primeros dominios)
El evaluador debe justificar cada juicio, combinando la información reportada en el estudio con su criterio experto.
🔹 Paso 4: Juicio global
Una vez completada la evaluación por dominios, se emite un juicio general:
Riesgo global de sesgo: Bajo si todos los dominios tienen bajo riesgo; Alto si al menos uno presenta riesgo alto.
Aplicabilidad global: Alta si al menos un dominio presenta preocupaciones altas respecto a la aplicabilidad.
Este paso sintetiza el valor metodológico del estudio en relación con la pregunta de revisión.
DOMINIOS DE EVALUACIÓN
🔷 Dominio 1: PARTICIPANTES
Este dominio evalúa si la selección de los participantes en el estudio puede introducir sesgos y si los datos provienen de una fuente adecuada y relevante para el objetivo del modelo.
🔍 Preguntas de señalamiento (signaling questions)
1.1 ¿Se usaron fuentes de datos apropiadas?
Ejemplos: estudios de cohorte, ensayos clínicos aleatorizados (RCTs) o estudios de casos y controles anidados.
⚠️ ¿Por qué importa?
El diseño del estudio afecta la validez del modelo. Fuentes de datos mal seleccionadas (ej. series de casos sin representatividad) pueden generar sesgo de selección o limitar la generalización del modelo.✅ Respuesta esperada: Yes si la fuente es apropiada al contexto clínico (ej. cohorte prospectiva representativa).
1.2 ¿Fueron apropiadas todas las inclusiones y exclusiones de participantes?
Aquí se evalúa si los criterios de inclusión/exclusión están claramente justificados, reportados y si no introducen sesgo (por ejemplo, excluir pacientes con mal pronóstico injustificadamente).
⚠️ ¿Por qué importa?
Criterios mal definidos pueden llevar a sesgo de selección o limitar la aplicabilidad del modelo.✅ Respuesta esperada: Yes si los criterios son clínicamente razonables, claramente descritos y aplicables a la población objetivo.
📊 Evaluación del riesgo de sesgo en este dominio
El riesgo de sesgo (ROB) se considera:
BAJO si ambas respuestas son Yes o Probably Yes y no hay señales de exclusión inapropiada.
ALTO si alguna respuesta es No o Probably No y esto afecta la representatividad.
INCIERTO si no se informa lo suficiente para juzgar.
🎯 Aplicabilidad
Además del riesgo de sesgo, se valora si los participantes del estudio coinciden con la población clínicadefinida en la pregunta de revisión sistemática.
Ejemplo:
Revisión busca modelos en atención primaria y el estudio incluye solo pacientes críticos hospitalizados → ❗ Alta preocupación por aplicabilidad.
🔷 DOMINIO 2: PREDICTORES
Evalúa si los predictores del modelo fueron definidos, medidos y usados de manera coherente, objetiva y útil en la práctica clínica.
🧩 Preguntas guía (signaling questions)
2.1 ¿Fueron los predictores definidos y evaluados de forma similar para todos los participantes?
Evalúa la consistencia en la definición y recolección de predictores.
⚠️ Ejemplo de riesgo: si se midió la presión arterial con diferentes equipos o en distintos momentos sin estandarización.
✅ Se espera un “Yes” cuando todos los predictores están definidos claramente y fueron medidos de igual manera para todos.
2.2 ¿Los predictores fueron evaluados sin conocimiento del desenlace?
Busca evitar sesgo de medición (information bias).
En estudios retrospectivos, puede existir conocimiento del desenlace al evaluar predictores.
✅ Yes si se demuestra cegamiento o si los datos fueron recolectados antes de conocer el resultado.
2.3 ¿Están disponibles todos los predictores en el momento en que se usará el modelo?
Evalúa la factibilidad y aplicabilidad clínica del modelo.
⚠️ Si se usan datos que solo están disponibles después del desenlace o que requieren procedimientos poco accesibles, esto reduce su utilidad.
✅ Yes si todos los predictores están disponibles antes del momento de uso clínico del modelo (ej. al ingreso del paciente).
📊 Evaluación del riesgo de sesgo (ROB) en este dominio
BAJO: Si los predictores están bien definidos, medidos objetivamente y sin conocimiento del desenlace.
ALTO: Si hay mediciones inconsistentes, sin cegamiento, o si se usan predictores que no estarían disponibles en la práctica.
INCIERTO: Si el estudio no informa suficientemente cómo se definieron o midieron los predictores.
🎯 Aplicabilidad en este dominio
Este dominio también se evalúa por preocupaciones sobre aplicabilidad, especialmente si los predictores no coinciden con los requeridos por la pregunta de revisión sistemática.
❌ Alta preocupación: si los predictores usados en el estudio no están disponibles en el entorno donde se aplicará el modelo, o si fueron definidos de manera distinta.
✅ Baja preocupación: si los predictores coinciden con lo esperado por la revisión (ej. signos vitales, pruebas de laboratorio rutinarias).
🔷 DOMINIO 3: DESENLACE (OUTCOME)
Evalúa si el evento o condición a predecir fue definido, medido y evaluado correctamente, y si está alineado con el objetivo del modelo.
🧩 Preguntas guía (signaling questions)
3.1 ¿El desenlace fue determinado de forma adecuada?
Revisa si se usó una fuente confiable, objetiva y válida (ej. registros clínicos verificados, exámenes estandarizados).
✅ Yes si fue evaluado mediante métodos clínicos válidos y bien documentados.
3.2 ¿Se usó una definición preespecificada o estándar del desenlace?
Busca garantizar uniformidad en la medición.
❗ El uso de definiciones vagas o post hoc puede introducir sesgo.
3.3 ¿Los predictores fueron excluidos de la definición del desenlace?
Muy importante para evitar circularidad: por ejemplo, usar presión arterial como predictor y como parte del desenlace de "eventos cardiovasculares".
✅ Yes si el desenlace es independiente de los predictores.
3.4 ¿El desenlace fue definido y determinado de igual manera para todos los participantes?
Evalúa consistencia en la medición del evento.
⚠️ Si el desenlace fue evaluado de manera distinta según el grupo (ej. diferente observador o tiempo), hay riesgo de sesgo.
3.5 ¿El desenlace fue determinado sin conocimiento de los predictores?
Evalúa el cegamiento del evaluador para evitar sesgo por expectativa.
✅ Yes si se asegura que los evaluadores del desenlace no conocían los predictores.
3.6 ¿Fue adecuado el intervalo de tiempo entre la evaluación de predictores y la determinación del desenlace?
Es clave en modelos pronósticos.
✅ Yes si el desenlace se evalúa en un periodo clínicamente relevante (ej. mortalidad a 30 días tras ingreso hospitalario).
📊 Evaluación del riesgo de sesgo (ROB) en este dominio
BAJO: Todas las respuestas son Yes o Probably Yes.
ALTO: Hay una respuesta No/Probably No que indica sesgo importante (ej. desenlace mal definido o evaluación no ciega).
INCIERTO: Cuando no se reporta suficiente información (muchos No Information).
🎯 Evaluación de la Aplicabilidad
Se evalúa si el desenlace del estudio coincide con el objetivo clínico de la revisión.
❌ Alta preocupación si el desenlace es diferente en tiempo o definición (ej. estudio reporta “mejoría clínica” cuando la revisión busca “mortalidad”).
✅ Baja preocupación si es el mismo evento, definido de la misma manera y con el mismo marco temporal.
🔷 DOMINIO 4: ANÁLISIS
Este dominio examina cómo fue construido, validado y evaluado el modelo de predicción. Es fundamental para identificar errores estadísticos, sobreajuste y uso inadecuado de métodos.
🧩 Preguntas guía (signaling questions)
4.1 ¿Hubo un número razonable de participantes con el desenlace?
Evalúa la potencia estadística del estudio.
✔️ Se espera al menos 10 eventos por predictor para evitar sobreajuste (regla de EPV – Events Per Variable).
4.2 ¿Se trataron adecuadamente los predictores continuos y categóricos?
¿Evitaron categorizar variables continuas innecesariamente?
¿Usaron transformaciones adecuadas o regresiones spline si era necesario?
4.3 ¿Todos los participantes fueron incluidos en el análisis?
✔️ Uso del principio de intención a analizar.
❌ Exclusiones injustificadas generan sesgo y reducen validez.
4.4 ¿Se manejaron adecuadamente los datos faltantes?
Evaluar si hubo imputación múltiple, análisis de sensibilidad, etc.
❌ Eliminar casos con datos faltantes puede distorsionar resultados.
4.5 ¿Se evitó la selección de predictores basada en análisis univariado?
❌ Seleccionar predictores solo por significancia univariada es inapropiado y puede omitir interacciones importantes.
4.6 ¿Se consideraron adecuadamente las complejidades de los datos?
Incluye: censura en tiempo, riesgos competitivos, muestreo, clustering.
Especialmente relevante en modelos de supervivencia.
4.7 ¿Se evaluaron apropiadamente las medidas de desempeño del modelo?
Deben reportar:
Discriminación (ej. AUC o C-index)
Calibración (curvas, slope)
Utilidad clínica (curvas de decisión)
4.8 ¿Se consideró el sobreajuste, subajuste y optimismo del modelo?
✔️ Debe incluir validación interna (bootstrap, cross-validation) y ajuste por optimismo.
4.9 ¿Coinciden los predictores y sus pesos con los resultados del análisis multivariable?
Evalúa la transparencia y coherencia del modelo reportado con los datos analizados.
📊 Evaluación del riesgo de sesgo (ROB) en este dominio
| RIESGO BAJO | RIESGO ALTO | RIESGO INCIERTO |
|---|---|---|
| Todas las decisiones analíticas bien fundamentadas, con validación y medidas completas | Uso inapropiado de análisis univariado, omisión de validación, mal manejo de datos faltantes o sobreajuste evidente | No se reporta la metodología de validación o análisis de predictores |
🎯 Nota sobre la aplicabilidad
Este dominio no se evalúa en términos de aplicabilidad. Solo se juzga el riesgo de sesgo.
REFERENCIAS
1. Wolff RF, Moons KGM, Riley RD, et al. PROBAST: A Tool to Assess the Risk of Bias and Applicability of Prediction Model Studies. Ann Intern Med. 2019;170(1):51-58. doi:10.7326/M18-1376
2. Moons KGM, Damen JAA, Kaul T, et al. PROBAST+AI: an updated quality, risk of bias, and applicability assessment tool for prediction models using regression or artificial intelligence methods. BMJ. 2025;388:e082505. Published 2025 Mar 24. doi:10.1136/bmj-2024-082505
Autor: Joshuan Barboza, MD, PhD (c)
Especialista en Investigación Clínica y Revisiones Sistemáticas
No hay comentarios.:
Publicar un comentario