Evaluación fuera de política
Sinónimos: Off-policy evaluation · OPE
Definición ampliada
La evaluación fuera de política (off-policy evaluation, OPE) estima cómo rendiría una política objetivo usando datos recogidos bajo otra política. Permite examinar alternativas sin ponerlas aún en práctica, pero requiere que los datos permitan comparar las acciones relevantes [1].
Puede usar ponderación por la probabilidad de cada acción, un modelo de resultados o estimadores que combinan ambos enfoques. Estima el rendimiento medio de una política; no predice con certeza el contrafactual de cada persona.
Contexto histórico
La evaluación de políticas aprendidas con datos de otras políticas forma parte del aprendizaje por refuerzo. En 2018, Farajtabar y colaboradores propusieron una variante de los estimadores doblemente robustos que ya se usaban para este problema [1].
Importancia actual
A fecha de septiembre de 2026, OPE es una herramienta de evaluación previa en aprendizaje por refuerzo con datos registrados. Resulta atractiva cuando probar acciones nuevas es costoso o éticamente problemático, pero su validez depende de cobertura, medición y supuestos causales [2].
Aplicaciones
Generales
- Comparar políticas candidatas con registros de decisiones anteriores.
- Detectar políticas cuyo rendimiento estimado es muy incierto antes de plantear una prueba prospectiva.
Sanitarias
- Investigar con registros clínicos si una política de decisiones sucesivas merece una evaluación adicional.
- Analizar la sensibilidad del resultado a acciones raras y factores no registrados, sin presentar la estimación como beneficio causal demostrado [2].
Limitaciones
- Si la política propuesta elige acciones ausentes de los datos, el rendimiento no se puede estimar de manera fiable por simple extrapolación.
- La ponderación puede tener varianza alta cuando ciertas acciones son raras.
- Los factores de confusión no medidos y una recompensa mal definida pueden producir una evaluación engañosa [1] [2].
Ejemplos
Una política hipotética propone cambiar la secuencia de decisiones en una unidad asistencial. OPE usa las trayectorias históricas para estimar su resultado, informa cuántas decisiones comparables existen y señala dónde faltan datos. El resultado orienta la investigación; no autoriza su uso con pacientes.