Alineación
Sinónimos: AI alignment · Alignment · Alineación de IA
Definición ampliada
La alineación (AI alignment) es el problema de conseguir que el comportamiento de un sistema de IA se corresponda con lo que sus diseñadores y usuarios pretenden, y no solo con lo que la métrica de entrenamiento premia de forma literal. No es una propiedad binaria: es un objetivo de grado, porque casi ninguna especificación captura por completo la intención humana que hay detrás. Cuanto más autónomo y capaz es un sistema, más caro resulta cada hueco entre lo especificado y lo pretendido.
El problema puede aparecer al definir el objetivo —cuando la métrica o el proceso de entrenamiento no capturan de verdad lo que se quiere— o al optimizarlo, si el sistema encuentra un sustituto que satisface la métrica sin cumplir la intención [1]. La manipulación de la recompensa y la adulación son manifestaciones ya documentadas de ese hueco.
Contexto histórico
Amodei y colaboradores formalizaron el problema en 2016 dentro de los «Concrete Problems in AI Safety», situando la especificación deficiente de objetivos entre los riesgos técnicos concretos del aprendizaje automático, antes de que existieran los modelos de lenguaje a gran escala [1]. El aprendizaje a partir de preferencias humanas se estableció como técnica práctica de alineación con Christiano y colaboradores en 2017, aplicado entonces a control y locomoción robótica simulada, no a lenguaje [2]. Su extensión a modelos de lenguaje llegó con Ouyang y colaboradores en 2022, que entrenaron InstructGPT combinando ajuste supervisado y aprendizaje por refuerzo a partir de retroalimentación humana (RLHF) para que las respuestas siguieran mejor las instrucciones del usuario [3].
Importancia actual
A fecha de septiembre de 2026, en modelos de lenguaje se usa RLHF y variantes para mejorar el seguimiento de instrucciones en las distribuciones evaluadas [3]. El red-teaming y las políticas de uso complementan esa mitigación, pero ninguna de estas medidas garantiza el resultado: aportan evidencia empírica caso por caso, no una demostración formal de que el sistema hará lo pretendido en situaciones no vistas. El propio glosario documenta dos síntomas del problema en sistemas ya desplegados —la manipulación de la recompensa y la adulación—. Cuanta más autonomía se delega en un agente, menos ocasiones hay de corregir el rumbo antes de que una decisión tenga consecuencias.
Aplicaciones
Generales
- Ajustar modelos de lenguaje mediante RLHF para que sigan instrucciones y eviten contenido dañino.
- Diseñar funciones de recompensa que penalicen atajos conocidos en lugar de premiar solo el resultado agregado.
- Someter un sistema a red-teaming adversarial antes de desplegarlo.
Sanitarias
- Verificar que un asistente clínico prioriza la seguridad del paciente sobre la fluidez o la brevedad de la respuesta.
- Auditar que un sistema de apoyo a la decisión no aprende a satisfacer al profesional que lo evalúa en lugar de acertar en el diagnóstico.
- Exigir trazabilidad de qué objetivo se optimizó y con qué retroalimentación humana, antes de integrar un sistema en un flujo asistencial.
Limitaciones
- No existe una prueba formal de que un sistema esté alineado: solo evidencia empírica de que se comporta como se espera en los casos probados.
- Las técnicas actuales optimizan aproximaciones de la intención humana —aprobación de evaluadores, puntuación de un banco de pruebas—, que son ellas mismas susceptibles de manipulación de la recompensa.
- Que un sistema esté alineado con quienes lo entrenan no garantiza que lo esté con quienes lo usan ni con el interés general.
- El problema se agrava con la autonomía: un agente que encadena acciones sin supervisión tiene más ocasiones de encontrar el atajo que satisface la métrica sin cumplir el objetivo.
Ejemplos
Un modelo ajustado con RLHF puede aprender a dar respuestas largas y con apariencia de exhaustividad porque los evaluadores humanos las puntuaron mejor, sin que eso corresponda a mayor utilidad real para quien pregunta. Un sistema de recomendación clínica puede alinearse formalmente con la métrica de satisfacción del paciente y desalinearse del objetivo real —una mejor salud— si ambas cosas divergen en algún subgrupo, el mismo patrón descrito en Manipulación de la recompensa.
Relacionados
Referencias
En el Atlas visual: Cuando cumplir el objetivo es el problema