Transformer
Sinónimos: Transformador · Arquitectura transformer
Definición ampliada
Un transformer es una arquitectura neuronal basada principalmente en mecanismos de atención. La autoatención permite que cada elemento de una secuencia combine información de otros elementos y represente dependencias relevantes.
Sus bloques combinan atención, transformaciones de cada posición, conexiones residuales y normalización. Según la tarea, puede emplear un codificador, un decodificador o ambos; estas configuraciones sustentan numerosos modelos de lenguaje y sistemas multimodales.
Contexto histórico
Vaswani y colaboradores presentaron la arquitectura transformer en 2017 para traducción automática. Su diseño sustituyó la recurrencia del modelo principal por mecanismos de atención y permitió paralelizar mejor el entrenamiento [1]. Adaptaciones posteriores la extendieron a texto, imágenes, audio y combinaciones multimodales.
Importancia actual
A fecha de agosto de 2026, los transformers continúan siendo una arquitectura fundamental de los modelos de lenguaje y de numerosos sistemas multimodales. Su difusión no convierte todos los modelos en equivalentes: cambian los datos, el objetivo de entrenamiento, la escala, la ventana de contexto y los controles de uso.
Aplicaciones
Generales
- Traducción, resumen y generación de texto.
- Clasificación y recuperación semántica.
- Procesamiento de imágenes, audio y datos multimodales.
- Modelos de lenguaje de propósito general.
Sanitarias
- Extracción de información de textos clínicos.
- Análisis de literatura biomédica.
- Procesamiento de imágenes y señales mediante variantes especializadas.
- Modelos de representación para investigación.
Limitaciones
- El coste de atención aumenta con la longitud de la secuencia en diseños básicos.
- Requiere datos y cómputo considerables a gran escala.
- La arquitectura no garantiza factualidad, razonamiento ni comprensión.
- Puede aprender sesgos y correlaciones espurias.
- Sus variantes y optimizaciones dificultan tratar «transformer» como un modelo único.
Ejemplos
En una frase ambigua, la autoatención puede ponderar palabras distantes para construir una representación contextual. El patrón aprendido depende de los datos y del objetivo de entrenamiento.