Bidirectional Encoder Representations from Transformers
Sinónimos: BERT
Definición ampliada
Bidirectional Encoder Representations from Transformers, conocido como BERT, es un modelo de representación del lenguaje basado en la parte codificadora de la arquitectura transformer. Se preentrena sobre texto sin etiquetar y después se adapta a tareas concretas mediante fine-tuning.
Su rasgo distintivo es el contexto bidireccional: al reconstruir tokens ocultos, el modelo puede usar simultáneamente lo que aparece a izquierda y derecha. BERT combinó este modelado de lenguaje enmascarado con la predicción de la frase siguiente [1].
Contexto histórico
Google presentó BERT en 2018 y publicó el trabajo en NAACL en 2019. Su receta unificó un preentrenamiento general con ajustes breves para clasificación, respuesta a preguntas y extracción de entidades, y mejoró entonces once tareas de procesamiento del lenguaje [1]. Se apoyó en la arquitectura transformer presentada un año antes [2].
Importancia actual
A fecha de septiembre de 2026, BERT sigue siendo una referencia para modelos codificadores que clasifican o representan texto. No es un modelo conversacional ni está diseñado para generar documentos largos: su influencia reside sobre todo en comprender secuencias y producir representaciones reutilizables.
Aplicaciones
Generales
- Clasificar textos, detectar entidades y estimar relaciones entre fragmentos.
- Representar consultas y documentos para búsqueda semántica.
- Adaptar un mismo modelo preentrenado a tareas con datos etiquetados propios.
Sanitarias
BioBERT continuó el preentrenamiento de BERT con literatura biomédica y mejoró tareas de minería de texto como reconocimiento de entidades y extracción de relaciones [3]. Ese resultado no convierte una salida en evidencia clínica ni valida por sí solo su uso sobre historias de pacientes.
Limitaciones
- El modelo original admite secuencias de hasta 512 tokens y puede perder contexto en documentos largos [1].
- Su entrenamiento y adaptación requieren cómputo y datos representativos.
- Puede reproducir sesgos o asociaciones presentes en el corpus de preentrenamiento.
- La comprensión contextual no garantiza factualidad, razonamiento causal ni validez clínica.
Ejemplos
Un equipo puede ajustar BERT para clasificar cláusulas de contratos. En biomedicina, puede adaptar BioBERT para localizar nombres de enfermedades en resúmenes científicos; el resultado debe evaluarse en el corpus y la tarea de destino [3].