Datos para LLM: por qué la calidad del corpus define el límite de los modelos

Los grandes modelos de lenguaje consumen electricidad, silicio y, sobre todo, datos. Las inversiones que se anuncian cada semana —centros de datos de decenas de miles de millones de dólares, acuerdos entre gobiernos y laboratorios de IA— acaparan la atención. Pero el cuello de botella real no está en la capacidad de cómputo. Está en la calidad, la diversidad y la legitimidad jurídica del corpus que alimenta esos modelos.

Sin datos de suficiente calidad, más GPU no produce mejores modelos. Produce modelos más grandes con los mismos sesgos y los mismos vacíos. Esa asimetría entre infraestructura física e infraestructura de datos es el problema que muchos equipos de IA descubren tarde, ya entrados en producción.

El corpus no es un problema resuelto

Existe una idea extendida de que entrenar un LLM es principalmente un problema de escala computacional. Los datos, se asume, "están ahí": basta con procesar páginas web en volumen suficiente. Esa suposición tiene varios fallos estructurales.

Primero, la distribución del universo público de Internet no es neutral. Ciertos idiomas, dominios temáticos y periodos temporales están sobrerrepresentados. Un modelo entrenado sobre ese corpus hereda esas distorsiones. Si el objetivo es razonar sobre mercados financieros, regulación, cadenas de suministro o información geopolítica en tiempo real, el corpus genérico es insuficiente.

Segundo, el universo público cambia. Las fuentes que existían hace doce meses no son las mismas que hoy. Los modelos estáticos se degradan frente a un entorno dinámico. La actualización continua del corpus no es un lujo operativo: es un requisito funcional para cualquier aplicación de IA que opere sobre señales recientes.

Tercero, la provenance importa cada vez más. Reguladores europeos, contratos empresariales y auditorías de IA están empezando a exigir trazabilidad sobre el origen de los datos. No basta con tener datos: hay que poder demostrar que se procesaron de forma legítima.

Text and Data Mining como marco operativo

El Art. 4 de la Directiva (UE) 2019/790, transpuesto en el ordenamiento español mediante el Art. 67 bis de la Ley de Propiedad Intelectual, establece un marco específico para el Text and Data Mining (TDM) aplicado a fuentes de acceso legítimo. Este marco no es un tecnicismo jurídico menor: es la base sobre la que se construye cualquier pipeline de datos para IA que opere en Europa sin riesgo legal.

El TDM bajo Art. 4 permite el procesamiento automatizado de fuentes públicas con fines de análisis, siempre que el acceso a esas fuentes sea lícito y el procesamiento produzca información derivada —patrones, tendencias, señales— en lugar de reproducir el contenido original. Es una distinción crítica: lo que se entrega no son los textos, sino el análisis que emerge de ellos.

Para equipos que construyen o refinan LLMs, esto tiene consecuencias prácticas directas. El corpus de entrenamiento debe poder auditarse. La cadena entre fuente pública, procesamiento TDM y datos derivados debe ser trazable. Y los contratos con proveedores de datos deben reflejar ese marco, no ignorarlo.

Qué distingue un corpus de calidad para LLM

No todos los datos del universo público de Internet son equivalentes para entrenar o afinar modelos. Algunos criterios operativos que marcan la diferencia:

Cobertura temática y geográfica. Un corpus que solo indexa fuentes en inglés de medios anglosajones produce modelos con puntos ciegos estructurales sobre mercados europeos, asiáticos o latinoamericanos. La diversidad lingüística y de dominio no es un objetivo de política de inclusión: es una variable de rendimiento.

Frecuencia de actualización. Para aplicaciones de monitorización, análisis de tendencias o detección temprana de señales, la latencia del corpus es determinante. La diferencia entre datos actualizados cada hora y datos actualizados cada semana puede equivaler a la diferencia entre una alerta útil y un diagnóstico tardío.

Densidad semántica por dominio. Volumen bruto y densidad semántica no son lo mismo. Un corpus de diez millones de documentos generales puede ser menos útil para un modelo especializado en análisis regulatorio que un corpus de doscientos mil documentos seleccionados y procesados con precisión sobre ese dominio.

Limpieza y normalización. El ruido en los datos de entrenamiento no desaparece durante el entrenamiento: se codifica en los pesos del modelo. HTML mal parseado, duplicados, contenido generado automáticamente de baja calidad o señales contradictorias se traducen directamente en degradación de rendimiento.

El error de separar infraestructura de cómputo e infraestructura de datos

La narrativa dominante sobre la carrera de la IA se articula alrededor de centros de datos, chips y energía. Es una narrativa comprensible: esas infraestructuras son visibles, cuantificables y generan anuncios de inversión que circulan ampliamente. Pero esa narrativa oculta que los retornos del cómputo son decrecientes si el corpus no crece en calidad al mismo ritmo.

Los equipos que están ganando ventaja competitiva real en aplicaciones verticales de IA no son necesariamente los que tienen más parámetros o más FLOPS. Son los que han resuelto el problema de datos: acceso sistemático, actualizado y jurídicamente sólido a las fuentes públicas relevantes para su dominio.

Esa es la razón por la que infraestructuras especializadas en procesamiento TDM del universo público de Internet —como la que opera TrawlingWeb— ocupan una posición estructural en el ecosistema de IA, más allá de los casos de uso de monitorización tradicional. El corpus no es un insumo previo al producto: es parte del producto.

Lo que los equipos de IA deberían exigir a sus fuentes de datos

Antes de integrar cualquier fuente de datos en un pipeline de entrenamiento o fine-tuning, vale la pena responder estas preguntas:

• ¿El proveedor puede acreditar el marco jurídico bajo el que procesó esas fuentes?
• ¿Cuál es la latencia entre el evento público y su disponibilidad como dato procesado?
• ¿Existe documentación sobre el proceso de normalización y limpieza aplicado?
• ¿Se puede filtrar por idioma, dominio temático, tipo de fuente o rango temporal con granularidad suficiente?
• ¿El contrato establece qué se entrega —análisis derivado— y qué no se entrega —reproducción de contenidos originales—?

Si alguna de estas preguntas no tiene respuesta clara, el riesgo no es solo técnico. Es legal y reputacional.

La carrera de la IA avanza rápido. Pero los modelos que perduran no son los que se entraron más rápido: son los que se construyeron sobre datos que resistieron el escrutinio.