Qué necesita un LLM antes del modelo: el rol de los datos públicos estructurados
La conversación pública sobre inteligencia artificial en este momento gira en torno a infraestructura física: centros de datos, inversiones de capital, acuerdos entre los actores más grandes del sector tecnológico. Las cifras que circulan son de una magnitud que hace años habría parecido inverosímil. Y sin embargo, ese debate —centrado en silicio, energía y financiación— deja sistemáticamente fuera la pregunta que más importa a quienes construyen sistemas reales con LLMs: ¿de dónde vienen los datos que los alimentan?
No es una pregunta menor. Un modelo de lenguaje sin datos de entrenamiento de calidad es infraestructura vacía. Y cuando ese modelo se despliega en producción para analizar entornos, detectar señales o procesar información del universo público, la calidad del dato de entrada determina la calidad de cada inferencia. El debate sobre el hardware es legítimo, pero es un debate sobre el contenedor. Este post trata sobre el contenido.
El problema que el tamaño del modelo no resuelve
Existe una tendencia extendida a asumir que escalar el modelo —más parámetros, más capas, más cómputo— compensa las deficiencias en los datos. No es así. Un LLM entrenado o alimentado con datos públicos mal estructurados, heterogéneos sin normalizar o con sesgos de fuente no corregidos, reproduce esos problemas a escala.
Los síntomas son conocidos para cualquiera que haya trabajado en pipelines reales: respuestas que ignoran señales recientes, clasificaciones que fallan en dominios poco representados, análisis que confunden el ruido con la tendencia. Ninguno de esos fallos se resuelve aumentando el número de parámetros. Se resuelven antes, en el dato.
El Text and Data Mining (TDM) —el proceso sistemático de extracción y análisis de información a partir de fuentes públicas, amparado en el Art. 4 de la Directiva (UE) 2019/790 y el Art. 67 bis LPI— es precisamente la disciplina que opera en ese espacio previo al modelo. Y es, por eso, uno de los componentes más críticos de cualquier pipeline de IA que trabaje sobre el universo público de Internet.
Qué hace que un dato público sea útil para un LLM
No todo lo que está disponible en el universo público es directamente utilizable. La diferencia entre un dato que mejora un modelo y uno que lo degrada no es solo de volumen: es de estructura, de procedencia verificada, de timestamp fiable, de cobertura geográfica y temática consistente.
Hay cuatro dimensiones que determinan la utilidad de un dato público para alimentar o complementar un LLM:
1. Cobertura de fuentes. Un sistema que solo lee determinados tipos de fuentes introduce sesgos estructurales desde el origen. El universo público de Internet es heterogéneo: foros, publicaciones sectoriales, plataformas sociales, medios de nicho, agregadores regionales. La cobertura debe reflejar esa heterogeneidad, no simplificarla.
2. Latencia del dato. Para aplicaciones que necesitan señales actuales —detección de tendencias, monitorización de entornos, análisis competitivo en tiempo real—, un dato que llega con horas de retraso ya no es el mismo dato. La arquitectura de procesamiento tiene que estar diseñada para minimizar esa latencia desde la fuente hasta el modelo.
3. Normalización y limpieza. El universo público contiene duplicados, errores de codificación, fragmentos sin contexto y ruido semántico. Un pipeline TDM maduro filtra y normaliza antes de que el dato llegue al modelo. Sin ese paso, el LLM trabaja con señal degradada.
4. Trazabilidad. Saber de dónde viene cada dato, cuándo fue procesado y bajo qué marco legal —especialmente relevante cuando se opera bajo el Art. 4 de la Directiva 2019/790— no es un requisito burocrático. Es un requisito operativo. Los equipos que no pueden trazar el origen de sus datos de entrenamiento o enriquecimiento tienen un problema que emerge tarde, generalmente en producción.
Por qué la inversión en infraestructura de datos precede a la inversión en modelos
El sector está en un momento de inversión masiva en cómputo. Eso tiene sentido: los modelos más capaces requieren recursos de entrenamiento que antes no existían. Pero hay una asimetría que no siempre se nombra: la infraestructura de datos públicos —el pipeline TDM que alimenta esos modelos— no escala de forma automática con el hardware.
Escalar el procesamiento de datos públicos requiere decisiones de arquitectura propias: cuántas fuentes cubre el sistema, con qué frecuencia se actualiza, cómo se gestiona la deduplicación a escala, cómo se normaliza la heterogeneidad semántica entre idiomas, regiones y tipologías de fuente. Esas decisiones no las resuelve comprar más GPUs.
Las organizaciones que están construyendo sistemas de IA sobre el universo público de Internet —ya sea para análisis competitivo, detección de riesgos, inteligencia de mercado o monitorización de entornos— se enfrentan a esta realidad antes o después. Generalmente, después: cuando el modelo ya está desplegado y los outputs no reflejan la realidad del entorno que supuestamente analizan.
El TDM como práctica, no como paso previo puntual
Uno de los errores más comunes en el diseño de pipelines de IA sobre datos públicos es tratar el TDM como una fase de preparación que se hace una vez y se da por terminada. En realidad, el universo público de Internet cambia de forma continua: aparecen fuentes nuevas, desaparecen otras, cambian los formatos, emergen nuevas geografías de conversación, cambia el idioma dominante en determinados segmentos temáticos.
Un sistema de análisis que no actualiza su cobertura de fuentes de forma sistemática envejece. No de golpe, sino de forma gradual y difícil de detectar: los outputs siguen llegando, los dashboards siguen mostrando números, pero la representatividad del dato respecto al entorno real va decayendo.
Mantener la calidad del dato público en el tiempo es un trabajo de infraestructura continua. Es lo que diferencia un sistema que funcionó bien en la fase de pruebas de uno que sigue siendo útil dieciocho meses después del despliegue.
En TrawlingWeb, el procesamiento del universo público de Internet está diseñado precisamente para ese ciclo continuo: cobertura amplia de fuentes, latencia controlada, normalización estructural y marco legal TDM desde el origen. No porque sea la forma más sencilla de hacerlo, sino porque es la única forma que produce datos sobre los que se puede construir análisis derivado fiable.
Si estás evaluando cómo integrar señales del universo público en un pipeline de IA o en un sistema de análisis de entorno, el punto de partida no es el modelo. Es el dato que va a alimentarlo.