Text and Data Mining: por qué la calidad de la fuente define el análisis, no el algoritmo
El debate sobre Text and Data Mining suele centrarse en el lado equivocado del problema. Se habla de modelos, de arquitecturas de procesamiento, de clasificadores y de umbrales de confianza. Rara vez se habla de lo que ocurre antes: la fuente de la que proviene el texto.
La consecuencia es predecible. Equipos que invierten semanas en afinar un pipeline de NLP obtienen resultados inconsistentes no porque el modelo falle, sino porque el material sobre el que trabaja es irregular, incompleto o directamente ruidoso. El algoritmo es la última pieza del problema, no la primera.
Este post no trata de qué modelo usar. Trata de qué deberías exigirle a la fuente antes de que el modelo entre en juego.
La fuente no es un dato neutro
Cuando se habla de "datos públicos de Internet" como si fueran un corpus homogéneo, se comete el primer error operativo del TDM. Las fuentes públicas son heterogéneas por definición: difieren en frecuencia de actualización, en estructura del contenido, en idioma, en densidad semántica, en la proporción de texto útil respecto al ruido HTML, en la estabilidad de su arquitectura a lo largo del tiempo.
Esa heterogeneidad tiene consecuencias directas. Un clasificador entrenado sobre textos bien estructurados, con metadata limpia y fechas de publicación verificables, no se comportará igual cuando reciba un fragmento de contenido sin fecha, sin autoría clara y con estructura variable. El modelo no "sabe" que la fuente cambió. Sigue procesando. Y el output parece válido aunque no lo sea.
La calidad de la fuente no es una variable secundaria. Es la condición de partida que determina el techo del análisis.
Qué variables de calidad importan realmente
No todas las imperfecciones de una fuente tienen el mismo impacto. Algunas son tolerables; otras corrompen el resultado de forma silenciosa.
Frecuencia y regularidad de actualización. Una fuente que publica de forma irregular genera ventanas ciegas en el análisis temporal. Si usas TDM para detectar tendencias o variaciones de señal a lo largo del tiempo, una fuente con gaps de actualización introduce sesgos que no son visibles en el output final, pero distorsionan cualquier inferencia cronológica.
Consistencia estructural. Las fuentes públicas cambian su arquitectura: rediseños, cambios de CMS, reestructuración de secciones. Cada cambio puede romper la extracción de campos clave como fecha, categoría, autor o cuerpo principal del texto. Un pipeline que no detecta estos cambios estructurales sigue generando registros, pero con campos vacíos o incorrectos. El volumen de datos parece mantenerse. La fiabilidad, no.
Cobertura geográfica e idiomática real. Declarar cobertura global es fácil. Mantenerla operativa es otra cuestión. Para TDM en contextos multilingües, la representación desigual de fuentes por idioma o región produce análisis sesgados hacia los mercados mejor representados. Un análisis de menciones en cinco idiomas con cobertura desigual entre ellos no es un análisis equilibrado: es el análisis de los idiomas dominantes disfrazado de análisis global.
Proporción de ruido en el texto. El ratio entre contenido semántico útil y elementos no textuales (código, publicidad embebida, navegación, footers legales) varía enormemente entre fuentes. Un pipeline que no filtra este ruido antes de pasar el texto al modelo infla artificialmente el volumen de datos procesados y degrada la precisión de cualquier análisis de sentimiento, entidad o categoría.
El problema de la fuente invisible
Hay un escenario particularmente problemático en TDM que raramente se menciona: la fuente que deja de ser representativa sin dejar de existir.
Una fuente puede seguir publicando, seguir siendo accesible y seguir generando registros en el pipeline, pero haber perdido relevancia editorial o haber cambiado su enfoque temático de forma significativa. Si el sistema de monitorización no incorpora métricas de relevancia actualizada, seguirá tratando esa fuente con el mismo peso que tenía cuando fue incorporada al índice.
El resultado es un corpus que envejece mal. Los modelos entrenados o aplicados sobre ese corpus arrastran inercias que no reflejan el estado actual del universo público que supuestamente analizan.
La gestión activa del catálogo de fuentes —no solo su crecimiento, sino su revisión y depuración periódica— es una tarea operativa tan importante como el propio procesamiento de textos. No es un problema técnico puntual. Es una disciplina continua.
Qué significa esto para un pipeline TDM en producción
En la práctica, un pipeline de Text and Data Mining en producción debe contemplar cuatro capas de control sobre la fuente antes de que el texto llegue al modelo:
- Control de actualización: alertas cuando una fuente supera un umbral de latencia inusual respecto a su cadencia histórica.
- Detección de cambios estructurales: validación automática de que los campos críticos siguen siendo extraíbles y coherentes.
- Filtrado de ruido textual: separación efectiva entre contenido semántico y elementos no textuales antes del procesamiento lingüístico.
- Revisión periódica de relevancia: métricas que permitan detectar cuándo una fuente ha perdido representatividad respecto al dominio que se está analizando.
Ninguna de estas capas es glamorosa. Ninguna aparece en los papers sobre NLP. Pero son las que determinan si el análisis que llega al decisor es fiable o simplemente parece fiable.
El marco legal que hace posible hacerlo bien
Vale la pena recordar que el Text and Data Mining sobre fuentes públicas tiene un marco legal explícito en la Unión Europea. El Art. 4 de la Directiva (UE) 2019/790, transpuesto en España como Art. 67 bis LPI, establece el TDM como un uso lícito por defecto sobre contenidos accesibles públicamente, salvo reserva expresa del titular.
Este marco no resuelve los problemas de calidad de fuente descritos arriba. Pero sí elimina la incertidumbre legal que durante años frenó la inversión en infraestructuras serias de TDM. Tener claridad legal sobre lo que se puede hacer es el punto de partida para construir procesos que lo hagan bien.
En TrawlingWeb, el procesamiento del universo público de Internet se estructura precisamente sobre este principio: el acceso es lícito, pero la calidad del análisis depende de la disciplina operativa con la que se gestiona cada capa del proceso, empezando por la fuente.
El algoritmo no va a compensar una fuente mal gestionada. Nunca lo ha hecho. Si el resultado de tu pipeline TDM no es el que esperas, la respuesta probablemente no está en el modelo. Está tres pasos antes.