Text and Data Mining: por qué la calidad de las fuentes define el resultado, no el algoritmo

Hay una idea que persiste en equipos de datos, inteligencia competitiva y analítica avanzada: si el modelo es bueno, los resultados serán buenos. La lógica parece sólida hasta que el análisis arroja señales que no cuadran con la realidad del mercado, que omiten actores relevantes o que amplifican ruido que nadie quería ver.

El problema raramente está en el algoritmo. Está antes. Está en las fuentes.

Text and Data Mining (TDM) es, en su definición operativa, el proceso de extraer patrones, tendencias y conocimiento a partir de grandes volúmenes de texto e información de acceso público. El Art. 4 de la Directiva (UE) 2019/790 lo reconoce como un derecho habilitante para la investigación y el análisis, siempre que el acceso a las fuentes sea lícito. Pero ningún marco legal ni ningún modelo estadístico puede compensar un universo de fuentes mal construido.

El problema de la cobertura invisible

Cuando alguien define qué fuentes alimentan un proceso TDM, toma una decisión que determinará todo lo que venga después. Si esa definición es estrecha, el análisis tiene puntos ciegos. Si es inconsistente, el análisis tiene sesgo sistemático. Si es inestable —fuentes que aparecen y desaparecen sin control—, el análisis tiene deriva temporal que invalida comparaciones históricas.

Lo que hace difícil este problema es que es invisible. Un modelo entrenado o alimentado con fuentes incompletas no falla de forma obvia. Produce resultados. Produce incluso resultados que parecen coherentes internamente. El fallo solo se detecta cuando alguien con conocimiento del dominio pregunta: "¿Y por qué no aparece X aquí? ¿Por qué esta región no tiene señal?"

La cobertura no es un detalle técnico. Es una decisión estratégica que afecta directamente al valor del análisis derivado.

Heterogeneidad de fuentes: el reto real del TDM a escala

El universo público de Internet no es homogéneo. Conviven foros especializados con agregadores generalistas, publicaciones técnicas con redes sociales, fuentes en múltiples idiomas con estructuras radicalmente distintas y velocidades de actualización que van de los minutos a los días.

Procesar ese universo con un tratamiento uniforme produce análisis distorsionado. Una mención en un foro de nicho con alta credibilidad temática no tiene el mismo peso analítico que un comentario en una red de alto volumen y bajo compromiso. La frecuencia de publicación de una fuente no es indicador de su relevancia. El idioma de la fuente no determina su alcance real de influencia.

El TDM que genera valor no es el que procesa más volumen. Es el que procesa con criterio. Eso implica clasificar fuentes por tipo, por cadencia, por audiencia estimada, por estructura lingüística. Implica tratar de forma diferenciada los datos estructurados de los no estructurados. Implica, en definitiva, construir un modelo de fuentes antes de construir un modelo de análisis.

Normalización: lo que ocurre entre la fuente y el insight

Entre el texto público y el dato analíticamente útil hay una cadena de transformaciones que rara vez recibe atención suficiente. Normalización de entidades —cuando un mismo actor aparece mencionado con variaciones ortográficas, abreviaturas o traducciones—, desambiguación de términos con múltiples acepciones, detección de idioma y tratamiento lingüístico específico, eliminación de contenido duplicado que infla artificialmente el volumen de señal.

Cada paso de esa cadena introduce decisiones. Y cada decisión mal tomada se propaga hacia el análisis final. Si la normalización de entidades es deficiente, el análisis agregado de menciones de un actor concreto estará fragmentado. Si la deduplicación es excesivamente agresiva, se pierden señales legítimas de propagación viral. Si el tratamiento lingüístico ignora matices de negación o ironía, el análisis de sentimiento invierte su polaridad.

El TDM a escala no es solo procesar mucho. Es procesar con precisión en cada punto de la cadena.

Temporalidad: la señal que expira

Hay otra dimensión que los equipos suelen subestimar: el tiempo. Una señal del universo público tiene una ventana de relevancia que varía según el contexto. En análisis de riesgo reputacional, la ventana puede ser de horas. En inteligencia competitiva, de días. En análisis de tendencias estructurales, de semanas o meses.

Si el pipeline TDM introduce latencia entre la aparición de la señal y su disponibilidad para el análisis, el valor de esa señal se degrada. No de forma gradual y predecible: de forma abrupta, en función del ritmo de decisión del sector monitorizando.

Diseñar el proceso TDM sin tener en cuenta la temporalidad requerida por el caso de uso es uno de los errores más frecuentes y menos discutidos. Se tiende a optimizar para volumen o para coste de procesamiento, cuando el parámetro crítico es la latencia tolerable para quien usará el análisis.

Lo que diferencia un proceso TDM maduro

Un proceso TDM maduro no se reconoce por la sofisticación del modelo que aplica. Se reconoce por la solidez de lo que hay antes del modelo:

• Un mapa de fuentes documentado, versionado y sometido a revisión periódica.
• Criterios explícitos de inclusión y exclusión de fuentes, con justificación analítica.
• Pipelines de normalización auditables, donde cada transformación es trazable.
• Umbrales de latencia definidos por caso de uso, no por capacidad técnica genérica.
• Mecanismos de detección de degradación de fuentes: cuando una fuente deja de emitir señal, el sistema debe saberlo antes que el analista.

Esto no es teoría. Es la diferencia entre un análisis que un equipo de decisión utiliza con confianza y uno que genera dudas cada vez que los resultados no encajan con lo que el mercado está mostrando.

El marco legal que habilita el TDM responsable

El Art. 4 de la Directiva (UE) 2019/790, transpuesto en el ordenamiento interno a través del Art. 67 bis LPI, establece el derecho a realizar TDM sobre fuentes de acceso lícito. Ese marco no solo protege legalmente el proceso: impone una lógica de responsabilidad sobre cómo se construye y se documenta.

Las organizaciones que operan TDM bajo ese paraguas legal tienen un incentivo adicional para mantener registros claros de qué fuentes se procesan, bajo qué condiciones de acceso y con qué finalidad analítica. Esa documentación, que el marco legal incentiva, es también la base de un proceso analítico más robusto.

En TrawlingWeb, el procesamiento del universo público de Internet opera bajo este marco, entregando análisis derivado —no redistribución de contenidos— a equipos que necesitan señales fiables para decisiones reales.

Si tu proceso TDM produce resultados que tu equipo cuestiona con frecuencia, el primer lugar donde buscar no es el modelo. Es el mapa de fuentes. Ahí empieza la calidad del análisis, y ahí termina también su utilidad real.