Text and Data Mining: el preprocesamiento que nadie ve y que lo decide todo

Cuando un proyecto de Text and Data Mining falla, el error rara vez está donde todo el mundo mira. No está en el modelo. No está en el algoritmo de clasificación. No está en el pipeline de inferencia. Está en la fase que ocurre antes: en las decisiones, a menudo invisibles, que determinan qué datos entran, en qué forma y con qué coherencia interna.

El preprocesamiento es la parte del TDM que no aparece en las presentaciones. Pero es, con diferencia, donde se gana o se pierde el análisis.

Qué ocurre realmente antes del análisis

Cualquier proceso de TDM empieza con una masa de texto procedente de fuentes públicas: foros, blogs, portales de información sectorial, repositorios abiertos, redes de distribución de contenidos institucionales. Esos textos no vienen limpios. Vienen con ruido estructural, idiomas mezclados, duplicados parciales, fechas inconsistentes, metadatos ausentes o mal formados.

La fase de preprocesamiento tiene que resolver todo eso antes de que el análisis pueda empezar. Y las decisiones que se toman aquí no son neutrales:

• ¿Qué se considera un duplicado? Un texto replicado con mínimas variaciones puede tratarse como señal redundante o como evidencia de propagación. Son dos lecturas analíticas opuestas.
• ¿Cómo se normaliza el texto? Eliminar stopwords puede limpiar el ruido o borrar contexto semántico relevante dependiendo del dominio.
• ¿Qué se hace con las fuentes que no tienen fecha fiable? Asignar timestamp por defecto introduce sesgos temporales que el análisis posterior heredará sin saberlo.

Ninguna de estas decisiones es técnica en sentido estricto. Son decisiones analíticas disfrazadas de decisiones técnicas.

El problema de la heterogeneidad de fuentes

El universo público de Internet no es homogéneo. Las fuentes difieren en formato, densidad informativa, frecuencia de actualización y calidad estructural. Un proceso de TDM que trate todas las fuentes como equivalentes produce resultados que parecen coherentes pero no lo son.

La heterogeneidad se manifiesta de varias formas:

Variación en la longitud del texto. Un post de 80 palabras y un análisis sectorial de 4.000 palabras no pueden normalizarse con el mismo criterio sin perder información relevante en uno u otro extremo.

Diferencias en el registro lingüístico. Las fuentes institucionales y las conversacionales usan vocabulario distinto para referirse a los mismos fenómenos. Si el preprocesamiento no gestiona esa variación, el modelo de análisis verá dos señales donde hay una sola.

Inconsistencias en la cobertura temporal. Algunas fuentes publican en tiempo casi real. Otras tienen latencias de horas o días. Cuando se agregan en un mismo corpus sin etiquetar esa diferencia, el análisis temporal pierde rigor.

Un pipeline de TDM maduro tiene que modelar explícitamente estas diferencias, no ignorarlas. La heterogeneidad no es un problema que se resuelve una vez: es una condición permanente del universo público que hay que gestionar de forma continua.

Dónde se acumula el sesgo sin que nadie lo detecte

El sesgo en TDM no suele ser dramático. No es que el sistema devuelva resultados absurdos. Es que devuelve resultados plausibles que están sistemáticamente inclinados en una dirección que nadie detecta porque el output parece razonable.

Los focos de sesgo más frecuentes en la fase de preprocesamiento son tres:

1. Sesgo de selección de fuentes. Si el corpus de entrada sobrerepresenta ciertos tipos de fuentes —por ejemplo, portales de alta frecuencia frente a fuentes de baja frecuencia pero alta densidad analítica—, el análisis reflejará el peso de esas fuentes aunque la metodología sea impecable.

2. Sesgo de normalización. Las decisiones de limpieza eliminan señal de forma asimétrica. Los textos más cortos, los que usan jerga sectorial o los que mezclan idiomas son los más afectados. Precisamente los que a veces contienen las señales más tempranas de un cambio de tendencia.

3. Sesgo de umbral de inclusión. Definir un umbral mínimo de relevancia para incluir un texto en el corpus es necesario, pero el umbral nunca es neutral. Lo que queda fuera del umbral no es ruido por definición: es una hipótesis sobre qué importa, tomada antes del análisis.

La única forma de gestionar estos sesgos es hacerlos explícitos. Documentar qué decisiones se tomaron, por qué y qué efecto esperado tienen sobre el resultado.

Por qué el marco legal del TDM afecta también al preprocesamiento

El Art. 4 de la Directiva (UE) 2019/790 habilita el Text and Data Mining sobre fuentes de acceso lícito para cualquier finalidad, incluyendo comercial, salvo que el titular de los derechos haya establecido una reserva expresa. Ese marco no solo define qué se puede procesar: también condiciona cómo debe estructurarse el pipeline.

Cuando el proceso de TDM está correctamente enmarcado bajo este artículo, el preprocesamiento tiene que ser trazable. No en el sentido burocrático, sino en el sentido funcional: tiene que ser posible reconstruir qué fuentes integraron el corpus, bajo qué condiciones de acceso y con qué tratamiento aplicado.

Esa trazabilidad no es solo una exigencia de cumplimiento. Es también una garantía de calidad analítica. Un preprocesamiento documentado es un preprocesamiento revisable. Y un preprocesamiento revisable es el único tipo que permite detectar y corregir los sesgos antes de que contaminen el análisis final.

Lo que distingue un pipeline robusto de uno que simplemente funciona

Un pipeline de TDM que "simplemente funciona" produce outputs. Un pipeline robusto produce outputs con trazabilidad, gestión explícita de la heterogeneidad y mecanismos de detección de deriva en el preprocesamiento.

La diferencia no es visible en condiciones normales. Se hace evidente cuando las fuentes cambian de comportamiento, cuando aparece una fuente nueva con características distintas al resto del corpus, o cuando el fenómeno que se analiza cruza dominios lingüísticos o temporales distintos.

En TrawlingWeb, el procesamiento del universo público de Internet se diseña con esa distinción como criterio operativo. No porque los casos de fallo sean frecuentes, sino porque cuando ocurren, el coste de no haberlo previsto supera con creces el coste de haberlo diseñado bien desde el principio.

El preprocesamiento es donde se construye —o se compromete— la credibilidad del análisis. Hacerlo visible es el primer paso para hacerlo bien.

¿Tu organización depende de análisis basados en TDM? La robustez del resultado empieza por las decisiones que se toman antes de que el análisis comience. Conoce cómo TrawlingWeb estructura ese proceso.