Modelos Vectoriales en Procesamiento de Lenguaje Natural (PLN)

Introducción a los Modelos Vectoriales

Los modelos vectoriales son una piedra angular en el Procesamiento de Lenguaje Natural (PLN), ya que permiten transformar palabras y documentos en representaciones numéricas que las máquinas pueden procesar. Estos modelos capturan el significado, la similitud y las relaciones entre términos, lo que es esencial para tareas como búsqueda de información, clasificación de textos y generación de lenguaje. En esta lección, exploraremos cuatro técnicas fundamentales: TF-IDF, Word2Vec y GloVe, cada una con sus ventajas y limitaciones.

TF-IDF (Term Frequency-Inverse Document Frequency) es un método clásico que mide la importancia de una palabra en un documento respecto a una colección de textos. Aunque sencillo, es muy efectivo en recuperación de información. Por otro lado, Word2Vec y GloVe son modelos basados en embeddings, que generan vectores densos capaces de capturar relaciones semánticas y sintácticas entre palabras. Estos últimos han revolucionado el PLN al permitir que las palabras con significados similares tengan representaciones vectoriales cercanas en el espacio multidimensional.

A lo largo de esta lección, profundizaremos en cada técnica, explicando su funcionamiento matemático, sus aplicaciones prácticas y cómo se comparan entre sí. Además, discutiremos casos de uso reales, como motores de búsqueda, chatbots y sistemas de recomendación, donde estos modelos juegan un papel crucial.

TF-IDF: Pesado de Términos para Recuperación de Información

TF-IDF es uno de los métodos más utilizados en recuperación de información y minería de textos. Su nombre proviene de dos componentes principales: Term Frequency (TF) e Inverse Document Frequency (IDF). La frecuencia de término (TF) mide cuántas veces aparece una palabra en un documento, mientras que la frecuencia inversa de documento (IDF) penaliza los términos que aparecen en muchos textos, ya que estos suelen ser menos informativos (como artículos o preposiciones). La combinación de ambos factores asigna un peso alto a palabras relevantes que son frecuentes en un documento pero raras en el corpus general.

Matemáticamente, el TF-IDF se calcula como:
[ {eq}\text{TF-IDF}(t, d) = \text{TF}(t, d) \times \text{IDF}(t){/eq} ]
Donde:

• ({eq}\text{TF}(t, d){/eq}) es el número de veces que el término (t) aparece en el documento (d).
• ({eq}\text{IDF}(t){/eq}) se calcula como ({eq}\log \left( \frac{N}{\text{DF}(t)} \right){/eq}), siendo (N) el número total de documentos y ({eq}\text{DF}(t){/eq}) la cantidad de documentos que contienen el término (t).

Este enfoque es especialmente útil en sistemas de búsqueda, donde los resultados deben priorizar documentos con términos clave. Sin embargo, TF-IDF tiene limitaciones: no captura relaciones semánticas entre palabras y depende en gran medida del preprocesamiento del texto (como la eliminación de stopwords y la lematización). A pesar de esto, sigue siendo una técnica valiosa por su simplicidad y eficacia en tareas específicas.

Word2Vec: Embeddings de Palabras y Relaciones Semánticas

Word2Vec, desarrollado por Google en 2013, marcó un antes y después en el PLN al introducir un modelo de embeddings que captura el significado de las palabras en vectores densos de baja dimensión. A diferencia de TF-IDF, Word2Vec considera el contexto en el que aparecen las palabras, permitiendo que términos como «rey» y «reina» tengan vectores similares pero con diferencias que reflejan su relación semántica.

Existen dos arquitecturas principales en Word2Vec: Skip-gram y CBOW (Continuous Bag of Words). Skip-gram predice las palabras circundantes (contexto) dada una palabra central, lo que lo hace eficaz para representar términos raros. CBOW, en cambio, predice una palabra central dado su contexto, siendo más rápido y eficiente para vocabularios grandes. Ambas se entrenan usando redes neuronales shallow (de poca profundidad) y optimización mediante descenso de gradiente.

Una de las propiedades más interesantes de Word2Vec es que permite operaciones algebraicas sobre vectores. Por ejemplo:
[ {eq}\text{Vector(«rey»)} – \text{Vector(«hombre»)} + \text{Vector(«mujer»)} \approx \text{Vector(«reina»)}{/eq} ]
Esto demuestra que el modelo no solo aprende palabras individuales, sino también relaciones de género, analogías y otros patrones lingüísticos. Sin embargo, Word2Vec tiene limitaciones: no maneja bien palabras fuera de vocabulario (OOV) y requiere grandes volúmenes de datos para un entrenamiento efectivo.

GloVe: Vectores Globales basados en Estadísticas

GloVe (Global Vectors for Word Representation) es otro modelo de embeddings que combina lo mejor de los enfoques globales (como TF-IDF) y locales (como Word2Vec). Desarrollado por Stanford, GloVe utiliza estadísticas de co-ocurrencia de palabras en todo el corpus para generar vectores que capturan tanto significado como uso contextual.

A diferencia de Word2Vec, que aprende iterativamente a partir de ventanas de contexto, GloVe construye una matriz de co-ocurrencia donde cada entrada ({eq}X_{ij}{/eq}) representa cuántas veces la palabra (i) aparece cerca de la palabra (j). Luego, utiliza factorización de matrices para reducir la dimensionalidad y obtener vectores densos. La función de costo de GloVe está diseñada para que el producto escalar de dos vectores aproxime el logaritmo de su probabilidad de co-ocurrencia:
{eq}[ J = \sum_{i,j=1}^V f(X_{ij}) (w_i^T \tilde{w}j + b_i + \tilde{b}_j – \log X{ij})^2 ]{/eq}
Donde {eq}(w_i{/eq}) y ({eq}\tilde{w}j){/eq} son los vectores de palabra y contexto, respectivamente, y ({eq}f(X{ij}){/eq}) es una función de ponderación que evita el sesgo hacia términos muy frecuentes.

GloVe es particularmente efectivo en corpus grandes, ya que aprovecha información global para mejorar la calidad de los embeddings. Además, suele superar a Word2Vec en tareas que requieren precisión semántica y sintáctica. Sin embargo, al igual que Word2Vec, no resuelve completamente el problema de palabras polisémicas (con múltiples significados).

Conclusión: Comparativa y Aplicaciones Prácticas

Al comparar estos modelos, vemos que TF-IDF es ideal para tareas simples donde la frecuencia de términos es suficiente, como búsqueda y clasificación de documentos. Por otro lado, Word2Vec y GloVe son superiores en aplicaciones que requieren comprensión semántica, como traducción automática, análisis de sentimientos y generación de texto.

En la práctica, la elección del modelo depende del problema y los recursos disponibles. Para proyectos con datos limitados, TF-IDF puede ser una opción rápida y efectiva. Si se dispone de grandes corpus y poder computacional, Word2Vec o GloVe ofrecen representaciones más ricas. Hoy en día, estos embeddings también sirven como base para modelos más avanzados, como BERT y GPT, que utilizan transformers para un entendimiento aún más profundo del lenguaje.

Esta lección ha cubierto los fundamentos de los modelos vectoriales, pero el campo del PLN sigue evolucionando. Explorar estas técnicas es solo el primer paso hacia sistemas de lenguaje más inteligentes y capaces.

Rodrigo Ricardo Editor y fundador