Matching semántico: conectando mercados con Sentence-BERT
Un problema aparentemente trivial —emparejar el mismo producto entre precios mayoristas y minoristas de ODEPA— se convierte en un desafío real de integración de datos cuando no existen identificadores comunes y la nomenclatura difiere en granularidad, envases y variantes regionales. Este post muestra cómo un enfoque híbrido que combina normalización textual, embeddings semánticos multilingües y validación humana permitió aumentar en 55 % las series utilizables para estimar transmisión de precios, manteniendo una arquitectura R-Python desacoplada y reproducible.

El problema del pareo
Para estimar la transmisión de precios entre mercados mayoristas y minoristas, se necesitan pares: el mismo producto observado simultáneamente en ambos niveles de la cadena de distribución.
Pero ODEPA no usa identificadores comunes entre sus tablas. Lo que en la tabla mayorista aparece como:
"Palta Hass Primera, bandeja 4 kg"
En la tabla de consumidor figura como:
"Palta, Hass, primera calidad"
Más allá de la nomenclatura, existen diferencias de granularidad, información de envase incluida solo en una tabla, y variaciones regionales en los nombres.
Primer intento: matching exacto por texto normalizado
El script 03c_matching_exacto.R implementa un matching basado en normalización textual:
- Convertir a minúsculas
- Eliminar tildes y caracteres especiales
- Extraer el producto base y la variedad
- Comparar strings normalizados
Esto captura los casos obvios, pero pierde los pares donde la nomenclatura diverge de forma significativa. Con este enfoque se obtenían 49 pares producto-región.
Segundo intento: embeddings semánticos con Sentence-BERT
Usando sentence-transformers con el modelo paraphrase-multilingual-MiniLM-L12-v2, se calculan embeddings de 384 dimensiones para cada descripción de producto:
from sentence_transformers import SentenceTransformer
import numpy as np
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
emb_may = model.encode(nombres_mayorista)
emb_con = model.encode(nombres_consumidor)
# Similitud coseno para todos los pares
similitud = np.inner(emb_may, emb_con)
La similitud coseno entre embeddings proporciona una medida continua de parecido semántico. Un umbral de 0,4 resultó ser el punto óptimo: por debajo introduce falsos positivos (productos distintos) y por encima pierde pares válidos.
El resultado: de 49 a 76 series (+55%)
Combinando matching exacto y semántico, el proyecto pasó de 49 a 76 pares producto-región: un incremento del 55 % en el número de series disponibles para estimación TVECM.
La validación fue manual: cada par nuevo fue revisado y confirmado. La tabla match_validation almacena el veredicto humano para cada par, lo que permite regenerar el matching sin repetir la validación.
::tip
No se necesitaba un modelo grande. El modelo MiniLM-L12-v2 tiene solo 33 millones de parámetros, soporta español sin fine-tuning, y procesa los ~500 nombres presentes en el catálogo de ODEPA en menos de un segundo.
::
Interoperabilidad R-Python
La integración entre Python y R se resuelve de forma pragmática: Python escribe los resultados del matching en PostgreSQL y R los lee con una query estándar. No se usa reticulate ni ningún mecanismo de paso de datos en memoria.
Python → PostgreSQL (tabla match_semantico)
↓
R ← PostgreSQL (query desde 03c_matching_exacto.R)
Cada componente se puede ejecutar y testear independientemente, sin acoplar los entornos de ejecución.
Reflexión
El matching semántico ilustra cómo una técnica de NLP puede resolver un problema de integración de datos muy concreto en econometría aplicada. La clave no fue el tamaño del modelo, sino elegir el umbral correcto y validar manualmente los pares resultantes.
Este post es parte de una serie que documenta el desarrollo del proyecto AsymmetryAnalysis.