El cuaderno

Notas de investigación, decisiones de ingeniería y aprendizajes de proyectos reales. Ciencia de datos explicada desde la práctica.

7 de marzo de 20263 min de lectura

El Rediseño del Pipeline: IDs Estables, BM25 y Entity Resolution

Este artículo técnico detalla el rediseño de un pipeline de scraping y matching de productos para resolver problemas de IDs inestables y falsos positivos. Se implementa una estrategia de IDs estables para evitar duplicados, se fusionan señales de texto con BM25 y cosine similarity usando RRF, y se introduce un sistema de Entity Resolution local basado en scoring de componentes (marca, modelo, tamaño, etc.). El pipeline automatizado, desplegado en Cloud Run Job, mejoró la precisión y redujo drásticamente el tiempo de ejecución. El lector aprenderá sobre la implementación de estas técnicas y su

Ecommerce Analytics

27 de febrero de 202610 min de lectura

Búsqueda Híbrida en RAG: BM25, HyDE, Query Expansion y Rank Fusion

Este artículo técnico aborda las limitaciones de la búsqueda puramente vectorial en sistemas RAG, especialmente con keywords exactas, entidades raras y preguntas cortas. Presenta una solución de búsqueda híbrida que combina la búsqueda semántica con la búsqueda léxica, utilizando técnicas como BM25 para la recuperación de información basada en frecuencias de términos. Explica la implementación de BM25 en Python con la librería `rank-bm25` y cómo se integra en un índice personalizado. Además, introduce Reciprocal Rank Fusion (RRF) para combinar los resultados de diferentes métodos de ranking, m

Portafolio RAG