Este artículo técnico detalla el rediseño de un pipeline de scraping y matching de productos para resolver problemas de IDs inestables y falsos positivos. Se implementa una estrategia de IDs estables para evitar duplicados, se fusionan señales de texto con BM25 y cosine similarity usando RRF, y se introduce un sistema de Entity Resolution local basado en scoring de componentes (marca, modelo, tamaño, etc.). El pipeline automatizado, desplegado en Cloud Run Job, mejoró la precisión y redujo drásticamente el tiempo de ejecución. El lector aprenderá sobre la implementación de estas técnicas y su
Este artículo describe cómo conectar un pipeline de datos con una aplicación Django existente para crear un dashboard de análisis. El pipeline escribe datos de tendencias y productos en una base de datos PostgreSQL separada. Se utiliza Django con `managed=False` y un `DatabaseRouter` para acceder a estos datos sin interferir con la base de datos principal de la aplicación. El frontend, construido con React, permite explorar los datos a través de varios endpoints y filtros interactivos, ofreciendo una interfaz para el análisis de mercado.
Este artículo describe la construcción de un pipeline de datos en R para monitorear un marketplace. El objetivo es extraer, normalizar y almacenar datos diarios de tendencias, productos y precios para análisis. Se utiliza R con las librerías `tidyverse`, `httr2`, `DBI` y clases R6 para estructurar el pipeline. El pipeline se despliega como un Cloud Run Job en Google Cloud Platform, utilizando OAuth 2.0 con rotación automática de tokens y garantizando la idempotencia mediante transacciones SQL. El lector aprenderá sobre la arquitectura del pipeline, la gestión de la autenticación, la persistenc