Este artículo describe la construcción de un pipeline de datos en R para monitorear un marketplace. El objetivo es extraer, normalizar y almacenar datos diarios de tendencias, productos y precios para análisis. Se utiliza R con las librerías `tidyverse`, `httr2`, `DBI` y clases R6 para estructurar el pipeline. El pipeline se despliega como un Cloud Run Job en Google Cloud Platform, utilizando OAuth 2.0 con rotación automática de tokens y garantizando la idempotencia mediante transacciones SQL. El lector aprenderá sobre la arquitectura del pipeline, la gestión de la autenticación, la persistenc
Este artículo describe cómo conectar un pipeline de datos con una aplicación Django existente para crear un dashboard de análisis. El pipeline escribe datos de tendencias y productos en una base de datos PostgreSQL separada. Se utiliza Django con `managed=False` y un `DatabaseRouter` para acceder a estos datos sin interferir con la base de datos principal de la aplicación. El frontend, construido con React, permite explorar los datos a través de varios endpoints y filtros interactivos, ofreciendo una interfaz para el análisis de mercado.
Este artículo técnico aborda la problemática de identificar tendencias de productos basadas únicamente en la oferta del marketplace, que no siempre reflejan la demanda real de los consumidores. Para solucionarlo, se implementa un sistema que combina datos de Google Trends con información del marketplace, utilizando Reciprocal Rank Fusion para crear un ranking unificado. Además, se realiza scraping de sitios de proveedores mayoristas y se aplica matching semántico mediante embeddings de Vertex AI para estimar márgenes. El lector aprenderá sobre la integración de múltiples fuentes de datos, técn
Este artículo técnico detalla el rediseño de un pipeline de scraping y matching de productos para resolver problemas de IDs inestables y falsos positivos. Se implementa una estrategia de IDs estables para evitar duplicados, se fusionan señales de texto con BM25 y cosine similarity usando RRF, y se introduce un sistema de Entity Resolution local basado en scoring de componentes (marca, modelo, tamaño, etc.). El pipeline automatizado, desplegado en Cloud Run Job, mejoró la precisión y redujo drásticamente el tiempo de ejecución. El lector aprenderá sobre la implementación de estas técnicas y su
Este artículo técnico describe la evolución de un pipeline de matching entre mayoristas y retailers, enfocándose en el cálculo de la rentabilidad. Se rediseña el dashboard para mostrar oportunidades de ganancia neta, considerando costos de envío, embalaje y comisiones. Se implementa matching directo wholesale-retail con BM25 y cosine similarity, y se enriquece con datos de demanda de Mercado Libre y atributos extraídos con regex. El lector aprenderá sobre entity resolution, cálculo de márgenes y visualización de datos con React Flow y recharts.
Este artículo técnico describe la creación de un panel de demanda unificado para productos, integrando múltiples fuentes de datos para una visión más completa que solo MercadoLibre. Se aborda el scraping de precios de Falabella.com utilizando Next.js y se detalla el intento de integración de Google Ads Keyword Planner, incluyendo los desafíos de autenticación y versiones de API. El artículo explica cómo se fusionan las señales de MercadoLibre, YouTube, Google Trends y Google Ads en un score RRF (Reciprocal Rank Fusion) y cómo se visualizan en un panel interactivo con color coding para facilita