Este artículo técnico describe la creación de un sistema ETL para extraer información de la API pública de arXiv, una fuente de publicaciones académicas. El objetivo es filtrar y analizar los papers más relevantes en áreas específicas. Se utiliza Python con bibliotecas como `requests` y `xml.etree.ElementTree` para la extracción, y Django para modelar los datos y exponer una API. El lector aprenderá sobre el diseño de un schema tipo fact table, el manejo de límites de la API, y la implementación de endpoints para acceder a los datos y estadísticas.
Este artículo técnico detalla la implementación del backend para un DataMart, resolviendo el problema de analizar datos de YouTube. Se utiliza Django para construir nueve modelos de datos, incluyendo tablas raw y dimensionales. Se implementa un ETL idempotente para evitar duplicados al procesar datos de la API de YouTube. El lector aprenderá sobre el diseño de modelos de datos, la creación de ETLs idempotentes y la construcción de endpoints para acceder a los datos procesados.
Este artículo describe la actualización del comando `sync_dev_posts` para sincronizar posts de desarrollo desde archivos Markdown a una base de datos. La nueva versión elimina el encabezado duplicado, usa el slug de la categoría para la estructura de carpetas y crea posts automáticamente si no existen. Además, integra Gemini para generar excerpts y tags automáticamente, mejorando la metadata y la organización del contenido. Aprenderás sobre manipulación de archivos, interacción con bases de datos y el uso de Gemini para tareas de generación de contenido.
Este artículo explica la implementación de tests automáticos en un portafolio personal desarrollado con Django y React. Se detalla cómo se utilizan herramientas como `django.test`, `rest_framework.test`, Jest y `@testing-library/react` para asegurar la calidad del código tanto en el backend como en el frontend. Se describe la arquitectura de testing, integrada en el pipeline de GitHub Actions, garantizando que ningún código llegue a producción sin pasar las pruebas. El lector aprenderá sobre las estrategias de testing para modelos, APIs y componentes, así como el mockeo de servicios externos.
Containerizar un proyecto de investigación no es solo una decisión técnica, sino metodológica: garantiza reproducibilidad, simplifica la colaboración y permite escalar cómputo sin fricción. Este post muestra cómo un pipeline econométrico intensivo se empaqueta con Docker, se orquesta localmente con PostgreSQL y se ejecuta como batch en Google Cloud mediante Cloud Run Jobs, con dependencias separadas por capas, secretos gestionados externamente y un entrypoint flexible para distintos modos de ejecución.
Un problema aparentemente trivial —emparejar el mismo producto entre precios mayoristas y minoristas de ODEPA— se convierte en un desafío real de integración de datos cuando no existen identificadores comunes y la nomenclatura difiere en granularidad, envases y variantes regionales. Este post muestra cómo un enfoque híbrido que combina normalización textual, embeddings semánticos multilingües y validación humana permitió aumentar en 55 % las series utilizables para estimar transmisión de precios, manteniendo una arquitectura R-Python desacoplada y reproducible.
