Saltar al contenido
hg.Héctor GarridoCiencia de datos · Estadística · Ingeniería de datos
← Volver al blog
Tesis: Asimetrías de Precios

ETL desde ODEPA: domesticando la API CKAN

La base pública de precios hortofrutícolas de la Oficina de Estudios y Políticas Agrarias expone millones de registros a través de CKAN, pero descargarlos íntegramente exige lidiar con paginación estricta, cambios silenciosos en el esquema y unidades de venta inconsistentes. Este post muestra cómo construir un loader robusto con reintentos y caching, normalizar presentaciones heterogéneas a $/kg y transformar los datos crudos en un star schema analítico en PostgreSQL listo para consulta masiva.

ETL desde ODEPA: domesticando la API CKAN

El dato público como materia prima

La Oficina de Estudios y Políticas Agrarias (ODEPA) publica semanalmente precios de productos hortofrutícolas en Chile. Dos fuentes alimentan el proyecto:

  1. Precios mayoristas: precios medios semanales por producto, variedad y mercado (Lo Valledor, Vega Central, etc.)
  2. Precios al consumidor: precios en ferias libres y supermercados por ciudad

Ambas tablas están disponibles en el portal datos.gob.cl, que usa CKAN como plataforma. Esto expone un endpoint datastore_search con paginación programática.

El problema: paginación y volumen

La API CKAN retorna máximo 32.000 registros por request. La tabla de precios mayoristas contiene ~1,5 millones de filas; la de consumidor, ~1,4 millones. Sin paginación, solo se recupera el 2 % de los datos.

La clase OdepaLoader del paquete maneja la descarga completa de forma transparente:

loader <- OdepaLoader$new()
datos_may <- loader$fetch_all(resource_id = "3e3b34a2-...",
                               batch_size = 32000)

Internamente, la clase realiza requests sucesivos con offset incremental, aplica reintentos con backoff exponencial ante errores HTTP, y escribe el progreso al log de sesión.

De datos crudos a datamart

Los datos de ODEPA presentan inconsistencias sistemáticas: nombres de productos con tildes variables según la semana de publicación, unidades de venta mixtas (/kg,/kg, /unidad, $/malla), y formatos de fecha diferentes entre las tablas mayorista y consumidor.

El script 02_crear_datamart.R resuelve estas inconsistencias y construye un star schema en PostgreSQL:

CREATE TABLE dim_producto (
    producto_id SERIAL PRIMARY KEY,
    nombre_original TEXT,
    nombre_normalizado TEXT,
    producto_base TEXT,
    variedad TEXT
);

CREATE TABLE fact_precios (
    fecha_id INTEGER REFERENCES dim_fecha,
    producto_id INTEGER REFERENCES dim_producto,
    mercado_id INTEGER REFERENCES dim_mercado,
    precio_kg NUMERIC,
    fuente TEXT
);

Normalización a $/kilo

Los precios llegan en unidades heterogéneas: mallas, bandejas, cajas, unidades. La función aa_normalizar_precios() usa aa_extraer_peso_kg() para inferir el factor de conversión desde la descripción del envase:

  • "Malla 20 kg" → 20,0 kg
  • "Bandeja 500 gr" → 0,5 kg
  • "Unidad" → requiere tabla de peso promedio por producto

La tabla peso_envases mapea cada formato a su peso en kilos. La función aa_actualizar_peso_envases() permite ampliarla cuando ODEPA introduce nuevas presentaciones, sin modificar el código del ETL.

::warning ODEPA ha modificado sin aviso los IDs de recursos y nombres de columnas en al menos dos ocasiones. El ETL debe tolerar estas variaciones y alertar cuando detecte cambios inesperados en el esquema de la API. ::

Lecciones de trabajar con datos públicos

Tres aprendizajes prácticos que no aparecen en los tutoriales de datos abiertos:

  1. La paginación es lenta: 47 requests para descargar una tabla completa. El caching local de los archivos crudos reduce la descarga de 15 minutos a 30 segundos en ejecuciones subsecuentes.
  2. La calidad varía por semana: hay semanas sin datos, precios negativos o claramente atípicos, y productos que aparecen y desaparecen del catálogo sin explicación.
  3. Los nombres de recursos cambian: mantener un archivo de configuración con los IDs de recursos —en lugar de hardcodearlos— hace que actualizar el ETL tome minutos, no horas.

El ETL no es glamoroso, pero es la fundación de todo lo que viene después.


Este post es parte de una serie que documenta el desarrollo del proyecto AsymmetryAnalysis.