Saltar al contenido
hg.Héctor GarridoCiencia de datos · Estadística · Ingeniería de datos
← Volver al blog
Tesis: Asimetrías de Precios

Dockerización y Cloud: del localhost al mundo

Containerizar un proyecto de investigación no es solo una decisión técnica, sino metodológica: garantiza reproducibilidad, simplifica la colaboración y permite escalar cómputo sin fricción. Este post muestra cómo un pipeline econométrico intensivo se empaqueta con Docker, se orquesta localmente con PostgreSQL y se ejecuta como batch en Google Cloud mediante Cloud Run Jobs, con dependencias separadas por capas, secretos gestionados externamente y un entrypoint flexible para distintos modos de ejecución.

Dockerización y Cloud: del localhost al mundo

¿Por qué containerizar un proyecto de investigación?

La motivación es doble:

  1. Reproducibilidad: "funciona en mi máquina" no es aceptable en investigación. Un Dockerfile congela versiones de R, Python, paquetes de sistema y dependencias.
  2. Escalabilidad: estimar 76 series TVECM con GIRF es computacionalmente costoso. Google Cloud Run permite ejecutar el pipeline con más recursos de los disponibles localmente.

La arquitectura Docker

El Dockerfile usa un build multi-etapa:

# Etapa 1: Base con R y dependencias de sistema
FROM rocker/r-ver:4.4.0 AS base

# Etapa 2: Paquetes R (capa cacheada)
FROM base AS r-deps
RUN install2.r --error tsDyn urca vars ...

# Etapa 3: Python (capa cacheada independiente)
FROM r-deps AS py-deps
RUN python3 -m pip install sentence-transformers

# Etapa 4: Aplicación
FROM py-deps AS app
COPY AsymmetryAnalysis/ /app/AsymmetryAnalysis/
RUN R CMD INSTALL /app/AsymmetryAnalysis

Las capas se cachean: si solo cambian los scripts (no las dependencias), el rebuild toma segundos.

docker-compose para desarrollo local

Para desarrollo, docker-compose.yml levanta PostgreSQL y el pipeline juntos:

services:
  db:
    image: postgres:15-alpine
    volumes:
      - pgdata:/var/lib/postgresql/data

  pipeline:
    build: .
    depends_on:
      db:
        condition: service_healthy
    environment:
      - PGHOST=db
      - PGDATABASE=asymmetry

Un docker compose up y el pipeline completo se ejecuta contra una base local limpia.

Google Cloud Run Jobs

Para producción, usamos Cloud Run Jobs (no servicios): el pipeline es un batch, no un servidor web.

El despliegue via Cloud Build (cloudbuild.yaml):

  1. Construye la imagen Docker
  2. La sube a Artifact Registry
  3. Actualiza el Cloud Run Job
  4. Ejecuta el job

Las credenciales de base de datos se manejan via Secret Manager, nunca en variables de entorno del repositorio.

El script de entrada

scripts/run_pipeline.sh es el entrypoint del container. Soporta modos de ejecución:

./run_pipeline.sh --full          # Pipeline completo
./run_pipeline.sh --skip-etl      # Sin descarga (datos ya en DB)
./run_pipeline.sh --step 06       # Solo estimación TVECM
./run_pipeline.sh --reports-only  # Solo reportes

Antes de ejecutar cualquier paso, verifica que PostgreSQL esté accesible con reintentos.

Variables de entorno

El archivo .env.example documenta toda la configuración:

PGHOST=localhost
PGPORT=5432
PGDATABASE=asymmetry
PGUSER=asymmetry_user
PGPASSWORD=changeme
PIPELINE_MODE=full

Credenciales: Secret Manager en producción

Las credenciales de base de datos nunca se almacenan en variables de entorno del repositorio ni en el Dockerfile. En producción, el Cloud Run Job lee los secretos directamente desde Google Secret Manager:

# cloudbuild.yaml — inyección de secretos en el job
steps:
  - name: gcr.io/google.com/cloudsdktool/cloud-sdk
    args:
      - gcloud
      - run
      - jobs
      - update
      - asymmetry-pipeline
      - --update-secrets=PGPASSWORD=pg-password:latest

El archivo .env.example documenta todas las variables necesarias para quien quiera correr el pipeline localmente, sin exponer valores reales.

Reflexión

Containerizar un proyecto de investigación es una inversión inicial que devuelve dividendos concretos: los revisores obtienen resultados reproducibles, los colaboradores no necesitan configurar nada, y el deployment a la nube es una operación de un comando.

::tip Si tu proyecto de investigación tiene más de tres dependencias de sistema (R, Python, librerías de sistema, PostgreSQL), un Dockerfile no es opcional: es la única forma de garantizar que los resultados del año pasado se puedan reproducir el año que viene. ::


Este post es parte de una serie que documenta el desarrollo del proyecto AsymmetryAnalysis.