Saltar al contenido
hg.Héctor GarridoCiencia de datos · Estadística · Ingeniería de datos
← Volver al blog
Portafolio RAG

Migración de Cloud SQL a Neon: Cómo Ahorré $115/Año en 20 Minutos

Este artículo detalla la migración de una base de datos PostgreSQL de Cloud SQL a Neon para reducir costos. Se explica cómo crear un proyecto en Neon, habilitar la extensión pgvector, exportar la base de datos de Cloud SQL usando `gcloud`, importarla a Neon con `psql`, y finalmente, actualizar la configuración de Cloud Run para apuntar a la nueva base de datos. El lector aprenderá a migrar bases de datos entre plataformas cloud y a optimizar costos de infraestructura.

Migración de Cloud SQL a Neon: Cómo Ahorré $115/Año en 20 Minutos

El Estado Inicial

Cloud SQL: - Instancia: my-django-db (db-f1-micro) - Motor: PostgreSQL 15 - Región: us-central1 (Iowa) - Tamaño de datos: ~50 MB - Costo: $9.61 USD/mes

Inventario de datos: | Tabla | Registros | |---|---| | blog_post | 71 | | blog_tag | 81 | | blog_post_tags | 560 | | search_postembedding | 69 | | search_ragquerycache | 12 | | users_user | 1 | | django_migrations | 29 |


Paso 1: Crear Proyecto en Neon

Creé una cuenta en neon.tech con Google OAuth. Al crear el proyecto:

  • Nombre: blog-production
  • Región: AWS us-east-2 (Ohio)
  • PostgreSQL: versión 17 (por defecto)
  • Branch: production (Neon usa branches como Git, más adelante explico)

¿Por qué AWS y no GCP? Neon actualmente corre sobre AWS o Azure. Mi Cloud Run está en us-central1 (Iowa, GCP). Elegí us-east-2 (Ohio, AWS) porque es la región más cercana geográficamente. La latencia inter-cloud es ~20-30ms, imperceptible para un blog.

Concepto clave: Neon Branches. Cada proyecto de Neon tiene "branches" similares a Git. El branch production es el principal. Puedes crear branches de desarrollo que son copias copy-on-write de producción — perfectas para probar migraciones sin riesgo.


Paso 2: Habilitar pgvector

Mi proyecto usa la extensión pgvector para columnas de tipo vector(768) en las migraciones de Django (aunque los embeddings se almacenan como pickle, la extensión necesita existir para que las migraciones no fallen).

CREATE EXTENSION IF NOT EXISTS vector;

Neon soporta pgvector de forma nativa. Solo hay que habilitarlo una vez.


Paso 3: Exportar de Cloud SQL

La exportación tiene tres pasos: permisos, export, descarga.

Dar permisos al Service Account de Cloud SQL

# Obtener el service account de la instancia
gcloud sql instances describe my-django-db \
  --project=blog-479107 \
  --format="value(serviceAccountEmailAddress)"
# → p691219889052-vz8fxr@gcp-sa-cloud-sql.iam.gserviceaccount.com

# Dar permisos de escritura al bucket
gcloud storage buckets add-iam-policy-binding gs://blog-479107_cloudbuild \
  --member="serviceAccount:p691219889052-vz8fxr@gcp-sa-cloud-sql.iam.gserviceaccount.com" \
  --role="roles/storage.objectAdmin"

Exportar la base de datos

gcloud sql export sql my-django-db \
  gs://blog-479107_cloudbuild/blog_db_backup.sql \
  --database=blog_db \
  --project=blog-479107

Este comando genera un pg_dump estándar y lo sube al bucket de Cloud Storage.

Descargar el dump

gcloud storage cp gs://blog-479107_cloudbuild/blog_db_backup.sql .
# → 1.4 MiB

Paso 4: Preparar Neon para la Importación

Antes de importar, limpié el schema público (las migraciones de Django que había ejecutado como prueba) y me aseguré de que pgvector estuviera habilitado:

DROP SCHEMA public CASCADE;
CREATE SCHEMA public;
GRANT ALL ON SCHEMA public TO neondb_owner;
CREATE EXTENSION IF NOT EXISTS vector;

Paso 5: Importar en Neon

La importación es directa con psql:

psql "postgresql://neondb_owner:***@ep-long-rain-aejw248e-pooler.c-2.us-east-2.aws.neon.tech/neondb?sslmode=require" \
  -f blog_db_backup.sql

Resultado: Todo se importó correctamente. Los únicos errores fueron:

psql:blog_db_backup.sql:2157: ERROR: role "cloudsqlsuperuser" does not exist

Esto es un GRANT ALL ON SCHEMA public TO cloudsqlsuperuser que Cloud SQL agrega al dump. Es un rol interno de Cloud SQL que no existe en Neon. Completamente inofensivo — no afecta la data ni el schema.


Paso 6: Verificación de Datos

Después de la importación, verifiqué que todo estuviera completo:

Tabla Cloud SQL Neon Estado
blog_post 71 71 ✅
blog_tag 81 81 ✅
blog_post_tags 560 560 ✅
search_postembedding 69 69 ✅
search_ragquerycache 12 12 ✅
users_user 1 1 ✅
django_migrations 29 29 ✅
auth_permission 44 44 ✅

También verifiqué con Django ORM:

>>> from blog.models import Post, Tag
>>> Post.objects.count()
71
>>> Tag.objects.count()
81
>>> Post.objects.filter(is_published=True).count()
67

Y comprobé que las 29 migraciones mostraban [X] (aplicadas) en showmigrations.


Paso 7: Actualizar Cloud Run

El cambio en producción es una sola línea:

gcloud run services update blog-backend \
  --project=blog-479107 \
  --region=us-central1 \
  --update-env-vars DATABASE_URL="postgresql://neondb_owner:***@ep-long-rain-aejw248e-pooler.c-2.us-east-2.aws.neon.tech/neondb?channel_binding=require&sslmode=require"

Resultado:

OK Deploying... Done.
  OK Creating Revision...
  OK Routing traffic...
Service [blog-backend] revision [blog-backend-00023-64m] has been deployed 
and is serving 100 percent of traffic.

Cloud Run creó una nueva revisión y rutó el 100% del tráfico a ella. Zero downtime.


Paso 8: Cambios en el Código

Los cambios en settings.py para soportar Neon son mínimos pero importantes:

# Detección automática de Neon
_is_neon = 'neon.tech' in DATABASE_URL

# Neon gestiona connection pooling internamente (PgBouncer)
# No mantener conexiones persistentes evita errores
# "connection already closed" cuando Neon recicla conexiones idle
_conn_max_age = 0 if _is_neon else int(os.getenv('DB_CONN_MAX_AGE', '600'))

DATABASES = {
    'default': dj_database_url.parse(
        DATABASE_URL,
        conn_max_age=_conn_max_age,
        conn_health_checks=True,  # Crucial para cold starts serverless
    ),
}

# Neon requiere SSL
if _is_neon:
    existing_opts['sslmode'] = 'require'

¿Por qué conn_max_age=0? Neon usa PgBouncer como proxy de conexiones. Si Django mantiene conexiones "persistentes" (conn_max_age > 0), PgBouncer puede reciclarlas silenciosamente, causando errores InterfaceError: connection already closed. Con conn_max_age=0, Django abre una conexión fresca por request y PgBouncer la asigna de su pool.

¿Por qué conn_health_checks=True? Neon escala a cero después de ~5 minutos sin tráfico. Cuando llega un request después de un período idle, la conexión puede estar muerta. Este flag le dice a Django que verifique si la conexión está viva antes de usarla.


Lecciones Aprendidas

1. La exportación de Cloud SQL es estándar

El dump generado por gcloud sql export sql es un pg_dump normal. No hay formatos propietarios ni lockin. La migración es literalmente un psql -f.

2. Los roles internos de Cloud SQL son ruido

Cloud SQL agrega grants para cloudsqlsuperuser al dump. Son irrelevantes fuera de Cloud SQL y se pueden ignorar.

3. Neon es PostgreSQL

No tuve que cambiar ni una query, ni un modelo, ni un ORM call. Django no sabe (ni le importa) si está hablando con Cloud SQL, Neon, o un PostgreSQL en un Raspberry Pi.

4. La latencia inter-cloud es negligible para blogs

Cloud Run en us-central1 (Iowa) → Neon en us-east-2 (Ohio) agrega ~20-30ms de RTT. Para un blog con respuestas de 100-150ms totales, es imperceptible.

5. conn_max_age=0 es contraintuitivo pero necesario

Mi instinto era mantener conn_max_age=600 para "reusar conexiones". Pero con serverless databases + PgBouncer, mantener conexiones persistentes es contraproducente.


Resultado Final

Métrica Antes (Cloud SQL) Después (Neon)
Costo mensual DB $9.61 USD $0.00 USD
Ahorro anual — $115.32 USD
Downtime — 0 segundos
Tiempo de migración — ~20 minutos
Cambios de código — 1 archivo (settings.py)
Queries modificadas — 0
Datos perdidos — 0

Próximos Pasos

  1. Monitorear latencia durante una semana con Cloud Run logs
  2. Eliminar Cloud SQL una vez verificado que todo funciona estable
  3. Explorar Neon Branches para staging/preview environments
  4. Evaluar connection pooling si la latencia se convierte en un problema

Referencias

  1. Neon Documentation: Connect from any application
  2. Neon Documentation: Connection pooling
  3. Django docs: conn_max_age
  4. Django docs: conn_health_checks
  5. Google Cloud: Exporting data from Cloud SQL

Anterior: La Verdad Incómoda de Cloud SQL: Por Qué Tu Base de Datos Vacía Cuesta Más que Todo tu Stack
Siguiente: Mejoras al Motor RAG: Restricción de Contenido, Resiliencia y LaTeX

Este artículo es parte de la serie "Construyendo un Blog con IA". El código fuente completo está en GitHub.