Cómo Rescaté el Chatbot: Reverts, Streaming SSE y Conversaciones Multi-turno
Este artículo relata la depuración de un chatbot que fallaba en producción tras la implementación de conversaciones multi-turno. Se describe cómo un simple revert inicial permitió aislar una serie de problemas subyacentes, desde errores de CORS y health checks mal configurados hasta el manejo incorrecto de streams SSE y la respuesta de la API de Vertex AI. El lector aprenderá sobre estrategias de depuración en producción, la importancia de un buen manejo de errores en streams y cómo solucionar problemas comunes al integrar APIs de LLMs.

El plan era sencillo
Agregar conversación multi-turno al chatbot. La idea: el frontend manda el historial de turnos anteriores junto con la nueva pregunta, el backend construye un contexto acumulado y se lo pasa al LLM. Stateless por diseño — sin base de datos, sin sesiones, sin nada. Lo implementé, lo probé localmente, funcionó. Hice el commit con cierta satisfacción. Subí a develop.
Dos días después, el chatbot en producción no respondía.
No arrojaba error. No devolvía mensaje. Simplemente… nada. Un spinner eterno seguido de silencio.
El revert
Antes de depurar en producción, la decisión más rápida fue revertir. Dos commits: el feature y sus tests. No porque la lógica estuviera mal — localmente funcionaba — sino porque había algo más profundo roto y necesitaba volver a tierra firme para diagnosticar sin ruido.
git revert 9ae862b # feat multi-turno
git revert 2d5153910 # tests multi-turno
Doloroso, pero necesario. El chatbot volvió a funcionar (en modo turno único) y ahora podía observar qué estaba fallando realmente.
Los bugs reales: una cebolla
Abrir las DevTools en producción reveló una cadena de problemas independientes que se estaban apilando.
1. El health check respondía 404
El frontend hace un warmup al cargar: llama a /healthz para despertar el backend de Cloud Run antes de que el usuario haga su primera consulta. El problema: en producción, el backend está en api.hectorgarrido.cl y solo sirve rutas bajo /api/*. El endpoint /healthz vivía fuera de ese prefijo — directo en la raíz — así que Cloud Run lo bloqueaba antes de que Django lo viera.
Solución: registrar el endpoint también bajo /api/healthz en urls.py.
2. El warmup usaba fetch con no-cors — que siempre falla en silencio
// Antes — nunca funcionó
fetch(healthUrl, { mode: 'no-cors', cache: 'no-store' })
.then((r) => { if (r.ok) _backendReady = true; })
Con mode: 'no-cors', las respuestas son opacas: r.ok es siempre false, independientemente de lo que devuelva el servidor. El warmup nunca marcaba el backend como listo. Cambiarlo a axios (que ya tiene CORS configurado) resolvió el problema en dos líneas:
// Después
api.get('/healthz')
.then(() => { _backendReady = true; })
.catch(() => { /* backend frío — reintentará */ });
3. El CORS del healthz bloqueaba el preflight
El endpoint nuevo en /api/healthz necesitaba responder correctamente a las solicitudes preflight OPTIONS desde hectorgarrido.cl hacia api.hectorgarrido.cl. Sin los headers CORS correspondientes, el navegador bloqueaba la respuesta con CORB antes de que llegara al código JavaScript.
4. El SSE generator tragaba los errores
Este fue el más frustrante de encontrar. Cuando el backend fallaba dentro del generador SSE, la excepción se propagaba silenciosamente y Django cerraba el stream con un 204 vacío. El frontend no recibía ningún evento de error — solo silencio y luego nada.
# Antes: cualquier excepción = stream vacío sin aviso
def sse_generator():
for event_type, data in SearchEngine.generate_answer_stream(query):
yield f"event: {event_type}\ndata: {payload}\n\n"
# Después: errores visibles en cliente y en logs
def sse_generator():
try:
for event_type, data in SearchEngine.generate_answer_stream(query):
yield f"event: {event_type}\ndata: {payload}\n\n"
except Exception as e:
logger.error("Error in SSE generator: %s", e, exc_info=True)
yield f"event: error\ndata: {json.dumps({'text': 'Hubo un error al procesar tu consulta.'})}\n\n"
Con este cambio, los errores aparecieron en los logs — y ahí encontré el culpable real de las respuestas vacías.
5. Vertex AI no se parsea con iter_lines()
La API streamGenerateContent de Vertex AI devuelve un JSON array, donde cada objeto candidato ocupa múltiples líneas. iter_lines() divide ese array línea por línea — y cada línea suelta no es JSON válido. El código anterior intentaba limpiar manualmente los [, ] y las comas finales, pero fallaba con objetos multi-línea. El resultado: Error parsing Vertex AI stream chunk en cada chunk, respuesta vacía.
# Antes: intentar parsear cada línea → fragmentos inválidos
for line in response.iter_lines(decode_unicode=True):
chunk = json.loads(line) # explota con objetos multi-línea
# Después: acumular todo y parsear una vez
raw = response.content # stream=False
items = json.loads(raw) # JSON array completo, siempre válido
for item in items:
yield item['candidates'][0]['content']['parts'][0]['text']
El multi-turno, ahora sí
Con todos los cimientos reparados, re-implementé la conversación multi-turno. Esta vez con la infraestructura funcionando correctamente debajo. El frontend envía el historial como JSON en el body de un POST (hasta 5 turnos, con límite de tokens como freno de emergencia), el backend construye el contexto y lo inyecta en el prompt:
def _build_conversation_context(cls, conversation_history):
context_lines = []
for turn in conversation_history:
role = turn.get('role', '')
content = turn.get('content', '')
if role.lower() == 'user':
context_lines.append(f"TÚ: {content}")
elif role.lower() == 'assistant':
context_lines.append(f"YO: {content}")
return "\n".join(context_lines) + "\n"
El chatbot ahora recuerda el hilo de la conversación. No porque tenga estado en el servidor, sino porque el cliente lo lleva.
Lo que aprendí
Cinco bugs distintos enmascarados como un solo síntoma: "el chatbot no responde". Cada uno individualmente inofensivo en local, pero en producción se amplificaban entre sí.
La lección más útil: el silencio en un stream SSE casi siempre es una excepción no capturada. Agregar ese try/except con un evento de error explícito al cliente habría ahorrado horas de diagnóstico ciego.
Anterior: Búsqueda Híbrida BM25 + HyDE + RRF
Este artículo es parte de la serie "Construyendo un Blog con IA". El código fuente completo está en GitHub.