Segmentación dinámica: por qué no se puede imputar a ciegas
El problema no era el modelo TVECM: eran los datos. Varias series mostraban ajustes imposibles porque hasta un 60 % de sus valores provenían de imputación Kalman aplicada a la serie completa. En este post explico por qué los filtros globales fallan y cómo un enfoque por mes calendario —detectando meses razonables, formando islas de continuidad, filtrando por densidad real y aplicando Kalman solo dentro de segmentos confiables— reduce la imputación promedio de ~35 % a ~15 % y evita estimar dinámicas económicas sobre señal sintética. Una lección práctica de ingeniería de series temporales: la imputación solo debe cerrar huecos cortos, nunca reemplazar la información.

El síntoma
Después de las primeras estimaciones TVECM, algunos resultados no tenían sentido económico. Series donde el efecto asimétrico era absurdamente grande, o donde la velocidad de ajuste tomaba valores imposibles.
Al inspeccionar las series, el diagnóstico fue claro: estábamos estimando modelos sobre datos mayoritariamente imputados. Series con 60% de valores sintéticos generados por Kalman.
El viejo enfoque
El enfoque anterior usaba criterios globales simples:
- Máximo gap consecutivo: 8 semanas
- Máximo porcentaje de NA: 40%
Si la serie completa cumplía ambos criterios, se imputaba entera con imputeTS::na_kalman(). Caso contrario, se descartaba completa.
Esto tiene dos problemas:
- Series con datos reales concentrados al inicio y faltantes al final pasaban el filtro porque el promedio global era aceptable
- Series con meses completos de datos pero un gap largo en el medio se descartaban porque el gap excedía 8 semanas
La solución: pensar en meses
La idea clave es que la unidad de análisis no debería ser la serie completa, sino el mes calendario. Un mes es "razonable" si tiene a lo sumo 3 semanas faltantes de las ~4-5 que contiene.
Algoritmo en 4 pasos
Paso 1: Detectar meses razonables
Para cada mes, contar semanas faltantes. Si #faltantes ≤ 3, el mes es razonable. Pero hay un requisito adicional: ambas series (mayorista Y consumidor) deben ser razonables en el mismo mes.
aa_detectar_meses_razonables(df, max_faltantes = 3)
Paso 2: Identificar islas de continuidad
Meses razonables consecutivos forman "islas". Un solo mes no razonable rompe la isla.
Ene(OK) → Feb(OK) → Mar(OK) → Abr(FALTA) → May(OK) → Jun(OK)
|________isla 1_________| |___isla 2___|
Paso 3: Filtrar por densidad
Cada isla debe tener al menos 3 observaciones reales (no imputadas). Islas con solo 1-2 datos reales no contienen información suficiente para una imputación confiable.
Paso 4: Imputación Kalman por segmento
Solo dentro de islas filtradas se aplica el modelo de nivel local:
Implementado con stats::StructTS(type = "level") seguido de stats::tsSmooth() (suavizado de intervalo fijo de Kalman).
Implementación
Las cinco funciones que componen el proceso viven en AsymmetryAnalysis/R/segmentation.R:
| Función | Propósito |
|---|---|
aa_detectar_meses_razonables() |
Evalúa cada mes por serie |
aa_identificar_islas_continuidad() |
Agrupa meses razonables consecutivos |
aa_filtrar_segmentos_densidad() |
Filtra islas por densidad de observaciones reales |
aa_imputar_segmento_kalman() |
Aplica el modelo de nivel local a un segmento |
aa_segmentar_e_imputar() |
Orquesta todo el proceso |
El script 04c_imputar_series.R se reescribió completamente para usar estas funciones. El script 04d_seleccionar_segmentos.R elige el segmento más reciente con datos suficientes para cada combinación producto-región-canal.
El impacto en la estimación
Con el nuevo enfoque, las series que antes se imputaban en bloque ahora se dividen en segmentos confiables. El porcentaje promedio de datos imputados por segmento baja de ~35 % a ~15 %. Los modelos TVECM se estiman exclusivamente sobre tramos donde la señal de precio es observable.
La tabla stats_segmentacion registra estadísticas por serie: cuántos meses razonables, cuántas islas, cuántos segmentos finales, y el porcentaje de imputación por segmento. El script 04d_seleccionar_segmentos.R selecciona el segmento más reciente con suficientes datos para cada combinación producto-región-canal y lo escribe en series_para_analisis.
Reflexión
La lección es simple pero fácil de olvidar: la imputación no sustituye datos reales. Su único rol válido es rellenar huecos cortos dentro de tramos donde la dinámica del precio es observable. Imputar una serie completa con el 40 % de datos faltantes no es análisis: es fabricar evidencia.
Esta estrategia está implementada y en producción desde la versión 0.3.0 del pipeline.
Este post es parte de una serie que documenta el desarrollo del proyecto AsymmetryAnalysis.