Saltar al contenido
hg.Héctor GarridoCiencia de datos · Estadística · Ingeniería de datos
← Volver al blog
Tesis: Asimetrías de Precios

Segmentación dinámica: por qué no se puede imputar a ciegas

El problema no era el modelo TVECM: eran los datos. Varias series mostraban ajustes imposibles porque hasta un 60 % de sus valores provenían de imputación Kalman aplicada a la serie completa. En este post explico por qué los filtros globales fallan y cómo un enfoque por mes calendario —detectando meses razonables, formando islas de continuidad, filtrando por densidad real y aplicando Kalman solo dentro de segmentos confiables— reduce la imputación promedio de ~35 % a ~15 % y evita estimar dinámicas económicas sobre señal sintética. Una lección práctica de ingeniería de series temporales: la imputación solo debe cerrar huecos cortos, nunca reemplazar la información.

Segmentación dinámica: por qué no se puede imputar a ciegas

El síntoma

Después de las primeras estimaciones TVECM, algunos resultados no tenían sentido económico. Series donde el efecto asimétrico era absurdamente grande, o donde la velocidad de ajuste tomaba valores imposibles.

Al inspeccionar las series, el diagnóstico fue claro: estábamos estimando modelos sobre datos mayoritariamente imputados. Series con 60% de valores sintéticos generados por Kalman.

El viejo enfoque

El enfoque anterior usaba criterios globales simples:

  • Máximo gap consecutivo: 8 semanas
  • Máximo porcentaje de NA: 40%

Si la serie completa cumplía ambos criterios, se imputaba entera con imputeTS::na_kalman(). Caso contrario, se descartaba completa.

Esto tiene dos problemas:

  1. Series con datos reales concentrados al inicio y faltantes al final pasaban el filtro porque el promedio global era aceptable
  2. Series con meses completos de datos pero un gap largo en el medio se descartaban porque el gap excedía 8 semanas

La solución: pensar en meses

La idea clave es que la unidad de análisis no debería ser la serie completa, sino el mes calendario. Un mes es "razonable" si tiene a lo sumo 3 semanas faltantes de las ~4-5 que contiene.

Algoritmo en 4 pasos

Paso 1: Detectar meses razonables

Para cada mes, contar semanas faltantes. Si #faltantes ≤ 3, el mes es razonable. Pero hay un requisito adicional: ambas series (mayorista Y consumidor) deben ser razonables en el mismo mes.

aa_detectar_meses_razonables(df, max_faltantes = 3)

Paso 2: Identificar islas de continuidad

Meses razonables consecutivos forman "islas". Un solo mes no razonable rompe la isla.

Ene(OK) → Feb(OK) → Mar(OK) → Abr(FALTA) → May(OK) → Jun(OK)
|________isla 1_________|                    |___isla 2___|

Paso 3: Filtrar por densidad

Cada isla debe tener al menos 3 observaciones reales (no imputadas). Islas con solo 1-2 datos reales no contienen información suficiente para una imputación confiable.

Paso 4: Imputación Kalman por segmento

Solo dentro de islas filtradas se aplica el modelo de nivel local:

yt=μt+εt,εt∼N(0,σε2)y_t = \mu_t + \varepsilon_t, \quad \varepsilon_t \sim N(0, \sigma^2_\varepsilon) μt=μt−1+ηt,ηt∼N(0,ση2)\mu_t = \mu_{t-1} + \eta_t, \quad \eta_t \sim N(0, \sigma^2_\eta)

Implementado con stats::StructTS(type = "level") seguido de stats::tsSmooth() (suavizado de intervalo fijo de Kalman).

Implementación

Las cinco funciones que componen el proceso viven en AsymmetryAnalysis/R/segmentation.R:

Función Propósito
aa_detectar_meses_razonables() Evalúa cada mes por serie
aa_identificar_islas_continuidad() Agrupa meses razonables consecutivos
aa_filtrar_segmentos_densidad() Filtra islas por densidad de observaciones reales
aa_imputar_segmento_kalman() Aplica el modelo de nivel local a un segmento
aa_segmentar_e_imputar() Orquesta todo el proceso

El script 04c_imputar_series.R se reescribió completamente para usar estas funciones. El script 04d_seleccionar_segmentos.R elige el segmento más reciente con datos suficientes para cada combinación producto-región-canal.

El impacto en la estimación

Con el nuevo enfoque, las series que antes se imputaban en bloque ahora se dividen en segmentos confiables. El porcentaje promedio de datos imputados por segmento baja de ~35 % a ~15 %. Los modelos TVECM se estiman exclusivamente sobre tramos donde la señal de precio es observable.

La tabla stats_segmentacion registra estadísticas por serie: cuántos meses razonables, cuántas islas, cuántos segmentos finales, y el porcentaje de imputación por segmento. El script 04d_seleccionar_segmentos.R selecciona el segmento más reciente con suficientes datos para cada combinación producto-región-canal y lo escribe en series_para_analisis.

Reflexión

La lección es simple pero fácil de olvidar: la imputación no sustituye datos reales. Su único rol válido es rellenar huecos cortos dentro de tramos donde la dinámica del precio es observable. Imputar una serie completa con el 40 % de datos faltantes no es análisis: es fabricar evidencia.

Esta estrategia está implementada y en producción desde la versión 0.3.0 del pipeline.


Este post es parte de una serie que documenta el desarrollo del proyecto AsymmetryAnalysis.