Saltar al contenido
hg.Héctor GarridoCiencia de datos · Estadística · Ingeniería de datos

Diario técnico

Blog

Escribo sobre ciencia de datos aplicada, patrones de programación y aprendizajes construyendo productos analíticos.

Random Forest + Raking: Cómo Estimar Datos Faltantes Respetando Totales Conocidos

¿Cómo lidiar con los datos censurados por confidencialidad en las estadísticas públicas? El SII de Chile utiliza asteriscos para proteger la privacidad en comunas con pocas empresas, rompiendo la coherencia jerárquica de los datos. En este post, exploramos cómo el proyecto manageDW resuelve este problema combinando la potencia predictiva de Random Forest con el rigor matemático del Iterative Proportional Fitting (IPF). Descubre cómo este algoritmo de 80 años de historia permite imputar valores faltantes asegurando que las sumas de las comunas coincidan exactamente con los totales provinciales y regionales.

Data Warehouse SII

Segmentación dinámica: por qué no se puede imputar a ciegas

El problema no era el modelo TVECM: eran los datos. Varias series mostraban ajustes imposibles porque hasta un 60 % de sus valores provenían de imputación Kalman aplicada a la serie completa. En este post explico por qué los filtros globales fallan y cómo un enfoque por mes calendario —detectando meses razonables, formando islas de continuidad, filtrando por densidad real y aplicando Kalman solo dentro de segmentos confiables— reduce la imputación promedio de ~35 % a ~15 % y evita estimar dinámicas económicas sobre señal sintética. Una lección práctica de ingeniería de series temporales: la imputación solo debe cerrar huecos cortos, nunca reemplazar la información.

Tesis: Asimetrías de Precios