Random Forest + Raking: Cómo Estimar Datos Faltantes Respetando Totales Conocidos
¿Cómo lidiar con los datos censurados por confidencialidad en las estadísticas públicas? El SII de Chile utiliza asteriscos para proteger la privacidad en comunas con pocas empresas, rompiendo la coherencia jerárquica de los datos. En este post, exploramos cómo el proyecto manageDW resuelve este problema combinando la potencia predictiva de Random Forest con el rigor matemático del Iterative Proportional Fitting (IPF). Descubre cómo este algoritmo de 80 años de historia permite imputar valores faltantes asegurando que las sumas de las comunas coincidan exactamente con los totales provinciales y regionales.

El Problema: Datos Censurados por Confidencialidad
El primer commit que menciona imputación es del 18 de febrero de 2026 (21ffe5a): "feat(v0.3.0): Dashboard IPF + Cloud Run deployment". Pero el problema que resolvía — los asteriscos del SII — existía desde el principio del proyecto. Los datos lo tenían; yo solo tarda en decidir qué hacer con ellos.
El Servicio de Impuestos Internos (SII) de Chile publica anualmente datos de empresas por actividad económica. El detalle es extraordinario: para cada combinación de año, actividad y lugar geográfico, publica número de empresas, ventas en UF, renta neta, trabajadores dependientes, y más.
Pero hay un problema. Cuando una comuna tiene muy pocas empresas en una actividad, el SII reemplaza los valores con un asterisco * para proteger la confidencialidad. Si en la comuna de Ollagüe hay solo 2 empresas agrícolas, publicar sus ventas equivaldría a identificarlas. El asterisco protege su privacidad, pero destruye la consistencia jerárquica de los datos.
¿Qué significa eso? Que las matemáticas dejan de cerrar:
$$\sum_{c \in \text{provincia}} \text{ventas}c \neq \text{ventas}}$$
La suma de las comunas ya no coincide con el total provincial, porque algunos sumandos son NA. Y necesitamos que coincida. Sin esa consistencia, cualquier análisis geográfico desagregado es poco confiable.
Necesitamos un método que estime los valores faltantes respetando los totales conocidos de niveles superiores. Ese método existe, se llama Iterative Proportional Fitting (IPF), y tiene más de 80 años de historia. En v0.3.2, manageDW lo combina con Random Forest para la incialización: el RF genera estimaciones iniciales realistas y el raking las fuerza a cuadrar jerárquicamente.
IPF: La Idea en 30 Segundos
Imagina que tienes una tabla de contingencia donde conoces los totales marginales (las sumas por fila y por columna), pero algunas celdas internas están vacías. IPF rellena esas celdas ajustando iterativamente las proporciones hasta que las sumas de cada fila y cada columna coincidan con los totales conocidos.
::note IPF no redistribuye valores de las celdas observadas. Ajusta solo las celdas estimadas para que los totales cuadren. Las celdas con datos reales permanecen intactas. ::
En nuestro caso:
- Celdas: valores de ventas por (comuna, actividad económica, año)
- Totales marginales: ventas por (provincia, actividad, año) que el SII sí publica
- Restricción multidimensional: $\sum_{c \in \text{prov}} \hat{v}{c,a,t} = v,a,t}at$
Origen: De Deming y Stephan a las Encuestas Modernas
IPF fue propuesto por Deming y Stephan en 1940 para ajustar tablas de contingencia en el censo de Estados Unidos. El problema era idéntico al nuestro: tenían totales marginales confiables (del censo) pero necesitaban estimar las celdas individuales.
El algoritmo también se conoce como raking (del inglés rake: rastrillo), porque "rastrilla" las filas y columnas alternadamente hasta que los totales cuadran. En la literatura de encuestas, raking es una de las técnicas estándar de calibración de pesos muestrales: ajustar los factores de expansión de una encuesta para que las distribuciones marginales de la muestra coincidan con las del censo.
Otros nombres que encontrarás en la literatura:
| Nombre | Contexto |
|---|---|
| Iterative Proportional Fitting (IPF) | Estadística general |
| Raking / Rake estimation | Encuestas y muestreo |
| RAS method | Economía (actualización de matrices insumo-producto) |
| Biproportional fitting | Transporte y demografía |
| Sinkhorn-Knopp algorithm | Álgebra lineal (matrices doblemente estocásticas) |
Todos son esencialmente el mismo algoritmo con variaciones menores.
::tip
En la literatura de encuestas, raking es el término más frecuente. En economía, RAS method domina. Si buscas implementaciones en R, busca raking ipf para encontrar los paquetes survey (uso en encuestas) y mipfp (uso general).
::
La Matemática
Formulación
Sea una matriz de dimensión con valores desconocidos, y sean y los totales marginales conocidos:
Dado un valor inicial (por ejemplo, una distribución uniforme o promedios históricos), IPF genera una secuencia de matrices alternando dos operaciones:
Paso 1 — Ajuste por filas:
Paso 2 — Ajuste por columnas:
Cada paso multiplica cada celda por un factor de escala que hace que la suma de su fila (o columna) coincida exactamente con el marginal conocido.
Convergencia
Bajo condiciones suaves (todos los valores iniciales positivos, y los marginales consistentes entre sí: ), IPF converge a una solución única. Formalmente, IPF minimiza la divergencia de Kullback-Leibler entre la distribución estimada y la distribución inicial:
$$D_{KL}(\mathbf{X}^ | \mathbf{X}^{(0)}) = \sum_{i,j} x_{ij}^ \ln\frac{x_{ij}^*}{x_{ij}^{(0)}}$$
sujeto a que se cumplan las restricciones marginales. Esto significa que IPF encuentra la distribución más cercana a nuestra estimación inicial (en sentido de información) que satisface los totales conocidos. No inventa información nueva; redistribuye la que tiene.
La velocidad de convergencia es geométrica. En la práctica, 10-20 iteraciones son suficientes para convergencia con tolerancia .
La Versión de manageDW: IPF Multidimensional
En nuestro caso, la estructura es una jerarquía geográfica cruzada con dimensiones económicas y temporales:
$$\text{estructura} = \underbrace{\text{REGIÓN} \supset \text{PROVINCIA} \supset \text{COMUNA}}{\text{geografía}} \times \underbrace{\text{ACTIVIDAD}}} \times \underbrace{\text{AÑO}}_{\text{tiempo}}$$
El IPF no ajusta todas las comunas de una provincia a un solo total. En cambio, ajusta dentro de cada celda de la tabla multidimensional. Para cada combinación específica de (año, actividad, provincia), el factor de ajuste es:
Y las comunas de ese grupo se ajustan:
$$\hat{v}{t,a,c}^{(k+1)} = \hat{v}^{(k)} \cdot f_{t,a,p}$$
Esto significa que: - Las comunas de Valparaíso con actividad "Comercio minorista" en 2023 suman al total provincial de esa actividad en ese año - Las comunas de Valparaíso con actividad "Agricultura" en 2023 suman a su total provincial (diferente del anterior) - Y así para cada combinación de 19 años × ~500 actividades × 54 provincias
El algoritmo itera hasta que $\max_{t,a,c} |~\hat{v}{t,a,c}^{(k+1)} - \hat{v}^{(k)}~| < \epsilon$.
Implementación en R
Paso 1: Inicialización con Random Forest
Antes de iterar, necesitamos valores iniciales para los NA. Versiones anteriores del sistema usaban el promedio histórico de la misma actividad en la misma región, pero esto producía valores uniformes entre comunas. todas las comunas de una actividad+región recibían el mismo valor inicial, y como IPF multiplica por un factor común, permanecían iguales. No tiene sentido que Cerrillos y Providencia tengan las mismas ventas en comercio minorista.
La solución: Random Forest (implementado con ranger) para generar estimaciones iniciales con variación realista. El RF usa como predictores las variables que sí están disponibles para todas las comunas — crucialmente, no las variables objetivo de imputación (ventas y rentas), sino variables estructurales que no sufren censura:
numero_empresas: Cantidad de empresas en la comuna-actividadtrabajadores_dep: Trabajadores dependientesactividad_cod: Sector económico (codificado numéricamente)region_cod: Región geográfica (codificada numéricamente)anio: Año
# En ImputadorVentasSII (método privado)
inicializar_variable_na = function(dt_comuna, dt_provincia, dt_region, variable_nombre) {
dt <- data.table::copy(dt_comuna)
idx_na <- is.na(dt[[variable_nombre]])
# SOLO variables no-objetivo como predictores
# ventas_uf y renta_neta_uf NUNCA son predictores (son targets de imputación)
# Nota: la primera versión los incluía — bug corregido en commit 5f80a42
predictores <- c("numero_empresas", "trabajadores_dep")
# + actividad_cod, region_cod, anio (codificados como numéricos)
dt_train <- dt[!idx_na & complete.cases(dt[, ..predictores])]
if (nrow(dt_train) >= 30) {
modelo_rf <- ranger::ranger(
formula = as.formula(paste0(variable_nombre, " ~ .")),
data = dt_train[, c(variable_nombre, predictores), with = FALSE],
num.trees = 300, min.node.size = 5, seed = 42
)
predicciones <- predict(modelo_rf, data = dt[idx_na, ..predictores])$predictions
dt[idx_na, (variable_nombre) := pmax(predicciones, 0)]
}
# Fallback: promedio por actividad+region para NAs restantes
# ... (ver código completo en R/ImputadorVentasSII.R)
}
¿Por qué Random Forest y no regresión lineal? Porque la relación entre número de empresas y ventas no es lineal: una comuna con 50 empresas de minería puede tener ventas muy superiores a una con 500 empresas de comercio menor. RF captura estas interacciones sin especificarlas explícitamente.
::warning
Nunca uses ventas_uf o renta_neta_uf como predictores del RF. Ambas variables sufren la misma censura por confidencialidad que intentamos resolver. El commit 5f80a42 corrigió exactamente este error en la primera versión del imputador.
::
Después del RF, el raking/IPF ajusta los valores para forzar la coherencia jerárquica. La clave está en que el RF genera valores iniciales diversos — cada comuna tiene un valor diferente basado en sus características — y el IPF los escala proporcionalmente para que las sumas cuadren.
Paso 2: Iteración
ejecutar_ipf_variable = function(dt_comuna, dt_provincia, dt_region, variable) {
dt <- data.table::copy(dt_comuna)
iteracion <- 0
convergencia <- FALSE
while (!convergencia && iteracion < self$max_iter) {
iteracion <- iteracion + 1
dt_anterior <- data.table::copy(dt)
# Ajustar comunas al total provincial
dt <- private$ajustar_variable_comuna_provincia(dt, dt_provincia, variable)
# Criterio de convergencia
cambio_max <- max(abs(dt[[variable]] - dt_anterior[[variable]]), na.rm = TRUE)
if (cambio_max < self$tolerancia) {
convergencia <- TRUE
}
}
return(dt)
}
Paso 3: El Factor de Ajuste
ajustar_variable_comuna_provincia = function(dt_comuna, dt_provincia, variable) {
dt <- data.table::copy(dt_comuna)
dt[, factor_ajuste := {
prov <- dt_provincia[
anio == .BY$anio &
actividad_cod == .BY$actividad_cod &
provincia_cod == .BY$provincia_cod
]
if (nrow(prov) == 0 || is.na(prov[[variable]][1])) {
rep(1.0, .N) # Sin dato provincial → no ajustar
} else {
total_objetivo <- prov[[variable]][1]
total_actual <- sum(get(variable), na.rm = TRUE)
if (total_actual == 0) rep(1.0, .N)
else rep(total_objetivo / total_actual, .N)
}
}, by = .(anio, actividad_cod, provincia_cod)]
dt[, (variable) := get(variable) * factor_ajuste]
dt[, factor_ajuste := NULL]
return(dt)
}
El by = .(anio, actividad_cod, provincia_cod) es crítico: el ajuste se hace dentro de cada grupo multidimensional. Las comunas de Valparaíso con actividad "Comercio al por menor" en 2023 se ajustan solo al total de (Valparaíso, Comercio, 2023), no al total provincial agregado ni al nacional.
Esto respeta simultáneamente: - La estructura geográfica: comuna → provincia → región - La granularidad económica: cada actividad tiene su propio balance - La separación temporal: cada año es independiente
IPF en Encuestas: El Uso Clásico
Antes de aplicar IPF a datos del SII, vale la pena entender su uso canónico en encuestas por muestreo.
Supongamos que haces una encuesta a 1.000 hogares y obtienes estos datos:
| Hombres | Mujeres | Muestra | |
|---|---|---|---|
| 18-30 años | 120 | 180 | 300 |
| 31-50 años | 200 | 150 | 350 |
| 51+ años | 100 | 250 | 350 |
| Muestra | 420 | 580 | 1.000 |
Pero el censo dice que la población es 50% hombres y 50% mujeres, y que la distribución etaria es 25%, 40%, 35%. Tu muestra tiene sesgo: sobre-representó mujeres y sub-representó el grupo 31-50.
La solución es raking: ajustar los pesos muestrales para que los marginales coincidan con el censo:
$$w_{ij}^{(k+1)} = w_{ij}^{(k)} \cdot \frac{N_{\text{sexo}j}}{\sum w_{i'j}^{(k)} \cdot n_{i'j}}$$
Después de raking, tus estimaciones ponderadas reproducen las distribuciones del censo. Es como decir: "mi muestra no es perfecta, pero sé cuáles deberían ser los totales, así que ajusto proporcionalmente".
En R, el paquete survey lo implementa:
library(survey)
diseno <- svydesign(ids = ~1, data = encuesta, weights = ~peso)
diseno_raked <- rake(diseno,
sample.margins = list(~sexo, ~grupo_edad),
population.margins = list(pop_sexo, pop_edad)
)
La Conexión con Nuestro Problema
En las encuestas, raking ajusta pesos para que marginales de la muestra coincidan con marginales del censo. En nuestro caso, ajustamos valores para que la suma de comunas coincida con el total provincial.
La estructura matemática es idéntica. La diferencia es el dominio de aplicación:
| Aspecto | Encuestas (raking) | SII (nuestra aplicación) |
|---|---|---|
| Qué se ajusta | Pesos muestrales | Valores de ventas |
| Restricción | Marginales del censo | Totales provinciales/regionales |
| Causa del problema | Sesgo de selección | Censura por confidencialidad |
| Solución |
Trazabilidad: Saber Qué Es Real y Qué Es Estimado
Un valor imputado no es un dato observado. Tratarlo como si lo fuera es una trampa estadística. Por eso manageDW implementa trazabilidad completa: cada valor en la base de datos tiene una etiqueta que indica su origen.
-- dim_imputado: solo 2 filas
INSERT INTO dim_imputado VALUES (0, 'original', 'Dato publicado por SII');
INSERT INTO dim_imputado VALUES (1, 'imputado', 'Estimado por IPF');
-- fact_empresas tiene columnas de trazabilidad (una por variable imputada)
ALTER TABLE fact_empresas
ADD COLUMN imputado_ventas_id INTEGER DEFAULT 0 REFERENCES dim_imputado,
ADD COLUMN imputado_renta_neta_id INTEGER DEFAULT 0 REFERENCES dim_imputado;
::note
La columna es imputado_renta_neta_id, no imputado_rentas_id. El nombre sigue la convención imputado_<var>_id donde <var> es el nombre de la variable sin el sufijo _uf. Este detalle importó: la v0.3.1 corrigió exactamente esta discrepancia en la detección del dashboard.
::
Cada variable imputada tiene su propia columna de trazabilidad. Un registro puede tener ventas_uf imputado pero renta_neta_uf original. El dashboard usa estas columnas para:
- Colorear mapas: burbujas rojas = alta proporción de datos imputados
- Separar series: gráficos de área apilada con original vs imputado
- Calcular métricas de calidad: densidades comparativas, consistencia jerárquica
Un punto importante: los totales provinciales y regionales que el IPF usa como restricciones provienen de la misma fuente que los datos comunales — el SII los publica en archivos separados para cada nivel geográfico. Esto garantiza que las restricciones son reales, no estimaciones, y que la convergencia lleva a valores coherentes con lo que el SII realmente registró a nivel agregado.
En el caso multidimensional, la consistencia se verifica para cada celda de la tabla. Para (año=2023, actividad=Comercio, provincia=Valparaíso), la suma de las comunas corresponde exactamente al valor que el SII publicó a nivel provincial para esa combinación específica.
1. Convergencia Garantizada
Si los marginales son consistentes () y los valores iniciales son positivos, IPF converge. No hay riesgo de divergencia o oscilación. En nuestros datos, la consistencia está garantizada porque los totales provinciales provienen de los mismos datos que los comunales.
2. Mínima Distorsión (KL-Divergence)
IPF minimiza la divergencia de Kullback-Leibler respecto a la distribución inicial. En términos intuitivos: si tres comunas de una provincia tienen ventas observadas de 100, 200 y NA, e IPF estima el NA como 150, lo hace porque es la distribución que más se parece a la estructura original. No redistribuye ventas de las comunas observadas.
3. Preservación de Proporciones
Si dos comunas tienen una relación de 2:1 en la estimación inicial, IPF mantiene esa relación en el resultado final. El ajuste es multiplicativo, no aditivo: multiplica por un factor común a todo el grupo. Esto es una propiedad deseable en datos económicos, donde las proporciones entre comunas reflejan diferencias estructurales reales.
4. Limitaciones
IPF no es magia. Algunas limitaciones relevantes:
-
No captura correlaciones complejas: Si las ventas de una comuna dependen fuertemente de un evento local (una mina que cierra, una industria que se instala), IPF no lo detecta. Raking redistribuye proporcionalmente, asumiendo que la estructura relativa se mantiene.
-
Sensibilidad al valor inicial: Aunque IPF converge independientemente del punto de partida, la solución depende de la inicialización cuando hay más de una celda
NAen un grupo. Si inicializamos todos losNAcon el mismo valor (como un promedio simple), IPF producirá valores uniformes. Por eso enmanageDWv0.3.2+ usamos Random Forest para generar valores iniciales diversos basados ennumero_empresasytrabajadores_dep, de modo que el resultado final refleja la heterogeneidad real entre comunas. -
No produce intervalos de confianza: IPF da estimaciones puntuales. No sabes cuánta incertidumbre hay en cada valor imputado. Para eso necesitarías imputación múltiple (como MICE) o bootstrap.
Validación: ¿Funcionó?
Después de ejecutar IPF, validamos la coherencia jerárquica:
validar_coherencia_variable = function(dt_comuna, dt_provincia, variable) {
comunas_sum <- dt_comuna[,
.(total = sum(get(variable), na.rm = TRUE)),
by = .(anio, actividad_cod, provincia_cod)
]
comparacion <- merge(comunas_sum, dt_provincia,
by = c("anio", "actividad_cod", "provincia_cod"))
comparacion[, error_rel := abs(total - get(variable)) / (get(variable) + 1e-10)]
errores <- sum(comparacion$error_rel > 0.01, na.rm = TRUE)
# Aceptable: error relativo < 1%
}
En la práctica, con tolerancia , los errores relativos son del orden de . Las restricciones jerárquicas se satisfacen con precisión numérica de punto flotante.
El dashboard incluye: - Densidades comparativas (log-escala) de valores originales vs imputados - Scatter de consistencia jerárquica: suma de comunas vs total provincial - Tabla de estadísticos descriptivos separados por origen
Para Seguir Leyendo
- Deming, W.E. & Stephan, F.F. (1940). "On a Least Squares Adjustment of a Sampled Frequency Table When the Expected Marginal Totals are Known." Annals of Mathematical Statistics, 11(4), 427-444.
- Fienberg, S.E. (1970). "An Iterative Procedure for Estimation in Contingency Tables." Annals of Mathematical Statistics, 41(3), 907-917.
- Deville, J.C. & Särndal, C.E. (1992). "Calibration Estimators in Survey Sampling." Journal of the American Statistical Association, 87(418), 376-382.
- Kimball, R. & Ross, M. (2013). The Data Warehouse Toolkit. 3rd ed. Wiley. (Capítulo sobre trazabilidad de datos)
Reflexión
La implementación de RF + IPF estuvo cerca de introducir un bug de metodología grave. La primera versión entrenaba el Random Forest usando ventas_uf y renta_neta_uf como predictores de sí mismos. Obviamente, una variable censurada no puede predecir su propio valor censurado. El commit 5f80a42 del 21 de febrero de 2026 lo corrige explicitándolo: "fix: excluir variables objetivo (ventas/rentas) como predictores del RF". El commit existe porque el bug también existió.
Cuando vi por primera vez los asteriscos en los datos del SII, me frustré. Datos incompletos en una fuente oficial. Pero el problema tiene solución, y la solución tiene 80 años de fundamento matemático.
Lo que hace poderosa nuestra implementación es la combinación de Random Forest + Raking multidimensional: el RF genera estimaciones iniciales realistas basadas en variables disponibles (número de empresas, trabajadores), y el raking fuerza la coherencia jerárquica geográfica × actividad × tiempo. Cada una de las ~500.000 celdas de la tabla multidimensional (19 años × ~500 actividades × 346 comunas) respeta sus restricciones sin interferir con las demás.
Y cuando le agregas trazabilidad (saber cuál es dato real y cuál es estimación), tienes un sistema completo para análisis de datos incompletos que no sacrifica granularidad.
IPF no es sofisticado en el sentido de machine learning. Pero combinado con un modelo predictivo para la inicialización, produce resultados significativamente mejores que el raking puro con promedios. La elegancia está en la separación de responsabilidades: el RF captura la estructura estadística, el raking garantiza la coherencia contable.
A veces la mejor herramienta no es la más nueva, sino la que tiene la mejor teoría detrás.