Saltar al contenido
hg.Héctor GarridoCiencia de datos · Estadística · Ingeniería de datos

Diario técnico

Blog

Escribo sobre ciencia de datos aplicada, patrones de programación y aprendizajes construyendo productos analíticos.

data.table: El Motor Oculto Detrás de un Pipeline ETL Rápido

¿Cómo pasar de 8 minutos a menos de 2 en un pipeline de datos con 171 hojas de Excel? En este post, analizo la migración crítica del proyecto manageDW desde dplyr hacia data.table. Exploro por qué la manipulación in-place y la gestión eficiente de memoria permitieron procesar 2 millones de filas reduciendo el consumo de RAM de 4 GB a solo 800 MB. Una comparativa técnica sobre cuándo priorizar la legibilidad de la "gramática de datos" frente al rendimiento bruto en entornos de producción.

Data Warehouse SII