Contexto
En el marco de una migración de ERP, migrar 98 objetos de negocio JSON con una estructura compleja y un gran volumen (tiendas, almacenes, usuarios, tiques de caja, existencias...) desde Azure hacia Snowflake para alimentar Qlik casi en tiempo real.
Enfoque
Generación automática de cientos de consultas SQL y Scala a partir de las especificaciones para desanidar los objetos complejos. El sistema produjo y alimenta más de 150 tablas y vistas actualizadas en tiempo real. Ingesta ADLS→Snowflake mediante Kafka/ADF y orquestación mediante streams and tasks.
Impacto
Flujos minuto a minuto para los equipos de BI y varios millones de archivos procesados cada día. Transición al nuevo sistema de análisis y posterior retirada del antiguo.
Lo que hemos entregado
- Generación automática de SQL a partir de metadata XML para acelerar los despliegues.
- Delta updates orquestadas por Snowflake Tasks con supervisión específica.
- Funciones Scala custom para desnormalizar los JSON anidados.
- Formación de los analistas para aprovechar los nuevos flujos en tiempo real.
- Gestión de múltiples entornos mediante API Snowflake (test / pre-prod / prod).
Un proceso crítico merece algo mejor que una herramienta genérica.
Partamos de un caso real, sus participantes y sus datos para identificar el siguiente paso útil.