Comercio minorista y electrónica
Almacén de datos en tiempo real para el comercio minorista
Contexto
En el marco de una migración de ERP, migrar 98 objetos de negocio JSON con una estructura compleja y un gran volumen (tiendas, almacenes, usuarios, tiques de caja, existencias...) desde Azure hacia Snowflake para alimentar Qlik casi en tiempo real.
Enfoque
Generación automática de cientos de consultas SQL y Scala a partir de las especificaciones para desanidar los objetos complejos. El sistema produjo y alimenta más de 150 tablas y vistas actualizadas en tiempo real. Ingesta ADLS→Snowflake mediante Kafka/ADF y orquestación mediante streams and tasks.
Impacto
Flujos minuto a minuto para los equipos de BI y varios millones de archivos procesados cada día. Transición al nuevo sistema de análisis y posterior retirada del antiguo.
Lo que hemos entregado
- Generación automática de SQL a partir de metadatos XML para acelerar los despliegues.
- Actualizaciones incrementales orquestadas mediante Snowflake Tasks con supervisión específica.
- Funciones Scala personalizadas para desnormalizar los JSON anidados.
- Formación de los analistas para aprovechar los nuevos flujos en tiempo real.
- Gestión de múltiples entornos mediante la API de Snowflake (pruebas / preproducción / producción).
Un proceso crítico merece algo mejor que una herramienta genérica.
Partamos de un caso real, sus participantes y sus datos para identificar el siguiente paso útil.
FDTI / Contact
Hablemos sin complicaciones.
Solo utilizamos sus datos de contacto para responderle: sin newsletters, sin prospección no solicitada y sin comunicación comercial a terceros.