Contexte
Dans le cadre d'une migration d'ERP, migrer 98 objets métier JSON avec une structure complexe et une volumétrie élevée (boutiques, entrepôts, utilisateurs, tickets de caisse, stocks...) depuis Azure vers Snowflake pour alimenter Qlik en quasi temps réel.
Approche
Génération automatique de centaines de requêtes SQL et Scala depuis les spécifications pour dé-nester les objets complexes. Le système a produit et alimente plus de 150 tables et vues mises à jour en temps réel. Ingestion ADLS→Snowflake via Kafka/ADF et orchestration via streams and tasks.
Impact
Flux minute par minute pour les équipes BI et plusieurs millions de fichiers traités chaque jour. Transition vers le nouveau système d'analyse puis déprécation de l'ancien.
Objets métier
98
Tables et vues
150+
Latence
<1 min
Ce que nous avons livré
- Génération SQL automatique depuis les metadata XML pour accélérer les déploiements.
- Delta updates orchestrés par Snowflake Tasks avec monitoring dédié.
- Fonctions Scala custom pour dénormaliser les JSON imbriqués.
- Coaching des analystes pour tirer parti des nouveaux flux temps réel.
- Gestion multi-environnements via API Snowflake (test / pré-prod / prod).
Envie d'explorer un cas similaire ?
Parlons de vos priorités data, applicatives ou IA et dessinons une trajectoire en quelques jours.