Contexte
Dans le cadre d'une migration d'ERP, migrer 98 objets métier JSON avec une structure complexe et une volumétrie élevée (boutiques, entrepôts, utilisateurs, tickets de caisse, stocks...) depuis Azure vers Snowflake pour alimenter Qlik en quasi temps réel.
Approche
Génération automatique de centaines de requêtes SQL et Scala depuis les spécifications pour dé-nester les objets complexes. Le système a produit et alimente plus de 150 tables et vues mises à jour en temps réel. Ingestion ADLS→Snowflake via Kafka/ADF et orchestration via streams and tasks.
Impact
Flux minute par minute pour les équipes BI et plusieurs millions de fichiers traités chaque jour. Transition vers le nouveau système d'analyse puis déprécation de l'ancien.
Ce que nous avons livré
- Génération SQL automatique depuis les metadata XML pour accélérer les déploiements.
- Delta updates orchestrés par Snowflake Tasks avec monitoring dédié.
- Fonctions Scala custom pour dénormaliser les JSON imbriqués.
- Coaching des analystes pour tirer parti des nouveaux flux temps réel.
- Gestion multi-environnements via API Snowflake (test / pré-prod / prod).
Un processus critique mérite mieux qu'un outil générique.
Partons d'un cas réel, de ses acteurs et de ses données pour identifier la prochaine étape utile.