Contesto
Nell'ambito di una migrazione ERP, trasferire 98 oggetti aziendali JSON con struttura complessa e volumi elevati (negozi, magazzini, utenti, scontrini, scorte...) da Azure a Snowflake per alimentare Qlik quasi in tempo reale.
Approccio
Generazione automatica di centinaia di query SQL e Scala dalle specifiche per appiattire gli oggetti complessi. Il sistema genera e alimenta oltre 150 tabelle e viste aggiornate in tempo reale. Acquisizione ADLS→Snowflake tramite Kafka/ADF e orchestrazione mediante stream e task.
Impatto
Flussi aggiornati minuto per minuto per i team BI e diversi milioni di file elaborati ogni giorno. Transizione al nuovo sistema di analisi e successiva dismissione del sistema precedente.
Cosa abbiamo realizzato
- Generazione SQL automatica dai metadati XML per accelerare i rilasci.
- Aggiornamenti delta orchestrati da Snowflake Tasks con monitoraggio dedicato.
- Funzioni Scala personalizzate per denormalizzare i JSON annidati.
- Coaching degli analisti per sfruttare i nuovi flussi in tempo reale.
- Gestione multiambiente tramite API Snowflake (test / pre-prod / prod).
Un processo critico merita più di uno strumento generico.
Partiamo da un caso reale, dai soggetti coinvolti e dai dati disponibili per individuare il prossimo passo utile.