Kontext
Im Rahmen einer ERP-Migration sollten 98 umfangreiche JSON-Geschäftsobjekte mit komplexen Strukturen (Filialen, Lager, Benutzer, Kassenbons, Bestände usw.) von Azure nach Snowflake migriert werden, um Qlik nahezu in Echtzeit zu versorgen.
Vorgehen
Automatische Generierung Hunderter SQL- und Scala-Abfragen aus den Spezifikationen, um komplexe Objekte zu entflechten. Das System erzeugte und versorgt mehr als 150 Tabellen und Ansichten, die in Echtzeit aktualisiert werden. Datenaufnahme von ADLS nach Snowflake über Kafka/ADF und Orchestrierung über Streams und Tasks.
Wirkung
Minutengenaue Feeds für BI-Teams, die täglich Millionen von Dateien verarbeiten. Übergang zum neuen Analysesystem, gefolgt von der Abschaffung des alten Systems.
Unsere Leistungen
- Automatische SQL-Generierung aus XML-Metadaten, um Bereitstellungen zu beschleunigen.
- Delta-Updates orchestriert durch Snowflake Aufgaben mit dedizierter Überwachung.
- Benutzerdefinierte Scala-Funktionen zum Denormalisieren verschachtelter JSON.
- Coaching für Analysten zur Nutzung der neuen Echtzeit-Feeds.
- Umgebungsmanagement über Snowflake API (Test / Pre-Prod / Prod).
Kritische Arbeit verdient mehr als generische Software.
Beginnen Sie mit einem realen Fall, seinen Teilnehmern und seinen Daten, um den nächsten nützlichen Schritt zu identifizieren.