Kontext
Im Rahmen einer ERP-Migration sollten 98 umfangreiche JSON-Geschäftsobjekte mit komplexen Strukturen (Filialen, Lager, Benutzer, Kassenbons, Bestände usw.) von Azure nach Snowflake migriert werden, um Qlik nahezu in Echtzeit zu versorgen.
Vorgehen
Automatische Generierung Hunderter SQL- und Scala-Abfragen aus den Spezifikationen, um komplexe Objekte zu entflechten. Das System erzeugt und versorgt mehr als 150 Tabellen und Ansichten, die in Echtzeit aktualisiert werden. Die Daten werden über Kafka/ADF von ADLS nach Snowflake übernommen und dort mit Streams und Tasks orchestriert.
Wirkung
Minutengenaue Feeds für BI-Teams, die täglich Millionen von Dateien verarbeiten. Übergang zum neuen Analysesystem, gefolgt von der Abschaffung des alten Systems.
Unsere Leistungen
- Automatische SQL-Generierung aus XML-Metadaten, um Bereitstellungen zu beschleunigen.
- Über Snowflake Tasks orchestrierte Delta-Updates mit eigener Überwachung.
- Benutzerdefinierte Scala-Funktionen zum Denormalisieren verschachtelter JSON.
- Coaching für Analysten zur Nutzung der neuen Echtzeit-Feeds.
- Umgebungsmanagement über Snowflake API (Test / Pre-Prod / Prod).
Kritische Arbeit verdient mehr als generische Software.
Beginnen Sie mit einem realen Fall, seinen Teilnehmern und seinen Daten, um den nächsten nützlichen Schritt zu identifizieren.
FDTI / Contact
Lassen Sie uns direkt sprechen.
Wir verwenden Ihre Kontaktdaten nur, um Ihnen zu antworten: keine Newsletter, keine unaufgeforderte Werbung und keine kommerzielle Weitergabe an Dritte.