Für diesen Kunden musste eine Datenplattform mit besonders schützenswerten Mitarbeiterdaten auf Azure aufgebaut werden. Im Rahmen des Projekts wurde die kundenseitige Azure Landing Zone getestet und eine erste Data Landig Zone nach dem Hub and Spoke Prinzip erstellt. Zusätzlich musste bei der entsprechenden On Site Konfiguration im Netzwerk unterstützt werden und das Forwarding für die Azure DNS requests eingerichtet werden. Im Anschluss konnte die eigentliche Data Plattform aufgebaut werden und es wurden Datev, Guidecom, das Enterprise Warehouse sowie dateibasierte Zulieferungen historisiert und anschließend als analytisches Modell zur Verfügung gestellt.

Im Laufe des Projektes sollte nach einigen Iterationen eine zentrale Datenplattform für das Unternehmen entstehen. Dazu wurden immer wieder Anwendungsfälle gewählt, die einen kompletten Durchstich durch alle Schichten benötigen. Gestartet wurde mit der Anbindung des SAP Systems, einer Oracle Datenbank, sowie mehrerer Dateibasierten Quellen. Das Reporting sollte auf dem im Unternehmen neu eingeführten Power BI Service stattfinden. Im Laufe des Projekts wurden dann interartiv immer weitere Datenquellen wie REST APIs oder andere Azure Storages angebunden und verarbeitet werden.

In diesem Projekt musste für einen Kunden mit rund 3,3 Millionen Artikelvarianten verteilt auf rund 8500 europaweite Standorte die Bestände fortgeschrieben werden. Dazu wurden die Umsätze, Retouren und Lieferscheine je Lager und Artikel analysiert und entsprechende Buchungen für den Lagerbestand erzeugt. Ziel ist es zwischen den quartalsweisen Inventuren einen Überblick über potentielle Engpässe je Lager und Artikelvariante zu behalten. Durch die Fortschreibung werden nun alle Standorte rechtzeitig mit neuen Artikelvarianten beliefert, bevor der Bestand aufgebraucht ist.

Da der Dienst ?Azure Datalake Analytics? am 29.02.2024 eingestellt wurde, musste im Zuge des Projekts eine Migration der Inhalte auf eine neuere Technologie stattfinden. Kundenseitig wurde hier der Azure Synapse Workspace vorgegeben. Für das Projekt mussten zunächst ein kontinuierlicher Sync zwischen dem alten Gen 1 Datalake und dem neuen Gen 2 Datalake sichergestellt werden. Dann wurden die unterschiedlichen Nutzer der Daten an die neue Plattform angebunden. Im Zuge dessen wurden zu großen Teilen USQL Skripte in pySpark übersetzt, Sync functions mit dem Event Hub erstellt und verschiedene Databricks workspaces mit anderen Quellen ausgestattet.

Ziel des Projekts war der Aufbau einer unternehmensweiten Datenplattform. Begonnen wurde mit der Umsetzung von zwei konkreten Use Cases, wofür Daten aus dem Dynamics 365 CRM und dem SAP BW sowie dem SAP ERP benötigt wurden. Diese sollten durch eine saubere Datenarchitektur in einen Consumption Layer mit verschiedenen Sternen münden.

In dem Projekt ist es das Ziel gewesen eine zentrale Analyse und Reportingplattform für den Energiemarkt und die Energiebörse aufzubauen. Auf Basis dieser Plattform müssen trainierte Mashine Learning Modelle in realen Einsätzen automatisch entscheiden, zu welchen Preisen Energie ge- und verkauft wird. Zudem müssen diese Entscheidungen berichtet werden und Kosten Analysen ermöglicht werden. Diese Plattform darf außerdem niemals aus dem Internet erreichbar sein. Außerdem sollte die gesamte Infrastruktur als Code gespeichert werden. Nach Bereitstellung der Plattform findet eine unregelmäßige Betreuung des Kunden zur Nutzung der Plattform statt.

Es musste eine Data Warehouse Architektur geschaffen werden, die es schafft, die Schnelllebigkeit im Onlinehandel abzubilden. Dazu wurde der Azure Synapse Workspace mit den Komponeten Azure Data Factory, Azure Data Lake Gen 2, Azure Synapse Analytics und Power BI als Tools ausgewählt. Zum damaligen Zeitpunkt befand sich diese Infrastruktur noch in der Closed Beta. Zeitgleich wurde ab Mitte der Projektlaufzeit kundenseitig ein neues ERP System eingeführt, welches noch während der Projektlaufzeit als Hauptquellsystem definiert wurde. Außerdem musste ein Team aufgebaut werden, welches den Betrieb und die Weiterentwicklung intern weiterführt.