Im Rahmen eines umfangreichen Transformationsprojekts wird die bestehende Data-Warehouse-Struktur in einergewachsenen und hybriden Umgebung (Google Cloud Platform, Azure und On-Premise) schrittweise vereinfachtund auf eine moderne, performante Zielarchitektur in der Google Cloud Platform (GCP) migriert. Die Hauptzielesind Skalierbarkeit, einfache Wartbarkeit und Kosteneffizienz.

Die bisherige Architektur umfasste:

• GCP: BigQuery und Composer
• Azure: Azure Data Factory, Azure SQL Server, Power BI
• On-Premise: MS SQL Server mit SSIS und SSAS

• Die Hauptdatenquelle für das Data Warehouse sind eigene Datenquellen wie ein SAP ERP-System, Webshop oder CRM-System. Im Data Warehouse werden Daten aus weiteren Toolport-Anwendungen, mit denen von Drittanbieterdaten wie z. B. von Versanddienstleistern integriert.

Leistungen und Beiträge

• Schnelle Einarbeitung: Durch meine schnelle Auffassungsgabe konnte ich die gewachsene Architektur und ihre Herausforderungen effizient analysieren und zielführende Lösungen entwickeln und dabei eine passende Balance zwischen Neuentwicklung, Wartung und Betrieb der bestehenden Lösungen sicherstellen.

• Architektur und Datenmodellierung: Gemeinsam mit Data Analysten modellierte ich die Daten im Data Warehouse, um diese mit Power BI den Fachabteilungen zur Verfügung zu stellen. Hierbei konnte ich mein Wissen in den Bereichen ER-Modellierung und Normalisierung, sowie ?State of the Art? Data Warehouse Ansätzen wie Star Schema oder Data Vault einbringen, wodurch ein auf die Anforderungen passendes, strukturiertes, leicht verständliches Datenmodell entstand

• Team-Building: Mein Wissen habe ich aktiv und mit Freude in unser Team eingebracht, sei es durch technische Dokumentation, Schulungen oder auch Pair- Programming. Bei Toolport wurde basierend auf der agilen Projektmanagementmethode Scrum im Team ein Umfeld geschaffen, indem wir mit Transparenz und Vertrauen effizient zusammengearbeitet haben. Ich konnte meine Coaching Skills, welche ich u. a. in meiner Ausbildung zum Greator Life Coach entwickelt habe, nutzen, um das Team auch in schwierigen Momenten zu unterstützen.

Technische Aufgaben

• Implementierung von ELT-Prozessen
  • in Python mit dem Orchestrierungswerkzeug Apache Airflow o Integration von Daten aus diversen Quellen in Big Query
  • Transformierung der Rohdaten mit Data Build Tools (dbt) unter Nutzung von SQL zur Definition von relationalen Datenmodellen
• Nutzung von GitLab als Code Repository und zur Automatisierung von Deployments (CI/CD).
• Neukonzipierung der bestehenden Azure Data Factory Pipelines, um Daten aus SAP und weiteren Quellen in Azure SQL Datenbanken zu integrieren und diese mit Power BI den Fachabteilungen zur Verfügung zu stellen.
• Automatisierung des Deployments der Azure Data Factory mit Azure DevOps.
• Betrieb und Wartung des bestehenden MS SQL Servers mit einem historisch gewachsenen Data Warehouses.

Ergebnis

• Wir haben in den 14 Monaten der Zusammenarbeit im Team Data Engineering bei Toolport die Zielarchitektur definiert und sind wertvolle Schritte hin zu einer Data Warehouse Architektur gegangen, welche Toolports Anforderungen hinsichtlich Performance, Skalierbarkeit und Kostenoptimierung erfüllt. 
• Das neue Data Warehouse in der GCP unterstützt zuverlässig die Analyse der Unternehmensdaten, ermöglicht State-of-the-Art Data Science Methoden und bietet durch das standardisierte Datenmodell eine hervorragende Grundlage für künftige Erweiterungen.
• Toolports Fachabteilungen konnten verlässlich mit verständlichen Daten aus den verschiedenen Datenbanken (MS SQL Server, Azure SQL und BigQuery) - auch während der Transformationsprozesse - versorgt werden.
• Die Reduzierung der Komplexität durch die Eliminierung redundanter Systeme wird über das Projekt hinaus bei der Toolport einen effizienten Betrieb sicherstellen. 
• Die Bereitstellung der gesamten Datenbasis in der GCP wird die Azure-Komponenten langfristig entbehrlich machen. 
• Dadurch ergibt sich eine schlanke Architektur und senkt weiterhin Kosten durch bessere Wartbarkeit.

zu verbessern.

• Entwicklung von Schnittstellen zur automatisierten Abwicklung von Bestellungen über verschiedene Vertriebskanäle, wie z. B. den firmeneigenen Onlineshop sowie Systeme von Vertriebspartnern. Dies beinhaltete sowohl das Design robuster Import-/Exportprozesse als auch das Projektmanagement mit Partnerunternehmen.
• Erstellung von Ad-hoc-Reports und Auswertungen auf Basis des Warenwirtschaftssystems mittels SQL (Microsoft SQL Server, MySQL), zur Unterstützung von Entscheidungen sowie zur operativen Prozessüberwachung.
• Weiterentwicklung des Warenwirtschaftssystems durch maßgeschneiderte PHP-Erweiterungen zur Abbildung firmenspezifischer Anforderungen (z. B. automatisierte Lagerprozesse, Sonderpreiskalkulationen, ...)
• Customizing und Anwender-Support für das eingesetzte ERP-System (AB Ventana), inklusive Schulungen, Fehleranalysen und Anforderungsmanagement für Weiterentwicklungen

Ergebnisse

• Deutliche Reduktion manueller Bearbeitungszeiten bei der Auftragsverarbeitung durch automatisierte Prozesse.
• Schnellere Entscheidungsfindung im Vertrieb und Einkauf durch individuell zugeschnittene Reporting-Lösungen.
• Höhere Anwenderzufriedenheit durch gezielte Anpassungen im ERP- System und schnellen, praxisnahen Support