? Konzeption und Implementierung skalierbarer ETL- und ELT-Strecken zur
Integration operativer Energiewirtschaftsdaten aus Powercloud in ein zentrales
Snowflake Data Warehouse
? Entwicklung automatisierter Datenpipelines mit Python und Apache Airflow zur
Verarbeitung von Stammdaten, Vertragsdaten, Zählerständen,
Abrechnungsinformationen und energiewirtschaftlichen Bewegungsdaten
? Aufbau und Pflege von Airflow-DAGs zur Orchestrierung komplexer Lade-,
Transformations- und Validierungsprozesse sowie zur Steuerung von
Abhängigkeiten zwischen den Verarbeitungsschritten
? Aufbau einer mehrschichtigen Datenarchitektur mit Landing-, Staging- und
Core-Layern in Snowflake zur strukturierten Verarbeitung und Wiederverwendung
der Daten
? Entwicklung modularer Transformationen und Datenmodelle mit dbt zur
Standardisierung fachlicher Logiken, KPIs und energiewirtschaftlicher
Geschäftsregeln
? Implementierung performanter Inkremental-, Delta- und
Change-Data-Capture-Logiken zur effizienten Verarbeitung großer Datenmengen
und Reduktion unnötiger Vollbeladungen
? Durchführung umfangreicher Data-Cleaning-, Validierungs- und
Harmonisierungsschritte zur Sicherstellung konsistenter und qualitativ
hochwertiger Datenbestände
? Implementierung von Logging-, Monitoring- und Fehlerhandling-Mechanismen in
Airflow und Snowflake zur transparenten Überwachung der Datenflüsse und
frühzeitigen Identifikation technischer Störungen
? Unterstützung regulatorischer und fachlicher Anforderungen der Energiewirtschaft
durch nachvollziehbare, auditierbare und reproduzierbare
Datenverarbeitungsprozesse
? Nutzung von Azure DevOps zur Versionskontrolle, Verwaltung von
CI/CD-Pipelines sowie Automatisierung von Deployments und Release-Prozessen
? Enge Abstimmung mit Fachbereichen, Architektur- und BI-Teams zur Definition
von Datenstrukturen, KPI-Logiken und Integrationsanforderungen
? Mitwirkung an der Weiterentwicklung der Snowflake-Datenarchitektur hinsichtlich
Skalierbarkeit, Wartbarkeit und Modularisierung
? Erstellung technischer Dokumentationen sowie Übergabe der entwickelten
Datenprozesse in den operativen Betrieb