6 Monate: Data Warehouse Entwicklung
Rolle: Data Engineer
Kunde: Energiekonzern
Aufgaben:
- Weiterentwicklung eines bestehenden Data Warehouse
- Abstimmung, Analyse und Umsetzung von fachlichen Anforderungen insb. aus dem Bereich Sales (bspw. Bonusprogramm, Preis-Margen-Archive)
- Datenanalyse im Rahmen von Bug-Reports und fachlichen Anfragen (Datenbasis u.a. SAP, Powercloud, Heroku)
- Performance-Optimierung von ?Langläufern? in Snowflake
- Weiterentwicklung von internen dbt Macros
Kenntnisse:
Snowflake, dbt, Apache Airflow, Atlan, Atlassian Jira / Confluence
21 Monate: Data Warehouse Cloud Migration
Rolle: DWH Entwickler
Kunde: Medienunternehmen
Aufgaben:- Migration der BI Plattform vom Hadoop Stack hin zu Snowflake und einem Data Warehouse Automation Tool
- Anpassung des bestehenden Datenmodells auf die neue Plattform / Toolset
- Anbindung des neuen Databricks Data Lakes an die Snowflake Umgebung (per S3 Bucket Stage und mit Hilfe Snowflake External Tables)
- Deployment von Snowflake Artefakten per schemachange
- Ablaufsteuerung per Airflow auf Basis entwickelter Templates
- Performance-Optimierung in Snowflake (bspw. durch effizienten Warehouse Einsatz und Clustered Tables)
Kenntnisse:Snowflake, schemachange, Datavault Builder, Apache Airflow, Databricks, Hadoop, Atlassian Jira / Confluence
9 Monate: Data Warehouse Cloud MigrationRolle: Technical Solution Architekt
Kunde: Medizintechnik
Aufgaben:- Migration der BI Plattform nach Snowflake
- Source Anbindung und Core DWH Modellierung in Vaultspeed (ETL)
- Code Versioning und Projekt/Task Management in Azure DevOps
- Business Logik Implementierung und Datenbereitstellung für Frontends in matillion und Snowflake
- Ablaufsteuerung per Airflow (Erweiterung der generierten FMCs aus Vaultspeed)
- Datenmodellerweiterung in Power BI + Veröffentlichung des semantischen Modells
- Unterstützung der Fachbereiche bei Erstellung von Power BI Reports und Dashboards
Kenntnisse:Snowflake, Vaultspeed, matillion, Apache Airflow, Azure DevOps
8 Monate: Data Warehouse AutomationRolle: Technical Solution Architect
Kunde: Medienunternehmen
Aufgaben:- Implementierung der Automation Solution auf Basis von Scala und Spark/Hive
- Beratung des Lead Architekten zu Themen rund um das Data Warehouse (u.a. Modellierungsregeln, Prozesssteuerung, Performance)
- Unterstützung der Teams im Data Vault Umfeld (u.a. Modellierung, Data Vault Lade-Pattern)
Kenntnisse:Scala, SBT, Apache Spark, Apache Hive, Atlassian Jira / Confluence
16 Monate: Data VaultRolle: Data Warehouse Entwickler
Kunde: Medienunternehmen
Aufgaben:- Fachliche Modellierung der Data Vault und der dimensionalen Layer
- Implementierung von Raw Vault, Business Vault und Data Mart
- Beratung der BI Architekten zu Themen rund um das Data Warehouse (u.a. Modellierungsregeln, Prozesssteuerung, Performance)
- Migration von SQL Server Analysis Service Cubes hin zu Exasol als Datenbasis
- Implementierung von Apache Airflow DAGs
Kenntnisse:Apache Hive, Spark SQL, Exasol 7, Innovator, Apache Airflow 2, SQL Server Analysis Service 2012
6 Monate: Data Warehouse Automation
Rolle: Technical Solution Architekt und Entwickler
Kunde: Getränkehersteller
Aufgaben:- Design und Konzept einer DWH Automation Solution auf Basis SQL Server 2017
- Entwicklung der Data Warehouse Automation Solution mit BIML zur Generierung von SSIS Paketen
- Modellierung des Data Warehouses auf Basis Data Vault 2.0 und Bereitstellung der Fakten und Dimensionen nach Kimball für Cubesystem
- Entwicklung von multidimensionalen Cubes auf Basis SSAS
- Schulung interner Mitarbeiter zu den projektspezifischen Themen
- Prototyping und explorative Datenanalyse mit Power BI
Kenntnisse:SQL Server 2017, BIML, SSIS, SSAS
22 Monate: Data VaultRolle: Technical Solution Architekt
Kunde: Versicherungsunternehmen
Aufgaben:- Java-Implementierung der Data Warehouse Automation Solution auf Basis Xtext (u.a. für Raw und Business Data Vault Objekte)
- Abstimmung der Data Vault Architektur mit dem Enterprise Architekten und System Engineers
- Konzept, Design und Implementierung des Raw Data Vault und Business Data Vault Layersim Near Real- Time Umfeld
- Entwicklung von Business Rules nach Business Requirements
- Unterstützung der Test-Automation durch Bereitstellen von notwendigen Metadaten und generischen Testcases
- PL/SQL Template Entwicklung der ETL Routinen
- Weiterentwicklung der Deployment-Routinen inkl. Continuous Integration Pipelines
- Agile Entwicklung nach SAFe
Kenntnisse:Java (Xtext, Xtend), Oracle Exadata (11g), Tricentis Tosca
18 Monate: Modellierung der Data Vault 2.0 Umgebung
Rolle: Data Vault Entwickler
Kunde: Finanzwesen
Aufgaben:- Modellierung der Data Vault 2.0 Umgebung (Raw Data Vault, Business Data Vault, Information Mart) mit SAP PowerDesigner
- Performanceoptimierung des Business Data Vault Layers
- Abstimmung mit den Fachbereichen zu den Themen Business Keys, Business Rule Requirements und Datenqualität
- Schulung und Anleitung der ETL Developer zum Thema Data Vault und LadePattern
- Grob- und Feinkonzept zur Implementierung der Data Warehouse Automation Lösung (Grundidee: generische durch Metadaten gesteuerte IBM Datastage ETL Routinen)
- Unterstützung des DWH Architekten (Design und Dokumentation der IST und SOLL Landschaft)
- Planung, Schätzung und Implementierung von ETL Anforderungen ReleaseDurchführung
- Dokumentation der Data Warehouse Architektur und ETL Prozessen
- Agile Softwareentwicklung (Scrum, Kanban)
Kenntnisse:SAP PowerDesigner, Oracle 12c (Exadata)