Azure Databricks Lakehouse-Architektur, Master Data Management (MDM / Data Vault 2.0) und modernem Data Engineering (Delta Lake, DBT, Medallion)
Aktualisiert am 08.07.2026
Profil
Freiberufler / Selbstständiger
Verfügbar ab: 01.08.2026
Verfügbar zu: 100%
davon vor Ort: 100%
Azure Databricks Lakehouse-Architektur
Master Data Management (MDM / Data Vault 2.0) und modernem Data Engineering (Delta Lake
Medallion)
Englisch
Muttersprache
Deutsch
C1 ? Telc Beruf
Norwegisch
B2
Französisch
B1 ? CIEP
Japanisch
B1

Einsatzorte

Einsatzorte

Deutschland
nicht möglich

Projekte

Projekte

1 Jahr 6 Monate
2025-01 - heute

Migration von MS-SQL-Server-Datenbanken auf eine Azure Databricks Lakehouse-Plattform

Data Architect / AI Engineer Azure Databricks Delta Lake Unity Catalog ...
Data Architect / AI Engineer
  • Verantwortung für die Migration von MS-SQL-Server-Datenbanken auf eine Azure Databricks Lakehouse-Plattform ? Implementierung der Medallion-Architektur (Bronze/Silver/Gold), Unity-Catalog-Governance, Delta-Lake-ACID-Transaktionen sowie vollständiger CI/CD-Pipeline mit DBT und GitHub Actions.
  • Aufbau eines gruppenweiten MDM-Fundaments: Party Hub mit deterministischem und probabilistischem Matching (Splink on Spark), Data-Vault-2.0-Satellites für vollständige Historienbildung, SCD-Type-2-Golden-Records und versionierte Survivorship-Regeln als DBT-Modelle mit Business-Owner-Freigabe.
  • DORA-Compliance als Architektur-Eigenschaft implementiert: ICT-Asset-Register in Unity Catalog, Spalten-Lineage für Blast-Radius-Assessment (Art. 13), Recovery-Tiers als Unity-Catalog-Tags mit automatisierten Restore-Drills (Art. 12) sowie vorgefertigtes DORA-Incident-Datenprodukt für BaFin-Meldung (Art. 19).
  • Produktiver RAG-basierter KI-Assistent für HR-Prozessautomatisierung ? LangChain, Azure OpenAI, ADLS-backed Vector Store, LangFuse-Tracing und Ragas-Evaluation-Pipeline.
Azure Databricks Delta Lake Unity Catalog DBT Medallion Data Vault 2.0 MDM ADLS Gen2 ADF OpenShift Python LangChain LangFuse RAG Azure OpenAI Power BI Airflow Terraform
DF Bank
Bremen / Düsseldorf
1 Jahr
2024-01 - 2024-12

Aufbau von Databricks-Lakehouse-Datenplattformen

Data Architect / AI Engineer Azure Databricks Delta Lake DBT ...
Data Architect / AI Engineer
  • Aufbau von Databricks-Lakehouse-Datenplattformen für Bank- und Versicherungskunden ? Ingestion-Pipelines, Silver-Data-Vault-Modellierung und Gold-Datenprodukten mit DBT-Qualitätssicherung und automatisierten DQ-Scoring-Workflows (0?100 Punkte pro Domäne).
  • Implementierung von MDM-Querverweismustern und stewardship-gesteuerter Qualitätssicherung bei probabilistischen Matches unterhalb des Konfidenz-Schwellenwerts (0,85).
  • Aufbau event-gesteuerter RAG-PoC-Systeme für Wissensautomatisierung ? MLFlow Model Registry, Evaluation Gates und LangFuse-Observability, deployed auf Azure Kubernetes Service.
Azure Databricks Delta Lake DBT Data Vault 2.0 MDM Kafka (Confluent) Vector DB MLFlow LangChain Python R AKS
PPI AG
Hamburg / Düsseldorf
3 Jahre
2021-01 - 2023-12

Domänenübergreifende Daten- und BI-Architektur

Data / Cloud Engineer Azure Databricks GCP (Vertex AI) AWS (SageMaker) ...
Data / Cloud Engineer
  • Domänenübergreifende Daten- und BI-Architektur für Telekommunikations- und Aviation-Kunden ? Zusammenarbeit mit Infrastruktur-, Sicherheits- und Business-Architekten zur Einführung einheitlicher Governance-Modelle auf Business-, Daten-, Applikations- und Infrastrukturebene.
  • Entwicklung eines agentischen IT-Sicherheits-Validierungs-Workflows (LangGraph): Discovery Agent generiert Prüfpunkte aus Policy-Dokumenten, Validation Agent führt strukturierte Tool-Calls aus, Reporting Agent erzeugt Compliance-Berichte ? deployed auf GCP Vertex AI.
  • RAG-basierte Customer-Service-Automatisierung: Embedding-Pipeline, hybride Retrieval-Strategie (Dense + BM25), strukturiertes Output-Enforcement via Function Calling und LangFuse-Produktions-Tracing.
Azure Databricks GCP (Vertex AI) AWS (SageMaker) LangChain LangGraph LangFuse RAG Agentic AI MCP MLOps Python SQL Teradata Tableau
CGI Deutschland
Düsseldorf
1 Jahr 3 Monate
2019-10 - 2020-12

Statistische Marktforschungsmodelle

Data Scientist / Engineer Azure Databricks Python Statistical Learning ...
Data Scientist / Engineer
Statistische Marktforschungsmodelle: Segmentierung, Ähnlichkeitscluster und Empfehlungssysteme auf Basis von Kundenbefragungsdaten. Aufbau von Prognose- und Optimierungsmodellen auf Azure Databricks für datengesteuerte TV-Programmplanung.
Azure Databricks Python Statistical Learning Segmentierungsmodelle Prognoseoptimierung Azure ML
Publicis Media
Düsseldorf
2 Jahre 6 Monate
2017-04 - 2019-09

Aufbau eines lokalisierungsbasierten Risikomodells

Data/ Cloud Engineer Azure Databricks Python MLlib ...
Data/ Cloud Engineer
  • Aufbau eines lokalisierungsbasierten Risikomodells und Anwendungsarchitektur für Feuerwehren in Deutschland und Großbritannien ? Vektordistanz-basiertes Scoring, deployed auf Stadtverwaltungsebene.
  • End-to-End-Datenpipeline für Einzelhandels-Supply-Chains: Transformationsschicht (DBT-Muster), Python-ML-Pipeline und ReactJS-Frontend mit Echtzeit-Dashboards.
Azure Databricks Python MLlib Django ReactJS Docker AWS Kafka Airflow Power BI
KI Group
Köln
9 Monate
2016-01 - 2016-09

zentralisierte Marketing-Analyse-Plattform

Big Data Engineer / BI Azure Databricks Python BigData ...
Big Data Engineer / BI
Aufbau einer zentralisierten Marketing-Analyse-Plattform auf Azure Databricks ? Integration von Verbraucherdaten und historischen Mediendaten zur datengesteuerten TV-Programmplanung mit nutzerorientiertem Frontend.
Azure Databricks Python BigData Django Kafka Airflow Tableau AWS
ProSiebenSat.1 Media SE
München
6 Jahre 8 Monate
2009-08 - 2016-03

Entwicklung ökonometrischer Softwaremodelle

Backend Engineer / Financial Data Python R Spark Cluster Management ...
Backend Engineer / Financial Data
  • Entwicklung ökonometrischer Softwaremodelle (NPV, Regression, Zeitreihen, Monte Carlo) und BI-Dashboards im regulierten Finanzumfeld ? erste umfassende Erfahrung mit Compliance-Anforderungen und Audit-Trail-Disziplin.
  • Leitung der Migration eines Apache-Spark-Clusters von On-Premise auf Databricks-Cloud-Umgebung ? ca. 20 % Kostenreduktion bei verbesserter Pipeline-Zuverlässigkeit und reduziertem Wartungsaufwand.
Python R Spark Cluster Management Azure Financial Analysis BI Dashboards Java (Spring) DWH/BI CRM ERP
Royal Bank of Canada
Vancouver (CA), San Francisco (US)

Aus- und Weiterbildung

Aus- und Weiterbildung

2020 - 2025
Fernstudium - Economics and Management
University of London
Abschluss: B.Sc.

2006 - 2010
Studium - Information Technologies and Management
University of British Columbia, Vancouver (Kanada)
Abschluss: B.Sc.

ZERTIFIKATE
  • Azure Databricks Data Engineering
  • Azure AI Engineer Associate
  • Azure Solutions Architect
  • DBT Architekt
  • AWS Solutions Architect
  • AWS ML Engineering
  • SAFe Scrum Master (SSMC)

Position

Position

Data Architect · Cloud & AI Engineering · Lakehouse & Master Data Management

Kompetenzen

Kompetenzen

Top-Skills

Azure Databricks Lakehouse-Architektur Master Data Management (MDM / Data Vault 2.0) und modernem Data Engineering (Delta Lake Medallion)

Produkte / Standards / Erfahrungen / Methoden

PROFIL
Data Architect und Cloud-AI-Engineer mit über 15 Jahren branchenübergreifender Erfahrung in Banking, Versicherung, Telekommunikation, Medien und Logistik. Tiefgreifende Expertise in Azure Databricks Lakehouse-Architektur, Master Data Management (MDM/ Data Vault 2.0) und modernem Data Engineering (Delta Lake, DBT, Medallion). Nachgewiesene Erfahrung in der Migration von Legacy-SQL-Server- und Oracle-EDWH-Umgebungen auf regulatorisch konforme, cloud-native Lakehouse-Plattformen. Fundiertes Verständnis regulatorischer Anforderungen ? DORA, Solvency II, DSGVO ? mit praktischer Erfahrung in der Umsetzung von Compliance als Architektur-Eigenschaft. Erfahren in der bereichsübergreifenden Zusammenarbeit mit PM, Fachbereichen und Führungsebene in komplexen Multi-Entity-Umgebungen.

KOMPETENZEN
  • Lakehouse-Architektur: 
    • Azure Databricks, Delta Lake (ACID, Time Travel, OPTIMIZE, VACUUM, Z-ORDER), Medallion Architecture (Bronze/Silver/Gold), Auto Loader, Structured Streaming, Unity Catalog, ADLS Gen2
  • MDM & Data Vault 2.0: 
    • Hub/Satellite/Link-Design, Hash Keys, SCD Type 2 Golden Records, Survivorship Rules (DBT), Deterministisches & probabilistisches Matching (Splink), Stewardship Workflows, Hierarchie-Management (Closure Table, GraphFrames), PIT-Tabellen, Reference Data Management
  • Data Engineering: 
    • DBT (Modelle, Tests, Snapshots, Incremental), Apache Spark, Apache Airflow, Azure Data Factory, Kafka (Confluent), CDC (Debezium, Log-basiert), ETL/ELT-Muster, Great Expectations, DQ-Scoring
  • KI / ML Engineering: 
    • RAG-Pipelines, LangChain, LangGraph, LangFuse, LangSmith, MCP (Model Context Protocol), Agentische Workflows, Multi-Agent-Orchestrierung, MLFlow, Vector DB (Qdrant, pgvector), Azure OpenAI, Vertex AI (GCP), SageMaker (AWS), Ragas
  • Cloud & Infrastruktur: 
    • Azure (Databricks, ADF, ADLS, Entra ID, Key Vault, Monitor, OpenShift/AKS), GCP (Vertex AI, GKE), AWS (SageMaker, S3), Terraform, Docker, Kubernetes, GitHub Actions / GitOps, Azure DevOps
  • Regulatorik & Compliance:
    • DORA (Art. 8, 12, 13, 19, 28), Solvency II (Art. 82), DSGVO (Art. 17, 25), BCM/IT-DRP, BaFin/MaRisk, Compliance as Code, ICT-Asset-Register, Lineage-basiertes Blast-Radius-Assessment
  • Architektur & Governance: 
    • ?TOGAF, ArchiMate, C4-Modell, Architecture Decision Records (ADR), Data Mesh (Prinzipien),Data Products, CODEOWNERS-Approval-Workflow, Datenkatalog, Data Stewardship

Einsatzorte

Einsatzorte

Deutschland
nicht möglich

Projekte

Projekte

1 Jahr 6 Monate
2025-01 - heute

Migration von MS-SQL-Server-Datenbanken auf eine Azure Databricks Lakehouse-Plattform

Data Architect / AI Engineer Azure Databricks Delta Lake Unity Catalog ...
Data Architect / AI Engineer
  • Verantwortung für die Migration von MS-SQL-Server-Datenbanken auf eine Azure Databricks Lakehouse-Plattform ? Implementierung der Medallion-Architektur (Bronze/Silver/Gold), Unity-Catalog-Governance, Delta-Lake-ACID-Transaktionen sowie vollständiger CI/CD-Pipeline mit DBT und GitHub Actions.
  • Aufbau eines gruppenweiten MDM-Fundaments: Party Hub mit deterministischem und probabilistischem Matching (Splink on Spark), Data-Vault-2.0-Satellites für vollständige Historienbildung, SCD-Type-2-Golden-Records und versionierte Survivorship-Regeln als DBT-Modelle mit Business-Owner-Freigabe.
  • DORA-Compliance als Architektur-Eigenschaft implementiert: ICT-Asset-Register in Unity Catalog, Spalten-Lineage für Blast-Radius-Assessment (Art. 13), Recovery-Tiers als Unity-Catalog-Tags mit automatisierten Restore-Drills (Art. 12) sowie vorgefertigtes DORA-Incident-Datenprodukt für BaFin-Meldung (Art. 19).
  • Produktiver RAG-basierter KI-Assistent für HR-Prozessautomatisierung ? LangChain, Azure OpenAI, ADLS-backed Vector Store, LangFuse-Tracing und Ragas-Evaluation-Pipeline.
Azure Databricks Delta Lake Unity Catalog DBT Medallion Data Vault 2.0 MDM ADLS Gen2 ADF OpenShift Python LangChain LangFuse RAG Azure OpenAI Power BI Airflow Terraform
DF Bank
Bremen / Düsseldorf
1 Jahr
2024-01 - 2024-12

Aufbau von Databricks-Lakehouse-Datenplattformen

Data Architect / AI Engineer Azure Databricks Delta Lake DBT ...
Data Architect / AI Engineer
  • Aufbau von Databricks-Lakehouse-Datenplattformen für Bank- und Versicherungskunden ? Ingestion-Pipelines, Silver-Data-Vault-Modellierung und Gold-Datenprodukten mit DBT-Qualitätssicherung und automatisierten DQ-Scoring-Workflows (0?100 Punkte pro Domäne).
  • Implementierung von MDM-Querverweismustern und stewardship-gesteuerter Qualitätssicherung bei probabilistischen Matches unterhalb des Konfidenz-Schwellenwerts (0,85).
  • Aufbau event-gesteuerter RAG-PoC-Systeme für Wissensautomatisierung ? MLFlow Model Registry, Evaluation Gates und LangFuse-Observability, deployed auf Azure Kubernetes Service.
Azure Databricks Delta Lake DBT Data Vault 2.0 MDM Kafka (Confluent) Vector DB MLFlow LangChain Python R AKS
PPI AG
Hamburg / Düsseldorf
3 Jahre
2021-01 - 2023-12

Domänenübergreifende Daten- und BI-Architektur

Data / Cloud Engineer Azure Databricks GCP (Vertex AI) AWS (SageMaker) ...
Data / Cloud Engineer
  • Domänenübergreifende Daten- und BI-Architektur für Telekommunikations- und Aviation-Kunden ? Zusammenarbeit mit Infrastruktur-, Sicherheits- und Business-Architekten zur Einführung einheitlicher Governance-Modelle auf Business-, Daten-, Applikations- und Infrastrukturebene.
  • Entwicklung eines agentischen IT-Sicherheits-Validierungs-Workflows (LangGraph): Discovery Agent generiert Prüfpunkte aus Policy-Dokumenten, Validation Agent führt strukturierte Tool-Calls aus, Reporting Agent erzeugt Compliance-Berichte ? deployed auf GCP Vertex AI.
  • RAG-basierte Customer-Service-Automatisierung: Embedding-Pipeline, hybride Retrieval-Strategie (Dense + BM25), strukturiertes Output-Enforcement via Function Calling und LangFuse-Produktions-Tracing.
Azure Databricks GCP (Vertex AI) AWS (SageMaker) LangChain LangGraph LangFuse RAG Agentic AI MCP MLOps Python SQL Teradata Tableau
CGI Deutschland
Düsseldorf
1 Jahr 3 Monate
2019-10 - 2020-12

Statistische Marktforschungsmodelle

Data Scientist / Engineer Azure Databricks Python Statistical Learning ...
Data Scientist / Engineer
Statistische Marktforschungsmodelle: Segmentierung, Ähnlichkeitscluster und Empfehlungssysteme auf Basis von Kundenbefragungsdaten. Aufbau von Prognose- und Optimierungsmodellen auf Azure Databricks für datengesteuerte TV-Programmplanung.
Azure Databricks Python Statistical Learning Segmentierungsmodelle Prognoseoptimierung Azure ML
Publicis Media
Düsseldorf
2 Jahre 6 Monate
2017-04 - 2019-09

Aufbau eines lokalisierungsbasierten Risikomodells

Data/ Cloud Engineer Azure Databricks Python MLlib ...
Data/ Cloud Engineer
  • Aufbau eines lokalisierungsbasierten Risikomodells und Anwendungsarchitektur für Feuerwehren in Deutschland und Großbritannien ? Vektordistanz-basiertes Scoring, deployed auf Stadtverwaltungsebene.
  • End-to-End-Datenpipeline für Einzelhandels-Supply-Chains: Transformationsschicht (DBT-Muster), Python-ML-Pipeline und ReactJS-Frontend mit Echtzeit-Dashboards.
Azure Databricks Python MLlib Django ReactJS Docker AWS Kafka Airflow Power BI
KI Group
Köln
9 Monate
2016-01 - 2016-09

zentralisierte Marketing-Analyse-Plattform

Big Data Engineer / BI Azure Databricks Python BigData ...
Big Data Engineer / BI
Aufbau einer zentralisierten Marketing-Analyse-Plattform auf Azure Databricks ? Integration von Verbraucherdaten und historischen Mediendaten zur datengesteuerten TV-Programmplanung mit nutzerorientiertem Frontend.
Azure Databricks Python BigData Django Kafka Airflow Tableau AWS
ProSiebenSat.1 Media SE
München
6 Jahre 8 Monate
2009-08 - 2016-03

Entwicklung ökonometrischer Softwaremodelle

Backend Engineer / Financial Data Python R Spark Cluster Management ...
Backend Engineer / Financial Data
  • Entwicklung ökonometrischer Softwaremodelle (NPV, Regression, Zeitreihen, Monte Carlo) und BI-Dashboards im regulierten Finanzumfeld ? erste umfassende Erfahrung mit Compliance-Anforderungen und Audit-Trail-Disziplin.
  • Leitung der Migration eines Apache-Spark-Clusters von On-Premise auf Databricks-Cloud-Umgebung ? ca. 20 % Kostenreduktion bei verbesserter Pipeline-Zuverlässigkeit und reduziertem Wartungsaufwand.
Python R Spark Cluster Management Azure Financial Analysis BI Dashboards Java (Spring) DWH/BI CRM ERP
Royal Bank of Canada
Vancouver (CA), San Francisco (US)

Aus- und Weiterbildung

Aus- und Weiterbildung

2020 - 2025
Fernstudium - Economics and Management
University of London
Abschluss: B.Sc.

2006 - 2010
Studium - Information Technologies and Management
University of British Columbia, Vancouver (Kanada)
Abschluss: B.Sc.

ZERTIFIKATE
  • Azure Databricks Data Engineering
  • Azure AI Engineer Associate
  • Azure Solutions Architect
  • DBT Architekt
  • AWS Solutions Architect
  • AWS ML Engineering
  • SAFe Scrum Master (SSMC)

Position

Position

Data Architect · Cloud & AI Engineering · Lakehouse & Master Data Management

Kompetenzen

Kompetenzen

Top-Skills

Azure Databricks Lakehouse-Architektur Master Data Management (MDM / Data Vault 2.0) und modernem Data Engineering (Delta Lake Medallion)

Produkte / Standards / Erfahrungen / Methoden

PROFIL
Data Architect und Cloud-AI-Engineer mit über 15 Jahren branchenübergreifender Erfahrung in Banking, Versicherung, Telekommunikation, Medien und Logistik. Tiefgreifende Expertise in Azure Databricks Lakehouse-Architektur, Master Data Management (MDM/ Data Vault 2.0) und modernem Data Engineering (Delta Lake, DBT, Medallion). Nachgewiesene Erfahrung in der Migration von Legacy-SQL-Server- und Oracle-EDWH-Umgebungen auf regulatorisch konforme, cloud-native Lakehouse-Plattformen. Fundiertes Verständnis regulatorischer Anforderungen ? DORA, Solvency II, DSGVO ? mit praktischer Erfahrung in der Umsetzung von Compliance als Architektur-Eigenschaft. Erfahren in der bereichsübergreifenden Zusammenarbeit mit PM, Fachbereichen und Führungsebene in komplexen Multi-Entity-Umgebungen.

KOMPETENZEN
  • Lakehouse-Architektur: 
    • Azure Databricks, Delta Lake (ACID, Time Travel, OPTIMIZE, VACUUM, Z-ORDER), Medallion Architecture (Bronze/Silver/Gold), Auto Loader, Structured Streaming, Unity Catalog, ADLS Gen2
  • MDM & Data Vault 2.0: 
    • Hub/Satellite/Link-Design, Hash Keys, SCD Type 2 Golden Records, Survivorship Rules (DBT), Deterministisches & probabilistisches Matching (Splink), Stewardship Workflows, Hierarchie-Management (Closure Table, GraphFrames), PIT-Tabellen, Reference Data Management
  • Data Engineering: 
    • DBT (Modelle, Tests, Snapshots, Incremental), Apache Spark, Apache Airflow, Azure Data Factory, Kafka (Confluent), CDC (Debezium, Log-basiert), ETL/ELT-Muster, Great Expectations, DQ-Scoring
  • KI / ML Engineering: 
    • RAG-Pipelines, LangChain, LangGraph, LangFuse, LangSmith, MCP (Model Context Protocol), Agentische Workflows, Multi-Agent-Orchestrierung, MLFlow, Vector DB (Qdrant, pgvector), Azure OpenAI, Vertex AI (GCP), SageMaker (AWS), Ragas
  • Cloud & Infrastruktur: 
    • Azure (Databricks, ADF, ADLS, Entra ID, Key Vault, Monitor, OpenShift/AKS), GCP (Vertex AI, GKE), AWS (SageMaker, S3), Terraform, Docker, Kubernetes, GitHub Actions / GitOps, Azure DevOps
  • Regulatorik & Compliance:
    • DORA (Art. 8, 12, 13, 19, 28), Solvency II (Art. 82), DSGVO (Art. 17, 25), BCM/IT-DRP, BaFin/MaRisk, Compliance as Code, ICT-Asset-Register, Lineage-basiertes Blast-Radius-Assessment
  • Architektur & Governance: 
    • ?TOGAF, ArchiMate, C4-Modell, Architecture Decision Records (ADR), Data Mesh (Prinzipien),Data Products, CODEOWNERS-Approval-Workflow, Datenkatalog, Data Stewardship

Vertrauen Sie auf Randstad

Im Bereich Freelancing
Im Bereich Arbeitnehmerüberlassung / Personalvermittlung

Fragen?

Rufen Sie uns an +49 89 500316-300 oder schreiben Sie uns:

Das Freelancer-Portal

Direktester geht's nicht! Ganz einfach Freelancer finden und direkt Kontakt aufnehmen.