Konzeption und Implementierung vollständiger End-to-End-Datenpipelines
Senior Data EngineerPythonSQLAirflow...
Senior Data Engineer
Konzeption und Implementierung vollständiger End-to-End-Datenpipelines von der Quellenanbindung bis zur Zielsystemintegration in einer modernen Cloud-Infrastruktur (GCP, BigQuery, Airflow)
Optimierung kritischer ETL-Prozesse durch parallele Verarbeitung und intelligente Fehlerbehandlung, wodurch Systemzuverlässigkeit und Skalierbarkeit signifikant gesteigert wurden
Integration externer Marketing-APIs in automatisierte Datenpipelines zur Unterstützung datengetriebener CRM-Kampagnen mit vollständiger Audit-Nachverfolgung via BigQuery Streaming Inserts
Aufbau robuster Import-Pipelines für heterogene Datenquellen (SFTP, REST-APIs, CSV) mit automatischer Datenvalidierung und partitionierter BigQuery-Speicherung
Sicherstellung von Datensicherheit und Compliance durch verschlüsseltes Secret-Management in einem GitOps-basierten Kubernetes-Umfeld
PythonSQLAirflowBigQueryPolarsKubernetesGCP
Exaring AG, Berlin
2 years 4 months
2023-09 - 2025-12
End-to-End-Neugestaltung der Dateninfrastruktur
Senior Data EngineerPythonSQLDBT...
Senior Data Engineer
End-to-End-Neugestaltung der Dateninfrastruktur, einschließlich Architekturdesign und Implementierung der Kernkomponenten im Data Engineering.
Optimierung des DBT-Modellierungs-Layers durch Implementierung eines inkrementellen Ansatzes für Verarbeitung, Speicherung und Updates; dies führte zu einer Kostensenkung um 30% und einer Reduzierung der Verarbeitungszeit um 70%. Zusätzlich: Migration von DBT Local zu DBT Cloud ohne Ausfallzeiten.
Konfiguration von GCP Datastreams zur Verbindung von AWS Aurora Datenbanken mit BigQuery für Echtzeit-Datensynchronisation.
Einrichtung einer Staging-Umgebung, was zu einer Steigerung der Effizienz bei der Feature-Entwicklung um 80% führte.
Implementierung einer Echtzeit-GA4-Event-Pipeline: Datenaufnahme via Pub/Sub, Verarbeitung und Anreicherung in Databricks und Schreiben in BigQuery für Low-Latency-Analysen.
Design und Implementierung von Datenpipelines mittels Apache Airflow und Python zur Integration von HubSpot-Daten (Formulare, Kontakte, Deals und Sales Leads) in die Reporting-Infrastruktur des Unternehmens.
Rekrutierung und Aufbau eines kleinen Datenteams (Data Scientist, Junior Data Engineer und Werkstudent) zur Skalierung und Verwaltung der wachsenden Datenanforderungen.
PythonSQLDBTAirflowBigQueryDatabricksGA4Pub/SubCloud ComposerCloud RunGitHub Actions und PyTest
Wellster Healthtech, Berlin
4 months
2023-05 - 2023-08
Entwurf der Datenarchitektur
Senior Data Engineer (Freelancer)PythonSQLAzure Synapse Analytics...
Senior Data Engineer (Freelancer)
Entwurf der Datenarchitektur für die Competitor Intelligence Abteilung auf Basis von Azure Synapse Analytics zur zentralisierten Erfassung, Strukturierung und Analyse von Markt- und Projektdaten.
Entwicklung von Web-Crawlern (Python, Zyte API) zur automatisierten Erfassung von Stellenangeboten im Kundenstamm von Cintellic mit anschließender strukturierter Speicherung in Azure Data Lake Storage Gen2.
Planung und Durchführung der Cloud-Migration der internen On-Premise-Infrastruktur zu Microsoft Azure: Aufbau von Ingestion-Pipelines mit Azure Data Factory (ADF), Orchestrierung von Transformationsprozessen in Azure Synapse Pipelines sowie Einrichtung von Linked Services für heterogene Datenquellen.
Modellierung und Implementierung eines mehrstufigen Lakehouse-Schemas (Bronze/Silver/Gold) in Azure Synapse Analytics zur strukturierten Datenhaltung und effizienten Abfragbarkeit.
Aufbau interner Reporting-Lösungen mit Power BI (DirectQuery auf Synapse) zur Bereitstellung handlungsorientierter Erkenntnisse für Stakeholder in Echtzeit.
PythonSQLAzure Synapse AnalyticsAzure Data FactoryAzure Data Lake Storage Gen2Power BIWeb ScrapingZyte API
Cintellic, Remote / Bonn
1 year 10 months
2021-06 - 2023-03
Aufbau der gesamten Dateninfrastruktur von Grund auf
Senior Data EngineerPythonSQLDBT...
Senior Data Engineer
Aufbau der gesamten Dateninfrastruktur von Grund auf, einschließlich Architekturdesign und Implementierung der zentralen Datenpipelines in Apache Airflow und DBT Cloud Modellen.
Erstellung von DBT-Transformationsmodellen und Entwicklung fortgeschrittener Aggregationen für Kundenmetriken.
Konfiguration des AWS Data Migration Service (DMS) zur Echtzeit-Replikation von Daten von Aurora MySQL zu AWS Redshift, zur Sicherstellung aktueller Analysen bei gleichzeitiger Orchestrierung nachgelagerter DBT-Transformationen.
Erstellung von Dashboards in Metabase für Management und Gesellschafter, um Einblicke in die Unternehmensleistung und operative KPIs zu gewähren.
Entwicklung eines Kundenklassifizierungsalgorithmus zur Segmentierung von Anteilseignern, um gezieltere Ansätze zur Kundenreaktivierung zu ermöglichen.
Erstellung einer ereignisgesteuerten Datenaustausch-Pipeline zwischen Unternehmen und Stakeholdern unter Nutzung von AWS EventBridge, S3 und Lambda-Funktionen.
Entwicklung eines Machine-Learning-Modells zur Vorhersage der durchschnittlichen Lagerkosten mit 85% Genauigkeit, zur Unterstützung der datengestützten Finanzplanung.
Aufbau von ETL-Pipelines zur Auditierung von Lieferanten im Castlegate-Programm, wodurch potenzielle Verluste in Höhe von 2 Mio. ? vermieden wurden.
Implementierung von Airflow-DAGs zur Prüfung der Versandkosten über mehrere Spediteure hinweg, was zur Rückforderung von 4,6 Mio. ? an Überzahlungen führte.
Migration des On-Premise Data Warehouse und der ETL-Pipelines zur Google Cloud Platform, unter Nutzung von BigQuery und Cloud Composer für skalierbare Analysen.
Migration der Core-Dashboards von Power BI zu GCP Data Studio zur Gewährleistung eines konsistenten Reportings.
PythonSQLAirflowBigQueryCloud ComposerGCPPower BIData Studio
Wayfair, Berlin
11 months
2019-03 - 2020-01
Erstellung einer ETL-Pipeline
Junior Data EngineerPythonSQLAirflow...
Junior Data Engineer
Erstellung einer ETL-Pipeline zur Qualitätssicherung von Daten zur Validierung von Produktkatalogen, was die Conversion-Rate um 2% steigerte.
Bau eines ETL-Tools zur Anpassung von Bidding-Strategien, wodurch eine CTR von 4% bei saisonalen Keywords erreicht wurde.
Entwicklung GCP-basierter Monitoring-Tools für Marketingkampagnen zur Erkennung von Anomalien und automatischen Drosselung von Kampagnen bei Bedarf.
Implementierung von Alerting-Systemen zur Überwachung der Interaktionen mit externen Anbietern (u.a. idealo .de, mobile .de und moebel24 .de).
Automatisierung von Reporting-Workflows und Leistungsüberwachung mittels Python und Google Apps Scripts zur Optimierung des Kampagnen-Trackings.
PythonSQLAirflowGCPBigQueryGoogle App Scripts
Wayfair, Berlin
1 year 7 months
2017-08 - 2019-02
Analyse von Rekrutierungs- und Belegschaftsdaten
Data AnalystPythonSQLExcel...
Data Analyst
Analyse von Rekrutierungs- und Belegschaftsdaten im Lagerbereich zur Identifizierung von Mustern und Optimierung der Einstellungsprozesse.
Zusammenarbeit mit dem Data-Science-Team zur Entwicklung und Verfeinerung von Kandidaten-Profiling- Algorithmen, einschließlich Keyword-basiertem Matching.
Implementierung von Strategien zur Reduzierung von Bias im Auswahlverfahren, um Fairness und Genauigkeit in der Rekrutierungspipeline zu verbessern.
Durchführung tiefgehender Analysen mittels Python und SQL zur Identifizierung von Faktoren, die die Fluktuation bei Lagerarbeitern treiben, sowie Empfehlung datengestützter Maßnahmen.
Entwicklung und Orchestrierung von ETL-Pipelines mit Apache Airflow (Python) zur automatisierten Erfassung und Speicherung von Sicherheitsereignisdaten in Azure SQL Data Warehouse zur zentralen Analyse durch das Threat Intelligence Team.
Aufbau von Daten-Aggregations-Workflows auf Basis von Azure Blob Storage und Azure Data Factory zur Konsolidierung von Compliance- und Vulnerability-Daten aus verteilten internen Quellen.
PythonSQLApache AirflowAzure SQL Data WarehouseAzure Blob StorageAzure Data FactoryPower BI
Microsoft, Kairo, Ägypten
Aus- und Weiterbildung
Aus- und Weiterbildung
Zertifizierungen
AWS, Certified Solutions Architect?Associate
DBT, Fundamentals
GCP, Professional Data Engineer
Databricks, Data Engineering Professional
Azure, Data Engineer Associate (DP-203)
Azure, Data Engineer - Microsoft Fabric
(DP-700)
Kompetenzen
Kompetenzen
Top-Skills
Google CloudBig DataAzureApache SparkPythonSQLAWSCloud Computingamazon RedshiftGoogle BigTableBig Data Analytics
Produkte / Standards / Erfahrungen / Methoden
Tech Stack
Cloud
GCP
Azure
AWS
Orchestrierung
Cloud Composer
Azure Data Factory
Airflow
Storage
GCS
Azure Data Lake Gen2
AWS S3
Transformation
DBT
Databricks
Apache Spark
Reporting
Looker Studio
Power BI
Metabase
DevOps
GitHub Actions
Kubernetes
Docker
Programmiersprachen
Python
SQL
Datenbanken
BigQuery
Azure Synapse
AWS Redshift
Einsatzorte
Einsatzorte
Berlin (+150km)
Deutschland, Schweiz, Österreich
möglich
Projekte
Projekte
4 months
2026-03 - now
Konzeption und Implementierung vollständiger End-to-End-Datenpipelines
Senior Data EngineerPythonSQLAirflow...
Senior Data Engineer
Konzeption und Implementierung vollständiger End-to-End-Datenpipelines von der Quellenanbindung bis zur Zielsystemintegration in einer modernen Cloud-Infrastruktur (GCP, BigQuery, Airflow)
Optimierung kritischer ETL-Prozesse durch parallele Verarbeitung und intelligente Fehlerbehandlung, wodurch Systemzuverlässigkeit und Skalierbarkeit signifikant gesteigert wurden
Integration externer Marketing-APIs in automatisierte Datenpipelines zur Unterstützung datengetriebener CRM-Kampagnen mit vollständiger Audit-Nachverfolgung via BigQuery Streaming Inserts
Aufbau robuster Import-Pipelines für heterogene Datenquellen (SFTP, REST-APIs, CSV) mit automatischer Datenvalidierung und partitionierter BigQuery-Speicherung
Sicherstellung von Datensicherheit und Compliance durch verschlüsseltes Secret-Management in einem GitOps-basierten Kubernetes-Umfeld
PythonSQLAirflowBigQueryPolarsKubernetesGCP
Exaring AG, Berlin
2 years 4 months
2023-09 - 2025-12
End-to-End-Neugestaltung der Dateninfrastruktur
Senior Data EngineerPythonSQLDBT...
Senior Data Engineer
End-to-End-Neugestaltung der Dateninfrastruktur, einschließlich Architekturdesign und Implementierung der Kernkomponenten im Data Engineering.
Optimierung des DBT-Modellierungs-Layers durch Implementierung eines inkrementellen Ansatzes für Verarbeitung, Speicherung und Updates; dies führte zu einer Kostensenkung um 30% und einer Reduzierung der Verarbeitungszeit um 70%. Zusätzlich: Migration von DBT Local zu DBT Cloud ohne Ausfallzeiten.
Konfiguration von GCP Datastreams zur Verbindung von AWS Aurora Datenbanken mit BigQuery für Echtzeit-Datensynchronisation.
Einrichtung einer Staging-Umgebung, was zu einer Steigerung der Effizienz bei der Feature-Entwicklung um 80% führte.
Implementierung einer Echtzeit-GA4-Event-Pipeline: Datenaufnahme via Pub/Sub, Verarbeitung und Anreicherung in Databricks und Schreiben in BigQuery für Low-Latency-Analysen.
Design und Implementierung von Datenpipelines mittels Apache Airflow und Python zur Integration von HubSpot-Daten (Formulare, Kontakte, Deals und Sales Leads) in die Reporting-Infrastruktur des Unternehmens.
Rekrutierung und Aufbau eines kleinen Datenteams (Data Scientist, Junior Data Engineer und Werkstudent) zur Skalierung und Verwaltung der wachsenden Datenanforderungen.
PythonSQLDBTAirflowBigQueryDatabricksGA4Pub/SubCloud ComposerCloud RunGitHub Actions und PyTest
Wellster Healthtech, Berlin
4 months
2023-05 - 2023-08
Entwurf der Datenarchitektur
Senior Data Engineer (Freelancer)PythonSQLAzure Synapse Analytics...
Senior Data Engineer (Freelancer)
Entwurf der Datenarchitektur für die Competitor Intelligence Abteilung auf Basis von Azure Synapse Analytics zur zentralisierten Erfassung, Strukturierung und Analyse von Markt- und Projektdaten.
Entwicklung von Web-Crawlern (Python, Zyte API) zur automatisierten Erfassung von Stellenangeboten im Kundenstamm von Cintellic mit anschließender strukturierter Speicherung in Azure Data Lake Storage Gen2.
Planung und Durchführung der Cloud-Migration der internen On-Premise-Infrastruktur zu Microsoft Azure: Aufbau von Ingestion-Pipelines mit Azure Data Factory (ADF), Orchestrierung von Transformationsprozessen in Azure Synapse Pipelines sowie Einrichtung von Linked Services für heterogene Datenquellen.
Modellierung und Implementierung eines mehrstufigen Lakehouse-Schemas (Bronze/Silver/Gold) in Azure Synapse Analytics zur strukturierten Datenhaltung und effizienten Abfragbarkeit.
Aufbau interner Reporting-Lösungen mit Power BI (DirectQuery auf Synapse) zur Bereitstellung handlungsorientierter Erkenntnisse für Stakeholder in Echtzeit.
PythonSQLAzure Synapse AnalyticsAzure Data FactoryAzure Data Lake Storage Gen2Power BIWeb ScrapingZyte API
Cintellic, Remote / Bonn
1 year 10 months
2021-06 - 2023-03
Aufbau der gesamten Dateninfrastruktur von Grund auf
Senior Data EngineerPythonSQLDBT...
Senior Data Engineer
Aufbau der gesamten Dateninfrastruktur von Grund auf, einschließlich Architekturdesign und Implementierung der zentralen Datenpipelines in Apache Airflow und DBT Cloud Modellen.
Erstellung von DBT-Transformationsmodellen und Entwicklung fortgeschrittener Aggregationen für Kundenmetriken.
Konfiguration des AWS Data Migration Service (DMS) zur Echtzeit-Replikation von Daten von Aurora MySQL zu AWS Redshift, zur Sicherstellung aktueller Analysen bei gleichzeitiger Orchestrierung nachgelagerter DBT-Transformationen.
Erstellung von Dashboards in Metabase für Management und Gesellschafter, um Einblicke in die Unternehmensleistung und operative KPIs zu gewähren.
Entwicklung eines Kundenklassifizierungsalgorithmus zur Segmentierung von Anteilseignern, um gezieltere Ansätze zur Kundenreaktivierung zu ermöglichen.
Erstellung einer ereignisgesteuerten Datenaustausch-Pipeline zwischen Unternehmen und Stakeholdern unter Nutzung von AWS EventBridge, S3 und Lambda-Funktionen.
Entwicklung eines Machine-Learning-Modells zur Vorhersage der durchschnittlichen Lagerkosten mit 85% Genauigkeit, zur Unterstützung der datengestützten Finanzplanung.
Aufbau von ETL-Pipelines zur Auditierung von Lieferanten im Castlegate-Programm, wodurch potenzielle Verluste in Höhe von 2 Mio. ? vermieden wurden.
Implementierung von Airflow-DAGs zur Prüfung der Versandkosten über mehrere Spediteure hinweg, was zur Rückforderung von 4,6 Mio. ? an Überzahlungen führte.
Migration des On-Premise Data Warehouse und der ETL-Pipelines zur Google Cloud Platform, unter Nutzung von BigQuery und Cloud Composer für skalierbare Analysen.
Migration der Core-Dashboards von Power BI zu GCP Data Studio zur Gewährleistung eines konsistenten Reportings.
PythonSQLAirflowBigQueryCloud ComposerGCPPower BIData Studio
Wayfair, Berlin
11 months
2019-03 - 2020-01
Erstellung einer ETL-Pipeline
Junior Data EngineerPythonSQLAirflow...
Junior Data Engineer
Erstellung einer ETL-Pipeline zur Qualitätssicherung von Daten zur Validierung von Produktkatalogen, was die Conversion-Rate um 2% steigerte.
Bau eines ETL-Tools zur Anpassung von Bidding-Strategien, wodurch eine CTR von 4% bei saisonalen Keywords erreicht wurde.
Entwicklung GCP-basierter Monitoring-Tools für Marketingkampagnen zur Erkennung von Anomalien und automatischen Drosselung von Kampagnen bei Bedarf.
Implementierung von Alerting-Systemen zur Überwachung der Interaktionen mit externen Anbietern (u.a. idealo .de, mobile .de und moebel24 .de).
Automatisierung von Reporting-Workflows und Leistungsüberwachung mittels Python und Google Apps Scripts zur Optimierung des Kampagnen-Trackings.
PythonSQLAirflowGCPBigQueryGoogle App Scripts
Wayfair, Berlin
1 year 7 months
2017-08 - 2019-02
Analyse von Rekrutierungs- und Belegschaftsdaten
Data AnalystPythonSQLExcel...
Data Analyst
Analyse von Rekrutierungs- und Belegschaftsdaten im Lagerbereich zur Identifizierung von Mustern und Optimierung der Einstellungsprozesse.
Zusammenarbeit mit dem Data-Science-Team zur Entwicklung und Verfeinerung von Kandidaten-Profiling- Algorithmen, einschließlich Keyword-basiertem Matching.
Implementierung von Strategien zur Reduzierung von Bias im Auswahlverfahren, um Fairness und Genauigkeit in der Rekrutierungspipeline zu verbessern.
Durchführung tiefgehender Analysen mittels Python und SQL zur Identifizierung von Faktoren, die die Fluktuation bei Lagerarbeitern treiben, sowie Empfehlung datengestützter Maßnahmen.
Entwicklung und Orchestrierung von ETL-Pipelines mit Apache Airflow (Python) zur automatisierten Erfassung und Speicherung von Sicherheitsereignisdaten in Azure SQL Data Warehouse zur zentralen Analyse durch das Threat Intelligence Team.
Aufbau von Daten-Aggregations-Workflows auf Basis von Azure Blob Storage und Azure Data Factory zur Konsolidierung von Compliance- und Vulnerability-Daten aus verteilten internen Quellen.
PythonSQLApache AirflowAzure SQL Data WarehouseAzure Blob StorageAzure Data FactoryPower BI
Microsoft, Kairo, Ägypten
Aus- und Weiterbildung
Aus- und Weiterbildung
Zertifizierungen
AWS, Certified Solutions Architect?Associate
DBT, Fundamentals
GCP, Professional Data Engineer
Databricks, Data Engineering Professional
Azure, Data Engineer Associate (DP-203)
Azure, Data Engineer - Microsoft Fabric
(DP-700)
Kompetenzen
Kompetenzen
Top-Skills
Google CloudBig DataAzureApache SparkPythonSQLAWSCloud Computingamazon RedshiftGoogle BigTableBig Data Analytics
Produkte / Standards / Erfahrungen / Methoden
Tech Stack
Cloud
GCP
Azure
AWS
Orchestrierung
Cloud Composer
Azure Data Factory
Airflow
Storage
GCS
Azure Data Lake Gen2
AWS S3
Transformation
DBT
Databricks
Apache Spark
Reporting
Looker Studio
Power BI
Metabase
DevOps
GitHub Actions
Kubernetes
Docker
Programmiersprachen
Python
SQL
Datenbanken
BigQuery
Azure Synapse
AWS Redshift
Vertrauen Sie auf Randstad
Im Bereich Freelancing
Im Bereich Arbeitnehmerüberlassung / Personalvermittlung