9 Monate: Fernverkehr Data Lake

Einsatzort: Frankfurt am Main

Kunde: Alexander Thamm & DB Fernverkehr,

Aufgaben:

Aufbau Datalake, ETL Pipelines auf AWS Cloud

• Umsetzung von Batch und Streaming Data Pipelines mit Python und Scala auf AWS CloudPython, Scala, Hudi, Glue, Kinesis, Postgres, Spark, Serverless
• Aufbau Data Engineering Infrastruktur mit AWS, CDK, AWS
• Implementierung und Patching von DevOps, Pipelines, Gitlab

Kenntnisse:

Python und Scala auf AWS CloudPython, Scala, Hudi, Glue, Kinesis, Postgres, Spark, Serverless, AWS, CDK, AWS, DevOps, Pipelines, Gitlab

15 Monat: BI Data Mesh und Marketing Performance Analytics

Einsatzort: Hamburg

Kunde: Fielmann

Aufgaben:

Aufbau, Betriebsführung und Pflegen von Marketing bezogene Daten-Laden Strecken. Anbindung von Google Analytics Daten, Kassendaten, Ecommerce-Daten etc.. Kommunizieren mit Verantwortlichen und Product-Owners über Datenschema und Datenschnittstelle

• Ad-hoc Data Analysis (Jupyter Notebook)
• Alerting und Monitoring (Datadog, Teams, Slack, Eventbridge, SNS)
• Deployment von prefect Server und CICD Pipeline für workflows ECS, EC2, Codepipeline, ALB, Route53, Certificate Manager
• Anonymisierung von Kundendaten (GDPR)

Kenntnisse:

Data Lake (Data Mesh) Prefect, Hudi, dbt, Glue, Redshift Serverless, S3, AWS, Codepipeline, Github Action, Lambda, pySpark, ECS, Stepfunctions, KMS, Google Bigquery, Datadog, Teams, Slack, Eventbridge, SNS, workflows ECS, EC2, Codepipeline, ALB, Route53, Certificate Manager, GDPR

24 Monate: Data Integration und Analytics Plattform

Einsatzort: Frankfurt am Main

Kunde: DB Analytics

Aufgaben:

Im betroffenen Projekt geht es um die Nutzbarmachung und 5 Visualisierung komplexer heterogener Daten aus unterschiedlichen Datenquellen. Dazu sind neue Datenquellen anzubinden und automatisiert zu laden. Darüber hinaus sind Routinen zur Überprüfung der Datenqualität sowie zur Berechnung von Kennzahlen umzusetzen.

• Anbindung von Datenschnittstellen (Konzeptionierung, Implementierung - Postgres, Redshift, Python, pySpark, Glue, AWS, Azure, Scikit-learn)
• Aufnahme und Weiterentwicklung in Continuous Integration und Continuous Delivery-Prozess (Gitlab, Jfrog Artifactory)
• Analyse von Datenqualität und ggf. Bereinigung von fehlenden und fehlerhaften Daten (Bash, Jupyter Notebook)
• Überwachung der automatisierten ETL-Ladenprozesse (Prometheus, Grafana, Alerta, Jenkins, Slack API)
• Beratung Frontend-Entwickler bei Datenabfrage
• Aufbau Daten-Plattform (Data Lake Architektur) auf AWS AWS, Terraform, Terragrunt, Docker, K8S (EKS), Airflow, Prometheus, Grafana, Docker, Alerta, Ansible, Sagemaker

Kenntnisse:

Postgres, Redshift, Python, pySpark, Glue, AWS, Azure, Scikit-learn, Gitlab, Jfrog Artifactory, Bash, Jupyter Notebook, Prometheus, Grafana, Alerta, Jenkins, Slack API, AWS AWS, Terraform, Terragrunt, Docker, K8S (EKS), Airflow, Prometheus, Grafana, Docker, Alerta, Ansible, Sagemaker

24 Monate: Aufbau Data Lake und Plattform auf AWS Cloud

Einsatzort: Hamburg

Kunde: DB Systel IoT/M2M

Aufgaben:

Aufbau Cloud Infrastruktur und Data Lake & Plattform für IoT Applikationen mit dem Konzept ?Infrastructure as Code? und ?CICD?. Implementierung von Data Ingestion und ETL Services mit serverless und micro-services.

• AWS Cloud Architect (AWS, Azure)
• Aufbau Monitoring System (Prometheus, Alerta, Grafana, Golang)
• Umsetzung vom Konzept ?Multi-Cloud? und ?Infrastructure as Code? (Cloudformation, Terraform, Serverless Framework, Terragrunt)
• Konzeptionierung und Implementierung von CICD auf Azure und AWS (Gitlab, Ansible,Jfrog Artifactory, Jenkins)
• Implementierung von Serverless ETL, Data Lake und Data Pipeline (Kubernetes, Docker, Python, PySpark, Glue,Lambda, SNS, SQS)
• Umsetzung von Data restful-API (Flask, Dash)
• Umsetzung von devops, dataops, mlops workflow mit Gitlab CI Gitlab

Kenntnisse:

AWS, Azure, Prometheus, Alerta, Grafana, Golang, Cloudformation, Terraform, Serverless Framework, Terragrunt, Gitlab, Ansible,Jfrog Artifactory, Jenkins, Kubernetes, Docker, Python, PySpark, Glue,Lambda, SNS, SQS, Flask, Dash, Gitlab

Einsatzort: München

Kunde: Telefonica

Aufgaben:

• Implementierung von Kafka Konsumer für DWH ETL Prozess mit Daten in Avro Format

Kenntnisse:

Kafka 2.11, Confluent 4, AWS, Docker, Java

24 Monate: Aufbau Data Plattform und Datenprodukte

Einsatzort: München

Kunde: Germanpersonnel

Aufgaben:

Wir bauten kompletten Data-Science-Platform (mit DWH, ETL, Analytics Dashboard, Vorhersagemodell für Web-Klicks) auf dem AWS Cloud mit Services wie Redshift, Data Pipeline, Quicksight, AWS 7 Machine Learning, Lambda, DMS, API Gateway, Beanstalk, EMR etc.

• Design und Umsetzung von cloud data Infrastructure (AWS)
• Aufbau ETL Prozess, DWH (Kimball Model, Data Vault 2.0, SQL, Postgres, Elasticsearch, Python, pySpark)
• Entwicklung von Datenprodukten (e.g. Web-Klicks-Vorhersagemodell mit Random Forest Algorithmen, Suchoptimierung-Engine mit Elasticsearch etc.), durch Docker Container auf AWS deployieren und überwachen (Jupyter Notebook, Flask)
• Aufbau Kunden-Dashboard für self-service BI (R-Shiny, Tableau)

Kenntnisse:

DWH, ETL, Analytics Dashboard, Redshift, Data Pipeline, Quicksight, AWS 7 Machine Learning, Lambda, DMS, API Gateway, Beanstalk, EMR, AWS, Kimball Model, Data Vault 2.0, SQL, Postgres, Elasticsearch, Python, pySpark, Jupyter Notebook, Flask, R-Shiny, Tableau

6 Monate: Entwicklung von Datenprodukt für Markenerkennung

Einsatzort: Hamburg

Rolle: Praktikant

Kunde: Otto Group

Aufgaben:

• Entwicklung von Natural Language Processing Algorithmen für ?Fuzzy Matching? Text (Suchanfrage) gegen Markennamen in e-commerce Datenbank (Python, Flask, Docker, Exasol)
• Software-Entwicklung von Web Server (Restful API) für Datenprodukt mit open source Framework

Kenntnisse:

Python, Flask, Docker, Exasol

Zertifikate

• AWS Solution Architect (SAP) - Associate
• Hashicorp Terraform Associate