a Randstad company

Data und Cloud Engineer

Profil
Top-Skills
data engineer cloud engineer DevOps
Verfügbar ab
01.12.2022
Aktuell verfügbar - Der Experte steht für neue Projektangebote zur Verfügung.
Verfügbar zu
100%
davon vor Ort
100%
Einsatzorte

PLZ-Gebiete
Länder
Ganz Deutschland, Österreich, Schweiz
Remote-Arbeit
Nicht möglich
Art des Profiles
Freiberufler / Selbstständiger
Der Experte ist als Einzelperson freiberuflich oder selbstständig tätig.

15 Monaten: BI Data Mesh und Marketing Performance Analytics


Kunden: Fielmann, Hamburg


Beschreibung

  • Aufbau, Betriebsführung und Pflegen von Marketing bezogene Daten-Laden Strecken.
  • Anbindung von Google Analytics Daten, Kassendaten, Ecommerce-Daten etc
  • Kommunizieren mit Verantwortlichen und Product-Owners über Datenschema und Datenschnittstelle


Aufgaben

  • Umsetzung von Data Lake (Data Mesh) Prefect, Hudi, dbt, Glue, Redshift Serverless, S3, AWS, Codepipeline, Github Action, Lambda, pySpark, ECS, Stepfunctions, KMS, Google Bigquery etc
  • Ad-hoc Data Analysis Jupyter Notebook
  • Alerting und Monitoring Datadog, Teams, Slack, Eventbridge, SNS
  • Deployment von prefect Server und CICD Pipeline für workflows ECS, EC2, Codepipeline, ALB, Route53, Certificate Manager
  • Anonymisierung von Kundendaten GDPR


24 Monaten: Data Integration und Analytics Plattform


Kunden: DB Analytics, Frankfurt am Main


Beschreibung

Im betroffenen Projekt geht es um die Nutzbarmachung und 5 Visualisierung komplexer heterogener Daten aus unterschiedlichen Datenquellen.

Dazu sind neue Datenquellen anzubinden und automatisiert zu laden. Darüber hinaus sind Routinen zur Überprüfung der Datenqualität sowie zur Berechnung von Kennzahlen umzusetzen.


Aufgaben

  • Anbindung von Datenschnittstellen (Konzeptionierung, Implementierung) Postgres, Redshift, Python, pySpark, Glue, AWS, Azure, Scikit-learn
  • Aufnahme und Weiterentwicklung in Continuous Integration und Continuous Delivery-Prozess Gitlab, Jfrog Artifactory
  • Analyse von Datenqualität und ggf. Bereinigung von fehlenden und fehlerhaften Daten Bash, Jupyter Notebook
  • Überwachung der automatisierten ETL-Ladenprozesse Prometheus, Grafana, Alerta, Jenkins, Slack API
  • Beratung Frontend-Entwickler bei Datenabfrage
  • Aufbau Daten-Plattform (Data Lake Architektur) auf AWS AWS, Terraform, Terragrunt, Docker, K8S (EKS), Airflow, Prometheus, Grafana, Docker, Alerta, Ansible, Sagemaker

24 Monaten: Aufbau Data Lake und Plattform auf AWS Cloud


Kunden: DB Systel IoT/M2M, Hamburg


Beschreibung

Aufbau Cloud Infrastruktur und Data Lake & Plattform für IoT Applikationen mit dem Konzept ?Infrastructure as Code? und ?CICD?.

Implementierung von Data Ingestion und ETL Services mit serverless und micro-services.


Aufgaben

  • AWS Cloud Architect AWS, Azure
  • Aufbau Monitoring System Prometheus, Alerta, Grafana, Golang 6
  • Umsetzung vom Konzept ?Multi-Cloud? und ?Infrastructure as Code? Cloudformation, Terraform, Serverless Framework, Terragrunt
  • Konzeptionierung und Implementierung von CICD auf Azure und AWS Gitlab, Ansible,Jfrog Artifactory, Jenkins
  • Implementierung von Serverless ETL, Data Lake und Data Pipeline Kubernetes, Docker, Python, PySpark, Glue,Lambda, SNS, SQS
  • Umsetzung von Data restful-API Flask, Dash
  • Umsetzung von devops, dataops, mlops workflow mit Gitlab CI Gitlab,

6 Monaten: Entwicklung von Kafka Konsumerfür Datenintegration auf AWS Cloud


Kunden: Telefonica, München


Beschreibung

Implementierung von Kafka Konsumer für DWH ETL Prozess mit Daten in Avro Format Kafka


24 Monaten: Aufbau Data Plattform und Datenprodukte


Kunden: Germanpersonnel, München


Beschreibung

Wir bauten kompletten Data-Science-Platform (mit DWH, ETL, Analytics Dashboard, Vorhersagemodell für Web-Klicks) auf dem AWS Cloud mit Services wie Redshift, Data Pipeline, Quicksight, AWS 7 Machine Learning, Lambda, DMS, API Gateway, Beanstalk, EMR etc.


Aufgaben

  • Design und Umsetzung von cloud data Infrastructure AWS
  • Aufbau ETL Prozess, DWH Kimball Model, Data Vault 2.0, SQL, Postgres, Elasticsearch,Python,pySpark
  • Entwicklung von Datenprodukten (e.g. Web-Klicks-Vorhersagemodell mit Random Forest Algorithmen, Suchoptimierung-Engine mit Elasticsearch etc.), durch Docker Container auf AWS deployieren und überwachen Jupyter Notebook, Flask
  • Aufbau Kunden-Dashboard für self-service BI R-Shiny, Tableau

3 Jahre 6 Monate

2012-03

2015-08

Data and Knowledge Engineering

Master, University of Magdeburg, Deutschland
Abschluss
Master
Institution, Ort
University of Magdeburg, Deutschland
Schwerpunkt
  • Big Data
  • Cloud Computing
  • Statistics
  • Machine Learning
4 Jahre 2 Monate

2007-08

2011-09

Information Management and Information System

Bachelor, University of Wuhan, China
Abschluss
Bachelor
Institution, Ort
University of Wuhan, China

Zertifitzierung:

  • AWS Solution Architect - Associate
  • Terraform Associate

Data and Cloud Engineering, IT Consultant

Chinesisch Muttersprache
Deutsch Fließend
Englisch Verhandlungssicher

Top Skills
data engineer cloud engineer DevOps
Schwerpunkte
AWS Big Data Cloud Engineering Data Engineering Data Science Devops ETL
Aufgabenbereiche
BI Big Data Stack Cloud Architect
AWS, Azure, GCP
Containerisierung Data Lake Data Science Data Warehouse Datenvisualisierung DevSecOps
DataOps, DevOps, MLOps, GitOps
ETL Machine Learning Virtualisierung
Produkte / Standards / Erfahrungen / Methoden

Cloud Architect

  • AWS
  • Azure   
  • GCP  

DevSecOps & Infrastructure

  • Docker 
  • Kubernetes 
  • Helm
  • Terraform 
  • AWS CDK 
  • Serverless Framework
  • Jfrog Artifactory 
  • Gitlab 
  • Github 
  • Jenkins 
  • Ansible 
  • Prometheus 
  • Grafana 
  • Alerta
  • 3 Datadog  

Data Plattform

  • Airflow 
  • Prefect dbt 
  • Datawarehouse Technologie (Kimball Model, Data Vault 2.0) 
  • Redshift 
  • Postgres
  • SQL 
  • NoSQL (eg. DynamoDB, GraphQL) 
  • Flask Framework
  • Plotly Dash 
  • Spark 
  • Jupyter Notebook (Zeppelin)
  • ELK (Elasticsearch, Kibana)
  • Kafka 
  • Tableau 
  • Hudi   

Datenanalyse

  • Jupyter Notebook
  • Pandas
  • Scikit-learn
  • Spark
  • Anaconda
  • Tensorflow (basic)

Data Engineering

  • Amazon Web Service
  • ELK (Elasticsearch, Kibana)
  • Prometheus (Prometheus exporters)
  • Kafka
  • NoSQL (e.g. DynamoDB)
  • Data Warehousing (Dimensional Modelling, Data Vault, Redshift)

Devops

  • Docker
  • Terraform
  • Cloudformation
  • Serverless Framework
  • Gitlab Devops

Full-Stack Tech

  • Flask
  • Html, CSS (basic)
  • Vuejs (basic)

Berufliche Erfahrungen

07/2019 - heute

Kunde: Freiberuflich

03/2018 - 07/2019

Kunde: Seven Principles AG
Rolle: Data Science Berater

Aufgaben:

  • Data science Beratung
  • Cloud engineering

05/2015 - 02/2018

Kunde: Datarella
Rolle: Data Science Berater

Aufgaben:

  • Data engineer, ETL, Lambda Architecture
  • Data warehouse
  • Machine learning
  • Cloud engineering

12/2014 - 04/2015

Kunde: Datarella
Rolle: Studentenjob

Aufgaben:

  • mobile data analysis

07/2014 - 11/2014

Kunde: Otto Group

Rolle: Praktikum

Aufgaben:

  • NLP product for brand recognition
  • Flask web application

Berufliche Fähigkeiten - Cloud

AWS

VPC, KMS, IAM, S3, ECS, ECR, ELB, EBS, IoT, Lambda, API-Gateway, Cloudwatch, Redshift, SNS, SQS, RDS, Kinesis, EMR, Quicksight, EC2, Athena, Glue, Data Pipeline, Step Functions, DynamoDB, CodeDeploy, CodePipeline, CodeBuild, CodeArtifact, Cloudformation, Cloudtrail, SageMaker, EKS, Secret Manager etc.

Azure

Databricks, Artifacts, Monitor, Pipelines, Functions, SQL Database, Container Instances, Container Registry etc.

Devops & Automation

  • Docker, Kubernetes, Helm, Bitnami
  • Terraform, Vault, Serverless Framework
  • Jfrog Artifactory
  • Gitlab (Jenkins)
  • Ansible

Monitoring

  • Prometheus
  • Grafana
  • Alerta

Berufliche Fähigkeiten - Data

ETL

Apache Airflow

Web Service

  • Flask
  • Dash

Datenanalyse

  • Jupyter Notebook
  • Anaconda
  • pandas,scikit-learn,tensorflow

Big Data Stack

  • Spark
  • Zeppelin
  • ELK (Elasticsearch, Kibana)
  • Kafka
  • RShiny

Vendor Tool

  • Snowflake
  • Tableau


Praktikum:

6 Monaten (Praktikum):   Entwicklung von Datenprodukt für Markenerkennung

Kunden: Otto Group, Hamburg  


Aufgaben 

Entwicklung von Natural Language Processing Algorithmen für ?Fuzzy Matching? Text (Suchanfrage) gegen Markennamen in e-commerce Datenbank Python, Flask, Docker, Exasol Software-Entwicklung von Web Server (Restful API) für Datenprodukt mit open source Framework  

Programmiersprachen
Bash GO
basic
Golang JAVA
outdated
NODEJS
basic
pySpark Python R
basic
Datenbanken
Data Warehouse
Kimball Model, Data Vault 2.0, Redshift, S3
SQL, NoSQL
e.g. DynamoDB
Ihr Kontakt zu Gulp

Fragen? Rufen Sie uns an +49 89 500316-300 oder schreiben Sie uns:

Jetzt bei GULP Direkt registrieren und Freelancer kontaktieren