Entwicklung Big Data Plattformen für Batch und Real Time Streaming für Analytik und Betrieb mit Kosten- und Zeitoptimierung
Aktualisiert am 29.02.2024
Profil
Freiberufler / Selbstständiger
Remote-Arbeit
Verfügbar ab: 01.03.2024
Verfügbar zu: 100%
davon vor Ort: 10%
Kafka
Apache Spark
Azure-Databricks
Docker
Openshift
Hadoop
CI/CD
Gradle
Scala
Java
Databricks
Azure
Prometheus
Grafana
RESTful
NoSQL
R
DataOps
Python
Elastic Search
Kuberrnetes
Synapse
Deutsch
Verhandlungssicher
Spanisch
Muttersprache
English
Verhandlungssicher

Einsatzorte

Einsatzorte

Deutschland, Schweiz, Österreich


möglich

Projekte

Projekte

1 Jahr
2023-01 - 2023-12

Telefonica Deutschland - In Partnerschaft mit ORAYLIS GmbH

Lead Data Engineer Azure MS Azure SQL Database Databricks ...
Lead Data Engineer

Migration von Oracle Exadata onPrem nach Azure Databricks. Build/ Manage Azure CDWH.


Relevante Projektinformation:


https://www.oraylis.de/solution/telekommunikation

https://www.telefonica.de/news/corporate/2021/01/digitale-transformation-der-it-architektur-telefonica-o2-will-produkteinfuehrungszeiten-um-ueber-50-prozent-beschleunigen.html

CDWH Migration Big Data Data Lake
Azure MS Azure SQL Database Databricks Python Scala Apache Spark
Telefonica Deutschland
Remote
2 Jahre 10 Monate
2020-01 - 2022-10

Deutsche Börse - EUREX Securities and Clearings Service

Big Data Engineer Apache Spark Scala Hadoop ...
Big Data Engineer

Die neue Wertpapier Clearingplattform C7 SCS (?C7 Securities Clearing Service?) wurde am 30 September 2021 gelaunched und ist als neues Quellsystem für Datenströme an die bestehende Big Data Plattform angebunden worden. Das Projekt beinhaltet die Entwicklung einer Reporting und Analyse Lösung für diese neue Plattform auf Basis eines Big Data Technologie Stacks. Ein wesentlicher Bestandteil der Lösung ist es, auf Basis von mehreren Millionen Transaktionen pro Tag Vorberechnungen und Datenaufbereitungen durchzuführen und über eine Schnittstelle in XML Format an über 200 Banken weltweit bereitzustellen.

  • Entwicklung eines Clients für die Integration von Realtime Handelsdaten in Swift und Google Protobuf Format nach Apache Kafka und Hadoop.

  • Entwicklung einer Streaming- und Batch Anwendung für Real- und Neartime sowie End- of-Day Reporting mit Scala und Apache Spark.

  • Aufbau des Big Data Pipelines mit dem Orchestration-Tool Control-M.

  • Migration von On-premise Spark Jobs mit HDFS/Yarn Cluster nach AWS EC2 Instanzen mit S3 als Speichersystem.

  • Kommunikation und Vorstellung des Entwicklungsstandes im Team und beim Kunden & Abstimmung der Zielarchitektur.

  • Coaching und Einarbeitung.

Links:

  • https://www.eurex.com/ec-en/support/initiatives/c7-scs-releases

  • https://www.clearstream.com/clearstream-en/

Big Data Clearstream Eurex Securities Settlement Deutsche Börse Mitarbeiterführung Releasemanagement Schnittstellenabstimmungen
Apache Spark Scala Hadoop Python Kafka Java 8 Hive Hueu Gradle Maven HBase Jenkins Groovie Oracle BMC Control-M Orchestrierung Atlassian JIRA Agile XML Kafka Connect Avro YARN ActiveMQ JMS MS Excel Continuous Integration
Deutsche Börse
Frankfurt am Main
2 Jahre 3 Monate
2017-10 - 2019-12

BMW - Infotainment - Audio & Video Services für vernetztes Auto

DevOps Engineer Java 8 Openshift Docker ...
DevOps Engineer

Das Auto nimmt durch die Webapplikation in seiner Head-Unit die Anfrage des Kunden entgegen. Leitet sie weiter an die Backendsysteme, die dementsprechend validieren sie und leiten sie weiter an die jeweiligen Musikanbieter. Wenn die verschlüsselte Response ankommt, die mit dem AES Algorithmus verschlüsselt ist, das Backend stellt eine Anfrage an den Verschlüsselungsdienst zwecks die Metadaten und den digitalen Inhalt zu entschlüsseln, bereitet die Information auf und leitet sie an die Webanwendung, damit das Audio und Video abgespielt werden kann. Zudem sind Kundeabonnements, Test- und Showrooms Kontos und Gutscheine verwaltet. Agile(Scrum) Arbeitsweise mit 2-Wochen Sprints, Schätzung auf Basis von SP/US.

Gebaut in Java 7/8, mit Einbindung zu Postgres-Datenbanken und Redis Severs, der Hauptzweck der Microservices Architektur ist das Einbinden von einer komplexen und diversen Nachbarschaft von Partnersysteme von BMW sowie Musikanbietern und weitere Dienstleisten via REST Schnittstellen, um einen vollständigen Infotainment-Dienst zu leisten.

Eine CI/CD Pipeline wurde mit Jenkins umgesetzt. Die Java Code wird aus Git auscheckt, JUnit Testing wird ausgeführt sowie Codequalität Analyse auf einem SonarQube Server. Ein Openshift/Kubernetes Deployment wird danach gemacht, und dazu, die Verwendung von Flyway Skripte für Datenbank Version Kontrolle, Integration-, Smoke- und Load Testing mit REST Assured und Gatling. Das Monitoring wird mit ELK, Prometheus und Grafana durchgeführt.

  • Hauptentwickler des Back-Ends vom Produkt ?BMW Music?.

  • Dokumentation IT-Konzept, Schnittstelle Verträge und Betriebshandbücher.

  • Coaching der Operation- und Development Kollegen.

  • Deployment Management in 4 Umgebungen

Umgebungen:

  • DEVELOPMENT - für Entwicklung innerhalb isolierter Umgebung.

  • INTEGRATION ? Für Integrationstest mit BMW Partner Systeme und Musik- und Audioanbieter.

  • END-2-END - Kundentest und Integration mit dem Auto.

  • PRODUKTION - Verbindung mit rund 27K Autos

Links:

https://www.bmw.de/de/shop/ls/dp/Base_BMW_Music_de

Connected Drive Infotainment BMW DevOps Requirements Engineering Schnittstellenabstimmungen
Java 8 Openshift Docker Kubernetes PostgreSQL Elastic Search Microservices REST Swagger Gattling Flyway Glassfish Atlassian JIRA Atlassian Confluence Oracle Git IntelliJ DevOps Continuous Integration Testautomatisierung
BMW
München
1 Jahr 1 Monat
2016-09 - 2017-09

BMW - Zentrales Händlerzuweisung vernetztes Auto

Software Engineer Java Microservices REST ...
Software Engineer
  • Entwicklung von Backend Systeme mit Micro-Services Architektur in Java 7/8 mit Payara Server, mit dem Ziel, remote Dienstleistungen für Vernetztes Autos anzubieten. ZHS ist ein Backendsystem die nimmt entgegen Anfragen von vernetztes Autos die dazu gezielt sind, ein alternatives Service Partner zu finden durch unterschiedliche Business Units und nach Einhaltung von strengen Übereinstimmungsregeln.

  • Hauptzweck der Architektur ist das Einbinden von Partnersysteme in einer komplexen und diversen Nachbarschaft von Applikationen via REST und Soap Schnittstellen, sowie Message Queues und Kafka. Diese Partnersysteme werden angefragt nach Information die für die Service Partner Zuweisung notwendig ist. Jedes System stellt zur Verfügung eine Vielfalt von REST Schnittstellen mit Swagger.

Java Microservices REST PostgreSQL Git Eclipse Angular JavaScript Ajax Glassfish
BMW
München
1 Jahr 9 Monate
2012-04 - 2013-12

Senvion ?Datenanalyse im Bereich der "Leistungsauswertung der Windkraftanlagen'' ? Praktikum - IT Analyst und Entwickler

Software Engineer - Student Statistik Analysefähigkeit R
Software Engineer - Student

Abschlussarbeit: [Titel auf Anfrage]. Schlägt eine alternative Methode vor, um die Leistung einer Windturbine einzuschätzen. Dabei wurde anhand Daten aus der SCADA System wie Windgeschwindigkeit ?und Richtung, Feuchtigkeit, Temperatur, Atmosphärendruck, sowie Signalen aus der Turbine, verschiedene Regressionsanalyse verwendet, mit dem Zweck, die Beziehung zwischen den klimatischen Faktoren und die Leistung der Turbine. Anhand dieser Information wird es möglich, Defekte in der Turbine zu identifizieren.

Aufgaben:

  • Daten Plausibilisierung und Aufbereitung in CSV Dateien und SQL Server.

  • Umsetzung mathematischen Algorithmen in R

  • Datenanalyse von Wind und Wetterdaten aus SCADA und Erstellung von Grafiken

anhand Visualisierungstools in R

Windenergie Windkraftanlage SCADA Statistik
Statistik Analysefähigkeit R
Senvion
Hamburg

Aus- und Weiterbildung

Aus- und Weiterbildung

3 Jahre 7 Monate
2010-10 - 2014-04

Information & Media Technologies - Master of Science

"Leistungsauswertung der Windkraftanlagen, ein statistischer Ansatz'', Technische Universität Hamburg-Harburg
"Leistungsauswertung der Windkraftanlagen, ein statistischer Ansatz''
Technische Universität Hamburg-Harburg

Softwareentwicklung verteilter Backendsysteme, Softwaresicherheit, maschinelles Lernen und Data-Mining.

DAAD Stipendiaat

4 Jahre 5 Monate
2003-03 - 2007-07

Computerwisenschaft - Bachelors of Science

Bachelors of Science, Universität Guadalajara, Mexiko
Bachelors of Science
Universität Guadalajara, Mexiko

Datenbanken, Kommunikationsnetzwerke, Computerarchitektur, verteilte Systeme und eine starke Mathematikbasis.

Position

Position

Lead Data Engineer -

  • Entwicklung Big Data Plattformen für Batch und Real Time Streaming.

  • Datenintegration. Vorwärts und Rückwärtskompatibilität.

  • Testautomatisierung; Schnittstellenintegration, Last- und einheitliche Tests.

  • Deploymentmanagement, CI/CD.

  • Kundenberatung durch technische und fachliche Anforderungsanalyse.

  • Code Owner.

  • Personalbetreuung und Team-Koordinierung.

Kompetenzen

Kompetenzen

Top-Skills

Kafka Apache Spark Azure-Databricks Docker Openshift Hadoop CI/CD Gradle Scala Java Databricks Azure Prometheus Grafana RESTful NoSQL R DataOps Python Elastic Search Kuberrnetes Synapse

Schwerpunkte

Kafka
Experte
Spark
Experte
Scala
Fortgeschritten
Kubernetes
Experte
Java
Experte
Hadoop
Fortgeschritten
Openshift
Fortgeschritten
Docker
Fortgeschritten
Databriks
Fortgeschritten
Azure Data Factory
Basics
Azure Synapsis
Basics
AWS Developer
Fortgeschritten
Python
Basics

Datenkommunikation

Azure Event Hubs
Fortgeschritten
Azure Pureview

Branchen

Branchen

Automotive, Finance (Trading), Windenergie, e-Commerce, Logistics

Einsatzorte

Einsatzorte

Deutschland, Schweiz, Österreich


möglich

Projekte

Projekte

1 Jahr
2023-01 - 2023-12

Telefonica Deutschland - In Partnerschaft mit ORAYLIS GmbH

Lead Data Engineer Azure MS Azure SQL Database Databricks ...
Lead Data Engineer

Migration von Oracle Exadata onPrem nach Azure Databricks. Build/ Manage Azure CDWH.


Relevante Projektinformation:


https://www.oraylis.de/solution/telekommunikation

https://www.telefonica.de/news/corporate/2021/01/digitale-transformation-der-it-architektur-telefonica-o2-will-produkteinfuehrungszeiten-um-ueber-50-prozent-beschleunigen.html

CDWH Migration Big Data Data Lake
Azure MS Azure SQL Database Databricks Python Scala Apache Spark
Telefonica Deutschland
Remote
2 Jahre 10 Monate
2020-01 - 2022-10

Deutsche Börse - EUREX Securities and Clearings Service

Big Data Engineer Apache Spark Scala Hadoop ...
Big Data Engineer

Die neue Wertpapier Clearingplattform C7 SCS (?C7 Securities Clearing Service?) wurde am 30 September 2021 gelaunched und ist als neues Quellsystem für Datenströme an die bestehende Big Data Plattform angebunden worden. Das Projekt beinhaltet die Entwicklung einer Reporting und Analyse Lösung für diese neue Plattform auf Basis eines Big Data Technologie Stacks. Ein wesentlicher Bestandteil der Lösung ist es, auf Basis von mehreren Millionen Transaktionen pro Tag Vorberechnungen und Datenaufbereitungen durchzuführen und über eine Schnittstelle in XML Format an über 200 Banken weltweit bereitzustellen.

  • Entwicklung eines Clients für die Integration von Realtime Handelsdaten in Swift und Google Protobuf Format nach Apache Kafka und Hadoop.

  • Entwicklung einer Streaming- und Batch Anwendung für Real- und Neartime sowie End- of-Day Reporting mit Scala und Apache Spark.

  • Aufbau des Big Data Pipelines mit dem Orchestration-Tool Control-M.

  • Migration von On-premise Spark Jobs mit HDFS/Yarn Cluster nach AWS EC2 Instanzen mit S3 als Speichersystem.

  • Kommunikation und Vorstellung des Entwicklungsstandes im Team und beim Kunden & Abstimmung der Zielarchitektur.

  • Coaching und Einarbeitung.

Links:

  • https://www.eurex.com/ec-en/support/initiatives/c7-scs-releases

  • https://www.clearstream.com/clearstream-en/

Big Data Clearstream Eurex Securities Settlement Deutsche Börse Mitarbeiterführung Releasemanagement Schnittstellenabstimmungen
Apache Spark Scala Hadoop Python Kafka Java 8 Hive Hueu Gradle Maven HBase Jenkins Groovie Oracle BMC Control-M Orchestrierung Atlassian JIRA Agile XML Kafka Connect Avro YARN ActiveMQ JMS MS Excel Continuous Integration
Deutsche Börse
Frankfurt am Main
2 Jahre 3 Monate
2017-10 - 2019-12

BMW - Infotainment - Audio & Video Services für vernetztes Auto

DevOps Engineer Java 8 Openshift Docker ...
DevOps Engineer

Das Auto nimmt durch die Webapplikation in seiner Head-Unit die Anfrage des Kunden entgegen. Leitet sie weiter an die Backendsysteme, die dementsprechend validieren sie und leiten sie weiter an die jeweiligen Musikanbieter. Wenn die verschlüsselte Response ankommt, die mit dem AES Algorithmus verschlüsselt ist, das Backend stellt eine Anfrage an den Verschlüsselungsdienst zwecks die Metadaten und den digitalen Inhalt zu entschlüsseln, bereitet die Information auf und leitet sie an die Webanwendung, damit das Audio und Video abgespielt werden kann. Zudem sind Kundeabonnements, Test- und Showrooms Kontos und Gutscheine verwaltet. Agile(Scrum) Arbeitsweise mit 2-Wochen Sprints, Schätzung auf Basis von SP/US.

Gebaut in Java 7/8, mit Einbindung zu Postgres-Datenbanken und Redis Severs, der Hauptzweck der Microservices Architektur ist das Einbinden von einer komplexen und diversen Nachbarschaft von Partnersysteme von BMW sowie Musikanbietern und weitere Dienstleisten via REST Schnittstellen, um einen vollständigen Infotainment-Dienst zu leisten.

Eine CI/CD Pipeline wurde mit Jenkins umgesetzt. Die Java Code wird aus Git auscheckt, JUnit Testing wird ausgeführt sowie Codequalität Analyse auf einem SonarQube Server. Ein Openshift/Kubernetes Deployment wird danach gemacht, und dazu, die Verwendung von Flyway Skripte für Datenbank Version Kontrolle, Integration-, Smoke- und Load Testing mit REST Assured und Gatling. Das Monitoring wird mit ELK, Prometheus und Grafana durchgeführt.

  • Hauptentwickler des Back-Ends vom Produkt ?BMW Music?.

  • Dokumentation IT-Konzept, Schnittstelle Verträge und Betriebshandbücher.

  • Coaching der Operation- und Development Kollegen.

  • Deployment Management in 4 Umgebungen

Umgebungen:

  • DEVELOPMENT - für Entwicklung innerhalb isolierter Umgebung.

  • INTEGRATION ? Für Integrationstest mit BMW Partner Systeme und Musik- und Audioanbieter.

  • END-2-END - Kundentest und Integration mit dem Auto.

  • PRODUKTION - Verbindung mit rund 27K Autos

Links:

https://www.bmw.de/de/shop/ls/dp/Base_BMW_Music_de

Connected Drive Infotainment BMW DevOps Requirements Engineering Schnittstellenabstimmungen
Java 8 Openshift Docker Kubernetes PostgreSQL Elastic Search Microservices REST Swagger Gattling Flyway Glassfish Atlassian JIRA Atlassian Confluence Oracle Git IntelliJ DevOps Continuous Integration Testautomatisierung
BMW
München
1 Jahr 1 Monat
2016-09 - 2017-09

BMW - Zentrales Händlerzuweisung vernetztes Auto

Software Engineer Java Microservices REST ...
Software Engineer
  • Entwicklung von Backend Systeme mit Micro-Services Architektur in Java 7/8 mit Payara Server, mit dem Ziel, remote Dienstleistungen für Vernetztes Autos anzubieten. ZHS ist ein Backendsystem die nimmt entgegen Anfragen von vernetztes Autos die dazu gezielt sind, ein alternatives Service Partner zu finden durch unterschiedliche Business Units und nach Einhaltung von strengen Übereinstimmungsregeln.

  • Hauptzweck der Architektur ist das Einbinden von Partnersysteme in einer komplexen und diversen Nachbarschaft von Applikationen via REST und Soap Schnittstellen, sowie Message Queues und Kafka. Diese Partnersysteme werden angefragt nach Information die für die Service Partner Zuweisung notwendig ist. Jedes System stellt zur Verfügung eine Vielfalt von REST Schnittstellen mit Swagger.

Java Microservices REST PostgreSQL Git Eclipse Angular JavaScript Ajax Glassfish
BMW
München
1 Jahr 9 Monate
2012-04 - 2013-12

Senvion ?Datenanalyse im Bereich der "Leistungsauswertung der Windkraftanlagen'' ? Praktikum - IT Analyst und Entwickler

Software Engineer - Student Statistik Analysefähigkeit R
Software Engineer - Student

Abschlussarbeit: [Titel auf Anfrage]. Schlägt eine alternative Methode vor, um die Leistung einer Windturbine einzuschätzen. Dabei wurde anhand Daten aus der SCADA System wie Windgeschwindigkeit ?und Richtung, Feuchtigkeit, Temperatur, Atmosphärendruck, sowie Signalen aus der Turbine, verschiedene Regressionsanalyse verwendet, mit dem Zweck, die Beziehung zwischen den klimatischen Faktoren und die Leistung der Turbine. Anhand dieser Information wird es möglich, Defekte in der Turbine zu identifizieren.

Aufgaben:

  • Daten Plausibilisierung und Aufbereitung in CSV Dateien und SQL Server.

  • Umsetzung mathematischen Algorithmen in R

  • Datenanalyse von Wind und Wetterdaten aus SCADA und Erstellung von Grafiken

anhand Visualisierungstools in R

Windenergie Windkraftanlage SCADA Statistik
Statistik Analysefähigkeit R
Senvion
Hamburg

Aus- und Weiterbildung

Aus- und Weiterbildung

3 Jahre 7 Monate
2010-10 - 2014-04

Information & Media Technologies - Master of Science

"Leistungsauswertung der Windkraftanlagen, ein statistischer Ansatz'', Technische Universität Hamburg-Harburg
"Leistungsauswertung der Windkraftanlagen, ein statistischer Ansatz''
Technische Universität Hamburg-Harburg

Softwareentwicklung verteilter Backendsysteme, Softwaresicherheit, maschinelles Lernen und Data-Mining.

DAAD Stipendiaat

4 Jahre 5 Monate
2003-03 - 2007-07

Computerwisenschaft - Bachelors of Science

Bachelors of Science, Universität Guadalajara, Mexiko
Bachelors of Science
Universität Guadalajara, Mexiko

Datenbanken, Kommunikationsnetzwerke, Computerarchitektur, verteilte Systeme und eine starke Mathematikbasis.

Position

Position

Lead Data Engineer -

  • Entwicklung Big Data Plattformen für Batch und Real Time Streaming.

  • Datenintegration. Vorwärts und Rückwärtskompatibilität.

  • Testautomatisierung; Schnittstellenintegration, Last- und einheitliche Tests.

  • Deploymentmanagement, CI/CD.

  • Kundenberatung durch technische und fachliche Anforderungsanalyse.

  • Code Owner.

  • Personalbetreuung und Team-Koordinierung.

Kompetenzen

Kompetenzen

Top-Skills

Kafka Apache Spark Azure-Databricks Docker Openshift Hadoop CI/CD Gradle Scala Java Databricks Azure Prometheus Grafana RESTful NoSQL R DataOps Python Elastic Search Kuberrnetes Synapse

Schwerpunkte

Kafka
Experte
Spark
Experte
Scala
Fortgeschritten
Kubernetes
Experte
Java
Experte
Hadoop
Fortgeschritten
Openshift
Fortgeschritten
Docker
Fortgeschritten
Databriks
Fortgeschritten
Azure Data Factory
Basics
Azure Synapsis
Basics
AWS Developer
Fortgeschritten
Python
Basics

Datenkommunikation

Azure Event Hubs
Fortgeschritten
Azure Pureview

Branchen

Branchen

Automotive, Finance (Trading), Windenergie, e-Commerce, Logistics

Vertrauen Sie auf GULP

Im Bereich Freelancing
Im Bereich Arbeitnehmerüberlassung / Personalvermittlung

Fragen?

Rufen Sie uns an +49 89 500316-300 oder schreiben Sie uns:

Das GULP Freelancer-Portal

Direktester geht's nicht! Ganz einfach Freelancer finden und direkt Kontakt aufnehmen.