Erstellung Data Lakehouse in Azure, Batch und Streaming für Betrieb und Analytics für DENNERT AG in Zusammenarbeit mit Callista ACE AG
Aufgaben
Technologien
Migration von Oracle Exadata onPrem nach Azure Databricks. Build/ Manage Azure CDWH.
Relevante Projektinformation:
https://www.oraylis.de/solution/telekommunikation
https://www.telefonica.de/news/corporate/2021/01/digitale-transformation-der-it-architektur-telefonica-o2-will-produkteinfuehrungszeiten-um-ueber-50-prozent-beschleunigen.html
Die neue Wertpapier Clearingplattform C7 SCS (?C7 Securities Clearing Service?) wurde am 30 September 2021 gelaunched und ist als neues Quellsystem für Datenströme an die bestehende Big Data Plattform angebunden worden. Das Projekt beinhaltet die Entwicklung einer Reporting und Analyse Lösung für diese neue Plattform auf Basis eines Big Data Technologie Stacks. Ein wesentlicher Bestandteil der Lösung ist es, auf Basis von mehreren Millionen Transaktionen pro Tag Vorberechnungen und Datenaufbereitungen durchzuführen und über eine Schnittstelle in XML Format an über 200 Banken weltweit bereitzustellen.
Entwicklung eines Clients für die Integration von Realtime Handelsdaten in Swift und Google Protobuf Format nach Apache Kafka und Hadoop.
Entwicklung einer Streaming- und Batch Anwendung für Real- und Neartime sowie End- of-Day Reporting mit Scala und Apache Spark.
Aufbau des Big Data Pipelines mit dem Orchestration-Tool Control-M.
Migration von On-premise Spark Jobs mit HDFS/Yarn Cluster nach AWS EC2 Instanzen mit S3 als Speichersystem.
Kommunikation und Vorstellung des Entwicklungsstandes im Team und beim Kunden & Abstimmung der Zielarchitektur.
Coaching und Einarbeitung.
Links:
https://www.eurex.com/ec-en/support/initiatives/c7-scs-releases
https://www.clearstream.com/clearstream-en/
Das Auto nimmt durch die Webapplikation in seiner Head-Unit die Anfrage des Kunden entgegen. Leitet sie weiter an die Backendsysteme, die dementsprechend validieren sie und leiten sie weiter an die jeweiligen Musikanbieter. Wenn die verschlüsselte Response ankommt, die mit dem AES Algorithmus verschlüsselt ist, das Backend stellt eine Anfrage an den Verschlüsselungsdienst zwecks die Metadaten und den digitalen Inhalt zu entschlüsseln, bereitet die Information auf und leitet sie an die Webanwendung, damit das Audio und Video abgespielt werden kann. Zudem sind Kundeabonnements, Test- und Showrooms Kontos und Gutscheine verwaltet. Agile(Scrum) Arbeitsweise mit 2-Wochen Sprints, Schätzung auf Basis von SP/US.
Gebaut in Java 7/8, mit Einbindung zu Postgres-Datenbanken und Redis Severs, der Hauptzweck der Microservices Architektur ist das Einbinden von einer komplexen und diversen Nachbarschaft von Partnersysteme von BMW sowie Musikanbietern und weitere Dienstleisten via REST Schnittstellen, um einen vollständigen Infotainment-Dienst zu leisten.
Eine CI/CD Pipeline wurde mit Jenkins umgesetzt. Die Java Code wird aus Git auscheckt, JUnit Testing wird ausgeführt sowie Codequalität Analyse auf einem SonarQube Server. Ein Openshift/Kubernetes Deployment wird danach gemacht, und dazu, die Verwendung von Flyway Skripte für Datenbank Version Kontrolle, Integration-, Smoke- und Load Testing mit REST Assured und Gatling. Das Monitoring wird mit ELK, Prometheus und Grafana durchgeführt.
Hauptentwickler des Back-Ends vom Produkt ?BMW Music?.
Dokumentation IT-Konzept, Schnittstelle Verträge und Betriebshandbücher.
Coaching der Operation- und Development Kollegen.
Deployment Management in 4 Umgebungen
Umgebungen:
DEVELOPMENT - für Entwicklung innerhalb isolierter Umgebung.
INTEGRATION ? Für Integrationstest mit BMW Partner Systeme und Musik- und Audioanbieter.
END-2-END - Kundentest und Integration mit dem Auto.
PRODUKTION - Verbindung mit rund 27K Autos
Links:
https://www.bmw.de/de/shop/ls/dp/Base_BMW_Music_de
Entwicklung von Backend Systeme mit Micro-Services Architektur in Java 7/8 mit Payara Server, mit dem Ziel, remote Dienstleistungen für Vernetztes Autos anzubieten. ZHS ist ein Backendsystem die nimmt entgegen Anfragen von vernetztes Autos die dazu gezielt sind, ein alternatives Service Partner zu finden durch unterschiedliche Business Units und nach Einhaltung von strengen Übereinstimmungsregeln.
Hauptzweck der Architektur ist das Einbinden von Partnersysteme in einer komplexen und diversen Nachbarschaft von Applikationen via REST und Soap Schnittstellen, sowie Message Queues und Kafka. Diese Partnersysteme werden angefragt nach Information die für die Service Partner Zuweisung notwendig ist. Jedes System stellt zur Verfügung eine Vielfalt von REST Schnittstellen mit Swagger.
Abschlussarbeit: [Titel auf Anfrage]. Schlägt eine alternative Methode vor, um die Leistung einer Windturbine einzuschätzen. Dabei wurde anhand Daten aus der SCADA System wie Windgeschwindigkeit ?und Richtung, Feuchtigkeit, Temperatur, Atmosphärendruck, sowie Signalen aus der Turbine, verschiedene Regressionsanalyse verwendet, mit dem Zweck, die Beziehung zwischen den klimatischen Faktoren und die Leistung der Turbine. Anhand dieser Information wird es möglich, Defekte in der Turbine zu identifizieren.
Aufgaben:
Daten Plausibilisierung und Aufbereitung in CSV Dateien und SQL Server.
Umsetzung mathematischen Algorithmen in R
Datenanalyse von Wind und Wetterdaten aus SCADA und Erstellung von Grafiken
anhand Visualisierungstools in R
Softwareentwicklung verteilter Backendsysteme, Softwaresicherheit, maschinelles Lernen und Data-Mining.
DAAD Stipendiaat
Datenbanken, Kommunikationsnetzwerke, Computerarchitektur, verteilte Systeme und eine starke Mathematikbasis.
Lead Data Engineer -
Entwicklung Big Data Plattformen für Batch und Real Time Streaming.
Datenintegration. Vorwärts und Rückwärtskompatibilität.
Testautomatisierung; Schnittstellenintegration, Last- und einheitliche Tests.
Deploymentmanagement, CI/CD.
Kundenberatung durch technische und fachliche Anforderungsanalyse.
Code Owner.
Personalbetreuung und Team-Koordinierung.
Automotive, Finance (Trading), Windenergie, e-Commerce, Logistik
Erstellung Data Lakehouse in Azure, Batch und Streaming für Betrieb und Analytics für DENNERT AG in Zusammenarbeit mit Callista ACE AG
Aufgaben
Technologien
Migration von Oracle Exadata onPrem nach Azure Databricks. Build/ Manage Azure CDWH.
Relevante Projektinformation:
https://www.oraylis.de/solution/telekommunikation
https://www.telefonica.de/news/corporate/2021/01/digitale-transformation-der-it-architektur-telefonica-o2-will-produkteinfuehrungszeiten-um-ueber-50-prozent-beschleunigen.html
Die neue Wertpapier Clearingplattform C7 SCS (?C7 Securities Clearing Service?) wurde am 30 September 2021 gelaunched und ist als neues Quellsystem für Datenströme an die bestehende Big Data Plattform angebunden worden. Das Projekt beinhaltet die Entwicklung einer Reporting und Analyse Lösung für diese neue Plattform auf Basis eines Big Data Technologie Stacks. Ein wesentlicher Bestandteil der Lösung ist es, auf Basis von mehreren Millionen Transaktionen pro Tag Vorberechnungen und Datenaufbereitungen durchzuführen und über eine Schnittstelle in XML Format an über 200 Banken weltweit bereitzustellen.
Entwicklung eines Clients für die Integration von Realtime Handelsdaten in Swift und Google Protobuf Format nach Apache Kafka und Hadoop.
Entwicklung einer Streaming- und Batch Anwendung für Real- und Neartime sowie End- of-Day Reporting mit Scala und Apache Spark.
Aufbau des Big Data Pipelines mit dem Orchestration-Tool Control-M.
Migration von On-premise Spark Jobs mit HDFS/Yarn Cluster nach AWS EC2 Instanzen mit S3 als Speichersystem.
Kommunikation und Vorstellung des Entwicklungsstandes im Team und beim Kunden & Abstimmung der Zielarchitektur.
Coaching und Einarbeitung.
Links:
https://www.eurex.com/ec-en/support/initiatives/c7-scs-releases
https://www.clearstream.com/clearstream-en/
Das Auto nimmt durch die Webapplikation in seiner Head-Unit die Anfrage des Kunden entgegen. Leitet sie weiter an die Backendsysteme, die dementsprechend validieren sie und leiten sie weiter an die jeweiligen Musikanbieter. Wenn die verschlüsselte Response ankommt, die mit dem AES Algorithmus verschlüsselt ist, das Backend stellt eine Anfrage an den Verschlüsselungsdienst zwecks die Metadaten und den digitalen Inhalt zu entschlüsseln, bereitet die Information auf und leitet sie an die Webanwendung, damit das Audio und Video abgespielt werden kann. Zudem sind Kundeabonnements, Test- und Showrooms Kontos und Gutscheine verwaltet. Agile(Scrum) Arbeitsweise mit 2-Wochen Sprints, Schätzung auf Basis von SP/US.
Gebaut in Java 7/8, mit Einbindung zu Postgres-Datenbanken und Redis Severs, der Hauptzweck der Microservices Architektur ist das Einbinden von einer komplexen und diversen Nachbarschaft von Partnersysteme von BMW sowie Musikanbietern und weitere Dienstleisten via REST Schnittstellen, um einen vollständigen Infotainment-Dienst zu leisten.
Eine CI/CD Pipeline wurde mit Jenkins umgesetzt. Die Java Code wird aus Git auscheckt, JUnit Testing wird ausgeführt sowie Codequalität Analyse auf einem SonarQube Server. Ein Openshift/Kubernetes Deployment wird danach gemacht, und dazu, die Verwendung von Flyway Skripte für Datenbank Version Kontrolle, Integration-, Smoke- und Load Testing mit REST Assured und Gatling. Das Monitoring wird mit ELK, Prometheus und Grafana durchgeführt.
Hauptentwickler des Back-Ends vom Produkt ?BMW Music?.
Dokumentation IT-Konzept, Schnittstelle Verträge und Betriebshandbücher.
Coaching der Operation- und Development Kollegen.
Deployment Management in 4 Umgebungen
Umgebungen:
DEVELOPMENT - für Entwicklung innerhalb isolierter Umgebung.
INTEGRATION ? Für Integrationstest mit BMW Partner Systeme und Musik- und Audioanbieter.
END-2-END - Kundentest und Integration mit dem Auto.
PRODUKTION - Verbindung mit rund 27K Autos
Links:
https://www.bmw.de/de/shop/ls/dp/Base_BMW_Music_de
Entwicklung von Backend Systeme mit Micro-Services Architektur in Java 7/8 mit Payara Server, mit dem Ziel, remote Dienstleistungen für Vernetztes Autos anzubieten. ZHS ist ein Backendsystem die nimmt entgegen Anfragen von vernetztes Autos die dazu gezielt sind, ein alternatives Service Partner zu finden durch unterschiedliche Business Units und nach Einhaltung von strengen Übereinstimmungsregeln.
Hauptzweck der Architektur ist das Einbinden von Partnersysteme in einer komplexen und diversen Nachbarschaft von Applikationen via REST und Soap Schnittstellen, sowie Message Queues und Kafka. Diese Partnersysteme werden angefragt nach Information die für die Service Partner Zuweisung notwendig ist. Jedes System stellt zur Verfügung eine Vielfalt von REST Schnittstellen mit Swagger.
Abschlussarbeit: [Titel auf Anfrage]. Schlägt eine alternative Methode vor, um die Leistung einer Windturbine einzuschätzen. Dabei wurde anhand Daten aus der SCADA System wie Windgeschwindigkeit ?und Richtung, Feuchtigkeit, Temperatur, Atmosphärendruck, sowie Signalen aus der Turbine, verschiedene Regressionsanalyse verwendet, mit dem Zweck, die Beziehung zwischen den klimatischen Faktoren und die Leistung der Turbine. Anhand dieser Information wird es möglich, Defekte in der Turbine zu identifizieren.
Aufgaben:
Daten Plausibilisierung und Aufbereitung in CSV Dateien und SQL Server.
Umsetzung mathematischen Algorithmen in R
Datenanalyse von Wind und Wetterdaten aus SCADA und Erstellung von Grafiken
anhand Visualisierungstools in R
Softwareentwicklung verteilter Backendsysteme, Softwaresicherheit, maschinelles Lernen und Data-Mining.
DAAD Stipendiaat
Datenbanken, Kommunikationsnetzwerke, Computerarchitektur, verteilte Systeme und eine starke Mathematikbasis.
Lead Data Engineer -
Entwicklung Big Data Plattformen für Batch und Real Time Streaming.
Datenintegration. Vorwärts und Rückwärtskompatibilität.
Testautomatisierung; Schnittstellenintegration, Last- und einheitliche Tests.
Deploymentmanagement, CI/CD.
Kundenberatung durch technische und fachliche Anforderungsanalyse.
Code Owner.
Personalbetreuung und Team-Koordinierung.
Automotive, Finance (Trading), Windenergie, e-Commerce, Logistik