Creating a new IT strategie for a small IT business, setting up new team structure and implementing a new infrastructure.
Planning and implementation of a new business specific software environment :
- Architecture/Design
- Infrastructure
- Datamodelling ( business layer to databases )
- Coordination with other external suppliers ( web, infrastructure )
- Setting up development model
Migration of the ETL processes of a DataWarehouse from MapR+Exasol backend to Hadoop HDP + Exasol Backend.
- Analysis
- Implementation
- Deployment
- Migration
Koordination in verschiedenen Bereichen bei der Fertigstellung eines DWH Projektes:
Automatisierung und Organisation von Testszenarien für Datenintegration und Inhalt, Konzeption und Aufbau eines QUalitätsframeworks, Klärung übergreifender Architekturfragen
AWS
Wherescape
Evaluierung einer ETL Umgebung inklusive Scheduling in Kubernetes als Ersatz für eine bestehende On-Prem Lösung.
Tätigkeiten :
Auswahl der Software ( Apache Hop + Apache Airflow / Argo Workflows )
Erstellung einer Deployment-Infrastruktur
Implementierung von Testprozessen
Auswertung des PoC Ergebnisses
Analyse bestehendes Reportingsystem
Konzeption / Architektur für ein neues DWH
Datenmodellierung nach Kimball
Implementierung eines Frameworks für ETL/ELT
Einführung von Deploymentstrategien
Implementierung und Inbetriebnahme ETL Strecken
Einführung neues BI Frontend ( Apache Superset ) und Überführung von OLAP Cubes in die neue Umgebung
Coaching interne Mitarbeiter
Neuaufbau einer zentralen Postgres basierten Datenplattform für Reporting und Schnittstellen. Erstellung des Datenmodells, Implementierung der Bewirtschaftung, Beschaffung der Infrastruktur. Erstellung von Reports
- Analyse bestehende Datensysteme
- Data Vault Datenmodellierung
Evaluierung und Implementierung von PoC bzgl. Stream Processing Engines in Kombination mit Apache Kafka.
Reportingplattform "Postcontainer"
Implementierung von Docker Container Images für eine Reporting Plattform basierend auf Postgres und Grafana. Anbindung von QUellsystemen über die Postgres Foreign Data Wrappers ( DB2 und Oracle )
- Aufbau einer BigData / hadoop Infrastruktur auf Basis von Hortonworks HDP mit den Komponenten Ambari, HBase ( NoSQL storage, HDFS ( file storage ), Kafka ( streaming engine ), zookeeper
- Aufbau einer eventbasierten Staging Platform für ein DWH mit Hilfe von Kafka und HBase
- Infrastruktur für die Personalisierung in einer großen Webanwendung mit Hilfe von Kafka und REST
- Aufbau einer SQL on anything Infrastruktur auf HDFS und HBase, z.b. für Webtracking Daten mit Hilfe von Apache Drill
- Implementierung von Datenintegrationen innerhalb der neuen Plattform. Evaluierung der Datenintegrations-Software ( Apache Nifi, Pentaho PDI, Python )
- Evaluierung der Architektur in der AWS Cloud
- Automatisierung des Infrastruktur Setups mit Ansible
- Definition eines Deployment - und Entwicklungsworkflow mit Git
- Aufsetzen einer Schedulung Plattform mit Jenkins
- Aufwandschätzungen & Projektplanung
Entwicklung eines Real-Time Dashboard Systems auf Basis von Kafka
- Planung und Implementierung einer Near-Realtime Replikation aus einer Oracle Anwendung in eine Remote NoSQL ( schemalos ) Datenbank mit Hilfe von Apache Kafka und Cassandra.
- Transfer der Implementierung in Docker Container
- Evaluierung der Softwarekomponenten.
- Datenmodelle für spaltenbasierte und NoSQL Datenbanken
- Coaching eines Implementierungs- und Betriebsteams
Projektmarketing
Unterstützung bei der Konzeption und Neuimplemtierung einer kombinierten DWH und BigData / hadoop Plattform in Lambda Architektur mit der MapR BigData/Hadoop Solution und ExaSol
- Architektur und Entwicklung eines Data Warehouse ( Datenmodell, Entwicklung ETL Strecken, Betriebs- und Entwicklungsumgebung, Cubes, Portalanwendung, Reports ) für hohe Transaktionszahlen ( > 10 Mio Records / Tag ) mit Open Source Werkzeugen
- Architektur und Aufbau einer Fraud Lösung
- Anforderungsanalyse
- Coaching
- Projekthandling mit Jira
- Dokumentation mit Atlassian Tools
Architektur und Entwicklung einer Real-Time Data Center Synchronisation
Design einer DWH Datenbank für die Ablage von Insight Daten aus Social Media Plattformen.
Implementierung von Schnittstellen mit Pentaho Spoon zwischen den Marketing APIs von Facebook, Google und Amazon zur DWH Datenbank als Datengrundlage für ein SiSense BI Portal.
- Proof of Concept für die Auswahl eines ETL Tools
- Anforderungsanalyse
- Unterstützung bei der Einführung einer ETL Umgebung
- Datenmodellierung für ein DWH/Reporting System
konstruktiver Ingenieurbau
Ich biete Unterstützung und selbstständige Durchführung von Aufgaben in Data Warehouse Projekten an. Erfahrungen in allen Phasen der DWH Lebenszyklen liegen vor. Mein technischer Schwerpunkt liegt vor allem im Backend Bereich, d.h. Systemkonzeption, Architektur, Datenbanken, Datenmodellierung und ETL Umgebungen.
Planung von klassischen DWH Szenarien sowie Konzeption von Big Data / Lambda Architekturen sowie Planung und Durchführung von Migrationszenarien.
Entwicklung von ETL Strecken, vorzugsweise mit Open Source Software ( Pentaho, Talend, Shell Scripting etc. )
Neben einem starken Hintergrund bei allen gängigen relationalen Datenbanken verfüge ich über erste Projekterfahrungen im NoSQL Umfeld ( Hive, HBase, Cassandra )
Branchenerfahrung in Telko, Handel, Trading, Entertainment, Unterhaltung, Logistik, Logistics
Creating a new IT strategie for a small IT business, setting up new team structure and implementing a new infrastructure.
Planning and implementation of a new business specific software environment :
- Architecture/Design
- Infrastructure
- Datamodelling ( business layer to databases )
- Coordination with other external suppliers ( web, infrastructure )
- Setting up development model
Migration of the ETL processes of a DataWarehouse from MapR+Exasol backend to Hadoop HDP + Exasol Backend.
- Analysis
- Implementation
- Deployment
- Migration
Koordination in verschiedenen Bereichen bei der Fertigstellung eines DWH Projektes:
Automatisierung und Organisation von Testszenarien für Datenintegration und Inhalt, Konzeption und Aufbau eines QUalitätsframeworks, Klärung übergreifender Architekturfragen
AWS
Wherescape
Evaluierung einer ETL Umgebung inklusive Scheduling in Kubernetes als Ersatz für eine bestehende On-Prem Lösung.
Tätigkeiten :
Auswahl der Software ( Apache Hop + Apache Airflow / Argo Workflows )
Erstellung einer Deployment-Infrastruktur
Implementierung von Testprozessen
Auswertung des PoC Ergebnisses
Analyse bestehendes Reportingsystem
Konzeption / Architektur für ein neues DWH
Datenmodellierung nach Kimball
Implementierung eines Frameworks für ETL/ELT
Einführung von Deploymentstrategien
Implementierung und Inbetriebnahme ETL Strecken
Einführung neues BI Frontend ( Apache Superset ) und Überführung von OLAP Cubes in die neue Umgebung
Coaching interne Mitarbeiter
Neuaufbau einer zentralen Postgres basierten Datenplattform für Reporting und Schnittstellen. Erstellung des Datenmodells, Implementierung der Bewirtschaftung, Beschaffung der Infrastruktur. Erstellung von Reports
- Analyse bestehende Datensysteme
- Data Vault Datenmodellierung
Evaluierung und Implementierung von PoC bzgl. Stream Processing Engines in Kombination mit Apache Kafka.
Reportingplattform "Postcontainer"
Implementierung von Docker Container Images für eine Reporting Plattform basierend auf Postgres und Grafana. Anbindung von QUellsystemen über die Postgres Foreign Data Wrappers ( DB2 und Oracle )
- Aufbau einer BigData / hadoop Infrastruktur auf Basis von Hortonworks HDP mit den Komponenten Ambari, HBase ( NoSQL storage, HDFS ( file storage ), Kafka ( streaming engine ), zookeeper
- Aufbau einer eventbasierten Staging Platform für ein DWH mit Hilfe von Kafka und HBase
- Infrastruktur für die Personalisierung in einer großen Webanwendung mit Hilfe von Kafka und REST
- Aufbau einer SQL on anything Infrastruktur auf HDFS und HBase, z.b. für Webtracking Daten mit Hilfe von Apache Drill
- Implementierung von Datenintegrationen innerhalb der neuen Plattform. Evaluierung der Datenintegrations-Software ( Apache Nifi, Pentaho PDI, Python )
- Evaluierung der Architektur in der AWS Cloud
- Automatisierung des Infrastruktur Setups mit Ansible
- Definition eines Deployment - und Entwicklungsworkflow mit Git
- Aufsetzen einer Schedulung Plattform mit Jenkins
- Aufwandschätzungen & Projektplanung
Entwicklung eines Real-Time Dashboard Systems auf Basis von Kafka
- Planung und Implementierung einer Near-Realtime Replikation aus einer Oracle Anwendung in eine Remote NoSQL ( schemalos ) Datenbank mit Hilfe von Apache Kafka und Cassandra.
- Transfer der Implementierung in Docker Container
- Evaluierung der Softwarekomponenten.
- Datenmodelle für spaltenbasierte und NoSQL Datenbanken
- Coaching eines Implementierungs- und Betriebsteams
Projektmarketing
Unterstützung bei der Konzeption und Neuimplemtierung einer kombinierten DWH und BigData / hadoop Plattform in Lambda Architektur mit der MapR BigData/Hadoop Solution und ExaSol
- Architektur und Entwicklung eines Data Warehouse ( Datenmodell, Entwicklung ETL Strecken, Betriebs- und Entwicklungsumgebung, Cubes, Portalanwendung, Reports ) für hohe Transaktionszahlen ( > 10 Mio Records / Tag ) mit Open Source Werkzeugen
- Architektur und Aufbau einer Fraud Lösung
- Anforderungsanalyse
- Coaching
- Projekthandling mit Jira
- Dokumentation mit Atlassian Tools
Architektur und Entwicklung einer Real-Time Data Center Synchronisation
Design einer DWH Datenbank für die Ablage von Insight Daten aus Social Media Plattformen.
Implementierung von Schnittstellen mit Pentaho Spoon zwischen den Marketing APIs von Facebook, Google und Amazon zur DWH Datenbank als Datengrundlage für ein SiSense BI Portal.
- Proof of Concept für die Auswahl eines ETL Tools
- Anforderungsanalyse
- Unterstützung bei der Einführung einer ETL Umgebung
- Datenmodellierung für ein DWH/Reporting System
konstruktiver Ingenieurbau
Ich biete Unterstützung und selbstständige Durchführung von Aufgaben in Data Warehouse Projekten an. Erfahrungen in allen Phasen der DWH Lebenszyklen liegen vor. Mein technischer Schwerpunkt liegt vor allem im Backend Bereich, d.h. Systemkonzeption, Architektur, Datenbanken, Datenmodellierung und ETL Umgebungen.
Planung von klassischen DWH Szenarien sowie Konzeption von Big Data / Lambda Architekturen sowie Planung und Durchführung von Migrationszenarien.
Entwicklung von ETL Strecken, vorzugsweise mit Open Source Software ( Pentaho, Talend, Shell Scripting etc. )
Neben einem starken Hintergrund bei allen gängigen relationalen Datenbanken verfüge ich über erste Projekterfahrungen im NoSQL Umfeld ( Hive, HBase, Cassandra )
Branchenerfahrung in Telko, Handel, Trading, Entertainment, Unterhaltung, Logistik, Logistics
Direktester geht's nicht! Ganz einfach Freelancer finden und direkt Kontakt aufnehmen.