Meine Aufgabe in dieser Position war es, als Projektleiter eine globale Datenplattform auf Basis von Data-Mesh-Prinzipien aufzubauen und zu betreiben. Innerhalb kürzester Zeit hat sich diese Self-Service-Datenplattform zur führenden Technologielösung eines DAX-Unternehmens entwickelt. Mehr als tausend Data Engineers, Analysten und Data Scientists nutzen diese Plattform für ihre tägliche Arbeit. Mit einem Team von 16 Softwareingenieuren haben wir unsere Vision Wirklichkeit werden lassen.

Meine Aufgabe in dieser Position war es, ein Team aufzubauen und eine Data-Warehouse-Lösung als Projektleiter für ein DAX-Unternehmen zu implementieren. Mehrere tausend Pipelines laden, transformieren und bereiten täglich Petabytes an Daten in hoher Qualität und pünktlich für die Datenanalyse auf.

Analyse der bestehende Datenbank(PostgreSQL) in Bezug auf Performance Optimierung, Ausfallsicherheit, Point in Time Recovery Datenbank Architektur, Tabellennormalisierung, SQL tuning Analyse der bestehende DWH/BI Lösung in Bezug auf Stabilität unter Berücksichtigung wachsenden Anforderungen Die Schulung der Entwicklerteam in Bezug auf Umgang mit Stored Procedures in PostgreSQL Einführung in Volltextsuche auf Basis von Tsearch2

- die Planung, Steuerung und Abstimmung der Datenbankentwicklung mit dem Produktmanagement-Team - die Konzeption, Aufbau, Entwicklung der folgenden Themenbereiche: - Datenbankentwicklung(Tabellen, Indexe, Trigger, etc.) - Einführung der Datenbanktrennung nach Ländern für bessere Skalierung (Datenbank Sharding) - Datenbankspezifische Applikationsentwicklung(Stored Procedures) - Konzeption und Aufbau eines Payment-System nach dem Abo-Modell-Prinzip, Preissegmentierung, Ratenzahlung, Inkasso - Data-Warehouse: ETL, Synchronisation verschiedene Quelldaten, Aggregation (Datenverdichtung) - Entwicklung des Matchingsalgorithmus - Entwicklung eines Web Tracking System - die Konzeption, Aufbau, Administration der PostgresQL in einer 24/7 Umgebung mit mehr als 70 DB Instanzen - Ausarbeitung von Failover Strategien, Point in Time Recovery - die ständige Schulung der Teammitglieder in Praxisorientierten Datenbankthemen - Datenbank Performance Optimierung sowie SQL Tuning - Datenbereinigung

Begleitung der Migration von Oracle nach PostgreSQL beim Payment Provider aus Berlin - Hilfe bei der Ausarbeitung eines Migrationsplanes - die Schulung der Mitarbeitern in Bezug auf die Umstellung auf PostgreSQL für Entwickler - die Aufzeichnung der Wege für Backup/Recovery, Point in Time Recovery, Switch und Failover Szenarios für Administratoren

- die Datenbankentwicklung SQL PL/SQL, Tabellennormalisierung, Performance Optimierung (SQL), Datenbankbereinigung - eine Migration des sehr komplexen Datenbankschemas von mehreren Tausende Dynamisch erstellte Tabellen von PostgresQL nach Oracle. Dabei mussten auch Daten in erheblichem Umfang migriert werden. - die Datenbankadministration mehrerer Kundeninstallationen hinsichtlich Performance und Datenintegrität. Der Datenbankgrössen lagen dabei teilweise im Terabyte Bereich. die Implementierung einer Datenbankbasierte rotierende Sessionverwaltungssystem - die Implementierung und Migration eines GUID global eindeutigen primary-key Verfahrens zum Austausch von Stammdaten zwischen verschiedenen Datenbank-Installationen des Produktes - die Recherche, Implementierung und Projektleitung einer Volltextfunktion mit speziellen Anforderungen seitens des Kunden. Dabei galt es dynamische Zugriffsberechtigungen auf Dokumente zu berücksichtigen. - die Erstellung von Shell-Verwaltungsskripten

- die Erstellung von PL/SQL Skripten, Prozeduren, Packages, Tabellen, Views, Snapshots, Indexen, Triggers, Sequenzen - die Ausarbeitung der Features in Zusammenarbeit mit anderen Entwicklern - die Datenmigrationen und Bereinigungen - die Erstellung eines Reportingsystem - die Zusammenlegung zwei existierende Paymentsysteme miteinander für bessere Wartbarkeit - die SQL Performance Optimierung - Oracle Datenbankadministration - die Datenbank Optimierung - Export/Import, Monitoring - Oracle Datenbankinstallationen, Backup/Recovery - das Storage Management

- Schnittstellenprogrammierung für Oracle Database 8i - Erstellung von PL/SQL Skripten, Prozeduren, Packages, Tabellen, Views, Snapshots, Indexen, Triggers, Sequenzen - DB Export / Import - Datenbereinigung