Sicherstellung der korrekten, stabilen und performanten Verarbeitung von Marketing- und Werbedaten für Native Dashboards in Tableau. Ziel ist der zuverlässige Betrieb sowie die kontinuierliche Weiterentwicklung AWS-basierter ETL-Datenpipelines unter Berücksichtigung von Datenqualität, Monitoring und Fehlerresilienz. 

• Pflege, Betrieb und Weiterentwicklung von AWS Step Functions zur Orchestrierung komplexer ETL-Prozesse für mehrere Werbeplattformen (u. a. LinkedIn, Snapchat, Pinterest)
• Entwicklung, Wartung und Anpassung von AWS Lambda Functions in Python bei Änderungen an Quell-APIs, Datenmodellen oder Authentifizierungsverfahren
• Überwachung und Fehlerbehebung der Datenpipelines inkl. strukturierter Logs, automatischer Retry-Mechanismen und Alarmierung
• Qualitätssicherung der verarbeiteten Daten zur korrekten Darstellung von KPIs und Metriken in Tableau Dashboards
• Analyse und Optimierung bestehender Python-basierter Datenverarbeitung zur Verbesserung von Performance, Stabilität und Wartbarkeit
• Dokumentation der Prozesse und Übergabe von Betriebswissen zur nachhaltigen Weiterentwicklung des Systems 

Ergebnis:

Durch die kontinuierliche Wartung und Optimierung der ETL-Prozesse wird eine hohe Datenverfügbarkeit und -qualität in Tableau sichergestellt. Anpassungen an externen Werbeplattform-APIs werden zeitnah umgesetzt, wodurch Ausfälle minimiert und konsistente Entscheidungsgrundlagen für Fachbereiche gewährleistet werden. Die Stabilität der Datenflüsse wird durch verbesserte Logging-, Retry- und Alarmierungsmechanismen nachhaltig erhöht.

Entwicklung eines hochverfügbaren, verteilten Systems zur Optimierung und Planung von Logistikprozessen in Container-Terminals. Das System sollte komplexe Planungsaufgaben asynchron abarbeiten und über eine robuste, skalierbare Cloud-Infrastruktur bereitgestellt werden. 

• Grundstruktur: Einrichtung eines Monorepos mit uv, pre-commit hooks, type checking mit mypy und linting mit ruff.
• Microservice-Architektur: Konzeption und Implementierung von diversen entkoppelten Services die eine hohe Wartbarkeit und unabhängige Skalierung ermöglichen.
• Ereignisgesteuerte Kommunikation: Nutzung von AWS SQS als Message Queue, um Services asynchron zu koppeln, die Systemresilienz zu erhöhen und Lastspitzen effizient auszugleichen.
• Performance-Optimierung: Implementierung eines "Worker-Pool"-Modells für die Solver auf ECS, um Kaltstart-Latenzen zu eliminieren und die Einhaltung eines strikten 2-Minuten-SLA für Optimierungs-Jobs sicherzustellen.
• Datenbank: Aufbau einer Postgres Datenbank in Aurora Serverless V2, Pflege des Schemas mit SQLAlchemy, Migration mit Alembic. Einrichten eines Redis Cache in ElastiCache, atomisierung der Aktionen mit LUA Skripten.
• Infrastructure as Code (IaC): Aufbau und Verwaltung der gesamten AWS-CloudInfrastruktur mit Terraform, inklusive Netzwerk, IAM-Rollen, ECS-Clustern und S3-Buckets. 
• Datenvalidierung & -integrität: Einsatz von zur strikten Validierung von API-Anfragen und Daten, die zwischen den Services ausgetauscht werden.
• Hohe Testabdeckung: Sicherstellung der Code-Qualität durch umfassende Unit- und Integration-Tests mit Pytest, moto und LocalStack zur Simulation von AWS-Services.
• CI/CD-Automatisierung: Einrichtung von Pipelines in Bitbucket zur automatisierten Ausführung von Tests, Linting, und Deployments.
• Einführung des internen Entwicklerteams in Hexagonale Architektur, Dependency Injection und weitere moderne Python-Entwicklungsparadigmen.

Ergebnis:

Erfolgreiche Implementierung einer modularen Microservice-Architektur auf AWS, die über Message Queues ereignisgesteuert kommuniziert. Die System-Performance und -Zuverlässigkeit wurden durch dedizierte, langlaufende Optimierungs-Worker (Solver) sichergestellt, was eine vorhersagbare Latenz unter Einhaltung strenger SLAs ermöglicht. Die gesamte Infrastruktur wird mittels Terraform (IaC) verwaltet, was eine konsistente und wiederholbare Bereitstellung über verschiedene Umgebungen (Dev, Staging, Prod) gewährleistet. 

For Media Impact Brand Studios