Phoenix Pharmahandel ist ein international agierendes Logistik- und Vertriebsunternehmen, dass einen Großteil des operativen Datenbestan­des und v.a. das konzernweite DWH nebst den BI-Strecken unter MS SQL Server betreibt. Ich unterstütze das SQL Server DBA-Team mit folgenden Schwerpunkten:

• Abarbeiten von Tickets / Requests in ITIL-Prozessen (Omnitracker)
• Migration von SQL Server Failover Clustern / Einzelinstanzen von SS2008 nach SS2016 ff.
• Einführung der Überwachung für Performance- und Nutzungsmetriken mit Sammlung der Überwachungsdaten und Übergabe an ein zentrales Monitoring-Tool (Nagios, Idera)
• Einführung von QueryStores zur Überwachung, Analyse und Bewertung von Ausführungsplänen und Runtime-Statistiken
• Performance-Analyse, Troubleshooting und Beseitigung von Ursachen
• Ersetzung überalterter Agent-Lösungen für Überwachung durch XEvents
• Einführung von SSIS und Ablösung von T-SQL-/Agent-Prozessen
• Einführung von GIT als Version Control System im Entwicklungsbereich und für administrative Artefakte
• Re-Design administrativer Datenbankstrukturen (Files, Filegroups, Partitionierung, Indexing, Statistics) und deren inkrementeller Wartung
• Optimierung Backup-Prozesse
• Neu-Konzipierung und Umsetzung von Zugriffsrechten und Audits
• Skriptbasierte Dokumentation von Systemen und Prozessen

• Die Finanz Informatik AG stellt allen Finanzinstituten der Sparkassen IT-Dienstleistungen zur Verfügung, unter anderem die Software-Versorgung. Dafür wurde Unterstützung bei der Automatisierung von Installationspro­zessen für SQL Server-Instanzen und -Komponenten benötigt.
• Die Software wird in kompilierten Paketen ausgeliefert, die während der Ausführung CommandLine-Aufrufe, T-SQL- und Powershell-Scripts aus­führen, mit denen die Umgebungen konfiguriert, die benötigten Softwarepa­kete installiert und Datenbanken ggf. migriert werden.
• Meine Tätigkeit bestand in der weiteren Ausprogrammierung automatisier­barer Installationsprozesse und Setups für SQL Server-Umgebungen (einschl. WSFC, Always On), Analyse und Test neuer Installations- und Soft­wareversionen, insbesondere Versionsverträglichkeiten und verändertem Verhalten einzelner Komponenten im SQL Server-Umfeld (SS, RS, IS, SSMS, SSDT, VS).
• Daneben musste Support intern bzw. für Kunden der Finanz Informatik hinsichtlich Betrieb und Programmierung von SQL Server Datenbanken geleistet werden (Monitoring, Performance Tuning).

• Der Kunde baut eine konzernweite Analytics Plattform aus, in der Daten aus verschiedenen internen wie externen Quellen gesammelt, aufbereitet, verknüpft und analysiert werden.
• Resultate werden in SQL Server Datenbanken zur weiteren Verarbeitung oder über Tableau-Anwendungen / -Dashboards zur Verfügung gestellt. Im Rahmen dieses Ausbaus wurde Data-Engineering Unterstützung für Architektur und Entwicklung der Datenbanken und ETL-Strecken und im operativen Bereich benötigt.
• In einem ersten Schritt wurden die bisher entstandenen Prototypen konso­lidiert, eine gemeinsame Stammdatenbasis modelliert und entwickelt und die ETL-Strecken optimiert. Im Anschluss stehen Themen wie ein übergrei­fendes Moni­toring, automatisierte Deployments, umfassendes Logging und der mind. teilweise Umzug in Cloud-basierte Umgebungen im Vordergrund.
• Als Data Engineer für bis zu sechs Business Bereiche musste ich das kom­plette Spektrum von DWH-Architektur und -Entwicklung, ETL-Entwick­lung und Operating der SQL Server-Komponenten abdecken, Anforderung­en definieren, die Umsetzung mit dem ausgelager­ten Betrieb abstimmen und den Betrieb in Pre-Live- und Prod-Umgebungen zu unterstützen.

• Die Commerzbank erweitert ihre Aktivitäten zur Prävention von Betrugs- und Geldwäsche-Aktivitäten durch Zukauf von Drittanbieter-Systemen. Bei der Einführung dieses Systems wurde Experten-Hilfe im Bereich DB-Tuning und -Operating mit Hintergrundwissen über ETL-Verfahren und BI-Anwendungen benötigt.
• Neben grundlegenden Monitoring- und Analysetätigkeiten war umfangrei­cher Wissenstransfer über Entwicklungs- und Betriebskonzepte im Um­gang mit großen, heterogenen Datenmengen zu leisten:
  • Operational und data stages;
  • Data lineage und profiling;
  • MDM & data governance;
  • VLDB operations.
• Ein weiterer Schwerpunkt lag auf Verbesserungen des Verarbeitungs­prozesses (Parallelisierung, angepasstes Backup-/Restore-Konzept), Maintenance-Schritten und Migration von Oracle-Funktionalität auf SQL Server ((Indexing, Statistics, Datentypen, Partitioning).
• Durch diese Optimierungen ist es gelungen, den Gesamt-Prozess um ca. 400% zu beschleunigen.
• Daneben wurde der Prozess durch Metadaten-gesteuerte Automatisier­ungen insgesamt so stabilisiert, dass bei reduziertem Ressourcenver­brauch lediglich Wartungsarbeiten im üblichen Rahmen des Bank-Betriebs nötig wurden.
• Um Alternativen zum derzeitigen bankweiten Betriebskonzept aufzuzeigen, wurden PoC zu Einführung und Betrieb von Snapshot- und High-Availability-Technologien unter SQL Server bis Version 2014 entwickelt.
• Für die komplette Prozess-Implementierung war Support in Dev-, Test- und Prod-Umgebungen, Wissenstransfer und Beauftragung in Richtung inter­nen Betrieb und ausgelagerte Implementierung erforderlich.

• Zur Ermittlung von Reisekettenpünktlichkeits-Kennziffern zieht die Deutsche Bahn Daten aus verschiedenen Quellen heran (flat files, Oracle, SQL Server). Dafür galt es,
  • robuste, performante, konfigurier-, test- und automatisierbare Lade- und Transformationsprozesse zu entwickeln, die leicht erweiterbar sind;
  • Serverkomponenten (SQL Server-Instanzen, SSIS-Komponenten) und Datenbanken den gegebenen Hardware-Voraussetzungen und Projekt­anforderungen entsprechend zu installieren und konfigurieren, dass ein weitestgehend wartungsfreier Betrieb performant gewährleistet ist;
  • Bereits entwickelte Prozess-Komponenten auf Performance und Ressourcennutzung zu optimieren;
  • Wissenstransfer zu o.g. Problemstellungen zu leisten.
• Die Ausführung des Gesamtprozesses konnte von ca. 3 Tagen auf unter 3 Stunden reduziert werden, das Datenvolumen in einem PoC auf ca. ein Drittel gesenkt werden.

• Der Projektgeber bietet Software-Asset-Management-Dienste an. Die in die­sem Kontext eigenentwickelten Applikationen und Datendienste bedur­ften im Zuge von Erweiterungen der Kundenbasis und Zukäufen zusätz­licher Kom­ponenten weitgefasster Re-Designs.
• Meine Schwerpunkte waren DB- und ETL-Entwicklung auf Basis des MS BI Stack. Nach einer Analyse der vorgefundenen Prozess- und Datenland­schaft konnten durch Konsolidierungen und Beseitigung von Fehlentwick­lung­en und durch Optimierung oder Neuentwicklung drastische Fortschritte in der Stabilität der Prozess-Abläufe und der Ressourcennutzung erzielt werden. Daneben widmete ich mich der Implementierung von DevOps-Prozessen in der Datenbank-Ent­wicklung.

• Der Projektgeber betreibt eine Fuhrparkverwaltungsplattform, bei der u.a. die Microsoft-BI-Komponenten auf Basis von Oracle-Datenbanken einge­setzt wurden. Beim Re-Design dieser Plattform war mein Schwerpunkt das Re-Design der Datenbank- und BI-Lösungen.
• In einem ersten Schritt musste die Lauffähigkeit der derzeitigen Lösung für den Projektzeitraum sichergestellt werden. Das gelang u.a. durch die Be­schleunigung zentraler Listen-Abfragen in PL/SQL (ca. um den Faktor 200) und eine robustere Umsetzung der bestehenden BI-Anwendungen.
• Bei der Anforderungsanalyse und einem Daten-Profiling im Zuge dieser Op­timierungen fiel eine gewisse „Schieflage“ in der Datenverwendung auf. Das führte zu einem kompletten Re-Design der Anwendung, der Migration der Auswertungsdaten und Funktionalität von SQL Server in Oracle 11g. Alle wesentlichen Abfragen der An­wendung konnten unter Verwendung der Lucene-Engine realisiert werden, sodass BI-Kompo­nenten und der größte Teil der Daten­banken im Rahmen der Anwen­dung entbehrlich und damit ca. 2/3 des Projektbudgets frei wurden. Ich war führend an Design, Prototyping und Ausprogrammierung der Daten­basis für die Anwendung in PL/SQL und die Lucene-Befüllung be­teiligt.

• Die GfK muss die interne Lösung für das Berichtswesen für Vertragsdaten von einer VB6-Anwendung mit Oracle 11g als Datenbasis migrieren. Um alle Anforderungen abdecken zu können, wurde die SQL Server-BI-Plattform gewählt.
• Da die bestehende Lösung keinerlei BI- oder DWH-Ansätze implementiert, musste zunächst ein Prozess initiiert werden, die OLTP-Daten für die Analyse zu extrahieren und vorzubereiten und grundlegende Strukturen eines DWH aufzubauen. Dabei war zu berücksichtigen, dass als Source der Reporting-Lösungen sowohl das DWH selbst als auch Cube-basierte Lösungen zum Einsatz kommen sollen.
• Schwerpunkt der Tätigkeit war die Extraktion und Migration der Datenbasis, die Transfor­mation in ein neues DWH-Schema und beispielhafte Reali­sierungen von Cube-Strukturen und Berichten. Dazu waren die Entwicklung performanter Abfragen mit PL/SQL und vor allem T-SQL und Modellierungsarbeiten in relationalen und multidimensionalen Umgebungen erforderlich. Als ETL-Engine wurde SSIS eingeführt.

Als Wiederbeauftragung ging es in diesem Kurzeinsatz darum, den Merger zwischen E-Plus und O2 mit Expertise in der Daten-Migration zwischen Oracle und SQL Server zu unterstützen. Wieder nur als Kurzeinsatz beauf­tragt, waren Beratungs- und keine Implementierungsleistungen gefordert. Kernpunkte waren der Prozess-Entwurf der Migration mit SSIS bei effizien­ter Ressourcennutzung und Einbindung automatisierter Tests vor Go-Live.

• Die travianet GmbH ist Marktführer im Bereich Reisepartnerprogramme und bietet ihre Dienstleistungen einschließlich eines Service-Centers verschie­denen Anbietern der Touristik-Branche an. Das Leistungsspek­trum bedingt eine Vielzahl an zusammen­zuführenden Datenquellen, um ein effizientes Reporting für Kunden und den Eigen­bedarf zu ermöglichen.
• Nach Analyse und Korrektur bestehender Prozesse und dem Aufbau effi­zienter Archi­vierungsstrukturen mit Blick auf spätere DWH-Anforderung­en wurden Import-Prozes­se aus Oracle- und Access-Datenbanken aufge­setzt, FTP-FlatFile- und Excel-Sourcen in den DataStore eingebunden und eine MySQL-Datenbank funktional und bestandsmäßig auf SQL Server migriert. Prozessing Engine war immer SSIS, auch bei der Aufbereitung der impor­tierten Daten für das Staging und Core DWH.
• Zu den Aufgaben zählten darüber hinaus administrative Tätigkeiten (Über­wachung und Maintenance, Backup/Restore einrichten, Deployment und Change-Management) und SQL Server DBEngine Tasks (Performance-Optimierung, Indizierung, Kompression).
• Alle Aufgaben wurden gemeinsam mit den IT-Verantwortlichen des Kunden paketiert und komplett remote erledigt.

• Die Verwaltung der Service-Daten von CT- und Nuklearmedizin-Geräten sollte komplett reorganisiert und in ein Warehouse überführt werden. Dabei wurden in einem ersten Schritt die Daten von CT-Geräten berücksichtigt, um ein effizientes Datenmodell und einen belast­baren ETL-Prozess mittels SSIS zu entwickeln.
• Auf Basis einer initialen Abstimmung der be­kannten Anforderungen und eines für den Kunden erarbeiteten Prozess­modells wurde ein Re-Design der Datenstrukturen vor­genommen, Vorhaltung und Bewirtschaftung von Stamm- und Bewegungs­daten getrennt und restrukturiert.
• Auf Basis des neuen Designs und aktueller Lizenzmodelle für SQL Server wurde ein Server-Layout entsprechend dem zu implementierenden Pro­zessmodell erar­bei­tet und die Installations- und Verteilungs-Skripte für die Kunden entwic­kelt.
• Darauf aufbauend wurde der neue ETL-Prozess implementiert. Wichtiger Bestandteil des ETL-Prozesses war die Sicherstellung der Datenqualität unter Rückgriff auf SSIS und DQS.
• Die Daten werden als Dateien angeliefert. Zur Übernahme der Daten wur­den ein Konzept auf Basis von SSSB und .NET vorgestellt. Für die Aufbe­reitung der Daten für das DWH wurden Verarbeitungsketten auf Basis von SSIS entwickelt. Auf Basis von SSAS/SSRS wurden Auswertungen ge­schaffen, die als Reports oder direkt abgerufen werden können.

Kurzeinsätze zum Review und Wissenstransfer zu Aufbau und Verwaltung von Strukturen und Prozessen zur DWH-Befüllung mit Daten aus verschie­denen Quellen sowohl komplett als auch als Change-Delta. Diese Daten sollten anschließend unterschiedlichen Verwendern zur Verfü­gung stehen.

• Die SMA ist Weltmarktführer bei der Produktion von Wechselrichtern für Solar- und Windkraft-Energieanlagen. Kunden der SMA wird zur Konfi­guration ihrer Anlagen und zur Aufbereitung und Auswertung von Anla­genkommunikations- und -leistungsdaten ein Portal zur Verfügung ge­stellt. Zum Projektende mussten täglich ca. 80 GB Neudaten in einen Gesamt-Datenbestand von ca. 18 TB eingepflegt werden.
• Ein Schwerpunkt der Tätigkeit waren administrative Optimierungen in den Server- und DB-Strukturen und Performance-Optimierungen durch Neustrukturierung und Programmierung der Datenbankartefakte.
• Zu den damit zusammenhängenden Aufgaben zählte:
  • Domänenübergreifende Administration der SQL Server-Instanzen
  • Reorganisation des physischen Layouts der Datenbanken einschließ­lich dynamischer Partitionierung und Komprimierung
  • Klärung der Storage- und Systemanforderungen (SAN) und Einführ­ung eines kontinuierlichen Überwachungssystems für Datenwachs­tum und Last- und Performance-Kennzahlen auf Basis SSIS / SSRS
  • Lösung von Engpässen und Fehlersituationen
  • Planung von Migrationsschritten auf SQL Server 2008 R2 und 2012 und Bereitstellung / Programmierung von Migrationsskripten
  • Bereitstellung von Installationsskripten für SQL Server 2008 R2 und 2012 und Abstimmung und Durchführung von release deployments
  • Überarbeitung des Sicherheitskonzepts und Bereitstellung von berechtigungsabhängigen Schnittstellen
  • Einführung einer Versions- und Sourcecode-Verwaltung für Datenbank-Artefakte mit automatisierten Testläufen und continuous integration
• Im weiteren Verlauf des Projektes lag der Fokus vor allem auf der Opti­mierung der Verarbeitungsprozesse. Um die Last auf einzelnen Verar­beitungs­schritten bei der Datenmasse zu reduzieren, wurde asynchro­ne Verar­beitung auf Basis von SQL Server Service Broker eingeführt.
• Zur Nutzbarmachung der Por­taldaten in der Wertschöpfungskette der SMA mussten Standardisier­ungen und eine Abteilung-übergreifende Stammdatenverwaltung initi­iert werden, Konzepte zur Verschlankung, Paralleli­sierung und Verein­heitlichung von Verarbeitungsabläufen und ETL-Prozessen auf Basis von SSIS entwickelt und umge­setzt werden, um die anfallenden Daten bedarfs­gerecht in ein ef­fektiv nutzbares Warehouse überführen zu können.
• Dazu wurden neben den weiterbestehenden Aufgaben als Administrator und DB-Designer verschiedene PoC unter Verwendung zusätzlicher Dienste-Komponenten aus dem SQL Server-Umfeld zu Stammdatenver­waltung (MDS) und zum strukturellen Aufbau eines Warehouses bzw. der Cubes mit SSAS initiiert.

Die ERT stellt ihren vorwiegend aus der pharmazeutischen Industrie stammenden Kunden eine eigene Infrastruktur zur Durchführung und Auswertung medizinisch-pharmazeutischer Studien zur Verfügung. Im Zuge der Übernahme eines deutschen Mitbewerbers am Standort Höchberg bestand die Aufgabe, die unterschiedlichen Geschäftspro­zesse, Datenstrukturen und Workflows anzugleichen bzw. unter Berücksich­tigung durch die Übernahme entstandener Anforderungen neu zu ent­wickeln. Schwerpunkt meiner Tätigkeit waren Anpassungen und Neu­ent­wicklungen von Datenstrukturen und Abfrage-Services im Stamm­datenbereich, insbesondere ein Abgleich geänderter Daten auf Basis von CDC.

• Die SGC entwickelt u.a. für Großkunden im Bankenumfeld eine Reihe von Applikationen zur Datenauswertung, -migration und zu Reporting-Zwecken. Zentrale Aufgabe war ein konfigurierbares dashboard auf SSRS-Basis, das Auskunft über Kennzahlen und Verkaufsentwicklung diverser Produkte der Deutschen Bank und vergleichbarer Produkte des Mitbewerbs gibt. U.a. wurden für die einzelnen Reports Datenzeit­raum, Granularität und Zusammenfassungsoptionen variabel gehalten. Hierzu leistete ich als C#-Entwickler und SQL-Experte Unter­stützung bei der Definition der Datenbasis, der Aufbereitung der externen Daten, der Report- und Cube-Gestaltung.
• Zur Steuerung von Standard-Reports wurde eine VBA-gestützte MS Access-Oberfläche entwickelt. Für weitere Auswertungen wurden den Mitarbeitern Excel-Templates mit Daten-Exports zur Verfügung gestellt.
• In weiteren Projekten ging es um die Übernahme, Konsolidierung und Auf­bereitung von Kontendaten aus Dump-Dateien per Batch. Dazu waren auf­nehmende Datenstrukturen, der Verarbeitungs-Batch und flankieren­de Maßnahmen zur Sicherstellung des korrekten Durchlaufs zu entwickeln.