System Engineer / Systemadministrator Linux/BSD

Aktuelles Projekt mit rund 3PT/Woche. Unterstützung bei allen nötigen Tätigkeiten zur Erlangung einer PCI-Zertifizierung zur Verarbeitung von Kreditkartendaten, hier primär regelmäßiges Patching der jeweiligen Systemumgebungen, sowie Dokumentation und Erbringen der Nachweise bzgl. der Erfüllung der Anforderungen. Konzeption, Scripting und Deployment/Rollout einer Antivirus-Lösung (ClamAV/Sophos) für relevante Systeme sowie generelle Unterstützung bei der Modernisierung der gesamten Linux-Infrastruktur bestehend aus ca. 130 größtenteils mittels einer Citrix XenServer Farm virtualisierten Debian 7-9, aber auch CentOS oder Oracle Linux Systemen.

Von meinem ehemaligen 1&1 Teamleiter um Unterstützung gebeten kam ich zu einem Unternehmen im Bereich Computer-Security in Karlsruhe, um dort bei Sichtung, Analyse, Abschaltung/Migration/Upgrade und Dokumentation aufgrund betrieblicher Umstrukturierungen "geerbter" Systeme zu unterstützen. Ein Schwerpunkt dabei war die System-Analyse und -Dokumentation mehrerer Linux-Cluster auf Basis von Corosync und Pacemaker, deren Funktionen vom schlichten Webserver-Cluster mit Nginx bis hin zu einem zentralen Drehpunkt des Datenaustauschs mit Zulieferern in der Logistikkette beim weltweiten Verkauf der eigenen Produkte reichten. Desweiteren fielen einzelne Projekte im Tagesgeschäft an, z.B. Installation und Feinkonzeption neuer Umgebungen für diverse Atlassian-Software (BitBucket, FishEye), Updates von MySQL-Clustern sowie Debugging einer Fehlfunktion in der Cloud-Kommunikation der hauseigenen Antivirus-Software. Weiterer Bestandteil war eine (wenn auch nur oberflächliche) Sichtung der ebenfalls geerbten, jedoch unzureichend dokumentierten und sich in den Kinderschuhen befindlichen auf Ansible aufbauenden Deployment-Infrastruktur.

In den ersten zwei Monaten primär Unterstützung bei der Vorbereitung und Durchführung eines zeitlich anspruchsvollen RZ-Umzugs eines Streaming-CDN Anbieters. Die Schwerpunkte bei der Durchführung lagen überwiegend im Bereich Netzwerkadministration, Routing und der Datenmigration von ca. 180 TB Daten im Vorfeld der bei der Gelegenheit durchgeführten Ausserbetriebnahme eines alten EMC Isilon OneFS Storage-Clusters. Nach erfolgtem Umzug lag der Fokus neben diversen Netzwerkthemen auf der Konzeption, Installation (teils remote via IPMI) und Administration von Storage-Systemen auf Basis von FreeBSD 10.3 unter Verwendung des ZFS Dateisystems (Kapazitäten netto zwischen 15 TB für VMware NFS Datastores/Backends und 100 TB für Video-Streaming Daten), Debian NAT-Gateways/VLAN-Routern und neuer VPN-Einwahlknoten für das Mitarbeiter- sowie das zentrale Colo-VPN mittels OpenVPN auf Basis von pfSense. Regelmäßig gehörten Aktualisierungen von SSL Zertifikaten für die bestehende VPN-Infrastruktur zu den Aufgaben, die mangels Zertifikats-Monitoring "unerwartet" eine hohe Priorität genossen, daher wurde hier dem Kunden als Übergangslösung ein zentrales Zertifikatsmanagement unter Nutzung der pfSense Installationen konzipiert und nahegelegt.

Unterstützung bei Betrieb, Handling von Incidents, sowie der Durchführung von Updates der Systemumgebungen unter SLES und RHEL, sowohl auf der Konsole als auch mittels Spacewalk für ganze Servergruppen. Beginn einer Planung/Einführung von Application Server Monitoring via Zabbix Java Gateway.

Weitgehend autonome Übernahme des Betriebs der Legacy-Infrastruktur und der dort noch anstehenden Projekte in einem jungen, schnell wachsenden Big-Data Unternehmen. Einbau von Hardware im Rechenzentrum, Installation von Clustern auf EXACluster OS, Konfiguration von Juniper Switches, Erstellen und Einrichten von VMs auf Basis von KVM, teils auch mittels LXC.

Kurzfristige Unterstützung bei der Durchführung eines zeitkritischen Projekts im Rahmen der Einführung neuer TLDs (Bestellung/Reservierungs-System).

Migration älterer, mittels XEN virtualisierter Debian 3.x/4.x VMs auf die VSphere Farm, inkl. Abbau/Server-Lifecycle-Management der freiwerdenden Hardware/XEN Server. Die Migration erfolgte durchgängig mittels rsync. Weitere Aufgaben umfaßten die Unterstützung beim Alltags-Betrieb und bei Incidents, Monitoring und Entwicklung von Munin-Plugins, Fehleranalyse und 3rd Level Support, Firewall-Tickets und Usermanagement.

Unterstützung bei Betrieb und Entwicklung einer Webshopplattform, Monitoring, Fehleranalyse und 3rd Level Support.

Administration von Applikationen im Bereich Shops bzw. Selfcare sowie UMTS (Zugriff durch Handsets/Endgeräte) eines großen Mobilfunkanbieters. Durchführung von Einspielungen/Deployments, Fehleranalyse und 3rd Level Support.

Administration der Applikationserver bzw. Cluster, die für von diversen Redaktionen benutzten Clientprogrammen Dienste zur Produktion der wöchentlich erscheinenden Zeitschriften bereitstellen. Systemadministration allgemein, Performancetuning, Systeminstallationen auf Servern und VMs, Troubleshooting in enger Zusammenarbeit mit den Applikationsentwicklern. Betrieb und Updates des Ticket- und Zeiterfassungssystems, Migration eines von Redaktionen benutzten TikiWiki von Windows auf Unix/Solaris. Administration von u.a. zum Datenaustausch mit Druckereien verwendeten CIFS/SMB Fileservern.

Überprüfen der Datenerhebung zur Anbindung der Kundensysteme auf Vollständigkeit,

laufende Pflege einzelner Aspekte der Anbindung (Adressmapping/Rewrite-Konfiguration).

Arbeit mit dem Ticketsystem und bei Kundenanfragen Klärung bzw. Weiterleitung an

zuständige Stellen im Betrieb. Aufnahme der Kundendaten ins Ticketsystem, andere administrative Tätigkeiten. Debugging einzelner Sendungen auf Postfix Multi-Instance Mailgateways.

Einsatz beim selben Kunden und im selben Team wie beim vorangegangenen Projekt. Aufgrund einer Lastspitze eingehender Requests/Tasks und infolgedessen langen Bearbeitungszeiten leistete ich hier nochmals kurzzeitig Unterstützung.

Aufgaben grundsätzlich ähnlich wie beim vorangegangen Projekt. Aufgrund der gewünschten Art der Arbeit (Unterstüzung bei Alltagsdingen) ohne konkret mir überwiesene Systemverantwortung für bestimmte Systeme. Durch meine Vertrautheit mit bestimmten Systemen konnte ich die Kollegen am stärksten entlasten, in deren Verantwortungsbereich die vormals von mir betreuten Systeme fielen.

Bei einem großen Deutschen Hosting-, DSL- und Telefonanbieter war ich verantwortlich für den Betrieb von Logserver-Clustern und Betrieb sowie Neuaufbau des Clusters zum Austausch von Abrechnungsdaten (Call Data Records, CDR Daten) mit anderen Telekommunikationsanbietern. Um das Management einer wachsenden Zahl an Loginstanzen zu vereinfachen, entwickelte ich Skripte, die es erlauben, einzelne Instanzen zeitsparend erzeugen, konfigurieren, starten, stoppen und überprüfen zu können. Weitere Skripte zur Trendanalyse der Speicherplatzbelegung und zur besseren Integration in die Überwachung folgten. Ebenso unterstützte ich Kollegen bei der Umsetzung/Migration des neuen Kundencenters für die Webmail Kunden. Fehlerdiagnose auf Basis von Logfiles sowie deren Auswertung in Hingblick auf bestimmte Fragen, Deployments, Kommunikation mit Entwicklern, Verbesserung bestehender, gewachsener Mechanismen, dazu Alltagsgeschäft und Support von Inhouse-Kunden via Ticketsystem runden den Einsatz ab.

Support von Kunden, Nachstellen von Kundensetups, mit den NoMachine Entwicklern Fehler reproduzieren und ihre Bugfixes testen. Dokumentation des Vorgehens und des Testergebnisses im Ticket, je nach Schwere des aufgetretenen Fehlers evtl. Publikation auf der Website des Herstellers http://www.nomachine.com in der dortigen Knowledge Base. Testcases erfolgten in via VMware Server virtualisierten Linux Installationen unterschiedlicher Distributionen und Versionsstände.

Betrieb und Unterstützung im Rahmen der "Management Information Factory", der Bilanzapplikation, die die Umsätze aller Händler dem oberen Management als Entscheidungsgrundlage täglich mehrfach aktualisiert zur Verfügung stellt. Zum täglichen Geschäft gehörte es, in einem vorbestimmten Zeitrahmen (Uhrzeit und Dauer) Softwareupdates und Deployments in den verschiedenen Stages/Instanzen der Applikation durchzuführen. Weitere, weniger regelmäßig auftretende, Aufgaben waren die Automatisierung von Abläufen sowie gelegentliches Troubleshooting bzw. Optimierung der Systemumgebung in Hinblick auf den Speicherbedarf der zahlreichen Java VMs.

Betrieben wurde hierfür eine hochverfügbare Systemumgebung: 3-Tier Architektur, 2 redundante Rechenzentren (European Datacenter, EDC), 8 Systemumgebungen bzw. Zones auf Solaris 10 (4x Test, 2x Staging, Pre-Produktion, Produktion)

Ersetzen der bestehenden IT-Umgebung durch virtualisierte Active Directory Domain auf VMware ESX. Abnahme der Hardwarelieferungen (IBM Bladecenter H, Blades), Aufbau der Hardware, Überwachung Konfiguration NetApp nach Vorgaben des Konzepts, Konfiguration Boot-from-SAN, Konfiguration der Brocade SAN Switches (SAN Zoning), SAN Troubleshooting, Konfiguration Tape Library, Installation ESX Server, Konfiguration SAN Multipathing, Installation und Konfiguration VMware Virtual Center, Konfiguration VMware Distributed Resource Scheduler (VMware DRS), High Availability (VMware HA) und VMotion. Einspielen von relevanten ESX Updates, Monitoring, Konfiguration NTP (Network Time Protocol) auf ESX Console zwecks Zeitsynchronisation. Troubleshooting. Teile des Betriebs.

Installation Windows 2003 R2 Terminalserver inkl. eines Streamers für Backup und einer USV bei einem kleineren Kunden

Konfiguration der Clusterservices, Erstellung der GFS Dateisysteme, Migration der Bestandsdaten von NFS auf GFS. Schwerpunkt nach erfolgreicher Migration war die Failover-Konfiguration des FTP-Dienstes, mit dem Nachrichten/Medieninhalte verschiedener Nachrichtenagenturen empfangen und via Webfrontend/CMS den Redakteuren zur Verfügung gestellt werden.

Troubleshooting der Fencing-Konfiguration eines Web/FTP-Server Clusters diverser deutscher Computermagazine zum Thema PC-Gaming

Installation von AIX und DB2 auf IBM RS6000

Installation eines XEN Clusters mit Shared Storage in Form eines Cluster-Dateisystems, auf dem beide Knoten die VM Images ablegen und zeitgleich zugreifen können. Umsetzung durch zwei Knoten mit CentOS und Xen, die via HBA über Fiberchannel an ein Storage Enclosure von Infortrend angebunden sind, auf welchem ein OCFS2 zum Speichern der VM Images liegt. Test mittels Live-Migration eines Windows XP HVM Gastes, auf dem ein Film abgespielt wird. POC für spätere Kundenprojekte.

Installation eines Jabber-Servers zur unternehmensinternen Kommunikation. Anforderung war die Anbindung an das Bestehende Directory via LDAP, um die Buddylist der Benutzer jederzeit automatisch mit abteilungsbasierten Gruppen der übrigen Mitarbeiter zu füllen.

Konzeption und Installtion eines hochverfügbaren Hochleistungs-Mailclusters zum Newsletterversand mehrerer Mobilfunkmehrwertdiensteportale. Automatische Verarbeitung auftretender Bounces und Unsubscription wiederholt nicht erreichbarer Newsletterempfänger. Gelöst durch das VERP-Verfahren (Variable Envelope Return Path) und einen Zähler in einer Datenbank, bei dessen Überschreiten der unerreichbare Empfänger automatisch vom Verteiler gelöscht wird.

Installation, Troubleshooting

Administration des Webservers für eine Kreissparkasse. Anlegen und Pflege von Mailinglisten. Support des Kunden. Troubleshooting und Lösungsvorschläge bei extern verursachten Interoperabilitätsproblemen (DNS, Mail/MTA).

Zentralisierung der Verwaltung der DNS Zonen im Hauptsitz des Unternehmens. Die externe Zone einer jeden Niederlassung "nach Hause" holen, sodass der Master für alle externen Zonen im Hauptsitz steht, der Slave in der jeweiligen Niederlassung. Implementierung von Views zur korrekten Sicht auf den Namensraum aus dem Hauptsitz, den Niederlassungen, der DMZ und von ausserhalb. Reduktion von Redundanz durch aufsplitten in include-Files. Diese nach Möglichkeit automatisch aus Templates erzeugen. Skripte zur Administration bzw. Automatisierung.

Manuelles Traffic Accounting durch Auswertung von Checkpoint Firewall One Logfiles mittels eines selbstgeschriebenen Perlskripts, da Differenzen zwischen auf dem Gateway gemessenen und vom Uplink in Rechnung gestellten Traffics bestehen.

Entwurf und Umsetzung einer redundanten NTP-Server Infrastruktur im Firmennetz. Gelöst mittels 2-Tier Server Peering, sowie Broadcastclients für die Workstations.

Installation eines HTTP Proxy und Tuning bzw. Anpassung an lokale Begebenheiten hinsichtlich des Surfverhaltens der Mitarbeiter. Desweiteren soll regelmäßig eine automatische Auswertung der Logfiles erfolgen, um den Erfolg der Maßnahmen zu überprüfen.