Aufbauend auf meiner vorherigen Arbeit für diesen Kunden (Projekt "mSC Next Gen - Weiterentwicklung einer cloudbasierten Wartungs-VPN-Lösung für Industriekunden") habe ich VPN-Client-spezifische Anpassungen an der von mir entwickelten AWS-cloudbasierten Wartungs-VPN-Lösung vorgenommen.

Aufbauend auf meiner vorherigen Arbeit für diesen Kunden (Projekt "mSC Next Gen - Neuentwicklung einer cloudbasierten Wartungs-VPN-Lösung für Industriekunden") habe ich die AWS-cloudbasierte Wartungs-VPN-Lösung weiter in Richtung Produktionseinsatz entwickelt.

Schwerpunkte waren dieses Mal:

• Konzeption und Entwicklung einer CA-Instance (X.509-PKI-Hierarchie), u.a. für die Erstellung von VPN-Client-Credentials. Integration der CA-Instance in das neue Wartungs-VPN-System zwecks vollautomatischem Deployment der notwendigen Credentials auf den multiregional verteilten VPN-Gateway-Instances
• Stärkere Parallelisierung der Steuerungs-Software für die Wartungs-VPN-Engine mittels Verteilung der Aufgaben auf mehrere Linux-Prozesse, um die multiplen CPUs der AWS-EC2-Instances besser auszulasten
• Einrichtung von VPC-Endpoints für alle relevanten AWS-Services, und Anpassung der Steuerungs-Software, wo notwendig, um eine höhere Widerstandsfähigkeit des Systems gegen Störungen der Internetanbindung der jeweiligen AWS-Availability-Zone zu erreichen
• Experimentelle Ertüchtigung vorhandener VPN-Clients, die für das bisherige (Legacy-)Cloud-System vorgesehen waren, für die neue Cloud-Lösung, und Unterstützung der Geräteentwickler bei der Integration der notwendigen Änderungen in zukünftige Firmware-Releases
• Einbindung des AWS-Global-Accelerator-Service (latenzgesteuerter IPv4-Anycast) in das neue, multiregionale Wartungs-VPN-System, inkl. automatischem VPN-Client-Failover auf andere Gateway-Instances bzw. AWS-Regionen im Falle von Störungen
• Konzeption, Entwicklung und Integration eines VPN-Payload-Packet-Capture-Mechanismus für Debugging- und Auditing-Zwecke, mit automatischer Zurverfügungstellung der aufgezeichneten Daten (PCAP-Files) auf AWS-S3
• Ausarbeitung verschiedener möglicher Webserver- und Datenbank-Konzepte für das Web-GUI des neuen Systems, und Abwägung der jeweiligen Vor- und Nachteile
• Konzeption, Entwicklung und Einrichtung einer Logging- und Monitoring-Lösung auf Basis von AWS-CloudWatch, inkl. zentraler Log-Aggregation und Dashboard für die Gesamtstatus-Übersicht der multiregional verteilten Systemkomponenten
• Zahlreiche weitere Software- und Systemverbesserungen
  

Aufgabe war, eine neue, hochverfügbare und, mittels Load-Balancing, skalierbare FTP-Server-Infrastruktur zu konzipieren, zu erstellen und in den Produktionsbetrieb zu überführen, die Daten von dezentralen Ereigniszählern (für Fahrgäste, Shop-Besucher, Passanten etc.) entgegennehmen und Auswertungen zur Verfügung stellen kann.

• Anbindung von CentOS-Hosts, mittels SSSD, an eine Active-Directory-Infrastruktur mit mehreren Sub-Domains, inkl. AD-GPO-basierter Zugangssteuerung, "sudo"-Rechten gemäß AD-Gruppenzugehörigkeit und SSH-Pubkey-Lookup via AD
• Erstellung eines hochverfügbaren und, mittels Load-Balancing, skalierbaren CentOS-VM-Clusters mit Galera/MariaDB für die FTP-User-Datenbank
• Erstellung eines hochverfügbaren und, mittels Load-Balancing, skalierbaren CentOS-VM-Clusters mit ProFTPD für alle FTP-Varianten:
  • FTP Active & Passive
  • FTPS Active & Passive
  • SFTP

• ProFTPD-Home-Directories in gemeinsamem NFS-Storage
• Load-Balancing realisiert mittels eines F5 BIG IP, konfiguriert seitens des Hosting-Providers gemäß meiner Vorgaben
• Kein SNAT im F5 BIG IP für ankommende FTP-Verbindungen, kombiniert mit ProFTPD-Host-seitigem Policy-Based-Routing, für Client-IP-Adressen in den Logfiles trotz Load-Balancing
• FTP-User-Datenbank-Verwaltung über Apache-HTTPD mit AD-Authentisierung
• Automatisierung aller Kunden-seitigen Komponenten mit Puppet/Hiera via GitLab-Repository
• Erfolgreiche Überführung der neuen Infrastruktur in den Produktionsbetrieb, und damit Ablösung des Alt-Systems

Ausgehend von den Fähigkeiten und Eigenschaften eines beim Kunden vorhandenen AWS-Cloud-basierten Wartungs-VPN-Systems für Industriekunden habe ich von Grund auf eine neue Lösung konzipiert, welche

• die Limitierungen des Altsystems beseitigt (Performance, IP-Adressen-Konflikte etc.)
• OSI-Layer-3-protokollagnostisch ist (Datentransport auf Ethernet-Frame-Ebene)
• auf einer skalierbaren, global verteilten AWS-Cloud-Infrastruktur basiert (niedrige Latenzzeiten für die Anwender)
• durch Redundanz und automatisches DNS-Rerouting in hohem Maße ausfallsicher und selbstheilend ist

Neben der Konzepterstellung habe ich auch die komplette Software-Entwicklung für alle Cloud-Komponenten (zentrale Steuerungs- und verteilte Gateway-Hosts) sowie das Deployment des neuen Systems durchgeführt.

Die Steuerungs-Software auf den Hosts ist in Python 3 geschrieben (multi-threaded Daemons), diverse weitere Helper-Scripts und CLI-Tools in Python 3 und Bash. Als SQL-Datenbank für die zentrale Steuerungskomponente kommt AWS RDS (Aurora Serverless mit PostgreSQL-API) zum Einsatz. Die Kommunikation zwischen den multiregional verteilten Hosts des Systems erfolgt über AWS SQS-Message-Queues.

Zunächst erfolgten diese Arbeiten in einer von mir erstellten multiregionalen Proof-of-Concept-Entwicklungsumgebung auf AWS. Im zweiten Projektabschitt habe ich diese Lösung dann zur Produktionsreife weiterentwickelt und dem Kunden zum späteren Einsatz übergeben.

Nach acht Jahren beim selben Hosting-Provider Umzug der eigenen Server-Infrastruktur auf neue Hardware und in eine modernere Hosting-Umgebung.

• Einrichtung der Host-Ebene (CentOS/SELinux plus VMware) für die FreeBSD-VMs, welche die eigentlichen Internet-Services enthalten. Zusätzlich Iptables für Firewalling und NAT, OpenVPN für das Firmen-VPN, DNS-Resolver (Bind) mit lokalen Zonen, Backups, Monitoring.
• Umzug und Wiederinbetriebnahme der FreeBSD-VMs.
• Erweiterung aller Komponenten auf volle IPv6-Internet-Anbindung (Dual-Stack): Iptables, VMs, DNS, Firmen-VPN. Ebenfalls Umstellung aller VPN-Clients (PCs, Tablets, Mobiltelefone) auf volle IPv6-Konnektivität über das VPN.
• Office-Netzwerk zusätzlich für Fernzugriff per IPsec-VPN an Server angebunden.
• Umzug aller Domains zu einem Registrar mit DNSSEC- und Hidden-Master- Unterstützung.
• Deployment von DNSSEC für alle auf dem eigenen Server verwalteten DNS-Zonen.
• Vollständige Automatisierung aller DNSSEC-Wartungsaufgaben, inkl. ZSK-Rollover, auch für Zonen mit dynamischen Komponenten (eigener DynDNS-Service).
• Einrichtung von DANE für alle aus dem Internet erreichbaren TLS-Services (Hinterlegung von X.509-Cert-Trust-Anchors in DNSSEC-gesicherten DNS-Zonen).

Aufgabe war die Konzeption, Entwicklung und Implementierung eines autarken Testsystems für ein Anwendungs- und Netzkonnektor-Gerät, das für die Einführung der neuen elektronischen Gesundheitskarte im Rahmen des entsprechenden Gematik-Projekts entwickelt wurde, und dessen Tauglichkeit für das Zulassungsverfahren der Gematik auf dieses Weise laufend überprüft werden konnte. Dabei sollte die Emulation der Netzwerkumgebung aus Sicht des zu testenden Gerätes so vollständig und realitätsnah sein, wie für eine ausreichende Authentizität der Testresultate notwendig.

• Einrichtung eines Mini-PC (Intel NUC) unter Debian-Linux als Testsystem-Plattform, mit vorgeschaltetem VLAN-Ethernet-Switch als Interface zum Testobjekt und ins Intranet.
• Der NTP-Service in der emulierten Netzwerkumgebung, welcher von der aktuellen Uhrzeit abweichende Zeiten liefern können mußte, wurde in einer VirtualBox-VM realisiert. Alle anderen der zahlreichen Services im Gematik-Konzept wurden in separaten Docker-Containern erbracht, verteilt auf mehrere Bridges. Die eHealth-Test-Engine für die Steuerung der Testfallabläufe war ebenfalls in einem Docker-Container untergebracht.
• Konstruktion eines kompletten DNSSEC-signierten DNS-Baums (Root- bis Leave-Zones), gemäß Gematik-Netzwerktopologie auf mehrere DNS-Server (Docker-Container) verteilt, inkl. DNS-SD und präparierter Schlechtfall-Zonen für Testfälle.
• Deployment des Testsystems mittels Ansible.
• Deployment der VirtualBox-VM mit Vagrant.
• Deployment und Verwaltung der Docker-Umgebung mit Git und Docker Compose.

Hier eine Auflistung der Produkte und Aufgaben, mit denen ich befaßt war:

• Puppet & Red Hat Satellite: Automatisierung des Deployments und zentrale Konfiguration von Linux-Servern
• Icinga2: Deployment und Management einer verteilten Master-Satellite-Konfiguration (Puppet)
• Check_MK: Deployment und Management der Agents (Puppet)
• OpenVAS: Deployment und Management einer verteilten Manager-/Scanner-/Repo-Konfiguration (Puppet)
• Härtungsrichtlinien: Umsetzung mittels Puppet
• SELinux: Härtung vorhandener und neuer RHEL-Server
• Firewall: iptables inkl. Management via Puppet
• VMware ESXi inkl. vSphere: Verwaltung der vorhandenen Systeme

Hier eine Auflistung der Produkte und Aufgaben, mit denen ich befaßt war:

• Puppet & Foreman: Automatisierung des Deployments und zentrale Konfiguration von Linux-Servern
• OCS Inventory NG: Aufbau einer Inventarisierungslösung für den vorhandenen Server-Pool
• Nagios & NagiosQL: Weiterentwicklung
• Icinga2 inkl. Icinga Director: Konzeption, Realisierung und Konfiguration
• OpenLDAP: Konzeption, Realisierung und Konfiguration einer redundanten LDAP-Server- Infrastruktur für Host-, User-, Group- und Services-Lookups
• Zentraler Syslog-Server: Konzeption, Realisierung und Konfiguration
• RPM: Einrichtung von Repository-Mirrors (inkl. Download-Server) im Intranet für RHEL, CentOS und diverse andere Repos; Bau eigener RPMs
• SELinux: Härtung vorhandener und neuer RHEL/CentOS-Server
• Intrusion Detection: AIDE
• Firewall: iptables & fail2ban
• Umstellung diverser Services auf TLS
• Realisierung neuer Services grundsätzlich mit TLS und Authentisierung
• Vorbereitung und Durchführung der Migration bisheriger SLES-Server auf RHEL
• Benutzerverwaltung: Winbind-Anbindung an Active Directory, Umstellung auf Shared-NFS-Home-Directories, SSH-SSO mittels Authentication-Forwarding
• KVM/QEMU: Homogenisierung und Weiterentwicklung der Server-Virtualisierungsumgebung
• VMware ESXi inkl. vSphere: Aufbau neuer VM-Landschaft (RHEL) und Migration vorhandener physischer Server für SAP NetWeaver & HANA

• Im Rocket-Spin-Off Lamudi habe ich neben diversen anderen Aufgaben in der Systemadministration vorrangig Verbesserungen am Server-Monitoring (Icinga/Nagios) im Zusammenspiel mit Puppet vorgenommen, um das lokale Systemadministrations-Team von diesen Spezialaufgaben zu entlasten.

Mitentwicklung eines Thin-Client-Geräts ähnlich Googles Chromebook, jedoch für Geschäftskunden, basierend auf Open-Source-Komponenten, zur Verwendung mit Hosted-Office-Suites wie Microsoft Sharepoint, TeamLab Office etc. Mitwirkung auch bei Aufbau und Betrieb der Hosting- und Netzwerk-Komponenten im Rechenzentrum. Managementmethode Scrum. Diverse Pilottests. Zuletzt Spin-Off in Fa. Lite Elements GmbH.

• Thin-Client (Notebook/virtuelle Box)
  • Ubuntu 12.04 LTS
  • Fluxbox (Window-Manager)
  • Firefox als GUI
  • Git & Gitflow
  • Verwendung zentraler Kollaborations-Dienste: Zunächst Redmine plus Agile-Management-Erweiterungen, dann Atlassian JIRA und Bitbucket, plus Jenkins
  • Konzeption und Erstellung eines eigenen Network-Managers (Ethernet, WiFi und 3G) als State-Machine für die exakte Abbildung der gewünschten Verhaltensweise
  • Integration verschiedener VPN-Varianten: IPsec, OpenVPN, NCP
  • Realisierung verschiedener Smartcard- und USB-Crypto-Token- Lösungen (PKCS#11) für VPN-Credentials
  • Erstellung einer eigenen X.509-CA-Instance und -Hierarchie u.a. für die VPN-Credentials, inkl. Intermediate-Certificates, unter Verwendung von EJBCA
  • Konzeption und Einführung einer Software-Architektur, die generische Code-Teile mit environment-spezifischem Code kombiniert, um auf wartbare Weise für mehrere verschiedene VPN-Varianten und Office-Suit-Backends parallel entwickeln zu können
  • Mitwirkung an diverser weiterer, vom Team selbst entwickelter Software in Python, JavaScript, Bash usw.
• Rechenzentrum
  • Konzeption, Erstellung und Betrieb des hochverfügbaren Internet/VPN-Gateways (DMZ-Konfiguration)
  • pfSense-Appliances in Failover-Konfiguration, mit redundanter Auslegung aller produktionsrelevanter Netzwerk- Anschlüsse und -Leitungen (LACP)
  • Diverse ebenfalls auf den Appliances betriebene zentrale Services: OpenVPN, IPsec, Squid-Web-Proxy, DNS, NTP, Load-Balancer (HAProxy) für alle redundanten gehosteten Office-Software-Komponenten

Konzeption und Erstellung einer überregional verteilten, hochverfügbaren App-Service-Plattform, bei der mit Hilfe von Echtzeit-Datenbank-Replikation nicht nur statische Daten in den jeweiligen Regionen vorgehalten werden (Reverse-Proxy-Caching, aka CDN), sondern zwecks Minimierung der Latency auch die App-Ausführung regional stattfindet. Verbindung der Server-Pools in den einzelnen Regionen über VPNs zu einem Super-Intranet. Routing der Client-Zugriffe mittels Geo-Location-Aware DNS. Patentierung als Miterfinder.

• MySQL Cluster (Oracle) mit NDB-Storage-Engine
• MongoDB mit Replica-Sets/Sharding
• Python
• Bash
• Git
• IPsec & OpenVPN
• LVM
• App-Boxes (Ubuntu 11.10) mit Apache/Nginx & Varnish & PHP & APC
• PHPMyAdmin-Boxes für Customer-Self-Service der MySQL-DBs
• Amazon Web Services (AWS) in verschiedenen Regionen der Welt: EC2, VPC, S3, ELB, ElastiCache; Kostenkalkulation und –Planung
• Unterstützung bei Patentschrift- und Präsentationserstellung, Stellenausschreibungen und Bewerber-Screening sowie Spin-Off-Vorbereitungen

Konzeption und Erstellung eines Home-Router-Prototypen mit lokalem Web-Seiten- und Werbe-Banner-Caching zwecks Geschwindigkeitssteigerung an langsamen DSL-Leitungen, inkl. Prefetch häufig besuchter Seiten. Ferner transparente Cloud-Upload-Beschleunigung durch DNS-Redirect und Caching auf dem Home-Router und asynchronem Upload von dort im Hintergrund.

• OpenWRT
• BusyBox
• Polipo & Squid (Web-Proxy-Server)
• Firebug
• WebDAV
• Subversion
• Selbstgeschriebene Software-Komponenten (Shell-Script) in OpenWRTs Konfigurations-Framework (uci/LuCI) integriert
• Patches und Erweiterungen via OpenWRT-SDK

In der Rolle des Senior System Administrators trug ich die fachliche Verantwortung für die Hosting-Aspekte des Projekts. Hier eine Auflistung der Produkte und Services, die ich im Rahmen meiner Arbeit verwendet habe:

• Linux: Debian (Lenny & Squeeze), Red Hat/CentOS
• Apache + PHP mit APC
• NGINX + PHP (via FastCGI) mit APC
• Content Delivery Networks (CDNs): Level3 (global) und Ngenix (Rußland)
• Varnish
• Memcached
• DNS
• Netfilter Firewall/NAT-Setup (iptables)
• MySQL/MariaDB (u.a. Replikation, Tuning)
• SSH, Cluster-SSH
• Rsync (Backups, Server-Synchronisation)
• Puppet
• Nagios
• Munin
• Logstash
• Bash & Perl (z.B. Backup- und Monitoring-Scripts)
• Magento (PHP-Web-Shop-Software)
• Managed Load-Balancer (F5 BigIP, HA-Konfiguration)
• Managed NFS-Server (NetApp)
• OpenVPN: U.a. um am Load-Balancer vorbei direkten Zugriff (Admin, Monitoring) auf alle Interfaces zu haben, inkl. iLO
• VMware: Entwicklung und Deployment eines Setups, mit dessen Hilfe man vermittels eines zentralen OpenVPN-Servers einen VNC-Client mit einer VMware-Remote-Desktop-Box (Ubuntu-Linux) verbinden und somit Messungen und Debugging von innerhalb des Ziellandes des jeweiligen Web-Shops durchführen kann, ohne dafür geschultes Personal vor Ort zu benötigen
• OpenVZ: Virtuelle Linux-Server für Entwickler und sonstigen internen Bedarf
• JIRA & Confluence

Neben den Setup-Vorbereitungen und dem generellen Debugging und Troubleshooting in der Server- und Netzwerkumgebung (u.a. auch Erkennen und Beheben von IP-Adressenkonflikten bei den in einem Rechenzentrum gemieteten und gehosteten Servern), um einen pünktlichen Web-Shop-Launch zu gewährleisten, war ein besonders hervorzuhebender Teil meiner Arbeit die Migration der auf Magento zugeschnittenen Apache-Setups nach NGINX, zwecks Performance-Optimierung, d.h., effizienterer Nutzung der vorhandenen Server-Resourcen.

Auf Grund der vereinbarten Vertraulichkeit hier nur die grundsätzliche Art der Tätigkeit:

• Recherche und Beratung der Geschäftsleitung hinsichtlich einer in Erwägung gezogenen Erweiterung des Produktportfolios

• Aufbau einer neuen Server-Infrastruktur für die Verwendung im Kontext von Consulting-Projekten
• FreeBSD 8 als Applikationsplattform, Kapselung der verschiedenen Services in diversen Jails (Security), Aufteilung in Master- und Produktionssysteme (Wartbarkeit)
• VMware unter Ubuntu-Linux als Virtualisierungsplattform für die FreeBSD-Applikations-Server. Dadurch Klonierbarkeit und cloud-artige Migrierbarkeit der kompletten (verschlüsselten) virtuellen Applikations- Server auf andere (Miet-)Hardware und in andere Rechenzentren
• Unter FreeBSD: SMTP inkl. DKIM (Exim), POP3/IMAP4 (Cyrus IMAPD), NNTP (INN), HTTP (Apache), DNS (Bind), Radius (FreeRADIUS), SSH (OpenSSH), Backups (rsync) (alles inkl. SSL/TLS, wo möglich)
• Unter Linux: Firewall/NAT (iptables), VPN (OpenVPN) NTP, VMware, Backups (rsync)

Selbständig in eigener Firma [GmbH;Name auf Anfrage], zunächst mit den Schwerpunkten Managed Internet-Server-Hosting für Geschäftskunden und Consulting:

• Entwicklung des FreeBSD-UNIX-basierten, zellular skalierbaren Hosting-Systems für virtuelle Server (Jails) mit zentralem Applikations-Software-Management, Multi-Level-Copy-On-Demand-Filesystem und Resource-Usage- Accounting (Kernel-, Applikations- und MySQL-Datenbank- Programmierung)
• Hosting-Server-Bau, -Installation und -Betrieb im Rechenzentrum
• Linux-Server und -Desktop-PCs im Intranet/VPN
• Systemadministration/Systembetreuung
• Zentrale Maintenance/Wartung von mehr als 300 server-orientierten Open-Source-Anwendungspaketen, inkl. Security-Patches
• Infrastruktur-Monitoring (Netsaint/Nagios) inkl. autom. SMS-Benachrichtigung
• Firewall-Konfiguration
• Support
• Billing (Kreditkartenabrechnung)
• Marketing
• Vertrieb
• Consulting-/Beratungs-Dienstleistungen vorwiegend für eigene Hosting-Kunden
• Seit 2010 ausschließlich Consulting-/Beratungs- Dienstleistungen

Auf Grund der vereinbarten Vertraulichkeit hier nur eine neutrale Auflistung der wichtigsten Tätigkeitsfelder, mit denen ich befaßt war:

• Linux, FreeBSD, Solaris (inkl. ZFS), VMware
• Deployment von Betriebssystemen auf USB-Sticks (boot-fähig)
• Perl, Python, Mako, XML, Subversion, Mercurial
• Intel-CPU-basierte Server-Hardware, Appliances
• NetApp FAS, EMC Celerra & Centera, Sun Storage