KI-/LLM-Entwickler bei Toloka ? einem in Amsterdam ansässigen Anbieter von Experten-Human-Data und Evaluierung für führende KI-Labore und Unternehmen ? mit praktischer Arbeit über den gesamten LLM-Lebenszyklus: Modell-Evaluierung, RLHF-/DPO-Präferenzdaten, Supervised-Fine-TuningDemonstrationen, Agent-Trajektorien-Analyse und großvolumige Datenannotation. Mitwirkung an Evaluierungsprogrammen für Unternehmenskunden, einschließlich der Evaluierung und Analyse von Evaluierungsprotokollen für Microsoft Copilot

• LLM-Evaluierung & Benchmarking: Konzeption und Betrieb von Evaluierungs-Pipelines, die Modellausgaben hinsichtlich Korrektheit, Faktentreue und Groundedness, Sicherheit und Nützlichkeit bewerten ? mittels Golden Benchmarks, rubrikbasierter menschlicher Bewertung, Sideby-Side-Win-Rate-Vergleichen und LLM-as-a-judge; Reporting von pass@k, Inter-AnnotatorAgreement und Regressionsmetriken an die Modellteams.
• Evaluierung von Microsoft Copilot: Bewertung von Ausgaben und Analyse von wöchentlich Hunderten Evaluierungsprotokollen und Antwort-Trajektorien für Microsoft Copilot (Toloka-Kunde); Identifikation von Fehlermustern, Halluzinationen und Qualitätsregressionen und deren Überführung in umsetzbares Feedback und präzisere Bewertungsrubriken.
• Agent-Trajektorien-Analyse: Analyse agentischer KI-Trajektorien ? mehrstufiges Reasoning, ToolUse und Function-Calling sowie Computer-Use-Workflows ? in virtuellen Umgebungen und RLGyms (inkl. MCP-Replikaten); schrittweise Korrektheitsbewertung und Lokalisierung von Stellen, an denen Agenten abweichen, in Schleifen geraten oder Tools falsch nutzen.
• RLHF- / DPO- & Fine-Tuning-Daten: Erstellung und Kuratierung von Präferenzdaten für RLHF und DPO, SFT-Demonstrationen und Instruction-Tuning-Datensätzen gemeinsam mit Fachexperten, mit strikter Qualitätskontrolle und Inter-Annotator-Agreement für ein sauberes Trainingssignal.
• Datenannotation in großem Maßstab: Aufbau und Steuerung von Human-in-the-LoopAnnotationsworkflows über Text-, Code- und multimodale Daten ? mit Golden Sets, automatisierten Prüfungen und einem mehrstufigen Qualitätssystem zur Skalierung hochwertiger Annotation bei niedrigen Fehlerquoten.
• Red Teaming & Sicherheit: Durchführung von Safety-Red-Teaming für Prompt-InjectionSchwachstellen, Jailbreaks und Policy-Compliance; Dokumentation adversarialer Fälle und Rückführung in die Evaluierungs-Suites.
• Tooling & Analyse: Automatisierung von Scoring, Metrik-Aggregation und Modellqualitäts-Reporting in Python (pandas, NumPy, Jupyter) ? mit Hugging Face, OpenAI- / Azure-OpenAI- und AnthropicAPIs sowie Experiment-Tracking mit Weights & Biases / MLflow

Data-Engineering-Rolle auf der Energiemarktdaten-Plattform von EnBW: Aufbau und Betrieb der ETL-Pipelines, die große Volumina an Strom- und Gasmarktdaten ? Preise, Forward Curves, Trades und Referenzdaten von Börsen wie EPEX SPOT und Nord Pool ? aufnehmen, transformieren und an nachgelagerte Trading-, Analyse- und Reporting-Teams bereitstellen. Die Arbeit umfasst einen .NETbasierten Extraktions-Stack und einen parallelen Python-/Prefect-Track, die beide kuratierte Daten in Snowflake landen

• .NET-ETL-Jobs: Konzeption und Entwicklung geplanter .NET-Worker-Service- und Console-Jobs (C#, .NET 8), die Energiemarktdaten aus 20+ externen Anbietern, Börsen und internen Systemen extrahieren ? mit Millionen von Zeilen pro Tag ? und anschließend bereinigen, normalisieren und in Snowflake laden; Retry / Back-off, Idempotenz und Watermarking für sichere Reruns und korrekten Abgleich verspätet eintreffender Daten
• Python- & Prefect-Extraktionen: Aufbau eines zweiten Extraktions-Tracks in Python mit Jupyter Notebooks für explorative und quellenspezifische Feeds und anschließende Produktivsetzung dieser Flows mit Prefect für Scheduling, Retries und Observability ? ein schneller Weg für Analysten vom Notebook-Prototyp zur überwachten, wiederholbaren Pipeline
• Snowflake-Datenmodellierung: Modellierung des Warehouse in Snowflake mit geschichteten Staging-, Curated- und Consumption-Schemata; Optimierung von Ladevorgängen, Clustering Keys und SQL-Transformationen hinsichtlich Performance und Kosten sowie Bereitstellung sauberer, gut dokumentierter Datensätze für Trading- und Reporting-Abnehmer
• Service-Fabric-Betrieb: Deployment und Betrieb der .NET-Extraktionsdienste auf Azure Service Fabric; Nutzung des zuverlässigen Scheduling- und Health-Modells, um langlaufende und zeitkritische Jobs clusterweit ausfallsicher und selbstheilend zu halten
• Monitoring mit Datadog: Instrumentierung jeder Pipeline mit Datadog-Metriken, -Logs und - Dashboards sowie Konfiguration von Alerts auf Datenaktualitäts-SLAs (Ziel 99,5 %+ pünktliche Lieferung), Job-Fehler und Latenz, damit Probleme erkannt und behoben werden, bevor nachgelagerte Abnehmer betroffen sind
• Datenqualität & Zuverlässigkeit: Implementierung von Validierungs-, Abgleichs- und Vollständigkeitsprüfungen über alle Feeds sowie Dokumentation von Data Lineage und On-CallRunbooks, damit das Team den Zahlen vertrauen und schnell auf Incidents reagieren kann.

Tätigkeit in der Digital-Product-Unit von BASF an internen KI-gestützten Tools, die F&E- und OperationsTeams das schnellere Abfragen technischer Wissensdatenbanken ermöglichten. Aufgeteilt zwischen Backend-NET-Microservices, der KI-/LLM-Integrationsschicht und einem Blazor-/Angular-Frontend, das täglich von Hunderten internen Nutzern verwendet wurde

Senior-Entwickler für Energiehandels- und Marktdaten-Plattformen bei einem der größten Energieversorger Europas. Arbeit an mandantenfähiger SaaS für interne Strom- und Gas-Handelstische: Echtzeit-Marktdaten-Ingestion, ETL, Risiko und Reporting sowie ein wachsendes Set KI-gestützter Funktionen im Kontext von Finanzmärkten / Commodity-Trading. Cloud-/Azure-Ansprechpartner des Teams und Leitung mehrerer Modernisierungsinitiativen

• Plattform & Architektur: Konzeption und Betreuung des ASP.NET-Core-6-Backends der Marktdaten-Plattform mit mandantenfähigen Patterns, Domain-Driven Design und einem Linkerd-Service-Mesh; Einführung klarer Bounded Contexts, damit Trading-, Risiko- und Reporting-Teams unabhängig voneinander arbeiten konnten
• KI- / LLM-Funktionen: Entwicklung und Deployment von Generative-AI-Funktionen mit der OpenAI- / GPT-4-API und Azure Cognitive Services ? z. B. eine natürlichsprachliche Schnittstelle, über die Händler Fragen zu historischen Kurven stellen und zusammengefasste, quellenbelegte Antworten erhalten; Produktivsetzung des ML-Workflows mit MLflow, Kubeflow und Azure Machine Learning
• ETL & Datenintegration: Implementierung durchsatzstarker ETL-Pipelines, die Marktdaten aus internen und externen Quellen nach SQL Server, Oracle und PostgreSQL laden; StreamingOrchestrierung über Kafka, RabbitMQ, MQTT und Azure Service Bus, durchgängig mit Telemetrie und strukturiertem Logging
• Cloud & IaC: Provisionierung von Azure- und AWS-Ressourcen mit Terraform und Ansible, Verwaltung von AKS- / EKS-Clustern über Helm-Charts und Optimierung der Dienste hinsichtlich Kosten und Resilienz; Garbage-Collection-Tuning und Optimierung asynchroner Hot Paths, wo relevant
• CI/CD-Migrationen: Leitung der Migration von TeamCity-Pipelines zu Azure Pipelines und der Umstellung von Bitbucket-Repositories auf Azure DevOps Git, inkl. Neuschreiben der Build-Skripte und Schulung der zuständigen Teams; dies verkürzte die Release-Zyklen um rund 40 % und beseitigte eine langjährige Quelle instabiler Pipelines
• Frontend: Verantwortung für das Angular-/TypeScript-Frontend der Marktdaten-App: wiederverwendbare Angular-Komponenten, Angular-Material-Layouts und SignalR-gestützte Echtzeit-Grids; zudem WPF-, Blazor- und Razor-Pages-Tooling für den internen Back-Office-Einsatz sowie frühes Wireframing mit Stakeholdern in Balsamiq
• Qualität & Sicherheit: Sicherung der Qualität mit xUnit, SonarQube, Code Reviews und klaren Coding-Standards; Implementierung von JWT- und OpenID-Connect-Authentifizierungsflows, Azure Key Vault für Secrets sowie diszipliniertem Dependency-Management mit NuGet und npm / Yarn

Senior-Backend-/-NET-Entwickler für die E-Commerce-, Reparaturservice- und CRMIntegrationsplattform, die das After-Sales-Geschäft von Synchron betreibt. Arbeit über .NET-CoreMicroservices, eine Angular-Oberfläche, Java-/Spring-Boot-Integrationsdienste und Azure-/AWSInfrastruktur

• Microservices & APIs: Konzeption und Auslieferung dockerisierter .NET-Core-Microservices auf Azure App Services und AKS mit Domain-Driven Design und Event Sourcing; performante Web-APIs in C# und Node.js/Express sowie gRPC-Dienste, mit API-Versionierung, Load Balancing, Circuit Breakern und dokumentierter OpenAPI-Spezifikation
• Uhren-Reparaturservice-Produkt: Begleitung des Reparaturservice-Produkts von der Konzeption bis zur Produktion ? Modellierung der Domäne (Annahme, Diagnose, Teile, Versand), Aufbau des Angular-Frontends mit NgRx-State, Integration von Microsoft Dynamics 365 als CRM und Orchestrierung langlaufender Workflows über Azure Service Bus und AWS SQS
• KI-Funktionen: Prototyping von Generative-AI-Helfern (Azure OpenAI / ChatGPT-API) für das Verfassen und Triagieren von Kundennachrichten; klassische ML- und Reinforcement-LearningExperimente mit PyTorch und Pandas zur Schätzung von Reparaturzeiten
• DevOps & IaC: Verantwortung für CI/CD über Azure DevOps, GitLab, TeamCity und Octopus Deploy; Erstellung von Terraform-Modulen zur Provisionierung von Azure- und AWS-Ressourcen sowie Kustomize-Manifeste für Kubernetes-Deployments
• Qualität, Sicherheit, Performance: Stabilität durch NUnit-/xUnit-Unittests, Integrations- und Lasttests, BDD-Specs sowie Roslyn-/ReSharper-Analyse; Absicherung der Plattform mit JWT, OAuth 2.0, SAML und Azure-Key-Vault-gestützten Managed Identities; Umsetzung von Data-RetentionRichtlinien und HA-Strategien
• Frontend & PWA: Auslieferung responsiver Single-Page-Apps in Angular und React mit Material Design und Tailwind CSS, einschließlich einer PWA mit Offline-Unterstützung über Service Worker für Techniker im Ladengeschäft

Full-Stack-Entwickler für eine Back-Office-Plattform im Kraftstoff-/Convenience-Einzelhandel, die mobile Handheld-Scanner und zentrale Back-Office-Mitarbeiter bediente. Kombination aus .NET-CoreServicearbeit, Angular- und React-Frontends sowie einer wachsenden Zahl von ML-Anwendungsfällen

• Full-Stack-Umsetzung: Entwicklung von Features end-to-end auf ASP.NET Core und .NET 8 mit CQRS und IoC im Backend sowie Angular (mit wiederverwendbaren Komponentenbibliotheken) und React/TypeScript im Frontend; eine typische Woche bedeutete, ein Feature vom API-Vertrag bis zur ausgereiften, von Filialmitarbeitern genutzten Oberfläche auszuliefern
• Handheld-Geräte-Unterstützung: Entwicklung und Integration von Software für mobile HandheldScanner ? inkl. Kommunikationsprotokoll, Offline-Caching, Konfliktauflösung bei der Wiederverbindung und Integration von Microsoft Dynamics 365 für Bestands- und Verkaufsdaten
• ML- / Datenarbeit: Training und Deployment von ML-Modellen über Azure Machine Learning, AWS SageMaker, Kubeflow und Scikit-learn; Experimente mit CNNs zur Etiketten-/Beleg-Erkennung sowie Python / Pandas für Datenanalyse und Data-Mining
• Cloud-native Betrieb: Betrieb der Dienste auf AKS und AWS EKS mit Azure Resource Manager (ARM), Kustomize und AWS CLI; Verwaltung von Azure Cosmos DB und Azure SQL Database, AWS RDS und S3, mit Caching-Strategien und Event Sourcing zur Beschleunigung der Hot Paths
• Observability & Resilienz: Instrumentierung der Plattform mit Azure Monitor, Azure Logging und Application Insights; Konzeption von Load-Balancing-, Disaster-Recovery- und Secret-ManagementPraktiken rund um Azure Key Vault
• Qualität & Prozess: Agile / Scrum / Kanban über Azure DevOps und Jira; Qualitätssicherung mit Moq-basierten Unittests, NuGet-gestütztem Dependency-Management und diszipliniertem Tracking technischer Schulden

Tätigkeit bei BNP Paribas Cardif ? dem Versicherungsarm einer der größten Bankengruppen Europas ? an einer internen ASP.NET-MVC-Core-Plattform, die von den Banken- und Versicherungsniederlassungen in mehreren Ländern genutzt wurde. Arbeit in einem regulierten Finanzdienstleistungsumfeld mit sensiblen Kunden- und Vertragsdaten sowie Verantwortung für Analyse, Entwicklung und laufenden Support gemeinsam mit einem kleinen verteilten Team

• Anwendungsverantwortung: Analyse der Anforderungen, Umsetzung von Features und Support der internen Anwendung im Produktivbetrieb; versionierte Releases für die verschiedenen Banken- und Versicherungsniederlassungen sowie länderspezifische Konfiguration und regulatorische Varianten
• Identität, Zugriff & Compliance: Integration von Active Directory für Authentifizierung und rollenbasierte Berechtigungsverwaltung sowie sicherer Umgang mit sensiblen Finanz- und Vertragsdaten im Einklang mit der DSGVO und den Datenschutz- und Audit-Anforderungen der Bank
• Suche & Reporting: Aufbau Elasticsearch-gestützter Such- und SSRS-Reporting-Funktionen auf Basis von SQL Server / Entity Framework für die Versicherungs- und Bankenniederlassungen
• Legacy-Modernisierung: Migration der Plattform von einem älteren Legacy-Stack auf ASP.NET MVC Core, schrittweise geplant, sodass Geschäftsbetrieb und regulierte Prozesse durchgehend ungestört blieben
• Kundenbeziehung: förmliches Zufriedenheitsschreiben (Kundenreferenz) zum Abschluss des Engagements erhalten

Full-Stack-Entwickler in einem kleinen Team, das Vertriebs- und CMS-Produkte für Kunden aus den Branchen Automotive und Entertainment entwickelte

• Automotive-Vertriebs-API: Konzeption und Umsetzung einer vertriebsorientierten Web-API für Jaguar- und Land-Rover-Projekte auf ASP.NET und C#.NET, gestützt auf SQL Server mit SSRSReporting und Elasticsearch für schnelle Suchen.
• Internes CMS: Entwicklung einer Angular-Progressive-Web-App für ein internes ContentManagement-System, mit Fokus auf offline-fähige redaktionelle Workflows und wiederverwendbare Komponenten
• Kino-Plattform: Mitarbeit an der Web- und Mobile-Anwendung für die Megaplex-Kinos (Spielzeiten, Buchungen, Content-Management)
• Observability: Einrichtung von Azure Logging und Application Insights, um Probleme im Produktivbetrieb schnell nachvollziehen zu können

Leitung eines kleinen Backend-/Mobile-Teams bei gleichzeitiger praktischer Mitarbeit. Kern der Arbeit war eine End-to-End-Management-Plattform für einen E-Commerce-Kunden sowie mehrere kundengerichtete Mobile-Apps

• Management-Plattform: Konzeption und Umsetzung der vollständigen Management-Software für einen E-Commerce-Kunden ? Bestellungen, Katalog, Fulfilment, Retouren ? und Integration mit Strapi (Headless CMS), Salesforce, Abas ERP / Abas Connect und JasperReports
• Payments: Umsetzung von Zahlungsintegrationen für PayPal, Stripe und Sofort, inkl. Abgleichs-Flows und Dispute-Handling
• Mobile-Apps: Auslieferung von Android-, iOS- und UWP-Apps mit Xamarin (C#) und ergänzendem WPF-Tooling für Back-Office-Mitarbeiter
• Service- & Reparatur-Microservices: Zerlegung eines monolithischen Service-und-ReparaturWorkflows in dockerisierte Microservices auf einem Kubernetes-Cluster; Einführung von Jenkinsbasiertem CI/CD mit Terraform-verwalteter Infrastruktur
• Angular-Produktplattform: Verantwortung für eine große, von vielen Kunden genutzte AngularAnwendung ? inkl. Designsystem und Release-Prozess ? gestützt auf SQL Server, PostgreSQL und Firebase (NoSQL) je nach Anwendungsfall

• Kurzes Engagement mit Mitarbeit an einer internen E-Commerce-Management-Anwendung für einen Automotive-Kunden
• Konzeption und Umsetzung der zentralen Management-Funktionen auf ASP.NET MVC 5 mit LINQ im Backend und jQuery im Frontend