Senior Software & Data Engineer ? AWS / .NET / Spark
Aktualisiert am 15.06.2026
Profil
Freiberufler / Selbstständiger
Remote-Arbeit
Verfügbar ab: 22.06.2026
Verfügbar zu: 100%
davon vor Ort: 0%
AWS
Apache Spark
.NET
AWS Glue
AWS Lambda
Amazon S3
AWS Athena
AWS Step Functions
AWS EKS
AWS SAM
Amazon DynamoDB
PySpark
Kubernetes
Terraform
Python
C#
Scala

Einsatzorte

Einsatzorte

Deutschland, Schweiz, Österreich
möglich

Projekte

Projekte

10 Jahre 1 Monat
2016-01 - 2026-01

Entwicklung eines verteilten Crawlers in .NET 8 (C#)

Senior Backend- & Data-Engineer .NET 8 / C# Python PySpark ...
Senior Backend- & Data-Engineer

Backend- / Data-Engineer für einen Web-Crawler in großem Maßstab und die dahinterliegende End-to-End-AWS-Datenplattform; Frontend und Design lagen bei anderen Teammitgliedern.

  • Entwicklung eines verteilten Crawlers in .NET 8 (C#) mit einer In-Pod-Pipeline auf Basis von TPL Dataflow, verteilt über Tausende ephemere Kubernetes-Pods via Kubernetes Jobs + AWS SQS.
  • Robustheit des Crawlings: AngleSharp-HTML-Parsing, eigene DNS-Auflösung, Cloudflare-Challenge-Erkennung mit Proxy-Fallback, Abuse-IP-Gating (AbuseIPDB, gecacht in DynamoDB), Rotation der Bot-Identitäten und Multi-Region-AWS-Deployment zur geografischen IP-Verteilung.
  • Schreiben von Crawl-Output im Terabyte-Bereich als Parquet / Snappy nach S3; Aufbau von AWS-Glue-(PySpark)-Pipelines, die einen partitionierten Datensatz mit Milliarden von Datensätzen erzeugen.
  • Einsatz von Delta Lake für inkrementelle Upserts / Merges bei eintreffenden neuen Crawls.
  • Bereitstellung des Datensatzes über Athena + ein SAM-basiertes GraphQL-Backend mit Suchergebnissen im Sekundenbereich.
  • Automatisierung des gesamten Lebenszyklus mit Terraform + CodeBuild + Step Functions ? EKS bereitstellen ? crawlen ? verarbeiten ? veröffentlichen ? abbauen ? mit Kostenkontrolle durch ephemere Umgebungen.

Web-skalige Crawler- und Datenplattform auf AWS (S3-Lakehouse Athena-basierte Suchabfragen GraphQL-API)
.NET 8 / C# Python PySpark Scala AWS Glue Amazon Athena Amazon S3 Amazon EKS AWS Lambda AWS SAM AWS SQS AWS SNS AWS EC2 AWS Step Functions AWS CodeBuild AWS CloudWatch Kubernetes Docker Terraform Delta Lake Parquet Apache Spark GraphQL DynamoDB Linux / Bash Git
Remote (Deutschland)

Aus- und Weiterbildung

Aus- und Weiterbildung

7 Jahre 9 Monate
1993-09 - 2001-05

Theoretische Physik

Master, Nationale Universität Kiew
Master
Nationale Universität Kiew
Quantenfeldtheorie

Position

Position

Position / Rolle:
Senior Backend- & Data-Engineer ? Schwerpunkt AWS-Datenplattformen, skalierbare ETL/ELT-Pipelines und S3-Lakehouse-Architekturen (Glue, Athena, Spark/PySpark). Zweite Stärke: C# / .NET Backend-Entwicklung (ASP.NET Core, REST, ERP-Integrationen).

Interessiert an:
100 % Remote-Projekten in den Bereichen Cloud-Datenplattformen, Datenpipelines, AWS-Infrastrukturautomatisierung sowie C# / .NET Backend-Entwicklung. Offen für Projekte mit KI-/LLM-Komponenten (agentische Workflows, strukturierte Datenextraktion).

Kompetenzen

Kompetenzen

Top-Skills

AWS Apache Spark .NET AWS Glue AWS Lambda Amazon S3 AWS Athena AWS Step Functions AWS EKS AWS SAM Amazon DynamoDB PySpark Kubernetes Terraform Python C# Scala

Produkte / Standards / Erfahrungen / Methoden

Profil

Senior-Entwickler mit Schwerpunkt auf AWS-Datenplattformen und skalierbaren Datenpipelines. Ich entwickle Systeme, die Daten von der Erfassung im Web-Maßstab bis zu einem partitionierten, abfragbaren Lakehouse auf S3 mit Abfrage-Latenzen im Sekundenbereich führen ? auf vollständig automatisierter, kostenoptimierter, ephemerer Infrastruktur. Habe den produktiven Web-Crawler in großem Maßstab und die nachgelagerte AWS-Datenplattform als Backend- / Data-Engineer konzipiert und entwickelt (in Zusammenarbeit mit Frontend- und Design-Kollegen). Am stärksten im S3-Lakehouse- und Spark-Stack (Glue, Athena, S3, PySpark), mit solider Backend-Tiefe in C# / .NET und Python.


Kenntnisse

  • AWS (Data & Platform): Glue, Athena, S3, EC2, SQS, SNS, Lambda, EKS, SAM, CloudWatch
  • Data Engineering: Spark / PySpark, pandas, groß angelegtes ETL / ELT, partitionierte Datensätze, Parquet, SQL
  • Plattform & Tooling: Kubernetes, Docker, Linux / Bash, Git
  • Backend: ASP.NET Core (REST), Entity Framework Core, async / TPL Dataflow
  • KI-gestützte Entwicklung: Aufbau von LLM-basierten und agentischen Workflows (strukturierte Extraktion, Schema-Validierung, geplante Agenten); KI-unterstützte Entwicklung mit Claude Code und Cursor
  • Außerdem praktisch eingesetzt: Terraform, Step Functions, CodeBuild / CodePipeline, Delta Lake (inkrementelle Upserts / MERGE), GraphQL, DynamoDB, Glue Data Catalog

Programmiersprachen

Python
C# / .NET
Scala

Einsatzorte

Einsatzorte

Deutschland, Schweiz, Österreich
möglich

Projekte

Projekte

10 Jahre 1 Monat
2016-01 - 2026-01

Entwicklung eines verteilten Crawlers in .NET 8 (C#)

Senior Backend- & Data-Engineer .NET 8 / C# Python PySpark ...
Senior Backend- & Data-Engineer

Backend- / Data-Engineer für einen Web-Crawler in großem Maßstab und die dahinterliegende End-to-End-AWS-Datenplattform; Frontend und Design lagen bei anderen Teammitgliedern.

  • Entwicklung eines verteilten Crawlers in .NET 8 (C#) mit einer In-Pod-Pipeline auf Basis von TPL Dataflow, verteilt über Tausende ephemere Kubernetes-Pods via Kubernetes Jobs + AWS SQS.
  • Robustheit des Crawlings: AngleSharp-HTML-Parsing, eigene DNS-Auflösung, Cloudflare-Challenge-Erkennung mit Proxy-Fallback, Abuse-IP-Gating (AbuseIPDB, gecacht in DynamoDB), Rotation der Bot-Identitäten und Multi-Region-AWS-Deployment zur geografischen IP-Verteilung.
  • Schreiben von Crawl-Output im Terabyte-Bereich als Parquet / Snappy nach S3; Aufbau von AWS-Glue-(PySpark)-Pipelines, die einen partitionierten Datensatz mit Milliarden von Datensätzen erzeugen.
  • Einsatz von Delta Lake für inkrementelle Upserts / Merges bei eintreffenden neuen Crawls.
  • Bereitstellung des Datensatzes über Athena + ein SAM-basiertes GraphQL-Backend mit Suchergebnissen im Sekundenbereich.
  • Automatisierung des gesamten Lebenszyklus mit Terraform + CodeBuild + Step Functions ? EKS bereitstellen ? crawlen ? verarbeiten ? veröffentlichen ? abbauen ? mit Kostenkontrolle durch ephemere Umgebungen.

Web-skalige Crawler- und Datenplattform auf AWS (S3-Lakehouse Athena-basierte Suchabfragen GraphQL-API)
.NET 8 / C# Python PySpark Scala AWS Glue Amazon Athena Amazon S3 Amazon EKS AWS Lambda AWS SAM AWS SQS AWS SNS AWS EC2 AWS Step Functions AWS CodeBuild AWS CloudWatch Kubernetes Docker Terraform Delta Lake Parquet Apache Spark GraphQL DynamoDB Linux / Bash Git
Remote (Deutschland)

Aus- und Weiterbildung

Aus- und Weiterbildung

7 Jahre 9 Monate
1993-09 - 2001-05

Theoretische Physik

Master, Nationale Universität Kiew
Master
Nationale Universität Kiew
Quantenfeldtheorie

Position

Position

Position / Rolle:
Senior Backend- & Data-Engineer ? Schwerpunkt AWS-Datenplattformen, skalierbare ETL/ELT-Pipelines und S3-Lakehouse-Architekturen (Glue, Athena, Spark/PySpark). Zweite Stärke: C# / .NET Backend-Entwicklung (ASP.NET Core, REST, ERP-Integrationen).

Interessiert an:
100 % Remote-Projekten in den Bereichen Cloud-Datenplattformen, Datenpipelines, AWS-Infrastrukturautomatisierung sowie C# / .NET Backend-Entwicklung. Offen für Projekte mit KI-/LLM-Komponenten (agentische Workflows, strukturierte Datenextraktion).

Kompetenzen

Kompetenzen

Top-Skills

AWS Apache Spark .NET AWS Glue AWS Lambda Amazon S3 AWS Athena AWS Step Functions AWS EKS AWS SAM Amazon DynamoDB PySpark Kubernetes Terraform Python C# Scala

Produkte / Standards / Erfahrungen / Methoden

Profil

Senior-Entwickler mit Schwerpunkt auf AWS-Datenplattformen und skalierbaren Datenpipelines. Ich entwickle Systeme, die Daten von der Erfassung im Web-Maßstab bis zu einem partitionierten, abfragbaren Lakehouse auf S3 mit Abfrage-Latenzen im Sekundenbereich führen ? auf vollständig automatisierter, kostenoptimierter, ephemerer Infrastruktur. Habe den produktiven Web-Crawler in großem Maßstab und die nachgelagerte AWS-Datenplattform als Backend- / Data-Engineer konzipiert und entwickelt (in Zusammenarbeit mit Frontend- und Design-Kollegen). Am stärksten im S3-Lakehouse- und Spark-Stack (Glue, Athena, S3, PySpark), mit solider Backend-Tiefe in C# / .NET und Python.


Kenntnisse

  • AWS (Data & Platform): Glue, Athena, S3, EC2, SQS, SNS, Lambda, EKS, SAM, CloudWatch
  • Data Engineering: Spark / PySpark, pandas, groß angelegtes ETL / ELT, partitionierte Datensätze, Parquet, SQL
  • Plattform & Tooling: Kubernetes, Docker, Linux / Bash, Git
  • Backend: ASP.NET Core (REST), Entity Framework Core, async / TPL Dataflow
  • KI-gestützte Entwicklung: Aufbau von LLM-basierten und agentischen Workflows (strukturierte Extraktion, Schema-Validierung, geplante Agenten); KI-unterstützte Entwicklung mit Claude Code und Cursor
  • Außerdem praktisch eingesetzt: Terraform, Step Functions, CodeBuild / CodePipeline, Delta Lake (inkrementelle Upserts / MERGE), GraphQL, DynamoDB, Glue Data Catalog

Programmiersprachen

Python
C# / .NET
Scala

Vertrauen Sie auf Randstad

Im Bereich Freelancing
Im Bereich Arbeitnehmerüberlassung / Personalvermittlung

Fragen?

Rufen Sie uns an +49 89 500316-300 oder schreiben Sie uns:

Das Freelancer-Portal

Direktester geht's nicht! Ganz einfach Freelancer finden und direkt Kontakt aufnehmen.