Architektur und Vollentwicklung einer verteilten Plattform (SaaS) auf Basis Microservice-Architektur (8+ Container).
System-Architektur:
React 19 Frontend, FastAPI Backend (Python 3.12), eigener Multi-Agent-Core auf Ray Serve, Embedding-Service (Qwen3 + Reranking), File-Worker, Sandbox-Executor (Docker-in-Docker mit Sysbox + GPU), MangoPay-Billing.
Storage: DynamoDB, PostgreSQL+PGVector, Redis (4-DB), MinIO (S3).
Multi-Agent-Orchestrierung (Ray Serve):
15+ spezialisierte Worker-Actors (Discovery, Planner, RAG-Search, Synthesis, Intent, Tool-Orchestrator, ReAct-Coding, Streaming u.a.).
FRAME-Pattern (Routing-Slip):
LLM-getriebene dynamische Agent-Sequenzen mit Anchor-Fast-Path und Full-Orchestration-Modus.
Layered Prompt Architecture mit Guardrails. Designed für Skalierung auf Millionen spezialisierter Agents.
RAG-Pipeline:
Hybrid Search (BM25 + Semantic), Reranking, Citation-System, multilinguale Intent-Detection.
Multi-LLM-Routing:
Provider-agnostisch (Cerebras, OpenRouter, Anthropic, OpenAI) mit Cost-Tracking.
Echtzeit-Streaming via SSE, DSGVO/AES-256/RBAC, JWT/bcrypt, ADRs, Spec-Driven Development, CI/CD via GitHub Actions.
Stack:
Python 3.12, FastAPI, Pydantic-AI, Ray Serve, React 19, TypeScript, DynamoDB, PostgreSQL+PGVector, Redis, MinIO, Docker, Cerebras, Qwen3-Embeddings, MangoPay