Typisierte Verträge
Jedes Tool, jeder Input, jeder Output hat ein Zod/JSON-Schema. Die Runtime erzwingt es; das LLM kann nicht darüber hinaus driften.
SERVICE · 01
Agenten & Skills
Mehrstufige Tools mit Evals, Traces und Guardrails — laufen in Ihrem Stack, nicht in einer Sandbox.
Eval-Gates
Jedes Release läuft vor dem Promote durch deterministische und LLM-judge Evals. Regressionen blockieren den Deploy.
Traces + Rollback-Plan
OpenTelemetry-Spans an jeder Stelle; Rollback ist ein Einzeiler-Route-Swap hinter einem Feature-Flag.
02 · Reference architecture
What we actually ship.
Every system we build follows this shape. Client at the edge, tools in a sandbox, traces everywhere, evaluators gating output. No black boxes, no "it works on my machine."
EDGE
Client
Web · Mobile · API
Gateway
Auth · Rate-Limit · PII-Redact
ORCHESTRIERUNG
Orchestrator
Planner · Router · Memory
AGENTEN & TOOLS
Retrieval
Hybrid · Rerank · Cite
Tool-Calls
Sandboxed · Timeboxed
Evaluator
Gates · Rubriken · LLM-Judge
DATEN & TRUST
Vector + BM25
tenant-isoliert
Traces / Logs
OTel · replaybar
Signed Output
auditierbar · rollback
04 · Run
Watch an agent do the job.
Three real production scenarios, replayed at observed latency. Every box is a span; every span has tokens, cost, and an eval gate. This is what shows up in your traces, not a marketing animation.
POST/api/v1/agent/runTrading Desk reicht einen €4,2M-Block-Trade ein. Agent muss in <3s ablehnen, genehmigen oder flaggen.
trace · compliancespan_id 7c1f…
orchestrator.run
PLANorchestrator.plan
Plan rationale
Pretrade-Review braucht: anwendbare Regeln, Market-Data, Position-Check und deterministisches Evaluator-Gate.
Subtasks
retrievaltool.market_datatool.position_checkevaluator
0ms/1.82s
LATENCY0msbudget 3.00s
TOKENS0in + out
COST$0.0000budget $0.025
EVAL GATE—deterministic + LLM-judge
GENEHMIGT · 1 Flag
Trade besteht 11 von 12 Regeln. Regel 23.2 (Buchkonzentration) für Desk-Head-Freigabe geflaggt.
latency2.41scost$0.014tokens1,827evals12/12
09 · STACK
Modern tools, composed cleanly.
Modelle
Claude, GPT-4, Llama 3
Runtime
Temporal, Inngest
Eval
Promptfoo, Braintrust
Observability
OpenTelemetry, Langfuse
Auth
Clerk, Auth0
Deploy
Vercel, AWS, GCP
09 · FAQ
FAQ · KI-Agenten & Skills
Jedes Release läuft durch Eval-Gates: deterministische Checks (Schema, Latenz, Kosten), Tool-Call-Coverage und LLM-judge Spot-Checks. Der Deploy stoppt, wenn etwas davon regressed.
Budgets pro Call und pro Tag. Wir cappen Kontext mit Retrieval-Truncation, routen zu günstigeren Modellen, wo die Evals es erlauben, und fallen unter Kostendruck auf deterministische Pfade zurück.
Jeder Pfad hat einen Fallback. Deterministische Logik fängt die häufigen Fälle ab; der Agent-Pfad sitzt darauf. Rollback ist ein einzeiliger Route-Swap hinter einem Feature-Flag.
Zwei Wochen Shadowing während des Ramps, Runbook + Eval-Suite ausgeliefert in Ihrem Repo, On-Call-Überlapp für den ersten Incident. Danach gehört es Ihnen.
LOS GEHT'S
Bringen Sie das erste System live.
Festpreis-Discovery in 2 Wochen. Sie gehen mit Architektur, Working Spike und Bauplan nach Hause.