Contracte tipizate
Fiecare tool, fiecare input, fiecare output are schemă Zod/JSON. Runtime-ul o impune; LLM-ul nu poate devia.
SERVICIU · 01
Agenți & skills
Unelte multi-pas cu evals, traces și guardrails — rulează în stack-ul tău, nu într-un sandbox.
Eval gates
Fiecare release trece prin evals deterministe și LLM-judge înainte de promote. Regresiile blochează deploy-ul.
Traces + plan de rollback
Spans OpenTelemetry peste tot; rollback este o schimbare de route de o linie în spatele unui feature flag.
02 · Reference architecture
What we actually ship.
Every system we build follows this shape. Client at the edge, tools in a sandbox, traces everywhere, evaluators gating output. No black boxes, no "it works on my machine."
EDGE
Client
web · mobile · API
Gateway
auth · rate-limit · PII redact
ORCHESTRARE
Orchestrator
planner · router · memory
AGENȚI & TOOLS
Retrieval
hibrid · rerank · cite
Tool calls
sandboxed · timeboxed
Evaluator
gates · rubrics · LLM-judge
DATE & ÎNCREDERE
Vector + BM25
tenant-isolated
Traces / logs
OTel · replayable
Output semnat
auditable · rollback
04 · Run
Watch an agent do the job.
Three real production scenarios, replayed at observed latency. Every box is a span; every span has tokens, cost, and an eval gate. This is what shows up in your traces, not a marketing animation.
POST/api/v1/agent/runDesk-ul trimite un block trade de €4,2M. Agentul trebuie să respingă, aprobe sau flag-uiască în <3s.
trace · compliancespan_id 7c1f…
orchestrator.run
PLANorchestrator.plan
Plan rationale
Revizuirea pretrade cere: reguli aplicabile, market data, position-check și gate determinist.
Subtasks
retrievaltool.market_datatool.position_checkevaluator
0ms/1.82s
LATENCY0msbudget 3.00s
TOKENS0in + out
COST$0.0000budget $0.025
EVAL GATE—deterministic + LLM-judge
APROBAT · 1 flag
Tranzacția trece 11 din 12 reguli. Regula 23.2 (concentrație book) flag-uită pentru semnătura desk-head.
latency2.41scost$0.014tokens1,827evals12/12
09 · STACK
Modern tools, composed cleanly.
Modele
Claude, GPT-4, Llama 3
Runtime
Temporal, Inngest
Eval
Promptfoo, Braintrust
Observability
OpenTelemetry, Langfuse
Auth
Clerk, Auth0
Deploy
Vercel, AWS, GCP
09 · FAQ
FAQ · Agenți AI & skills
Fiecare release trece prin eval gates: verificări deterministe (schemă, latență, cost), acoperire tool-call și spot checks LLM-judge. Deploy-ul se oprește dacă vreuna regresează.
Bugete pe apel și pe zi. Capăm contextul cu retrieval-truncation, dirijăm spre modele mai ieftine unde evals permit și recadem pe path-uri deterministe sub presiune de cost.
Fiecare path are un fallback. Logica deterministă prinde cazurile comune; path-ul agentului stă deasupra. Rollback este o schimbare de route de o linie în spatele unui feature flag.
Două săptămâni de shadowing în rampă, runbook + eval suite livrate în repo-ul tău, suprapunere de on-call pentru primul incident. După aceea e al tău.
START
Pornește primul sistem.
Discovery la preț fix în 2 săptămâni. Pleci cu arhitectură, spike funcțional și plan de build.