Типизирани контракти
Всеки tool, всеки input, всеки output има Zod/JSON схема. Runtime я налага; LLM не може да я надмине.
УСЛУГА · 01
Агенти и умения
Многостъпкови инструменти с evals, traces и guardrails — работят във вашия стак, не в sandbox.
Eval gates
Всяко release минава през детерминистични и LLM-judge evals преди promote. Регресии блокират deploy.
Traces + rollback план
OpenTelemetry spans навсякъде; rollback е смяна на route на един ред зад feature flag.
02 · Reference architecture
What we actually ship.
Every system we build follows this shape. Client at the edge, tools in a sandbox, traces everywhere, evaluators gating output. No black boxes, no "it works on my machine."
EDGE
Client
web · mobile · API
Gateway
auth · rate-limit · PII redact
ОРКЕСТРАЦИЯ
Orchestrator
planner · router · memory
АГЕНТИ И TOOLS
Retrieval
хибриден · rerank · cite
Tool calls
sandboxed · timeboxed
Evaluator
gates · rubrics · LLM-judge
ДАННИ И ДОВЕРИЕ
Vector + BM25
tenant-isolated
Traces / logs
OTel · replayable
Подписан изход
auditable · rollback
04 · Run
Watch an agent do the job.
Three real production scenarios, replayed at observed latency. Every box is a span; every span has tokens, cost, and an eval gate. This is what shows up in your traces, not a marketing animation.
POST/api/v1/agent/runТрейд деск подава блок сделка за €4.2M. Агентът трябва да откаже, одобри или флагне за <3s.
trace · compliancespan_id 7c1f…
orchestrator.run
PLANorchestrator.plan
Plan rationale
Pretrade преглед изисква: извличане на приложими правила, market-data lookup, position-check и детерминистичен evaluator gate.
Subtasks
retrievaltool.market_datatool.position_checkevaluator
0ms/1.82s
LATENCY0msbudget 3.00s
TOKENS0in + out
COST$0.0000budget $0.025
EVAL GATE—deterministic + LLM-judge
ОДОБРЕНА · 1 флаг
Сделката минава 11 от 12 правила. Правило 23.2 (концентрация в книгата) е флагнато за подпис от desk-head.
latency2.41scost$0.014tokens1,827evals12/12
09 · STACK
Modern tools, composed cleanly.
Модели
Claude, GPT-4, Llama 3
Runtime
Temporal, Inngest
Eval
Promptfoo, Braintrust
Observability
OpenTelemetry, Langfuse
Auth
Clerk, Auth0
Deploy
Vercel, AWS, GCP
09 · FAQ
FAQ · ИИ агенти и умения
Всяко release минава през eval gates: детерминистични проверки (схема, латентност, разход), покритие на tool-call и spot checks с LLM-judge. Deploy спира, ако нещо регресира.
Бюджети на повикване и на ден. Капваме контекста с retrieval-truncation, рутираме към по-евтини модели, където eval-ите позволяват, и падаме обратно към детерминистични пътища под ценови натиск.
Всеки път има fallback. Детерминистична логика хваща често срещаните случаи; пътят на агента стои отгоре. Rollback е смяна на route на един ред зад feature flag.
Две седмици shadowing при ramp, runbook + eval suite, доставени във вашето repo, припокриване на on-call за първия инцидент. След това е ваша.
СТАРТ
Пуснете първата система.
Discovery на фиксирана цена за 2 седмици. Получавате архитектура, работещ spike и план за изграждане.