型付き契約
すべてのツール、入力、出力に Zod/JSON スキーマ。Runtime が強制し、LLM はそこを越えてドリフトできません。
サービス · 01
エージェント & スキル
Evals、traces、guardrails 付きの多段ツール — お客様の stack で動きます、サンドボックスではなく。
Eval gates
Promote 前に決定論的および LLM-judge evals を通過させます。リグレッションがデプロイを止めます。
Traces + ロールバック計画
至るところに OpenTelemetry スパン。ロールバックは feature flag 裏の 1 行のルート切り替えです。
02 · Reference architecture
What we actually ship.
Every system we build follows this shape. Client at the edge, tools in a sandbox, traces everywhere, evaluators gating output. No black boxes, no "it works on my machine."
EDGE
Client
web · mobile · API
Gateway
auth · rate-limit · PII redact
オーケストレーション
Orchestrator
planner · router · memory
エージェント & ツール
Retrieval
ハイブリッド · rerank · cite
Tool calls
sandboxed · timeboxed
Evaluator
gates · rubrics · LLM-judge
データ & 信頼
Vector + BM25
tenant-isolated
Traces / logs
OTel · replayable
署名された出力
auditable · rollback
04 · Run
Watch an agent do the job.
Three real production scenarios, replayed at observed latency. Every box is a span; every span has tokens, cost, and an eval gate. This is what shows up in your traces, not a marketing animation.
POST/api/v1/agent/runトレードデスクが €4.2M のブロック取引を提出。エージェントは <3s で拒否・承認・フラグ。
trace · compliancespan_id 7c1f…
orchestrator.run
PLANorchestrator.plan
Plan rationale
プレトレード審査には適用ルール取得、マーケットデータ、ポジション確認、決定的な評価ゲートが必要。
Subtasks
retrievaltool.market_datatool.position_checkevaluator
0ms/1.82s
LATENCY0msbudget 3.00s
TOKENS0in + out
COST$0.0000budget $0.025
EVAL GATE—deterministic + LLM-judge
承認 · フラグ1
取引は12ルール中11を通過。ルール23.2（ブック集中）はデスクヘッド署名用にフラグ。
latency2.41scost$0.014tokens1,827evals12/12
09 · STACK
Modern tools, composed cleanly.
モデル
Claude, GPT-4, Llama 3
Runtime
Temporal, Inngest
Eval
Promptfoo, Braintrust
Observability
OpenTelemetry, Langfuse
Auth
Clerk, Auth0
Deploy
Vercel, AWS, GCP
09 · FAQ
FAQ · AI エージェント & スキル
すべてのリリースは eval gate を通過します:決定論的チェック (スキーマ、レイテンシ、コスト)、tool-call カバレッジ、LLM-judge スポットチェック。いずれかが regress するとデプロイが止まります。
呼び出し単位と日単位の予算。検索切り詰めでコンテキストをキャップし、evals が許す箇所では安価なモデルへルーティング、コスト圧下では決定論的パスへフォールバック。
すべての path に fallback。決定論的ロジックが一般的なケースを捕捉、エージェントの path はその上に重なります。ロールバックは feature flag 裏の 1 行ルート切り替えです。
ランプ期間中 2 週間のシャドウイング、お客様の repo に納品される runbook + eval suite、最初のインシデントでの on-call 重複。その後はお客様のものです。