问题
该券商每周人工复核约 38,000 条交易前告警。复核员漏掉了长尾。合规团队希望机器分诊——但不是那种向监管机构解释为“模型决定的”的方式。
我们需要一个能用清楚的语言、带引用,为每一次拦截给出理由的系统。— 合规主管, 欧洲金融科技
我们的做法
我们没有替换复核员——我们替换了分诊队列。系统逐 span 解释其推理;复核员接受或打回。
三项决策塑造了这个系统:
- 智能体之间用类型化信封。 每条 agent-to-agent 消息都有带版本的 schema。codegen 处理样板。
- 确定性的 evals 门禁。 规则覆盖度上的回归会自动停发布。
- 完整审计轨迹。 每个 span 都有 trace ID。复核员可以原样重放任何一次决策。
架构
02 · Reference architecture
What we actually ship.
Every system we build follows this shape. Client at the edge, tools in a sandbox, traces everywhere, evaluators gating output. No black boxes, no "it works on my machine."
EDGE
Client
web · mobile · API
Gateway
auth · rate-limit · PII redact
ORCHESTRATION
Orchestrator
planner · router · memory
AGENTS & TOOLS
Retrieval
hybrid · rerank · cite
Tool calls
sandboxed · timeboxed
Evaluator
gates · rubrics · LLM-judge
DATA & TRUST
Vector + BM25
tenant-isolated
Traces / logs
OTel · replayable
Signed output
auditable · rollback
一次在该系统上的运行
04 · Run
Watch an agent do the job.
Three real production scenarios, replayed at observed latency. Every box is a span; every span has tokens, cost, and an eval gate. This is what shows up in your traces, not a marketing animation.
POST/api/v1/agent/runTrade desk submits a €4.2M block trade. Agent must reject, approve, or flag in <3s.
trace · compliancespan_id 7c1f…
orchestrator.run
PLANorchestrator.plan
Plan rationale
Pretrade review requires: applicable-rules retrieval, market-data lookup, position-check, and a deterministic evaluator gate.
Subtasks
retrievaltool.market_datatool.position_checkevaluator
0ms/1.82s
LATENCY0msbudget 3.00s
TOKENS0in + out
COST$0.0000budget $0.025
EVAL GATE—deterministic + LLM-judge
APPROVED · 1 flag
Trade clears 11 of 12 rules. Rule 23.2 (book concentration) flagged for desk-head sign-off.
latency2.41scost$0.014tokens1,827evals12/12
成果
0%
复核耗时削减
−0%
误报率
0,247
覆盖规则数
他们交付的系统挺过了我们的峰值周。evals 抓住了两个否则会进生产的回归。
— 工程副总裁,欧洲金融科技