混合索引
密集 embeddings + BM25,由学习型 reranker 融合。Corpus 增长时 recall 仍保持合理。
带源链接的答案
每个断言引用其来源片段。Faithfulness 与 grounding evals 每晚运行。
漂移检测
Embedding 分布与检索命中率受监控。答案降级前告警触发。
02 · Reference architecture
What we actually ship.
Every system we build follows this shape. Client at the edge, tools in a sandbox, traces everywhere, evaluators gating output. No black boxes, no "it works on my machine."
EDGE
Client
web · mobile · API
Gateway
auth · 限流 · PII 编辑
编排
Orchestrator
planner · router · memory
智能体 & 工具
Retrieval
混合 · rerank · cite
Tool calls
sandboxed · timeboxed
Evaluator
gates · rubrics · LLM-judge
数据 & 信任
Vector + BM25
租户隔离
Traces / logs
OTel · 可重放
签名输出
可审计 · 可回滚
04 · Run
Watch an agent do the job.
Three real production scenarios, replayed at observed latency. Every box is a span; every span has tokens, cost, and an eval gate. This is what shows up in your traces, not a marketing animation.
POST/api/v1/agent/run7 分钟 ambient 问诊 → 带出处引用、可供临床医生使用的记录。
trace · clinicalspan_id 7c1f…
orchestrator.run
PLANorchestrator.plan
Plan rationale
Scribe 流水线：医疗 ASR、患者上下文+模板、SOAP 草稿、安全门禁。
Subtasks
tool.asrretrieval.contextreasonerevaluator
0ms/3.07s
LATENCY0msbudget 3.00s
TOKENS0in + out
COST$0.0000budget $0.025
EVAL GATE—deterministic + LLM-judge
就绪 · 临床医生审阅
SOAP 草稿完成。14 处引用已解析。2 条低置信主张已标出给临床医生。
latency3.12scost$0.022tokens3,104evals9/9
09 · STACK
Modern tools, composed cleanly.
模型
Claude, GPT-4, Llama 3
检索
pgvector, Qdrant, BM25
Eval
Promptfoo, Braintrust
Observability
OpenTelemetry, Langfuse
向量索引
Embeddings · 混合
存储
Postgres, S3, R2
09 · FAQ
FAQ · RAG 管道
固定价格,scoped 为两周。可应需求分享 rate sheet — 目标是无论是否继续与我们合作,您都能带走具体成果(架构 + spike)。
Faithfulness(答案是否源自被引用的文档?)、grounding(引用是否真实?)、recall(是否找到了正确的文档?)。每个 release 都跑 suite。