Writing on agents in production.
What we've learned from shipping. No takes on whether agents are real.
// 注目記事
なぜ eval suite が CI に属するのか。
Evals が PR ごとに走らないなら、それは evals ではなく、3 月の会議のスクリーンショットです。
読む · エンジニアリング・チーム
Durable workflow は retry ではない。
より良いバックオフではなく本当に durable オーケストレーターが必要なときについての合理的なメンタルモデル。
A2A と MCP: 両方を選びましょう。
隣接する問題を解決します。間違いは、それらを分岐路として扱うことです。
1 週間で retrieval eval set を構築する方法。
実践的なレシピ。200 の質問、お客様の実コーパス、ベースライン、そして「これに最適化しない」セット。
すべてのエージェントと共に出荷される runbook。
故障モード、エスカレーション、ロールバック条件。意図的に退屈に。
引き継ぎ後 60 日間 on-call を走らせる理由。
最初の 60 日が eval suite が見逃したすべての仮定を浮かび上がらせるから。