Writing on agents in production.
What we've learned from shipping. No takes on whether agents are real.
// articol recomandat
De ce setul tău de evals aparține în CI.
Dacă evals-urile tale nu rulează la fiecare PR, nu sunt evals — sunt un screenshot dintr-o ședință din martie.
Citit · Echipa de inginerie
A2A și MCP: alege ambele.
Rezolvă probleme adiacente. Greșeala e să le tratezi ca pe o bifurcație de drum.
Runbook-ul care vine cu fiecare agent.
Moduri de eșec, escaladări, condiții de rollback. Plictisitor intenționat.
Workflow-urile durabile nu sunt retries.
Un model mental rezonabil pentru când ai nevoie efectiv de un orchestrator durabil vs. doar de un backoff mai bun.
De ce facem on-call 60 de zile după handoff.
Pentru că primele 60 de zile scot la suprafață fiecare presupunere pe care setul de evals a ratat-o.
Cum construiești un set de evals pentru retrieval într-o săptămână.
O rețetă practică. 200 de întrebări, corpus-ul tău real, baseline-uri și un set „nu optimiza asta".
START
Pornește primul sistem.
Discovery la preț fix în 2 săptămâni. Pleci cu arhitectură, spike funcțional și plan de build.