Writing on agents in production.
What we've learned from shipping. No takes on whether agents are real.
// επιλεγμένο post
Γιατί η σουίτα evals σας ανήκει στο CI.
Αν τα evals σας δεν τρέχουν σε κάθε PR, δεν είναι evals — είναι ένα screenshot από μια σύσκεψη του Μαρτίου.
Διάβασμα · Ομάδα μηχανικών
A2A και MCP: επιλέξτε και τα δύο.
Λύνουν γειτονικά προβλήματα. Το λάθος είναι να τα αντιμετωπίζετε ως διασταύρωση δρόμων.
Το runbook που παραδίδεται με κάθε agent.
Failure modes, escalations, συνθήκες rollback. Βαρετό επί τούτου.
Τα durable workflows δεν είναι retries.
Ένα λογικό νοητικό μοντέλο για το πότε χρειάζεστε πραγματικά έναν durable orchestrator έναντι απλώς καλύτερου backoff.
Γιατί τρέχουμε on-call για 60 ημέρες μετά το handoff.
Επειδή οι πρώτες 60 ημέρες αναδεικνύουν κάθε υπόθεση που η σουίτα evals έχασε.
Πώς να χτίσετε ένα retrieval eval set σε μία εβδομάδα.
Μια πρακτική συνταγή. 200 ερωτήσεις, το πραγματικό σας corpus, baselines, και ένα σύνολο «μην το βελτιστοποιείτε».
ΕΚΚΙΝΗΣΗ
Βγάλτε ζωντανό το πρώτο σύστημα.
Discovery σταθερής τιμής σε 2 εβδομάδες. Φεύγετε με αρχιτεκτονική, λειτουργικό spike και σχέδιο υλοποίησης.