Fiecare engagement Tzar.Tech se termină cu 60 de zile de overlap pe on-call. Ambele echipe — a noastră și a clientului — împart pager-ul. Inițial vedeam asta ca pe un gest de bunăvoință. S-a dovedit a fi cea mai importantă fază a engagement-ului.
Iată de ce.
Ce nu prinde setul de evals
Setul de evals prinde ce te-ai gândit să testezi. Prin definiție, nu prinde ce nu te-ai gândit.
Pentru majoritatea sistemelor agentice livrate în producție, primele 60 de zile scot la suprafață:
- Input-uri pe care nu le-a anticipat nimeni. Un utilizator încarcă un PDF de 400 de pagini în bulgară. Un client lovește endpoint-ul cu ghilimele HTML-escapate. O integrare trimite timestamp-uri în microsecunde.
- Presupuneri de frecvență greșite. O cale „rară" se dovedește a fi 8% din trafic. O cale „comună" se dovedește a fi 0,1%.
- Tail latency pe care load-ul de evals nu l-a reprodus. p99 arată bine la 100 RPS în load tests; la 250 RPS în producție, p99,9 face spike din cauza unui connection pool dimensionat pentru distribuția greșită.
- Comportamente de cost care apar la prompt-uri reale. Utilizatorii reali formulează întrebări în feluri care triplează numărul de token-uri din prompt vs. prompt-urile sintetice de evals.
Astea nu apar în niciun set de evals bine conceput, pentru că setul de evals e un model a ce știi. Primele 60 de zile sunt când sistemul întâlnește realitatea.
Ce face efectiv overlap-ul pe on-call
Două lucruri, ambele importante:
1. Echipa care pleacă e încă conectată când lucrurile o iau razna. Când apare simptomul nou, inginerul care știe codul e pe apel. Nu într-un canal de Slack la două fusuri orare distanță — efectiv trezit, uitându-se activ. Fix-ul ajunge livrat în loc să devină un tichet.
2. Echipa care primește învață modurile de eșec în propriul context. Sunt trezite. Trec prin runbook (vezi runbook-ul care vine cu fiecare agent). Escaladează la noi când au nevoie. Fiecare incident devine un exercițiu ghidat de operare a sistemului, cu autorii originali pe fir.
Până în ziua 60, echipa care primește a gestionat suficiente incidente încât știe ce e greu, ce e ușor, ce să ignore și ce merită trezit un executiv.
Ce nu facem
Nu suntem primary on-call. Suntem secondary în timpul overlap-ului. Echipa clientului deține sistemul. Rolul nostru e „seniorul on-call care poate răspunde la «e ăsta normal» și «care e calea sigură aici»."
Asta contează: dacă am ține primary, echipa clientului nu și-ar dezvolta niciodată mușchiul. Ne-ar treza pe noi întâi, de fiecare dată, iar la ziua 60 ar fi încă dependenți. Overlap-ul e o fereastră de învățare, nu un serviciu.
Ce spun datele
Am ținut statistici pe asta peste engagement-uri. Forma e constantă:
- Primele două săptămâni: cam jumătate din pager-e ajung la noi. Majoritatea sunt clarificări, nu incidente reale.
- Săptămânile 3–4: cam un sfert ajung la noi. Echipa clientului a internalizat diagnoze comune.
- Săptămânile 5–8: sub 10% ajung la noi. Cele care ajung sunt moduri de eșec genuin noi care merită o schimbare de cod.
După 60 de zile, engagement-ul median ne are trezit o dată pe lună pentru următorul trimestru și aproape niciodată după. Sistemul e al lor.
De ce 60 de zile, nu 30
Am încercat 30 o dată. Nu a fost destul.
Câteva moduri de eșec apar doar la granițele de lună (cicluri de billing, batch-uri lunare, încărcări de raportare de end-of-quarter). Un overlap de 30 de zile se poate încheia fără să le întâlnească vreodată, lăsând echipa clientului oarbă la o categorie de probleme care vor apărea, în cele din urmă, când nu mai e backup senior de apelat.
60 de zile prind eșecurile de graniță de lună și dau echipei care primește o a doua lună completă să le gestioneze singură cu noi ca backup. Nu e simetric și nu e arbitrar — e ce am descoperit că e suficient pentru a transfera genuin ownership-ul.
Cât costă și de ce o facem
Șaizeci de zile de secondary on-call e timp real de inginerie pe care nu îl facturăm separat. Îl includem în prețul engagement-ului. Unii clienți nu ne cred când spunem că e obligatoriu — insistăm oricum, iar cei care încearcă să sară peste el ne sună de obicei în luna a doua cerându-ne să venim înapoi ca consultanți.
Mai bine rămânem 60 de zile prima dată.