Altı aydan uzun süredir çalışan neredeyse her agentic sistemde gördüğümüz bir desen var: ikinci hafta hevesle yazılmış 40 senaryolu bir evals/ klasörü ve son prompt değişikliğinden önceki bir last_run.json.
Bu bir eval suite değildir. Bu, Mart ayındaki bir toplantıdan bir ekran görüntüsüdür.
İki-iş problemi
Bir eval suite CI dışında yaşadığında, ters yönlere çeken iki işe hizmet etmeye başlar:
- Sistemin çalıştığına kendinizi ikna etmek (bir kez çalıştır, demo yap, arşivle)
- Regresyonları kullanıcılardan önce yakalamak (her değişiklikte çalıştır, sürümleri kontrol altında tut)
İlk iş titizliği ödüllendirir — her uç durumu kapsayan 200 senaryo yazın. İkincisi hızı ödüllendirir — beş dakikanın altında çalışsın yoksa kimse beklemez.
CI dışında, suite ilk işe doğru kayma eğilimindedir, çünkü ikinci işin bir yaptırımı yoktur. Sonuç, demo için etkileyici ama pratikte işe yaramaz bir suite olur.
"CI'da" gerçekten ne demek
Maliyet sırasına göre üç somut şey:
- Bir alt küme her PR'da çalışır. 20–40 hızlı, yüksek-kapsamlı senaryo seçin. 90 saniyenin altında bitmeli ve başarısız olurlarsa merge'i engellemeliler.
- Tam suite her gece main branch'a karşı çalışır. Başarısızlıklar birine page atar — on-call rotasyonuna değil, prompt'un sahibine.
- Skor delta'ları zaman içinde izlenir. Sadece pass/fail değil. Sert bir gate'i başarısız etmeyen citation accuracy'de %4'lük bir regresyon yine de bir regresyondur.
Ortadaki — başarısızlıkların bir sahibe page atması — ekiplerin atladığı ve sonra drift'in neden katlanarak arttığını merak ettiği kısımdır.
Her sistemle birlikte sevk ettiğimiz
Hızlı alt kümeyi yerel olarak iki dakikanın altında çalıştıran bir pnpm eval (veya muadili) hedefi. PR'da aynı şeyi çalıştıran bir GitHub Action. Prod prompt'lara karşı tam seti çalıştıran bir nightly. Ve iki grafikli bir dashboard: tag'e göre pass oranı ve zaman içinde pass oranı.
Hepsi bu. Bu listede yeni bir şey yok. Yenilik, birinci günde bağlanmış olması ve biz gittikten sonra bağlı kalmasıdır.
Bu neden işe yarar
Mühendisler, yaptırım uygulamayan sistemler için eval yazmazlar. Eval suite ahlaki bir artefakt değildir, test piramidinin yük taşıyan bir parçasıdır. Diğer testlerin yaşadığı yere koyun.