RAG sisteminizin eval seti yoksa, her prompt değişikliği vibe-tabanlı bir sürümdür. İyi haber: bir haftada faydalı bir eval seti inşa edebilirsiniz. Mükemmel bir tane değil — faydalı bir tane. Mükemmel, ekiplerin hiç eval'i olmamasına neden olan tuzaktır.
İşte birinci günde 0–5 eval'i olan ve hafta sonuna kadar 200'e ihtiyaç duyan müşterilerle yaptığımız engagement'larda kullandığımız tarif.
Şekli
Üç şey istiyorsunuz:
- Dondurulmuş bir korpus — sisteminizin üzerinde retrieval yaptığı gerçek dokümanlar, belirli bir zaman noktasında snapshot'lanmış.
- 200 soru — gerçek bir kullanıcının soracağı türden, ground-truth cevaplar ve citation'larla birlikte.
- Held-out bir set — bu 200'ün 30'u, kilitli, hiçbir şeyi tune etmek için kullanılmaz.
Held-out set en önemlisi ve en sık atlananı. Buna geri döneceğiz.
1.–2. Gün: Gerçek soruları çıkarın
"Kullanıcılar ne sorardı?" çalıştaylarını atlayın. Hiçbir kullanıcının gerçekte sormadığı sorular üretirler. Kaynaklarınıza gidin:
- RAG'ın kapsadığı herhangi bir konudan bahseden support ticket'ları.
- Mevcut bir search bar'ınız varsa, onun arama logları.
- İnsanların soruyu dahili olarak sorduğu Slack kanalları.
- Çalışan mevcut bir LLM sisteminiz varsa, onun chat logları.
250 ham soru hedefleyin. Dedupe edin, ifadeyi normalize edin, açıkça out-of-scope olanları atın. ~200'e ineceksiniz.
3. Gün: Zorluk ve konuya göre etiketleyin
Her soruyu bucket'layın:
- Zorluk: trivial (cevap bir paragrafta), medium (cevap 2–3 dokümanı sentezlemeyi gerektirir), hard (bir prosedür veya kuralı anlamayı gerektirir).
- Konu alanı — alanınıza bağlı olarak genellikle 5–15 bucket.
- Adversarial flag — bilinen başarısızlık modlarını tetiklemek için tasarlanmış sorular (out-of-scope, çelişkili bilgi, yakın zamanda güncellenmiş bilgi).
Bir karışım istiyorsunuz. %90'ı trivial soru olan bir suite size sisteminizin harika olduğunu söyleyecek ve siz medium ve hard senaryolar bozulduğu için bir regresyon deploy edeceksiniz.
4. Gün: Ground truth
Her soru için size gerekenler:
- Beklenen cevap — yazılı, 1–3 cümle, bir alan uzmanının vereceği cevap.
- Destekleyen pasajlar — soruyu yanıtlamak için retrieve edilmesi gereken korpus parçalarına işaretler (doc ID'leri, satır aralıkları, chunk ID'leri).
Bu yavaş kısım. Soru başına ~3 dakika planlayın = 200 soru için ~10 saat. İki kişi paralel, haftanın yarısı. Bir alan uzmanı kullanın.
Buna değer. Bu, "LLM makul bir şey söyledi"yi "LLM doğru kaynağı cite etti ve doğru cevabı verdi"ye dönüştüren kısım.
5. Gün: Baseline'lar + metrikler
Mevcut sisteminizi (veya yoksa bir stub'ı) görünür 170 soruya karşı çalıştırın. Kaydedin:
- Retrieval@k: top-k retrieve edilmiş chunk'lar beklenen destekleyici pasajları içerdi mi?
- Answer correctness: held-out referansla, beklenen cevaba karşı bir LLM judge tarafından puanlandı. Sadece onay damgası vurmadığından emin olmak için judge'ı ~30 insan puanlamasına karşı kalibre edin.
- Citation precision: dönen citation'ların hangi kısmı iddiayı gerçekten destekliyor?
Artık baseline'larınız var. Her gelecekteki prompt veya retrieval değişikliği, bunlardan bir delta olarak görünür.
"Bunu optimize etme" seti
30 held-out soru tek bir nedenle var: kendinizi yakalamak için.
Bir eval seti inşa eden her ekip, sonunda sistemi eval setine karşı tune etmeye başlar. Yeni prompt revizyonu, eval'leri çalıştır, skor yükseldi, sevk et. Üç ay sonra, suite içi skorunuz %95 ve kullanıcı memnuniyetiniz değişmedi çünkü overfit ediyordunuz.
Held-out 30 soru sadece üç aylık health check'ler sırasında çalıştırılır. Suite'in geri kalanı iyileşirken bunlar regresyona uğrarsa, bu overfitting için duman alarmıdır. Onlar, kontrolün üzerindeki bir kontroldür.
Onlara bakmayın. Onlara eklemeyin. Eşdeğerlerini koymayın. Bir kasaya kilitleyin.
Bu size ne sağlar
- Prompt ve retrieval değişikliklerini gate'leyen tekrarlanabilir bir sinyal.
- Yeni LLM sürümlerini değerlendirirken karşılaştırabileceğiniz bir baseline.
- "RAG'ınızın iyi olduğunu nereden biliyorsunuz?" sorusuna savunulabilir bir cevap.
V1'i bir haftada inşa edin. Soruları aylık olarak iterate edin. Held-out seti yılda bir değiştirin.
Mükemmel eval seti inşa etmek için asla zamanınız olmayacak. Faydalı olanı inşa etmek için kesinlikle zamanınız var.