Veritabanı Değerlendirmesini RL Ödüllerine Dönüştüren ThinkingBox ile Eğitim Sonrası Ajanlar
Microsoft ve Hugging Face, ThinkingBox çerçevesinde veritabanı durumunu doğrudan ödül sinyali olarak kullanan bir RL ince ayar yöntemi geliştirdi. 50 adımlık GRPO eğitimi sonrası Qwen3.8-27B modeli, ThinkingBox‑Bench testinde tekrarlanabilir başarı oranını %7,5'ten %21,1'e yükseltti.
Özetle
- 1
ThinkingBox, veritabanı durumunu doğrudan ödül sinyali olarak kullanan ilk RL eğitim çerçevesi olarak tanıtıldı.
- 2
Qwen3.8-27B modeli, 50 GRPO adımı sonrası "observed 20/20" başarısını %7,5'ten %21,1'e yükselterek üç katına çıkardı.
- 3
RL ince ayarı, pass@1 oranını %51,70'ten %60,78'e artırdı, ancak pass@20 (en az bir kez başarı) oranı hafifçe (%89,35'ten %87,97'ye) düştü.
- 4
Maliyet analizi, ince ayarlı modelin güvenilir görev başına maliyetini $8,00'a düşürerek büyük dil modelleri arasında rekabetçi bir konuma getirdi.
ThinkingBox, bir ajanın gerçek bir veritabanı arka ucunda çalıştırıldığı ve son durumun yürütülebilir kontrollerle doğrulandığı bir benchmark seti sunuyor. 507 görevden oluşan ThinkingBox‑Bench, modelin araç çağrılarını değil, veritabanı kayıtlarındaki nihai değişiklikleri değerlendiriyor; bu sayede modelin yalnızca doğru sonuçları üretmesi değil, aynı zamanda tutarlı ve güvenilir bir davranış sergilemesi hedefleniyor.
Araştırmacılar, bu yürütülebilir kontrol sinyallerini ödül fonksiyonu olarak kullanan bir offline politika‑göreceli zorluk ölçütü geliştirdi. Görevler, temel modelin (Qwen3.8‑27B) başarı olasılığına göre sınıflandırıldı; sadece bazen başarılı olup bazen başarısız olan görevler eğitim havuzuna alındı. Bu sayede RL eğitimi sırasında model, karşıt sonuçlar üretebilen örneklerden öğrenebildi.
Model, 50 GRPO adımı boyunca 187 seçilmiş görevde tam parametreli RL ince ayarı yapıldı. Eğitim, 24 H100 GPU üzerinde 144 bölüm (8 rollout × 18 grup) ile yürütüldü; AdamW optimizasyonu 1e‑6 öğrenme oranı ve sıfır ağırlık çürümesiyle kullanıldı. Sonuç olarak, Qwen3.8‑27B'nin "observed 20/20" başarısı 38 görevden 107 göreve (%7,5'ten %21,1'e) üç katına çıktı, aynı zamanda pass@1 oranı %51,70'ten %60,78'e yükseldi. Ancak at‑least‑once kapsama (pass@20) %89,35'ten %87,97'ye hafif bir düşüş gösterdi.
Maliyet analizinde, ince ayarlı modelin güvenilir bir görev başına maliyeti $8,00 olarak hesaplandı; bu, GPT‑5.4 ($6,80) ve GPT‑6 Astra ($7,45) gibi rakip modellerle kıyaslandığında rekabetçi bir seviyeye işaret ediyor. Sonuçlar, tutarlılık odaklı RL ince ayarının modelin tekrarlanabilirliğini artırdığını, ancak kapsamı (farklı görevlerde başarı) biraz daralttığını gösteriyor.
Yöney yorumu
Bu geliştirme, veritabanı odaklı görevlerde LLM'lerin güvenilirliğini artırarak kurumsal otomasyonların risklerini azaltıyor; geliştiriciler daha az deneme‑yanılma maliyetiyle tutarlı çözümler üretebilir, kullanıcılar ise hatalı veri işlemlerine karşı daha güvenli bir deneyim elde eder.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Qwen3.8-27BThinkingBox-Bench · pass@1%60.78
- Qwen3.8-27BThinkingBox-Bench · observed 20/20107 tasks
Bu haber Hugging Face kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
