ThinkingBox: AI ajanlarının veritabanı durumunu ölçen yeni benchmark

Microsoft ve Hugging Face, AI ajanlarının gerçek dünyadaki iş akışlarında bıraktığı veritabanı durumunu ölçen ThinkingBox adlı bir benchmark ve sandbox ortamı sundu. Geleneksel değerlendirmelerin aksine, ThinkingBox yalnızca araç çağrılarının sayısını değil, bu çağrılar sonucunda veritabanında oluşan nihai durumu ve yan etkileri inceliyor. 507 farklı iş akışı (perakende, otomotiv sigortası, seyahat, neobank ve danışmanlık) her bir model için 20 bağımsız deneme ile çalıştırıldı ve üç temel metrik (pass@1, pass@20, observed 20/20) raporlandı.

Test sonuçları, tek bir denemede yüksek başarı gösteren modellerin tutarlılık açısından büyük kayıplar yaşayabileceğini gösterdi. Örneğin Claude Opus 5.5, genel olarak %67.16 pass@1 skoru ile lider konumda olsa da, sadece %13.41 oranında (68 görev) tüm 20 denemeyi sorunsuz tamamlayabildi. Buna karşılık Kimi‑K3, %93.89 oranıyla bir kez bile doğru sonuç üretebildiği görev sayısında en yüksek kapsama sahipken, tutarlılık açısından sadece %13.41 oranında 20/20 başarısı bulunuyor. GPT‑6 Astra ise %58.31 pass@1 skoru ile tek denemede ortalama bir performans sergilerken, %78 oranıyla tek denemelik başarısını en iyi koruyan modeller arasında yer alıyor.

Maliyet analizine de yer verilen çalışma, başarılı bir görev denemesinin maliyetini (cost per successful task attempt) ve tutarlı bir görev (20/20) başına maliyeti (cost per dependable task) karşılaştırdı. GPT‑5.4, tek deneme başına $0.131 maliyetle en ucuz seçenekken, tutarlı bir sonuç için $6.80 maliyetle en ekonomik model olarak öne çıktı. Öte yandan Claude Opus 5.5, tutarlı sonuçlar için $7.80 maliyetle en yüksek performans‑maliyet dengesini sağladı.

Başarısızlıkların büyük bir kısmının (yaklaşık %80) araç kullanım hatalarından kaynaklandığı tespit edildi; yani modelin mantıksal hatasından ziyade araçların hatalı yönetimi ve hata kurtarma mekanizmalarının eksikliği sorunu ortaya çıkardı. Bu bulgu, üretim ortamlarında AI ajanlarını dağıtmadan önce veritabanı durumunun kontrol edilmesi, araç yüzeyinin daraltılması ve kritik değişikliklerde insan onayının alınması gerektiğini vurguluyor. ThinkingBox ve ThinkingBox‑Bench açık kaynak olarak Hugging Face üzerinden erişilebilir hâle getirildi; geliştiriciler aynı ortamı kendi veri setleri ve modelleriyle test edebilecek.