AI ajanlarının uzun vadeli kararları kötü; yeni Taste-Bench benchmarkı bunu ortaya koydu

Microsoft ve Hong Kong Şehir Üniversitesi araştırmacıları, AI ajanlarının uzun süren görevlerdeki karar kalitesini ölçmek amacıyla Taste-Bench adlı bir benchmark oluşturdu. Geleneksel testler yalnızca görevin tamamlanıp tamamlanmadığını ölçerken, Taste-Bench bir "karar çatalı" (decision fork) noktasında ajanların iki olası yolu arasında seçim yapmasını isteyerek uzun vadeli planlamanın kalitesini değerlendiriyor. Benchmark, 502 sorudan oluşuyor; her soru bir görev, çatal noktasına kadar olan iz ve iki olası yön içeriyor.

Testlerde Claude, GPT, Grok, DeepSeek, GLM, MiniMax ve Mistral gibi 14 farklı model değerlendirildi. Her soru iki kez soruldu; seçeneklerin sırası değiştirildi ve modelin her iki seferde de doğru yanıt vermesi gerekiyordu. Saf tahmin %25 başarı getirirken, en yüksek performans gösteren model GPT-5.6 Sol %59.7, ardından GPT-5.5 %59.5 oranında bir başarı elde etti. Diğer modeller bu seviyenin çok altında kaldı ve hiçbiri benchmarkı çözebilecek seviyeye ulaşamadı.

Araştırmacılar, karar çatalındaki ipuçlarının ne zaman ortaya çıktığını da inceledi. İpucu çataldan önce belirginse ortalama doğruluk %62.3'e çıkarken, ipucu ancak daha sonraki adımlarda ortaya çıkıyorsa doğruluk %21'e düşerek rastgele tahmine eşdeğer oldu. Modelin daha fazla düşünme süresi (reasoning tokens) harcaması bu farkı kapatamadı; en zor sorularda en çok kaynak harcayan modeller hâlâ düşük doğruluk gösterdi.

Taste-Bench sadece bir ölçüm aracı değil, aynı zamanda iyileştirme potansiyeli de sunuyor. Araştırmacılar, doğru yolu bilen bir öğretmen modelin yargılarını Qwen3.6-27B tabanlı bir öğrenci modele aktararak bu modelin doğruluk oranını %30'dan %47.9'a çıkardılar. Bu öğrenci modelin tavsiyeleri, 41 tutulan SWE-bench Pro görevinde başarı oranını %14.6'dan %33.7'ye yükseltti. Sonuç olarak, uzun vadeli planlama yeteneği ölçülebilir ve öğretici veriyle geliştirilebilir.