AI Ajanlarının Tutarlılığı Artıyor: ALTK‑Evolve ve Consistency Analyzer ile Pass⁵ %69’a Yükseldi

AI ajanları, özellikle ReAct tarzı zincirleme kararlar içeren sistemlerde, aynı görevi birden fazla kez çalıştırdıklarında farklı sonuçlar üretebiliyor. Bu durum, özellikle finansal işlem uzlaştırma ya da sözleşme denetimi gibi kritik iş akışlarında güvenilirlik sorununa yol açıyor. IBM Research, bu sorunu "Mean@k" gibi ortalama başarı ölçütlerinin gizlediği bir tutarlılık açığı olarak tanımlıyor ve bu açığı ölçmek için "Pass^k" adlı yeni bir metrik öneriyor.

Yeni tanı aracı Consistency Analyzer, bir ajanın kaydedilmiş izleme (trace) üzerinden her karar adımını k=5 tamamlama isteğiyle yeniden örnekleyerek, kararın ne kadar değişken olduğunu puanlıyor. Bu süreç, model içi logitlere ya da ortam etkileşimlerine ihtiyaç duymadan, sadece tek bir izleme ve ek API çağrısı ile gerçekleştirilebiliyor. Analiz sonucunda yüksek belirsizlik gösteren adımlar, ALTK‑Evolve sistemine tutarlılık kılavuzları olarak ekleniyor; örneğin, metin içinde kutucuk işaretlerini sayarken regex kullanımı gibi spesifik öneriler.

Deneyler, AppWorld test_normal veri setindeki 168 görevde, GPT‑4.1 tabanlı ReAct ajanı üzerinde yapıldı. Kılavuzlar eklenmeden Mean@5 %77.4 ve Pass^5 %53.0 iken, kılavuzlar uygulandığında Mean@5 %81.0 ve Pass^5 %69.0 oldu. Böylece tutarlılık açığı 24.4 puandan 12.0 puana düşürüldü ve özellikle orta ve zor görevlerde %44‑%45 oranında göreceli iyileşme sağlandı. Daha düşük kapasiteli gpt‑oss‑120b modeli üzerinde de benzer iyileşmeler gözlemlendi.

Araştırmacılar, bu yöntemin üretim ortamlarında da uygulanabilir olduğunu vurguluyor; sadece karar adımlarının yeniden örneklenmesi, ek bir model çağrısı gerektirdiği için maliyet düşük. Ayrıca, Pass^k metriğinin raporlanması, gerçek kullanıcı deneyimini yansıtmak ve güvenilir ajan etiketleri vermek için kritik bir adım olarak öneriliyor.