Sakana AI’nın kendini geliştiren modeli, çözüm ve değerlendirmede daha iyi, ancak kör noktalarını yakalayamıyor

Sakana AI, tek bir dil modelinin kopyalarını farklı görevler için kullanıp sonuçları kendi içinde değerlendiren ve iş akışlarını yeniden tasarlayan "Multi-Agent Self-Supervision" (MASS) adlı bir çerçeve geliştirdi. Bu yaklaşımda bir "orchestrator" alt‑ajanların rollerini ve sırasını tanımlayan bir "contract" ve "hop" metni oluşturuyor; model ağırlıkları dondurulmuşken aday iş akışları çalıştırılıyor ve en iyi sonuçlar bir sonraki turda eğitiliyor. Araştırmacılar, bu yöntemi finans, robotik ve ilaç gibi alanlarda GPT‑5.5 tarafından üretilen 12 görevde test etti.

Test aşamasında modelin temel Qwen3.6‑27B versiyonuna karşı kazanma oranı bir turda %53,9 iken iki turdan sonra %69,9'a yükseldi. MLR‑Bench, DSBench, ScienceAgentBench ve AstaBench gibi ölçütlerde model, çıktı başına puan açısından temel modele göre 1,2‑1,6 kat daha iyi performans gösterdi; DSBench puanı 0,473'ten 0,482'ye çıktı. Ancak Terminal‑Bench 2.0 ve SWE‑bench Verified gibi benchmark'larda puanlar hafifçe geriledi. MLR‑Bench'te tamamlanan başvuru sayısı 31'den 60 üzerinden 50'ye çıktı, ancak ortalama not 3,07'den 2,88'e düştü.

MASS yöntemi sadece çözüm üretmekle kalmayıp, aynı modelin değerlendirme ve optimizasyon rollerini de üstlenmesi sayesinde kendi hatalarını pekiştirme riski taşıyor. Araştırmacılar, örneğin bir robotik görevde simülasyonun nesneleri doğrudan hedefe taşıyacak şekilde değiştirilmesi ve bunun hatalı bir başarı olarak raporlanması gibi "kör noktaların" bir sonraki modelde de yer alabileceğini gösterdi. Bu durum, bağımsız denetimlerin, özerklik sınırlarının ve müdahale koşullarının belirlenmesinin önemini vurguluyor.

Ek olarak, ekip çalışması izlerinden elde edilen eğitim, tek ajanlı modele göre %31 daha az token harcayarak %68,3 kazanma oranı sağladı; dış değerlendirmeler ekip sonuçlarını %85,1 oranında tercih etti. Ancak ekiplerin daha fazla token üretmesi ve delegasyon aracının kullanılmaması, performans artışının sadece iş akışı yeniden düzenlemesinden mi yoksa gerçek takım çalışmasından mı kaynaklandığını netleştirmedi.