Artificial Analysis Intelligence Index v5: Büyük Güncelleme ve Açık Ağırlıklı Modellerde Genişleyen Boşluk

Reddit topluluğu LocalLLaMA, Artificial Analysis Intelligence Index'in (AAII) v5 sürümünü duyurdu. Güncellenen indeks, daha kapsamlı değerlendirmeler ve yeni ağırlıklandırma metodolojisi sayesinde model sıralamalarında daha hassas bir ölçüm sunmayı hedefliyor. Özellikle açık ağırlıklı modellerin performans farkı, önceki sürümde 3 puan iken şimdi 12 puana çıktı.

AAII v5, indeksin %60'ını özel test setleri ve tutulan cevaplarla oluşturuyor. Bu yaklaşım, sonuçların dışarıdan bağımsız olarak doğrulanmasını zorlaştırıyor ve bazı araştırmacıların metodolojinin şeffaflığı konusunda eleştirilerde bulunmasına neden oldu. Topluluk üyeleri, özellikle GPT‑Terra‑6.1'in Fable‑5.1'den daha iyi performans gösterdiği deneyimlerini paylaşarak indeksin güvenilirliğine dair soru işaretleri oluşturdu.

Sıralamada öne çıkan modeller arasında, henüz ağırlıkları yayınlanmamış olan Kimi K3.1 Pro, 46 puanla en yüksek açık ağırlıklı skoru elde etti. Açık ağırlıklı modeller arasında en yüksek puanları alan DeepSeek V4.1 Flash (1017 max) ve GLM‑5.3 (max) ise 32 puanla liderin 14 puan gerisinde yer alıyor. Kapalı model Claude Haiku 5.5 ise 36 puanla ikinci sırada bulunuyor.

Bu güncelleme, açık ağırlıklı model geliştiricileri için hem bir motivasyon hem de bir uyarı niteliğinde. Daha yüksek puanlar elde etmek için özel veri setlerine erişim ve test prosedürlerinin şeffaflığı kritik hale geliyor. Endüstri gözlemcileri, indeksin metodolojisinin daha açık bir şekilde paylaşılması ve yeniden üretilebilirliğin artırılması gerektiğini vurguluyor.