Yeni Artificial Analysis Endeksi Açık ve Kapalı Modeller Arasındaki Boşluğu Genişletiyor

Artificial Analysis, Intelligence Index'in beşinci sürümünü yayınladı ve bu güncelleme, açık modellerin lider kapalı modellere göre performans farkını üç puandan on iki puana çıkararak sıralamadaki uçurumu belirginleştirdi. Önceden dördüncü sırada yer alan Kimi K3.1 Pro, yeni indeks sayesinde beş sıra kaybederek dokuzuncu konuma geriledi ve sekiz kapalı modelin gerisinde kaldı.

Endeksin yeni versiyonunda test setlerinin %60'ı özel olarak hazırlanmış veri kümelerinden oluşuyor. Bu yaklaşım, modellerin bilinen test sorularına yönelik özel eğitim almasını önleyerek "benchmaxxing" olarak adlandırılan manipülasyonu büyük ölçüde azaltıyor. Ancak bu gizlilik, dışarıdan hatalı veya belirsiz soruları tespit etmeyi zorlaştırıyor; AA-Omniscience bilgi testi, yeni indeksin bazı sorularda hâlâ hatalar barındırdığını ortaya koydu.

Grok 4.7 de benzer bir düşüş yaşadı; puanını on iki puan kaybederek yeni sıralamada geriledi. AI araştırmacısı Nathan Lambert, sadece benchmaxxing'in sorunun bir kısmı olduğunu, güncel eğitim kazançlarının büyük ölçüde pekiştirmeli öğrenme (RL) ortamlarından geldiğini ve bu ortamların çoklu görev performansını aynı anda sürdürmek için karmaşık altyapılar gerektirdiğini belirtiyor. Bu altyapıya sahip olmayan laboratuvarlar, yeni indeksin getirdiği zorluklarla daha fazla mücadele edecek.

Endeksin bu revizyonu, açık model geliştiricileri için bir uyarı niteliği taşıyor. Özel test setleriyle daha güvenilir bir değerlendirme sağlansa da, modellerin gerçek dünya performansını ölçmek ve hataları tespit etmek için şeffaflık ve dış denetim mekanizmalarının da önemi vurgulanıyor.