Modeller Gerçekçi Olmayan Benchmark'ları Kovalıyor, Çalışma Düzeyindeki Zeka Zaten Elde Edildi

Reddit'in LocalLLaMA topluluğunda paylaşılan bir yorumda, son benchmarkların geliştiricilerin günlük iş akışlarında nadiren karşılaştığı senaryoları ölçtüğü iddia edildi. Özellikle ikili tersine mühendislik, tek seferde karmaşık bir uygulamayı çözümleme gibi "uç nokta" görevlerin, çoğu işletme ve uygulama geliştirme sürecinde öncelikli olmadığı vurgulandı.

Yorum sahibi, bir modelin "pelikan bisiklet sürerken bir SVG oluştur" gibi basit bir talebi %100 başarıyla yerine getirmesinin yeterli olduğunu, modelin otomatik olarak 3D gölgelendirme, animasyon ya da süslü arka plan eklemesinin gereksiz olduğunu belirtiyor. Bu tür eklemeler, yalnızca sorunun kendisinde istenmediği sürece puan tablolarında haksız bir avantaj sağlıyor.

Topluluk, bu durumun model geliştirme yönünde yanlış bir önceliklendirmeye yol açtığını, araştırmacıların ve şirketlerin kaynaklarını gerçek iş ihtiyaçlarına uygun yetenekler yerine gösteriş amaçlı özellikler üzerine harcadığını öne sürüyor. Bu bağlamda, benchmarkların ağırlıklandırma kriterlerinin yeniden gözden geçirilmesi ve "günlük kullanım" odaklı ölçütlerin eklenmesi çağrısında bulunuldu.

Yazar, model kapasitesinin sürekli artırılmasının piyasa değerini yükseltmek için bir araç olarak kullanılmasının da eleştirildiğini belirtiyor. Gerçek iş senaryolarında daha düşük kapasiteli bir modelin aynı performansı sunabilmesi, maliyet ve enerji verimliliği açısından daha sürdürülebilir bir yaklaşım olacağını vurguluyor.