AI laboratuvarları kendi benchmark puanlarını bağımsız testçilerden ortalama %6,4 daha yüksek raporladı
WhatModel.sh adlı açık kaynak AI lider tablosu, 1.629 yayınlanmış benchmark sonucunu analiz ederek laboratuvarların aynı modeller için bağımsız testçilerden ortalama %6,4 daha yüksek puan bildirdiğini ortaya koydu. Çalışma, 180 modeli 103 farklı benchmarkta karşılaştırdı ve verileri CC BY‑SA 4.0 lisansı altında paylaşıyor.
Özetle
- 1
1,629 benchmark sonucundan 611 eşleşen karşılaştırma oluşturuldu.
- 2
180 model, 103 farklı benchmarkda incelendi ve laboratuvar raporları ortalama %6,4 daha yüksek çıktı.
- 3
Veri seti CC BY‑SA 4.0, kod MIT lisansı ile açık kaynak olarak paylaşılıyor.
Jake Manger, WhatModel.sh projesi kapsamında 1.629 yayınlanmış benchmark sonucunu toplayıp 611 eşleşen karşılaştırma oluşturdu. Bu karşılaştırmalar, 180 farklı yapay zeka modelinin aynı testlerde laboratuvar içi raporları ile bağımsız testçilerin sonuçlarını yan yana getiriyor. Analiz sonucunda, laboratuvarların raporladığı puanların ortalama %6,4 daha yüksek olduğu belirlendi.
Bu fark, aynı modelin aynı benchmarkta iki farklı kaynaktan elde edilen sonuçları arasındaki tutarsızlığı gösteriyor. Laboratuvar raporları genellikle modelin en iyi performansını vurgularken, bağımsız testçiler daha geniş bir test seti ve farklı koşullarla ölçüm yapıyor. Sonuç olarak, model performansının gerçek dünyadaki yansımaları konusunda şeffaflık ve güvenilirlik soruları gündeme geliyor.
WhatModel.sh, elde edilen veri setini Creative Commons BY‑SA 4.0 lisansı altında sunuyor; kod ise MIT lisansı ile açık kaynak. Her model sayfasında kaynak ve lisans bilgileriyle birlikte ilgili benchmark linkleri bulunuyor. Kullanıcılar interaktif grafiği https://whatmodel.sh/claims adresinden inceleyebilir ve GitHub üzerindeki https://github.com/jakemanger/whatmodel deposuna katkıda bulunabilir.
Bu bulgular, AI araştırma topluluğu için hem metodolojik bir uyarı hem de veri paylaşımının önemini vurgulayan bir örnek teşkil ediyor. Laboratuvarların raporlarını bağımsız testlerle çapraz kontrol etme ihtiyacı, model değerlendirme standartlarının yeniden gözden geçirilmesini tetikleyebilir.
Yöney yorumu
Bu bulgu, AI geliştiricileri ve kullanıcıları için model performansını bağımsız olarak doğrulamanın önemini bir kez daha ortaya koyuyor; aynı zamanda laboratuvarların raporlama süreçlerinde daha fazla şeffaflık talep edilmesine yol açabilir.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Various (180 models)Aggregated lab vs independent benchmark comparison · average across 103 benchmarks%6.4
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
