GPT-X3-150M, Open SLM Liderlik Tablosunda #1 oldu, SmolLM2-135M'yi geride bıraktı

Open SLM Leaderboard, açık kaynaklı dil modellerinin çeşitli görevlerdeki başarımını ölçen ve karşılaştıran bir platform olarak sektörde geniş bir referans noktası oluşturuyor. Geçtiğimiz günlerde topluluk üyeleri, GPT-X3-150M modelinin yeni bir sürümünü yayınlayarak tabloyu ilk sıraya taşıdığını duyurdu. Model, 150 milyon parametreye sahip olmasına rağmen GDN2 (Gated Dense Network) ve GQA (Gated Query Attention) bileşenlerini birleştiren hibrit bir mimari kullanıyor; bu sayede hem verimlilik hem de doğruluk açısından önemli bir denge sağlıyor.

GPT-X3-150M'nin bu başarısı, bir önceki lider olan HuggingFace'ın SmolLM2-135M modelini geride bırakmasıyla dikkat çekti. SmolLM2-135M, 135 milyon parametreyle uzun süredir küçük ölçekli modeller arasında performans rekorları kırıyordu. Yeni modelin üstünlüğü, özellikle düşük kaynaklı ortamlarda ve kenar cihazlarda (edge devices) yüksek doğruluk gerektiren uygulamalara yöneliktir.

Topluluk, bu geçişin sadece bir skor değişikliği olmadığını, aynı zamanda model mimarilerinde yeni bir trendin başlangıcı olabileceğini vurguluyor. GDN2/GQA hibrit yaklaşımı, parametre sayısını artırmadan model kapasitesini yükseltmeyi hedefleyen araştırmacılar için ilham kaynağı olabilir. Ayrıca, açık kaynaklı bir model olması, akademik ve endüstriyel geliştiricilerin hızlıca deneme ve uyarlama yapabilmesine olanak tanıyor.

Bu gelişme, açık kaynak ekosisteminde rekabeti artırarak daha fazla yenilikçi mimarinin ortaya çıkmasını teşvik edecek gibi görünüyor. Modelin kod ve ağırlıkları hâlen GitHub üzerinden erişilebilir durumda ve topluluk tarafından sürekli olarak iyileştirmeler yapılması bekleniyor.