Yoğun Modelleri MoE'ye Dönüştürme Güncellemesi
Bayliner1980, Qwen2.5 serisinin MoE (Mixture‑of‑Experts) versiyonlarını GGUF formatında yayınladı ve performans testlerini paylaştı. Yeni Qwen2.5-1.5B-MoE-A0.9B modeli, aynı donanımda GPU’da %32, CPU’da %41 daha hızlı çalışırken, perplexity ve bazı zero‑shot görevlerde kalite açısından geride kaldı.
Özetle
- 1
Qwen2.5-1.5B-MoE-A0.9B modeli GGUF formatında yayınlandı ve aynı donanımda GPU’da %32, CPU’da %41 daha hızlı çalışıyor.
- 2
MoE versiyonunun WikiText‑2 ve C4 perplexity değerleri %40‑45 daha yüksek, ARC benchmark'ı ise %45 daha düşük performans gösterdi.
- 3
MoE modellerinin dosya boyutu yoğun modellere göre daha büyük (1.1 GB vs 0.9 GB) çünkü llama.cpp'nin MoE mimarisi ayrı bir çıkış başlığı gerektiriyor.
Reddit topluluğu LocalLLaMA'da paylaşılan güncellemede, geliştirici Bayliner1980, önceki gönderisinin ardından yoğun (dense) modelleri MoE mimarisine dönüştürme sürecini ilerlettiğini ve iki yeni modelin GGUF sürümlerini yayınladığını duyurdu. Yeni modeller Qwen2.5-0.5B-MoE-A0.3B ve Qwen2.5-1.5B-MoE-A0.9B olarak adlandırılıyor ve her ikisi de Q4_K_M kuantizasyon seviyesinde sunuluyor.
Yapılan benchmark sonuçları, MoE versiyonunun metin üretim hızında belirgin bir avantaj sağladığını gösteriyor. RTX 4060 8 GB ve Ryzen 5 7500F donanımında GPU üzerinden token/s hızı 191'den 253'e (%32 artış), CPU üzerinden ise 54.9'dan 77.5'e (%41 artış) yükselmiş. Ancak kalite ölçütlerinde, WikiText‑2 ve C4 veri setlerinde perplexity değerleri sırasıyla %41 ve %45 artarak MoE modelinin daha düşük performans sergilediği ortaya kondu.
Zero‑shot görevlerde de benzer bir düşüş gözlemlendi; ortalama acc_norm %0.565'ten %0.462'ye geriledi. Özellikle ARC benchmark'ı, %45'lik bir performans kaybı ile en çok etkilenen görev oldu (ARC‑Easy %0.723'ten %0.572'ye, ARC‑Challenge %0.452'den %0.311'e düştü). Bu sonuçlar, MoE mimarisinin özellikle büyük modellerde MLP katmanının hesap yükünü azaltarak hız kazandırabileceğini, ancak aynı boyuttaki küçük modellerde kaliteyi korumanın zor olduğunu gösteriyor.
Geliştirici, bu sürümün bir "proof of concept" olduğunu ve daha büyük modellerde MoE yaklaşımının daha fazla fayda sağlayabileceğini vurguladı. Ayrıca, MoE modellerinin GGUF dosyalarının yoğun modellere göre daha büyük olduğunu (1.1 GB vs 0.9 GB) ve bunun llama.cpp'nin MoE mimarisi için ayrı bir çıkış başlığı gerektirmesinden kaynaklandığını belirtti. İlgi duyanlar, geliştiriciyi Ko‑fi üzerinden destekleyebilir.
Yöney yorumu
MoE mimarisi, özellikle büyük ölçekli modellerde hız avantajı sağlarken, küçük modellerde kalite kaybına yol açabiliyor; bu da geliştiricilerin model boyutunu ve görev gereksinimlerini dikkatle dengelemeleri gerektiğini gösteriyor.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Qwen2.5-1.5B-MoE-A0.9BWikiText-2 perplexity (1024-token windows) · 1024-token windows14.63 perplexity
- Qwen2.5-1.5B-MoE-A0.9BC4 validation perplexity (64×1024 tokens) · 64 × 1024 tokens22.88 perplexity
- Qwen2.5-1.5B-MoE-A0.9BHellaSwag accuracy · zero-shot0.51 accuracy
- Qwen2.5-1.5B-MoE-A0.9BARC-Easy accuracy · zero-shot0.572 accuracy
- Qwen2.5-1.5B-MoE-A0.9BGPU text generation throughput · RTX 4060 8 GB / Ryzen 5 7500F, Q4_K_M253 tokens/s
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
