8 GB GPU’da 262K bağlam, 3.5 BPW Qwen-Flash-Next Coder 70 T/s performansı
LocalLLaMA topluluğu, Qwen-Flash-Next Coder modelinin 8 GB VRAM ve 24 GB RAM ile 262 k bağlam uzunluğunda çalıştırılabildiğini ve seçici MOE offloading sayesinde 70 T/s (token/saniye) üretim hızı yakaladığını duyurdu. Model, 3.5 bit per weight (BPW) GSQ RCO kuantizasyonu ve yarı yarıya azaltılmış uzman katmanlarıyla etkili bir 1.89 bit/parametre oranına ulaşıyor.
Özetle
- 1
Model, 8 GB VRAM ve 24 GB RAM ile 262 k bağlam uzunluğunda çalıştırılabiliyor.
- 2
Seçici MOE offloading sayesinde 70 T/s prompt processing ve 8 T/s token generation hızı elde edildi.
- 3
3.5 BPW GSQ RCO kuantizasyonu, etkili olarak 1.89 bit/parametre oranı sağlıyor.
- 4
CUDA sorunları nedeniyle Vulkan backend öneriliyor; bağlam boyutu ve arka plan uygulamaları optimize edilmesi gerekiyor.
Reddit'in LocalLLaMA topluluğu, Qwen-Flash-Next Coder modelinin 8 GB VRAM'li bir GPU üzerinde, 262 k bağlam uzunluğuyla çalıştırılabildiğini ve 70 T/s (token per second) üretim hızına ulaştığını raporladı. Model, 6 B aktif parametreye sahip olmasına rağmen, n‑gram ve MOE (Mixture of Experts) katmanlarını akıllı bir şekilde RAM ve SSD'ye dağıtarak bellek tüketimini minimize ediyor; en küçük MOE'ler VRAM'de tutulurken n‑gram verileri en hızlı SSD'de saklanıyor.
Kuantizasyon açısından model, ISTA DASLab tarafından geliştirilen 3.5 BPW "Coder" varyantı ve GSQ RCO kuantizasyonu kullanıyor. Uzman katmanlarının yarısı kaldırıldığı için etkili olarak 1.89 bit/parametre oranı elde edilmiş, ancak saklanan ağırlıklar hâlâ 3.5 BPW seviyesinde. Bu, hem pruningle hem de kuantizasyonla elde edilen birleşik bir sıkıştırma etkisi olarak açıklanıyor.
Performans ölçümleri, seçici MOE offloading (regex tabanlı) ve PCIe 3.0 sınırlamaları altında yapılmış. Bu konfigürasyonla model 70 T/s prompt processing (PP) ve 8 T/s token generation (TG) hızlarına ulaşmış; aynı etkiyi CPU‑MOE ile elde etmeye çalışıldığında daha yavaş sonuçlar alınmış. İlk çalıştırmada MMAP nedeniyle düşük hız gözlemlenmiş, ikinci çalıştırmada ise gerçek T/s değerleri ortaya çıkmış.
Kullanıcılar, CUDA ile 8 GB VRAM'de çalıştırma sorunları yaşadıklarından Vulkan backend'ini tercih etmeleri gerektiği konusunda uyarıldı. Ayrıca, bağlam boyutunu azaltmak, arka plan uygulamalarını kapatmak ve tarayıcı donanım hızlandırmasını devre dışı bırakmak gibi optimizasyon önerileri de paylaşıldı.
Yöney yorumu
Bu performans raporu, düşük bellekli sistemlerde büyük bağlam uzunlukları ve yüksek hız hedefleyen geliştiricilere yeni bir yol haritası sunuyor. Vulkan tabanlı çalıştırma ve MOE offloading gibi teknikler, benzer donanım kısıtlamalarına sahip projelerde uygulanabilir bir referans oluşturuyor.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Qwen-Flash-Next Coder 3.5 BPWTokens per second (prompt processing) · selective MOE offloading (regex), PCIe 3.070 T/s
- Qwen-Flash-Next Coder 3.5 BPWTokens per second (token generation) · selective MOE offloading (regex), PCIe 3.08 T/s
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
