capy-flash v0.7.1: Qwen3.8-Flash-Next 125B MoE 64 GB RAM’da, Qwen3.8-27B 3‑bit tek 16 GB kartta çalışıyor
capy-flash'in 0.7.1 sürümü, 125 milyar parametreli Qwen3.8‑Flash‑Next modelini yalnızca 64 GB RAM ve bir ya da iki 16 GB RTX 50 kartı üzerinde çalıştırabiliyor. Aynı zamanda 27 milyar parametreli Qwen3.8‑27B modeli, 3‑bit quantize edilmiş ağırlıklarla tek bir 16 GB kartta çalıştırılabiliyor ve yüksek token işleme hızı sağlıyor.
Özetle
- 1
capy-flash v0.7.1, 125B Qwen3.8‑Flash‑Next modelini 64 GB RAM ve tek/iki 16 GB GPU’da çalıştırabiliyor.
- 2
Qwen3.8‑27B 3‑bit ağırlıkları tek bir 16 GB kartta 174 tok/s hızla işleyebiliyor.
- 3
GSQ‑RCO i‑quant ağırlıkları sayesinde RAM tüketimi 65 GB’dan 48 GB’a düşürülmüş.
- 4
AVX2 destekli CPU’lar ve Windows/WSL2 bellek sınırlamaları artık engel oluşturmuyor.
Valerio Dolci tarafından geliştirilen capy-flash, açık kaynaklı bir inference motoru olarak Qwen3.8‑Flash‑Next (125B MoE) ve Qwen3.8‑27B modellerinin tüketici sınıfı RTX 50 serisi GPU'larda çalıştırılmasını hedefliyor. Önceki sürümlerde iki adet 16 GB GPU ve 96 GB RAM gibi yüksek donanım gereksinimleri varken, v0.7.1 bu gereksinimi 64 GB RAM ve tek bir 16 GB kartla da karşılayabilecek şekilde optimize etti.
Yeni sürümde, ISTA‑DASLab tarafından sağlanan GSQ‑RCO i‑quant (≈3 bit) ağırlıkları doğrudan kullanılıyor; bu sayede NVFP4 formatına kıyasla RAM tüketimi 65 GB'dan 48 GB'a düşürülmüş. Uzman (expert) katmanların bir kısmı VRAM'de tutulurken geri kalanları CPU üzerinden hesaplanıyor ve en yüksek RAM kullanımının yaklaşık 57 GB olduğu belirtiliyor. Ayrıca AVX2 destekli Zen 2/3 ve Intel client CPU'lar artık sorunsuz çalışıyor, Windows/WSL2'deki sayfa kilitli bellek sınırlaması da kaldırıldı.
Performans açısından, RTX 5070 Ti 16 GB ve Ryzen 9 9900X platformunda yapılan ölçümlerde Qwen3.8‑Flash‑Next modeli tek kartta 121 token/s, iki kartta 234 token/s hızına ulaşıyor. Qwen3.8‑27B modeli ise tek kartta 174 token/s, iki kartta 288 token/s hız gösteriyor. Tek bir 16 GB kartınız varsa, Flash‑Next için Strata hâlâ daha iyi bir seçenek olabilir; ancak iki kartla çalıştırıldığında capy-flash, tensor paralelizm ve ortak VRAM uzman önbelleği sayesinde avantaj sağlıyor.
Kalite ölçütlerinde, 27B modelinin 3‑bit versiyonu GSM8K testinde NVFP4 modeliyle eşdeğer performans sergilerken, MMLU‑Pro puanı %0.78'den %0.72'ye düşmüş. Flash‑Next'in 3‑bit uzmanları ise NVFP4 ile aynı seviyede kalitede. Geliştiriciler ve topluluk üyeleri, yeni sürümün kurulum komutlarını ve model dosyası seçeneklerini GitHub deposundan temin edebiliyor ve deneyimlerini paylaşmaları isteniyor.
Yöney yorumu
capy-flash'in yeni sürümü, büyük modelleri ev tipi bilgisayarlara taşıyarak araştırmacıların ve geliştiricilerin deneme maliyetlerini düşürüyor; aynı zamanda performans‑kalite dengesinde hâlâ bazı sınırlamalar bulunuyor.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Qwen3.8-Flash-Next (125B MoE) 3-bit expertsToken throughput (single 16 GB GPU) · RTX 5070 Ti 16 GB, Ryzen 9 9900X, LocalMaxxing reasoning‑v1, tek istek, MTP, doğrulanmış çalıştırma121 tok/s
- Qwen3.8-Flash-Next (125B MoE) 3-bit expertsToken throughput (dual 16 GB GPUs) · RTX 5070 Ti 16 GB x2, Ryzen 9 9900X, LocalMaxxing reasoning‑v1, tek istek, MTP, doğrulanmış çalıştırma234 tok/s
- Qwen3.8-27B 3-bitToken throughput (single 16 GB GPU) · RTX 5070 Ti 16 GB, Ryzen 9 9900X, LocalMaxxing reasoning‑v1, tek istek, MTP, doğrulanmış çalıştırma174 tok/s
- Qwen3.8-27B 3-bitToken throughput (dual 16 GB GPUs) · RTX 5070 Ti 16 GB x2, Ryzen 9 9900X, LocalMaxxing reasoning‑v1, tek istek, MTP, doğrulanmış çalıştırma288 tok/s
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
