8 GB VRAM ve 32 GB RAM ile Qwen 3.8 Flash Next, 900 t/s PP ve 30 t/s TG hızına ulaştı

Reddit topluluğu LocalLLaMA'da paylaşılan gönderide, kullanıcı BleynSpecnaz RTX 5060 laptop (8 GB VRAM) ve 32 GB DDR5‑5200 RAM üzerine Strata adlı bellek‑paylaşım katmanını kurarak Qwen 3.8 Flash Next Q2 modelini çalıştırdı. Strata, modelin uzman (expert) bölümlerini VRAM, RAM ve SSD arasında dinamik olarak dağıtarak 125 M parametrelik modelleri bile sınırlı GPU belleğiyle çalıştırabilme yeteneği sunuyor. Kullanıcı, "--mmap-experts", "--kv-resident 20480", "--vram-reserve-mib 500" ve "STRATA_RESIDENT_HEADROOM_GIB=4" gibi parametreleri ayarlayarak bellek kullanımını optimize etti.

Performans ölçümleri iki farklı yapılandırma üzerinden yapıldı: Chat (tek oturum) ve Agentic (çoklu oturum ve delegasyon). Chat yapılandırmasında 262 K bağlamda PP 800‑970 t/s, TG 30‑40 t/s; 131 K bağlamda ise PP 930‑1 040 t/s, TG 30‑45 t/s elde edildi. Agentic yapılandırmasında ise aynı bağlamlarda PP 520‑740 t/s ve 670‑890 t/s, TG 30‑40 t/s ve 30‑45 t/s değerleri raporlandı. Bu sonuçlar, aynı donanımda Strata kullanılmadan çalışan Qwen 3.6 35B A3B modelinin PP 630‑680 t/s ve TG 27‑35 t/s performansının çok üzerindedir.

Kullanılan quant modeli Gyro S idi; yazar, bu quant'ın kalite‑hız dengesinin en iyi olduğunu belirtti. Diğer denenen quant'lar (GSQ‑RCO Coder, GSQ‑RCO IQ2_XS) ya tekrarlayan döngülere takıldı ya da İngilizce dışı dillerde zorlandı. Vision modülü CPU üzerinde çalıştırıldı ve görüntü işleme 1‑2 saniye sürdü, bu da VRAM tasarrufu sağladı. Ayrıca, uzun bağlamlı (131 K token) görevlerde "--parallel" seçeneğinin OOM hatalarına yol açabileceği uyarısı yapıldı; bunun yerine "--conversation-cache" parametresi önerildi.

Yazar, bu yapılandırmanın gerçek dünya testlerinde kodlama ajanlarının verimliliğini beş kat artırdığını ve kalite açısından da 8 GB VRAM sınırının altında çalışan diğer modellerden üstün olduğunu vurguladı. Paylaşılan konfigürasyon dosyaları (Pastebin, Google Drive) ve kalibrasyon komutları, topluluk üyelerinin benzer donanımlarda deneme yapabilmesi için rehber niteliğinde sunuldu.