Strata/Basalt, Qwen3.8-Flash-Next IQ3_S benchmarkı: 16 GB VRAM, 55 GB RAM, 5.6 K tok/s prompt ve 250 tok/s üretim

Reddit topluluğu LocalLLaMA, Qwen3.8-Flash-Next IQ3_S modelini Strata/Basalt platformunda RTX 5080 16 GB ekran kartı, Core Ultra 9 285K CPU ve 62 GB DDR5-6800 RAM ile çalıştırarak kapsamlı bir benchmark yayınladı. Test ortamı, 262 K bağlam uzunluğu ve int8 KV (key‑value) sıkıştırmasıyla yapılandırıldı; bu sayede model büyük metin bloklarını düşük bellek tüketimiyle işleyebildi.

İki ayrı iş yükü ölçüldü: "Agent coding session" (103 istek, 130 K bağlam) ve "Context sweep" (15 K‑207 K yeni promptlar). Agent oturumunda ortalama 5.011 token/s prompt işleme (PP) ve 5.118 token/s en yüksek değer, aynı zamanda 153 token/s ortalama üretim (TG) ve 262 token/s zirve üretim hızları kaydedildi. Context sweep testinde ise ortalama 5.475 token/s PP, 5.662 token/s PP zirvesi, 154.9 token/s TG ortalaması ve 186.6 token/s TG zirvesi elde edildi.

Donanım kaynak kullanımına bakıldığında, her iki testte de VRAM tüketimi 15.7 GB, sistem RAM kullanımı 54.1 GB ve yaklaşık 5 GB serbest bellek kaldı. Promptların %99.5'i önbellekten geldiği için ilk tokenin medyan gecikmesi sadece 0.2 saniye oldu. Bu sonuçlar, Qwen3.8-Flash-Next IQ3_S modelinin yüksek paralel işleme kapasitesi ve büyük bağlam desteğiyle, özellikle kod üretimi ve uzun metin analizlerinde rekabetçi bir performans sunduğunu gösteriyor.

Benchmark sonuçları, yerel LLM altyapılarının (Strata, Basalt) modern donanımla birleştiğinde, bulut tabanlı çözümlere kıyasla benzer ya da daha iyi verimlilik sağlayabileceğini işaret ediyor. Geliştiriciler, bu tür konfigürasyonları kendi uygulamalarına entegre ederek düşük gecikmeli ve yüksek hacimli yanıtlar alabilirler.