Horsey Challenge – Strata Fork ve Qwen 3.8 FN NVFP4

Reddit topluluğu üyesi, Strata projesinin sergqwer tarafından çatallanan NVFP4 sürümünü (https://github.com/sergqwer/strata-nvfp4) kullanarak "horsey challenge" adlı 3D at animasyonu görevini denedi. Görev, Three.js ile düşük poligonlu bir at modeli oluşturup, bacak, gövde, baş ve kuyruğu hareket ettiren tek bir HTML dosyası üretmekti. Kullanılan model Qwen3.8-Flash-Next 125B-A6B hybrid MoE, NVFP4 formatına dönüştürülmüş ve 4.5‑bit uzman ağırlıkları, Q8_0 yoğun katman ve int8 KV önbellek gibi optimizasyonlarla çalıştırıldı.

Deney, RTX 5090 32 GB GPU, Ryzen 7 9800X3D ve 192 GB DDR5‑5600 RAM içeren bir sistemde gerçekleştirildi. Model, 262 144 token'lık maksimum bağlamı ve 220 k token'lık özel kompaktasyon sınırıyla çalıştırıldı; bu testte kompaktasyona hiç ihtiyaç duyulmadı. Toplam 87 adımda 124 443 çıktı token'ı üretildi ve 96 334 yeni giriş token'ı ile 9 340 144 önbellek okuma token'ı (%99 hit oranı) gerçekleşti.

Performans ölçümleri, duvar süresinin 33 dakika 45 saniye, saf ajan çalışma süresinin 23 dakika 10 saniye olduğunu gösterdi. Decode aşamasında ortalama 116 token/sn (medyan) ve en yüksek 171 token/sn hızına ulaşıldı; TTFT (ilk token zamanlaması) medyanı 0,7 saniye, prefill hızı ise ortalama 3 332 token/sn idi. Toplam 107 araç çağrısı yapıldı ve bu çağrılar 14 dakika 10 saniye sürede tamamlandı.

Bu sonuçlar, tek bir yüksek performanslı tüketici GPU'sunun, büyük MoE modelleriyle karmaşık çok‑adımlı ve çok‑modal görevleri yönetebileceğini ve düşük gecikme, yüksek önbellek verimliliği gibi kritik metriklerde rekabetçi performans sergileyebileceğini ortaya koyuyor.