Qwen 3.8 FN modelleri RTX 5090'da test edildi: Basalt ve Infernix öne çıkıyor

Reddit'te LocalLLaMA topluluğunun bir üyesi, Qwen 3.8 FN modelinin farklı motorlarla (Basalt, Infernix, capy‑flash, Strata, ninfer‑ext, ninfer ve llama.cpp) aynı koşullarda çalıştırılmasını sağladı. Her motor, NVIDIA'nın NVFP4 formatına kendi dönüştürücüsüyle uyumlu hâle getirildi ve 400 W güç çeken bir RTX 5090 üzerinde, 7 farklı uzunlukta (25 K, 50 K, 100 K, 200 K token) greedy istekle test edildi. Sonuçlar, decode hızı (tokens per second), prefill hızı ve ilk token süresi gibi metriklerde sunuldu.

Decode performansında Basalt 354 t/s, Infernix 349 t/s, capy‑flash 292 t/s, Strata 204 t/s, ninfer‑ext 140 t/s, ninfer 54 t/s ve llama.cpp 39 t/s değerleri elde edildi. Prefill aşamasında ise Basalt 6 492 t/s, Infernix 6 493 t/s, capy‑flash 4 026 t/s, Strata 3 530 t/s, ninfer‑ext 3 552 t/s, ninfer 2 080 t/s ve llama.cpp 1 354 t/s olarak ölçüldü. İlk token süresi açısından Basalt 0.35 s, Infernix 0.42 s, capy‑flash 0.88 s, Strata 0.45 s, ninfer‑ext 1.05 s, ninfer 1.78 s ve llama.cpp 1.09 s olarak kaydedildi.

Testin en çarpıcı bulgusu, Basalt ve Infernix'in decode ve prefill aşamalarında birbirine çok yakın, ancak 50 K ve üzeri uzunluklarda Basalt'ın daha belirgin bir üstünlük gösterdiğidir. capy‑flash, iki GPU’ya yönelik tasarlandığı için tek GPU’da beklenen performansı tam olarak ortaya koyamadı. Llama.cpp ise MTP (multi‑token‑prediction) kapalı çalıştırıldığı için doğrudan karşılaştırma için referans niteliğindeydi. Bu benchmark, yerel LLM dağıtımlarında motor seçiminin performans üzerindeki etkisini net bir şekilde ortaya koyuyor.

Test ortamı, Linux işletim sistemi, RTX 5090 (400 W PL) ve 128 GB RAM olarak belirlendi. Tüm istekler greedy (temperature 0) ayarıyla, int8 KV cache (llama.cpp f16) kullanılarak ve her isteğin soğuk bir sunucuda başlatılmasıyla gerçekleştirildi. Sonuçların %5'lik farkların bağlamında eşit kabul edildiği belirtiliyor.