Betelgeuse, Qwen 3.8 Flash Next IQ4_XS'i 2x8GB DDR4'de 24 tok/s hızla çalıştırdı, tek kanalda %50 artış

Betelgeuse ekibi, önceki bir tartışmada IQ2_XS kuantizasyonunun 22 tok/s performansını gösterdiği, ancak 4‑bit IQ4_XS kuantizasyonunun daha büyük uzman (expert) ağı nedeniyle aynı donanımda nasıl bir sonuç vereceği sorulmuştu. Bu soruya yanıt olarak, oracle + victim‑cache DMA yolunu yükselttiler ve IQ4_XS (100 GB+ sınıfı, tam 4‑bit uzmanlar) paketleyerek aynı RTX 3060 12 GB kartı iki farklı RAM konfigürasyonunda test ettiler.

Test ortamı iki şekilde yapılandırıldı: A) Tek kanallı 1 × 16 GB DDR4 (yaklaşık 19 GB/s host bant genişliği) ve B) Çift kanallı 2 × 8 GB DDR4 (yaklaşık 38 GB/s host bant genişliği). Her iki senaryoda da toplam sistem RAM 16 GB olarak sabit tutuldu. Ölçülen sonuçlar, IQ4_XS kuantizasyonu için tek kanalda ~14 tok/s, çift kanalda ise 24 tok/s token işleme hızı sağlandığını gösterdi. Betelgeuse, bu süreçte %100 byte‑exact uyumluluğu korudu.

Karşılaştırma açısından, aynı donanımda Stock llama.cpp Strata (--low‑ram) sürümü tek kanalda ~0.5 tok/s, çift kanalda ~0.6 tok/s gibi çok düşük performans sergiledi. IQ2_XS (GSQ‑RCO) tek kanalda 22.03 tok/s (48 tok/s patlamalı) ve Q8_K_XL (8‑bit) ise tek kanalda OOM hatası verip <0.1 tok/s performans gösterdi; ancak soğuk ve sıcak durumlarda sırasıyla 8 tok/s ve 12 tok/s elde edildi.

Betelgeuse'un başarısının temelinde, VRAM slot havuzu ile NVMe sürücü arasında çalışan Exclusive Host RAM Victim Cache ve Async Hardware DMA (MOE_DMA=1) bulunuyor. Tek kanallı DDR4'de sınırlı bellek bant genişliği nedeniyle CPU ve PCIe H2D DMA motoru aynı 64‑bit kanalını paylaşırken, çift kanallı yapı bant genişliğini iki katına çıkararak GPU'nun DMA motorunun victim‑cache hit'lerini tam hızda çekmesini sağladı. Geliştiriciler, bu mimariyi DeepSeek V4.1 Flash modeline de taşıyarak benzer donanımda ~25 tok/s hedefliyor.