Qwen 27B, Adaptive KV Streaming ve ROCm Optimizasyonlarıyla 16 GB RX 9070 XT’de 262k Token Bağlamda 80+ t/s Çözümleme
Geliştirici bottlestreet3d, llama.cpp üzerine AMD/ROCm uyumlu Adaptive KV Streaming ve RDNA‑4 iyileştirmeleri ekleyerek Qwen3.8‑27B modelini tam 262.144 token bağlam penceresinde tek bir 16 GB RX 9070 XT kartında çalıştırabildi. Bu optimizasyonlar sayesinde model, 80 token/sn üzerindeki dekodlama hızına ulaştı ve güç tüketimi %24 azaltıldı.
Özetle
- 1
Adaptive KV Streaming sayesinde 262k token bağlamı GPU belleği dışına taşındı ve OOM sorunu çözüldü.
- 2
ROCm/HIP uyumlu çekirdek iyileştirmeleri ile dekodlama hızı 80+ token/sn seviyesine ulaştı.
- 3
231 W güç limitiyle çalıştırıldığında performans kaybı sadece %3.6 oldu, enerji verimliliği arttı.
Bottlestreet3d, Qwen3.8‑27B modelinin IQ4_XS ağırlıklarını (≈14.3 GB) ve Q8_0/Q4_0 KV önbelleğini kullanarak tam 262k token bağlamını tek bir 16 GB RX 9070 XT GPU’da çalıştırmak için llama.cpp kod tabanına bir dizi AMD‑özel iyileştirme ekledi. ASCII‑kondanse edilmiş model versiyonu, ASCII dışı kelime dağarcığını çıkararak depolama ihtiyacını 13.6 GB (12.6 GiB) seviyesine düşürdü ve yaklaşık 3.4 GiB boş VRAM bıraktı.
KV önbelleği yalnızca 262k bağlam için yaklaşık 7.4 GiB RAM gerektiriyor; bu da GPU belleğinde OOM hatalarına yol açıyordu. Geliştirici, NVIDIA/CUDA için yazılmış RaymondHuang210129/llama.cpp‑adaptive‑kv‑streaming projesini ROCm/HIP ortamına taşıyarak KV önbelleğini host RAM’de tutup, PCIe SDMA üzerinden asenkron olarak 450 MiB prefill ve 2.1 GiB decode veri setlerini akıtıyor. Bu sayede GPU belleği üzerindeki baskı büyük ölçüde azaltıldı.
Ek olarak stew675/llama‑cpp‑rdna‑boosts projesinden alınan çekirdek iyileştirmeleri (4‑satır çok‑sütunlu mmvq, Q4_K/Q5_K için 16‑byte vektör yüklemeleri, SwiGLU füzyonları ve tek‑kuyruklu async HIP grafikleri) entegre edildi. Yeni teknikler arasında sibling activation reuse, register‑level fused residual + RMSNorm, multi‑column SwiGLU & GDN füzyonları, online Log‑Sum‑Exp prefill ve pipelined prefetch, persistent graph arenas ve stream‑optimized speculative decoding yer alıyor.
Benchmark sonuçları, 1 k token bağlamda 36.5 t/s dekodlama hızından 262k bağlamda 9.5 t/s’ye, aynı koşullarda MTP destekli dekodlamada ise 31.1 t/s’ye kadar çıkıyor. Prefill hızı ise 1 k bağlamda 1368.4 t/s iken 262k bağlamda 585.8 t/s olarak ölçüldü. GPU, varsayılan 304 W TDP yerine 231 W limitinde çalıştırıldığında prefill gecikmesi sadece %3.6 arttı ve ses seviyesinde belirgin bir azalma sağlandı.
Yöney yorumu
Bu geliştirme, AMD GPU kullanıcılarının büyük dil modellerini uzun bağlamlarla çalıştırabilmesini mümkün kılıyor ve ROCm ekosisteminin LLM performansında NVIDIA'ya daha yakın bir konuma gelmesini sağlıyor.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Qwen3.8-27B (IQ4_XS, Q8/Q4 KV)Decode throughput (262k context) · 262k context9.5 t/s
- Qwen3.8-27B (IQ4_XS, Q8/Q4 KV)Decode with MTP throughput (262k context) · 262k context31.1 t/s
- Qwen3.8-27B (IQ4_XS, Q8/Q4 KV)Prefill throughput (262k context) · 262k context585.8 t/s
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
