16 GB VRAM ile Qwen3.8‑27B q4_0 ve 262k KV akışı: 80t/s ve 400t/s performans
Reddit kullanıcısı, 16 GB VRAM'li bir GPU’da Qwen3.8‑27B modelini q4_0 kuantizasyonu ve 262 k token KV önbelleğiyle çalıştırarak 80 token/s ve 400 token/s prompt performansı elde ettiğini paylaştı. Bu başarı, llama.cpp‑adaptive‑kv‑streaming çatallamasının özelleştirilmesiyle mümkün oldu ve düşük bellekli sistemlerde büyük modellerin kullanılabilirliğine yeni bir bakış açısı sundu.
Öne Çıkan Başlıklar
- 16 GB VRAM'li bir GPU’da Qwen3.8‑27B modelini q4_0 kuantizasyonu ve 262 k KV önbelleğiyle çalıştırmak mümkün.
- llama.cpp‑adaptive‑kv‑streaming çatallaması, q4_0 desteği eklenerek bellek verimliliği artırıldı.
- MTP benchmark'ta 80 token/s, 262 k context'te 20 token/s ve 400 token/s prompt‑per‑second (pp) elde edildi.
Kullanıcı Fancy‑Snow7, 16 GB VRAM'li bir ekran kartı üzerinde Qwen3.8‑27B modelini q4_0 kuantizasyonu ve 262 k token uzunluğunda KV (key‑value) önbelleğiyle çalıştırabildiğini belirtti. Model, Windows ortamında iki ekran ve video yakalama işlemiyle aynı kartta çalıştırılıyor; bu koşullarda bile 80 token/s (MTP benchmark) ve 20 token/s (262 k context) hızları elde edildi. Prompt‑per‑second (pp) ölçümünde ise 400 token/s seviyelerine ulaşıldığı ifade edildi.
Bu performansın temelinde, llama.cpp‑adaptive‑kv‑streaming adlı bir çatalla yapılan özelleştirme yatıyor. Çatalla, varsayılan olarak yalnızca q8_0 ve q4_0 desteklenirken, yazar kendi ihtiyaçları için q4_0 desteğini genişletti. Ayrıca batch ve ubatch değerlerini 128'e düşürmek, KV‑stream‑arena‑mib ayarını artırmak ve gereksiz uygulamaları kapatmak gibi önerilerle bellek yönetimi optimize edildi. Windows'un VRAM'ı tükendiğinde paylaşımlı RAM'e geçiş yapması ve KV'nin sistem RAM'ine akması da normal bir davranış olarak açıklandı.
Kullanıcı, benzer donanım sınırlamalarına sahip topluluk üyelerinin 60 k context ve daha düşük kuantizasyonlarla yetinmek zorunda kaldığını, bunun ise modelin potansiyelini kısıtladığını vurguladı. Çatalla yapılan ufak kod değişikliklerinin birkaç dosyada birkaç satırla uygulanabileceği ve LLM destekli kod üretimiyle hataların kolayca giderilebileceği belirtildi. Front‑end kısmının ise sadece kişisel bir launcher olduğu, temel işlevin komut satırı arayüzü olduğu da ifade edildi.
Bu deneyim, 16 GB VRAM gibi sınırlı kaynaklara sahip kullanıcıların da büyük dil modellerini (27 B parametre) kuantize edilmiş biçimde, yüksek KV uzunluklarıyla ve görsel yeteneklerle (vision) çalıştırabileceğini gösteriyor. Özellikle düşük maliyetli donanımla yüksek bağlam uzunluğu gerektiren uygulamalarda bu yaklaşım, topluluk içinde yeni bir referans noktası oluşturabilir.
Benchmark Sonuçları
| Model | Benchmark | Skor | Ayar |
|---|---|---|---|
| unsloth/Qwen3.8-27B-UD-IQ4_XS | MTP bench (tam bağlam, video yakalama olmadan) | 80 token/s | - |
| unsloth/Qwen3.8-27B-UD-IQ4_XS | 262k KV context (MTP bench) | 20 token/s | 262k context length |
YZ Yorumu
Bu başarı, düşük bütçeli donanımla büyük modelleri kullanmak isteyen geliştiricilere ve son kullanıcılara yeni bir yol haritası sunuyor; kuantizasyon ve KV akışı optimizasyonları, performans kaybı olmadan daha uzun bağlamları mümkün kılıyor.
Yapay zekâ tarafından üretilmiştir.