Qwen 3.8 Flash-Next, AMD 7900 XTX'te 500k bağlamda çalıştırıldı: Yerel kullanımda büyük sıçrama
Kullanıcı, Qwen3.8-Flash-Next modelini AMD Radeon 7900 XTX kartı üzerinde 500.000 tokenlık bağlamla çalıştırarak yerel yapay zekâ performansında çarpıcı bir artış kaydetti. Preserve_thinking parametresinin neden olduğu tekrarlama hatasını düzelttikten sonra model, 105‑160 token/sn hızla ve %88‑94 kaliteyle yanıt veriyor.
Öne Çıkan Başlıklar
- Preserve_thinking:true ayarı, modelin önceki akıl yürütmelerini tekrarlamasına neden oldu; ayar kapatıldığında sorun çözüldü.
- Qwen3.8-Flash-Next, AMD Radeon 7900 XTX üzerinde 500.000+ tokenlık bağlamı (506.849 token) sorunsuz işleyebildi.
- Decode hızı 105‑160 token/sn arasında, bağlam derinliği arttıkça %18 yavaşlama gösterdi ancak kalite sabit kaldı.
- Thinking açıkken kalite %88‑94, kapalıyken %81‑84 olarak ölçüldü; önceki llama.cpp ve Swift‑1.5 27B modellerine göre büyük bir performans artışı sağladı.
- Modelin 66.4 GB ağırlığı, 23.8 GiB VRAM ve 60+ GB sistem RAM kullanımıyla yüksek bellek verimliliği gösterdi.
Reddit'te LocalLLaMA topluluğuna gönderilen bir paylaşımda, /u/human_in_the_looop adlı kullanıcı Qwen3.8-Flash-Next (temel sürüm ve sonrasında Swift-1.5 NVFP4) modelini bir ay boyunca bir pod oturumunda test ettiğini ve modelin kendi önceki akıl yürütmelerini tekrarlayan kısa yanıtlar verdiğini raporladı. Sorunun bağlamın aşırı büyümesinden değil, preserve_thinking: true ayarının önceki düşünce çıktısını her yeni isteğe eklemesinden kaynaklandığı tespit edildi; bu ayar kapatıldığında tekrarlar ortadan kalktı.
Modelin teknik özellikleri incelendiğinde, toplam 176 Milyar parametreye sahip olduğu, her token için 6 Milyar aktif parametre kullandığı ve ağırlıkların 66.4 GB'lık bir dosyada saklandığı görüldü. Bu ağırlıkların 23.8 GiB'ı GPU VRAM'inde, 31.6 GB'ı uzman ağırlıkları ve 28.8 GB'lık PLE tablosu ise sistem RAM'inde tutuldu. Bu konfigürasyonla model, 500 k tokenlık bir bağlamı (gerçekte 506.849 token) sorunsuz bir şekilde işleyebildi.
Performans açısından, modelin çözümleme hızı 105‑160 token/sn arasında değişti; bağlam derinliği arttıkça hız %18 oranında düşse de yanıt kalitesi etkilenmedi. Düşük akıl yürütme (thinking off) modunda kalite %81‑84, thinking açıkken ise %88‑94 aralığında seyretti. Bu sonuçlar, yazarın daha önce kullandığı llama.cpp ve Swift‑1.5 27 B yoğun (dense) modellerine kıyasla belirgin bir iyileşme olduğunu gösteriyor.
Kullanıcı, bu deneyimini günlük sürücü (daily driver) olarak benimseyerek, AMD tabanlı bir oyun bilgisayarında yerel LLM geliştirmelerinin artık çok daha geniş bağlam ve yüksek kalite sunabildiğini vurguladı. İlerleyen dönemde Flash‑Next ve Strata modelleriyle ilgili daha fazla rapor paylaşmayı planladığını belirtti.
Benchmark Sonuçları
| Model | Benchmark | Skor | Ayar |
|---|---|---|---|
| Qwen3.8-Flash-Next | Decode speed (minimum) | 105 tokens/s | minimum observed |
YZ Yorumu
Bu gelişme, yüksek bellek kapasiteli tüketici GPU'larının yerel büyük dil modelleri için artık yeterli olduğunu gösteriyor; geliştiriciler daha uzun bağlamlarla daha kaliteli çıktılar elde ederken, donanım maliyetlerini de kontrol altında tutabilecek.
Yapay zekâ tarafından üretilmiştir.