25 Ekim 2026 PazarSayı № 298
III BenchmarkTopluluk

Lean-QwenFlash: 125B Qwen3.8-Flash-Next modeli 16 GB VRAM ve 8 GB RAM’da ~20 tok/s hızla çalışıyor

MaxDev0, Qwen3.8-Flash-Next (125B) modelini doğrudan NVMe SSD üzerinden offload ederek 16 GB VRAM ve sadece 8 GB sistem RAM ile çalıştırabildiğini gösterdi. RTX 4090 ve RTX 3080 laptop gibi farklı donanımlarda 8 k ila 262 k token uzunluğunda bağlamlarda 18‑30 tok/s decode ve 650‑1 627 tok/s prefill hızları elde edildi. Bu sonuçlar, büyük dil modellerinin düşük bellekli makinelerde de verimli kullanılabileceğini kanıtlıyor.

Reddit LocalLLaMA kaynağından derlendi · · 2 dk okuma

Orijinal haber ↗
Görsel: Reddit LocalLLaMA

Özetle

  1. 1

    Qwen3.8-Flash-Next (125B) modeli, sadece 8 GB RAM ve 16 GB VRAM ile çalıştırılabiliyor.

  2. 2

    NVMe SSD offload yöntemi sayesinde 8 k‑262 k token bağlamlarda 18‑30 tok/s decode ve 650‑1 627 tok/s prefill hızları elde edildi.

  3. 3

    Kod ve prose için ayrı decode hızları raporlanarak modelin farklı kullanım senaryolarındaki verimliliği gösterildi.

Reddit'in LocalLLaMA topluluğunda paylaşılan yeni bir deney, Qwen3.8-Flash-Next (125B) modelinin bellek gereksinimlerini dramatik biçimde azaltarak yüksek performans elde edilmesini sağladı. Geleneksel kurulumlarda modelin 24 k uzman (expert) katmanı sistem RAM'inde (48‑64 GB) tutulurken, MaxDev0 bu katmanları doğrudan NVMe SSD'ye offload etti ve sadece 8 GB RAM ve 16 GB VRAM kullandı.

Bu yaklaşım, Alibaba'nın Flash-Next mimarisi ve sybil-solutions ekibinin GLM-5.3 için geliştirdiği flash-lite yöntemi temel alıyor. MaxDev0, bu yöntemi Qwen3.8-Flash-Next'e uyarlayarak, RTX 4090 kartında 8 k bağlamda prose metinlerde 28‑33 tok/s, kodda 19‑22 tok/s decode hızları ve 1 080 tok/s prefill performansı elde etti. Daha uzun bağlamlarda (100 k ve 262 k token) ise sırasıyla 20.8‑20.0 tok/s decode ve 1 536‑1 627 tok/s prefill hızları kaydedildi.

RTX 3080 laptop konfigürasyonunda ise 100 k token bağlamda 18‑21 tok/s decode ve 650‑700 tok/s prefill hızları gözlendi; bu da VRAM sınırının 15.5 GB civarında olduğunu gösteriyor. Sonuçlar, büyük modellerin sadece yüksek seviye iş istasyonlarıyla sınırlı olmadığını, orta seviye dizüstü bilgisayarlarla da makul performans alınabileceğini ortaya koyuyor.

Proje kodları, model indirme script'leri ve paketleme araçları GitHub'da (https://github.com/MaxDevv/lean-qwenflash) yayınlandı. Bu sayede topluluk, ExLlamaV3, GLM flash offload ve Alibaba'nın Flash-Next teknolojilerini birleştirerek düşük bellekli ortamlarda büyük dil modelleri çalıştırma konusunda yeni bir referans noktası oluşturdu.

Yöney yorumu

Bu teknik, büyük modellerin sınırlı donanımlı ortamlarda bile akıcı bir şekilde kullanılabilmesini mümkün kılıyor; geliştiriciler daha düşük maliyetli altyapılarla prototip oluşturabilir, kullanıcılar ise yüksek performanslı yanıtlar alabilir.

Yapay zekâ tarafından üretilmiştir.

Haberdeki skorlar

Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.

  • Qwen3.8-Flash-Next (125B)decode speed (prose, 8k context, RTX 4090) · 8k context, prose
    30 tok/s
  • Qwen3.8-Flash-Next (125B)decode speed (code, 8k context, RTX 4090) · 8k context, code
    20 tok/s
  • Qwen3.8-Flash-Next (125B)decode speed (100k context, RTX 4090) · 100k context
    20.8 tok/s
Devamı kaynakta

Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.

III

Aynı bölümden

Tümü →
III Benchmark

Anthropic kurucu ortağı Jack Clark, kendini geliştiren AI tahminini 2027'ye çekti

Anthropic'in yeni benchmark'u TasteVal, yapay zekâların deney tasarlama ve sonuçları yorumlama yeteneğini ölçerek, bu alandaki gelişimin üç ayda iki katına çıktığını gösterdi. Bu bulgular, kurucu ortak Jack Clark'ın kendini geliştiren (RSI) yapay zekâ için 2028 tahminini 2027'ye indirmesine yol açtı.

Özetle 3 madde
  1. TasteVal benchmark'u, AI modellerinin deney tasarlama ve sonuç yorumlama yeteneğini ölçerek araştırma tadısını sayısal bir metrik haline getirdi.
  2. Anthropic Opus 5.5, insan uzmanların performansını %50'den az bir maliyetle geçerek compute multiplier 2.3 elde etti.
  3. Compute multiplier değeri, Aralık 2025'ten itibaren her üç ayda bir ikiye katlanarak hızlı bir iyileşme eğrisi gösterdi.

The Decoder1 skor

III Benchmark

ISTAnın GSQ-RCO 2-bit DeepSeek-V4.1-Flash modeli, temel modelle aynı puanı alıyor: Gerçek mi?

ISTAnın yeni GSQ-RCO 2‑bit quantizasyonu, DeepSeek‑V4.1‑Flash modelini temel sürümle aynı AIME25 puanına taşıdığı iddiasıyla toplulukta tartışma yarattı. Kullanıcılar, bu yüksek skorların gerçek performansı yansıtıp yansıtmadığını ve KLD ya da perplexity gibi ölçütlerde olası kalite kaybını sorguluyor.

Özetle 3 madde
  1. ISTAnın GSQ‑RCO 2‑bit quantizasyonu, DeepSeek‑V4.1‑Flash modelini AIME25 testinde 100 puanla temel modelle eşleştiriyor.
  2. Benchmark sonuçları %90 üzeri doygunlukta ve tek bir test üzerinden yüksek puan alıyor, bu da kalite kaybının gizlenebileceği anlamına geliyor.
  3. Kullanıcılar, KLD ve perplexity gibi ölçütlerle modelin gerçek performansını doğrulamak için bağımsız testler talep ediyor.

Reddit LocalLLaMA1 skor

III Benchmark

Kimi K3.1 Pro, DeepSeek 4.1 Flash kadar iyi mi?

Kimi K3.1 Pro modelinin performansı, DeepSeek 4.1 Flash (1017) ile karşılaştırıldığında beklenen farkı göstermiyor. Kullanıcılar, Kimi K3.1 Pro'nun yüksek katman sayısı ve yavaş çalışma süresi nedeniyle yerel ortamda zorlayıcı olduğunu belirtiyor.

Özetle 3 madde
  1. Kimi K3.1 Pro, 104 aktif katman nedeniyle yerel çalıştırmada yavaş ve zorlayıcı.
  2. DeepSeek 4.1 Flash (1017), daha düşük ayak iziyle benzer ya da daha iyi performans sağlıyor.
  3. Kimi K3.1 Pro'nun kuantizasyonu çıktı kalitesini düşürürken, DeepSeek yüksek kuantizasyonda daha stabil kalıyor.

Reddit LocalLLaMA