Betelgeuse Engine, RTX 3060'da Qwen 3.8 Flash Next'i 22 tok/s sürdürülebilir hızla çalıştırdı
Betelgeuse adlı yeni bir llama.cpp çatalı, 12 GB VRAM ve 16 GB DDR4 RAM'li bir RTX 3060 sisteminde Qwen 3.8 Flash Next modelini ortalama 22 tok/s hızla, zirvede ise 48 tok/s'e kadar çıkararak çalıştırdı. Bu performans, aynı donanımda stock llama.cpp'un 1.5 tok/s seviyesindeki yavaşlığına kıyasla çarpıcı bir iyileşme sunuyor.
Özetle
- 1
Betelgeuse, Qwen 3.8 Flash Next'i RTX 3060'da ortalama 22 tok/s, zirvede 48 tok/s hızla çalıştırıyor.
- 2
Sıfır gate pruning ve %100 bit‑tamlık sayesinde model çıktısı orijinalle birebir aynı kalıyor.
- 3
VRAM‑RAM victim cache mimarisi NVMe okuma miktarını %82 azaltarak performansı artırıyor.
Reddit topluluğu LocalLLaMA'da kullanıcı zyxciss, Qwen 3.8 Flash Next'in 68 GB'lık GSQ‑RCO‑IQ2_XS sürümünü bütçeli bir oyun bilgisayarında çalıştırmak için Betelgeuse adlı bir motor geliştirdi. Motor, llama.cpp'nin bir çatalı olarak sıfır gate pruning ve %100 bit‑tamlık garantisi sunuyor; yani her katmandaki 10 yönlendirilmiş uzman (expert) tam hassasiyetle hesaplanıyor ve 28 080 yönlendirici kaydı ile 576 token arasında hiçbir fark (0.000e+00) bulunmadı.
Betelgeuse, VRAM içinde yaklaşık 5 000 uzman yuvasını (slot) barındıran bir "Arrival‑Slack VRAM Slot Pool" kullanıyor ve katman başına farklı sayıda slot dağıtarak bellek kullanımını optimize ediyor. Ayrıca, CPU‑GPU zamanlayıcı bölünmelerini ortadan kaldıran bir "In‑Stream GPU Doorbell + 1‑Split CUDA Graph Replay" mekanizması sayesinde uzman eksikliği durumunda sadece 2 µs içinde çözüm bulunuyor. Eksik uzmanlar ise ayrı bir RAM "victim cache"e taşınıyor; bu sayede fiziksel NVMe okuma miktarı 71 MB/token'dan 12.43 MB/token'a düşüyor.
Test sonuçları, RTX 3060 12 GB + 16 GB DDR4 (MemoryMax=12G) konfigürasyonunda Betelgeuse'un soğuk başlangıçta 16.80 tok/s, ısınmış (warm) koşulda 22.03 tok/s sürdürülebilir hız sağladığını gösteriyor. Uzmanlar tamamen VRAM/victim cache içinde olduğunda ise hız 48 tok/s'e kadar çıkıyor. Karşılaştırma olarak stock llama.cpp sadece 1.47 tok/s, Strata ise 8.11 tok/s performans gösteriyor. Aynı zamanda Q8_K_XL kuantizasyonu (≈190 GB) altında da Betelgeuse 8 tok/s (soğuk) ve 12 tok/s (ısınmış) hızlarıyla çalışıyor, stock sürüm ise OOM hatası veriyor.
Geliştiriciler, bu mimariyi DeepSeek V4.1 Flash modeline de taşımayı planlıyor ve aynı donanımda 25 tok/s civarında sonuçlar almayı hedefliyor. Betelgeuse kodu GitHub'da açık kaynak olarak sunulmuş ve llama.cpp ana deposuna bir PR olarak gönderilmiş durumda.
Yöney yorumu
Bu gelişme, geliştiricilerin yüksek kapasiteli MoE modellerini tüketici sınıfı donanımla verimli bir şekilde çalıştırabilmesini sağlayarak, AI araştırması ve uygulamalarının erişilebilirliğini artırıyor.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Betelgeuse (bel-server)Cold Decode · cold16.8 tok/s
- Betelgeuse (bel-server)Warm Decode · warm22.03 tok/s
- Betelgeuse (bel-server)Peak Burst · burst48 tok/s
- Betelgeuse (bel-server)Physical SSD Reads12.43 MiB/tok
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
