14 Ekim 2026 ÇarşambaSayı № 287
VI Araç & SDKTopluluk

SonicBoom v0.0.1 ile RTX 3050'da 52 tok/s dekode hızı

SonicBoom, C++/CUDA tabanlı yerel bir tensör çalışma zamanı olarak v0.0.1 sürümünü yayınladı. Aynı quantize edilmiş GGUF dosyasını kullanan llama.cpp ile kıyaslandığında, RTX 3050 8 GB laptopta dekode hızını %14 artırarak 51.65 token/s'ye ulaştı. Bu performans artışı, çekirdek kernel'lerden bağımsız, üst katmanda çalışan bir grafik derleyiciden kaynaklanıyor.

Reddit LocalLLaMA kaynağından derlendi · · 2 dk okuma

Orijinal haber ↗
Görsel: Reddit LocalLLaMA

Özetle

  1. 1

    SonicBoom, aynı quantize kernel'lerini kullanarak llama.cpp'den %14 daha yüksek dekode hızı sağladı.

  2. 2

    Grafik derleyicisi, aktivasyonları tek seferlik quantize edip CUDA Graph ile yeniden oynatarak işlem süresini kısalttı.

  3. 3

    Prefill performansı hâlâ llama.cpp gerisinde; geliştirme yol haritasında MLIR kod üretimi ve spekülatif dekode bulunuyor.

SonicBoom, Python bağımlılığı olmadan C++/CUDA ile yazılmış bir tensor runtime ve C ABI sunuyor. İlk hedefi, tüketici sınıfı GPU'larda yerel LLM çıkarımı sağlamak; bu amaçla geliştiriciler aynı GGUF model dosyasını hem SonicBoom hem de llama.cpp ile aynı donanımda test etti. RTX 3050 8 GB bir dizüstü bilgisayarda Gemma 4 E4B‑it Q3_K_M modeli çalıştırıldığında, SonicBoom 51.65 token/s dekode hızı (tg64) elde ederken, llama.cpp 45.20 token/s kaydetti.

SonicBoom'un avantajı, ggml'den alınan quantize matmul kernel'lerini (MMVQ/MMQ) aynı tutması ve katman üstü bir grafik planlayıcıyla aktivasyonları bir kez quantize edip yeniden kullanması, norm ve aktivasyonların quantizasyonla birleştirilmesi, gereksiz hesapların kaldırılması ve her dekode adımının tek bir CUDA Graph olarak yakalanıp tekrar oynatılması. Bu sayede sadece %8'lik bir kod kısmı ggml'den türetilirken, geri kalan %92'lik kısım tamamen yeni bir çalışma zamanı olarak geliştirildi.

Performans açısından, derinlik 2048'de 47.13 token/s, prefilling (4100 token) sırasında ise SonicBoom 1051 token/s hızına ulaşırken, llama.cpp yaklaşık 1944 token/s ile iki kat daha hızlı. Ancak prefilling yolunun hâlâ iyileştirme gerektirdiği ve şu an sadece greedy sampling desteklediği belirtiliyor. Ayrıca Q4_K_M dosyalarının bir kısmı hâlâ yüklenemiyor; Q6_K ve Q8_0 formatları gelecekte eklenmek üzere planlanıyor.

Geliştiriciler, SonicBoom'un mimarisinin çalıştığını kanıtlamak ve gelecekte MLIR GPU kod üretimi, spekülatif dekode ve daha fazla quant formatı eklemek için yol haritasını açıkladı. Proje GPL‑3.0 lisansı altında dağıtılıyor ve benchmark koşulları, yeniden üretim komutları ve model SHA256 bilgileri GitHub README'de yer alıyor.

Yöney yorumu

SonicBoom, çekirdek kernel'leri değiştirmeden üst katmanda bir derleyici ekleyerek performans kazancı elde etmesiyle, geliştiricilere daha esnek ve hızlı bir yerel çıkarım seçeneği sunuyor. Ancak prefilling ve format desteği konularındaki eksiklikler, tam bir llama.cpp alternatifi olabilmesi için ilerideki güncellemelerle giderilmesi gerekiyor.

Yapay zekâ tarafından üretilmiştir.

Haberdeki skorlar

Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.

  • Gemma 4 E4B-it Q3_K_MDecode (tg64) · tg64
    51.65 tok/s
  • Gemma 4 E4B-it Q3_K_MDecode @ depth 2048 · depth 2048
    47.13 tok/s
  • Gemma 4 E4B-it Q3_K_MPrefill 4100 tokens · 4100 tokens
    1051 tok/s
  • Gemma 4 E4B-it Q3_K_MTTFT (4000-token prefix + 100 new) · prefix reuse
    503 ms
Devamı kaynakta

Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.

VI

Aynı bölümden

Tümü →
VI Araç & SDK

AnythingLLM, Ollama'dan Lemonade ve llama.cpp'ye geçişini duyurdu

AnythingLLM ekibi, yerleşik Lemonade SDK'sının topluluk tarafından benimsenmesinden duyulan heyecanı paylaşıyor ve platformun Ollama yerine Lemonade ve llama.cpp tabanlı bir mimariye taşındığını açıkladı.

Özetle 3 madde
  1. AnythingLLM, Ollama yerine Lemonade ve llama.cpp tabanlı bir altyapıya geçiş yaptı.
  2. Lemonade gömülü SDK'sının topluluk tarafından benimsenmesi ve kullanılmaya başlanması.
  3. Geçiş, daha düşük maliyet, düşük gecikme ve açık kaynak avantajları sunmayı hedefliyor.

Reddit LocalLLaMA

VI Araç & SDK

Basalt: Qwen 3.8 Flash Next için Hızlı Blackwell Çıkarım Motoru ve Ücretsiz Görüntü Desteği

Basalt, Qwen 3.8 Flash Next modelini Blackwell optimizasyonlarıyla çalıştıran yeni bir çıkarım motoru. Görüntü işleme yeteneği, encoder'ı yalnızca ihtiyaç anında VRAM'e yükleyerek bellek tüketimini neredeyse sıfıra indiriyor.

Özetle 3 madde
  1. Basalt, Qwen 3.8 Flash Next modelini Blackwell optimizasyonlarıyla çalıştıran hızlı bir çıkarım motoru.
  2. "--vision dynamic" özelliği, görüntü kodlayıcısını yalnızca ihtiyaç anında VRAM'e yükleyerek bellek tüketimini %0'a yaklaştırıyor.
  3. Basalt çekirdekleri, llama.cpp'ye kıyasla 3 kat daha hızlı çalışıyor ve açık kaynak olarak geliştiricilere sunuluyor.

Reddit LocalLLaMA

VI Araç & SDK

llama.cpp WebGPU arka ucuyla tarayıcıda 80B MoE modeli Qwen3-Next gerçek zamanlı yanıt veriyor

llama.cpp, WebGPU desteğini genişleterek MoE (Mixture of Experts) modellerini tarayıcıda çalıştırabiliyor. 80 milyar parametreli Qwen3-Next modeli, diskten uzmanları dinamik olarak getirerek Chrome sekmesinde yanıt üretebiliyor. Bu, büyük dil modellerinin bulut dışı, tarayıcı tabanlı kullanımına yeni bir kapı aralıyor.

Özetle 3 madde
  1. llama.cpp'nin WebGPU backend'i, MoE modellerini tarayıcıda dinamik olarak diskten uzmanları getirerek çalıştırabiliyor.
  2. 80B Qwen3-Next modeli 2.9 tok/s hızla yanıt üretebiliyor; bu, tarayıcıda bu büyüklükte bir modelin çalıştırılmasının ilk kanıtı.
  3. Sayfalama mekanizması yeni buffer tipi ve slot‑mapped shader'lar ekleyerek ggml-webgpu'yi genişletiyor.

Reddit LocalLLaMA3 skor