CUDA’da FFN gate/up matmul ve GLU birleştirme ile MMQ’da %2‑10 hız artışı

ggml-org/llama.cpp deposuna gönderilen 29948 numaralı pull request, MMQ (Matrix Multiplication Queue) içinde FFN katmanının gate ve up projeksiyonlarını, ayrıca GLU (Gated Linear Unit) işlemlerini birleştiren yeni bir CUDA çekirdeği içeriyor. Bu birleştirme, veri akışını iyileştirerek bellek erişim gecikmelerini azaltıyor ve aynı anda birden fazla matris çarpımını işleyebiliyor.

Yapılan benchmarklar, iki farklı donanım platformunda (DGX Spark GB10 ve RTX 5090) çeşitli model ve kuantizasyon kombinasyonlarıyla gerçekleştirildi. DGX Spark üzerinde Qwen3.8-27B modelinin Q4_K_M kuantizasyonunda token/s hızı 840.1'den 899.9'a yükselerek %7.1 artış sağlandı. Benzer şekilde Llama-3.1-8B modelinin Q4_K_M kuantizasyonunda %9.1'lik bir hız artışı gözlendi.

RTX 5090 testlerinde de benzer iyileşmeler kaydedildi; Qwen3.8-27B Q8_0 kuantizasyonunda tok/s 3617.3'ten 3766.9'a çıkarak %4.1 artış gösterdi. Llama-3.1-8B modelinde ise Q4_K_M kuantizasyonunda %4.6, Q5_K_M kuantizasyonunda %4.0 gibi tek haneli yüzde artışları elde edildi. Tüm sonuçlar, yeni çekirdeğin farklı kuantizasyon tiplerinde ve donanımlarda tutarlı bir performans kazancı sağladığını ortaya koyuyor.

Bu geliştirme, özellikle düşük bellekli kuantizasyonlarla çalışan araştırmacılar ve üretim ortamları için önemli bir adım. Daha yüksek token/s oranları, aynı donanımda daha uzun metinlerin daha hızlı işlenmesini ve maliyet etkinliğinin artmasını mümkün kılıyor. Geliştiriciler, bu değişikliği kendi projelerinde kullanmak için ilgili PR'ı inceleyebilir ve kod tabanına entegre edebilirler.