CUDA ve HIP GDN Chunked Kernel ile Llama.cpp Performansında %20'a Kadar Artış

llama.cpp deposuna yapılan yeni bir pull request (PR #29353) kapsamında, CUDA ve HIP platformları için GDN (Group Normalization) chunked kernel entegrasyonu gerçekleştirildi. Bu kernel, özellikle büyük dil modellerinin prompt token işleme sürecinde veri akışını daha verimli hale getirerek işlemci ve bellek kullanımını optimize ediyor.

Yapılan benchmark testleri, farklı GPU konfigürasyonları ve model varyantları üzerinde gerçekleştirildi. RTX PRO 6000 Blackwell kartı üzerinde Qwen3.5-35B-A3B-Q8_0 modeli, 2048 tokenlik promptta 13,653.58 tok/s'den 16,459.56 tok/s'ye (%20.6) yükseldi. Benzer şekilde aynı kartta 4096 tokenlik promptta da %17.8 artış gözlendi. Diğer GPU'lar, Spark GB10, RTX 5090, RTX 4090 ve RTX 3090 gibi, ortalama %3 ila %17 arasında performans iyileştirmeleri sundu.

En yüksek iyileşme, RTX PRO 6000 Blackwell üzerindeki Qwen3.5-35B-A3B-Q8_0 modelinde gözlemlendi. Orta seviye donanımlarda (Spark GB10) ise %4 civarında artışlar kaydedildi. Bu sonuçlar, GDN chunked kernel'in farklı donanım mimarileri ve model boyutlarıyla uyumlu bir şekilde çalıştığını ve genel performans artışı sağladığını gösteriyor.

Topluluk tarafından sunulan bu geliştirme, açık kaynaklı LLM altyapılarının verimliliğini artırma yönündeki çabaların bir örneği olarak öne çıkıyor. Geliştiriciler, bu kernel'i kendi projelerinde kullanarak daha hızlı yanıt süreleri ve düşük maliyetli inference elde edebilirler.