ggml-org/llama.cpp'ye qwen4exp için kq_mask'siz QSA seçimi ekleyen güncelleme

ggml-org/llama.cpp, CPU ve GPU üzerinde yüksek verimli LLaMA tabanlı modellerin çalıştırılmasını sağlayan açık kaynak bir kütüphane olarak geniş bir geliştirici topluluğu tarafından benimseniyor. Son zamanlarda Qwen4exp gibi büyük ölçekli modellerin bu çerçeveye entegrasyonu artarken, bellek ve hesaplama maliyetleri de tartışma konusu olmuştu.

Sanmai adlı geliştiricinin #30965 numaralı pull request'i, Qwen4exp modelinde kullanılan QSA (Query‑Key‑Value) seçim sürecinden kq_mask (key‑query mask) bileşenini çıkartıyor. kq_mask, geleneksel transformer mimarisinde dikkat mekanizmasında gereksiz hesaplamaları engellemek için ek bir maske katmanı olarak görev yapar; ancak büyük modellerde bu maske ek bir bellek yükü getirir.

Yeni kod, QSA seçiminde maskesiz bir yol izleyerek aynı algoritmik mantığı korurken, maskenin oluşturulması ve uygulanması adımlarını atlıyor. Bu sayede ara bellek (intermediate buffer) ihtiyacı %15‑20 oranında azalıyor ve bazı testlerde token başına işlem süresi ortalama 3‑5 ms azaldı. Doğruluk kaybı ise ölçülen benchmarklarda %0.1'in altında kaldı, bu da pratik kullanımda fark edilemez bir seviyeyi işaret ediyor.

Topluluk, değişikliğin ana dal (main branch) içine alınması için olumlu geri bildirimlerde bulundu ve özellikle düşük bellekli cihazlarda (ör. Raspberry Pi, eski laptoplar) Qwen4exp'in daha erişilebilir olacağı yönünde beklentiler dile getirildi. Güncellemenin tam olarak kullanılabilmesi için kullanıcıların llama.cpp'yi en son sürümle yeniden derlemeleri ve ilgili model dosyasını yeniden indirmeleri gerekiyor.