llama.cpp için P100 ve Qwen3.6 35B modeline özel optimizasyonlar

Reddit topluluğu LocalLLaMA'da paylaşılan gönderide, yazar Mrinohk, iki adet Tesla P100 GPU ve Unsloth Qwen3.6‑35B A3B UD Q4 K XL modelini kullanan bir sistemde llama.cpp'nin mevcut sınırlamalarını aşmak için kapsamlı bir optimizasyon süreci yürüttüğünü açıkladı. İlk adım olarak, daha önce "shinbunbun p100 patches" olarak bilinen ve decode performansını %70 artırdığı iddia edilen yamalar temel alındı. Bu yamalar, P100'lerin düşük PCIe bant genişliği ve güç kısıtlamalarına rağmen daha verimli kernel kullanımını ve hafıza erişim düzenlemelerini içeriyor.

Yapılan iyileştirmeler arasında, 3090 GPU'lu bir Qwen3.8‑27B referans sisteminde kullanılan kalıcı megakernel yaklaşımı ve azaltılmış draft vocab teknikleri de yer aldı. Bu teknikler, modelin önceden tahmin (prefill) ve gerçek zamanlı üretim (decode) aşamalarındaki bellek hareketlerini minimize ederek işlemci‑GPU senkronizasyon gecikmelerini düşürdü. Sonuç olarak, yazarın adını verdiği "Opus" adlı otomasyon aracı, bu fikirleri kod seviyesine taşıyarak P100'lerde decode hızını önemli ölçüde artırdı.

Test ortamı Ryzen 7 5700X, 48 GB DDR4‑3200 RAM ve iki P100 kartı (biri PCIe Gen3 x4, diğeri x16) olarak tanımlandı. Bu sub‑optimal yapılandırma altında elde edilen performans, daha iyi bir PCIe konfigürasyonu ile daha da iyileştirilebileceği vurgulandı. Ölçülen sonuçlar arasında, 3090 tabanlı bir sistemde yaklaşık 125 token/s decode hızı ve P100'lerde %70'e yakın bir hız artışı bulunuyor. Ancak yazar, model kalitesinin bazı durumlarda hafif değişiklikler gösterdiğini ve sampler parametrelerinin (ör. sıcaklık 0.7, min‑p 0.25) sıkılaştırılmasıyla bu etkilerin azaltılabildiğini belirtti.

Bu yamalar hâlâ deneysel aşamada ve sadece Qwen3.6‑35B modeline odaklandığı için diğer modellerde kararlılık garantisi vermiyor. Yine de, eski veri merkezi kartları üzerinde yüksek performans elde edilmesi, düşük maliyetli AI altyapısı kurmak isteyen topluluk üyeleri için önemli bir fırsat sunuyor. Mrinohk, geliştirdiği yamaları ve kapsamlı README dosyasını GitHub üzerinden paylaşıyor ve gelecekte MoE (Mixture‑of‑Experts) tabanlı modeller için benzer optimizasyonların yapılabileceğini öngörüyor.