Strix‑Llama yeni dal: Prompt işleme %21‑%54 daha hızlı Vulkan'dan, 128k'da ROCm çekirdeğinde 2,7×'ye kadar
Strix Halo kutusu için geliştirilmiş bir llama.cpp dalı, RDNA3.5 mimarisinde flash attention ve ön‑prefill iyileştirmeleri sayesinde prompt işleme süresini Vulkan tabanlı çözümlerden %21‑%54, stok ROCm çekirdeğinden ise %8‑%174 oranında hızlandırdı. 128 k token bağlamında en yüksek %88'lik hız artışı elde edilirken, çıktı kalitesi ROCm ile neredeyse aynı kaldı.
Öne Çıkan Başlıklar
- Prompt işleme hızı RDNA3.5 dalında Vulkan'dan %21‑%54, ROCm'den %8‑%174 daha hızlı.
- 128 k bağlamda Qwen3.6 modelinde %88, Qwen3.8 modelinde %174 gibi çarpıcı ROCm karşılaştırmalı hız artışı.
- Çıktı kalitesi (KL divergence, perplexity) ROCm ile aynı seviyede, Vulkan'dan daha tutarlı.
- Flash attention çekirdeği (fattn‑rdna35) ve prefill GEMM ayarları uzun‑bağlam performansının temelini oluşturdu.
Yerel LLaMA topluluğu, asf0 tarafından geliştirilen strix-llama.cpp projesinin "rdna35-perf" adlı yeni dalını yayınladı. Bu dal, yalnızca ROCm/HIP ortamını hedef alıyor ve 10 commit içeriyor. Yapılan testlerde, Qwen3.6 35B‑A3B (MoE), Qwen3.8 27B ve Qwen3.5 2B modelleri üzerinde prompt processing (PP) ve token generation (TG) performansları ölçüldü.
Test sonuçları, RDNA3.5 tabanlı flash attention çekirdeğinin (fattn‑rdna35) uzun bağlamlarda (64k‑128k) performans kaybını büyük ölçüde önlediğini gösterdi. Prompt işleme hızı, Vulkan tabanlı sürümlere göre %21‑%54, stok ROCm sürümüne göre ise %8‑%174 daha hızlıydı. Özellikle Qwen3.6 modelinde 128 k bağlamda %88'lik bir artış sağlandı.
Üretim (generation) aşamasında ise RDNA3.5 dalı, Vulkan ile neredeyse eşdeğer sonuçlar verdi; Qwen3.8 27B modelinde 128 k bağlamda %0 fark, ROCm'e göre ise %29 daha hızlıydı. Çıktı kalitesi açısından, KL divergence ve perplexity ölçümleri ROCm ile neredeyse aynı seviyede kaldı; Vulkan sürümüne göre ise hafif bir sapma gözlendi.
Teknik iyileştirmeler arasında flash attention çekirdeğinin yeniden yazılması, quantized matmul için prefill GEMM ayarları, MoE modelleri için routing yardımcıları ve fused işlemler, ayrıca gated DeltaNet katmanları için SiLU‑gated output norm birleştirmeleri yer alıyor. HIP grafik grafikleri varsayılan olarak kapalı tutulmuş, daha hızlı bir penalty sampler ve host‑side prefill gibi ek optimizasyonlar da sunulmuş.
Benchmark Sonuçları
| Model | Benchmark | Skor | Ayar |
|---|---|---|---|
| Qwen3.6 35B-A3B (MoE) | Prompt processing (PP) hız artışı vs Vulkan (128k) | 36 % | 128k bağlam |
| Qwen3.6 35B-A3B (MoE) | Prompt processing (PP) hız artışı vs ROCm (128k) | 88 % | 128k bağlam |
YZ Yorumu
Bu güncelleme, AMD tabanlı sistemlerde LLM'lerin uzun bağlamlarda daha verimli çalışmasını sağlayarak, geliştiricilerin maliyet ve enerji tüketimini azaltırken, aynı kaliteyi korumasına imkan tanıyor.
Yapay zekâ tarafından üretilmiştir.