24 Ekim 2026 CumartesiSayı № 297
III BenchmarkTopluluk

Nvidia GPU Performans Kilidini Açan Yeni Yöntem RTX 3080 20GB'de %20+ Prefill Hız Artışı Sağladı

Zaggita tarafından geliştirilen GPU performans kilidi açma yöntemi, Çin versiyonu RTX 3080 20 GB kartlarda önceden doldurma (prefill) hızını %20‑30 oranında artırdı. Testler, aynı donanımda kilitli ve kilitsiz sürümler arasındaki TTFT ve prefilling token/s oranlarını karşılaştırarak net bir kazanç gösterdi.

Reddit LocalLLaMA kaynağından derlendi · · 1 dk okuma

Orijinal haber ↗
Görsel: Reddit LocalLLaMA

Özetle

  1. 1

    Zaggita'nın unlock yöntemi RTX 3080 20 GB kartlarda prefilling hızını %20‑30 artırdı.

  2. 2

    Test ortamı iki RTX 3080, Threadripper 1920X ve vLLM 0.32.0 ile tensor parallel 2 GPU olarak yapılandırıldı.

  3. 3

    Decode adımlarında hız değişikliği görülmedi; performans artışı tamamen prefilling aşamasına odaklandı.

Nvidia, tüketici sınıfı GPU'larda AI çalıştırmak için gerekli bazı donanım talimatlarını kısıtlayarak compute hızını sınırlamıştı. Zaggita'nın yeni "unlock" yöntemi bu kısıtlamayı kaldırıyor ve özellikle Çin pazarına yönelik RTX 3080 20 GB kartlarda belirgin bir performans artışı sağlıyor.

Test ortamı iki adet RTX 3080 20 GB kartı, Threadripper 1920X CPU ve PCIe 3.0 x16 bağlantısı üzerinden kuruldu. Kartlar 240 W güç sınırına çekildi, Proxmox 9.2.3, Linux kernel 6.14.11-9-pve ve Nvidia sürücüsü 610.57.04 (CUDA 13.3) kullanıldı. Inference için vLLM 0.32.0, Debian 13 LXC konteyneri içinde tensor parallel (2 GPU) ve çeşitli optimizasyonlar (FLASHINFER, fp8 KV cache, MTP) etkinleştirildi.

Benchmark sonuçları, prefilling aşamasında token/s hızının kilitli sürümde 967‑562 tok/s iken unlock sonrası 1 168‑723 tok/s seviyelerine çıktığını gösterdi; bu da %20.8‑%28.6 arasında bir artış demek. Decode (token üretim) adımlarında ise hızda %0‑1 değişim görülmedi. Testler sırasında hafif termal throttling yaşanmış, kartlar 1750 MHz'e düşmüş; daha iyi soğutma ile ek %10 performans artışı mümkün.

Bu sonuçlar, tüketici sınıfı GPU'larıyla büyük dil modelleri çalıştıran araştırmacılar ve geliştiriciler için maliyet etkin bir yol sunuyor. Aynı zamanda Nvidia'nın sınırlama politikalarına karşı topluluk temelli bir çözümün ne kadar etkili olabileceğini gösteriyor.

Yöney yorumu

Bu kilit açma yöntemi, düşük maliyetli tüketici GPU'larıyla büyük dil modelleri çalıştırmak isteyen geliştiricilere performans açısından yeni bir seçenek sunuyor; aynı zamanda topluluk temelli optimizasyonların endüstri üzerindeki etkisini artırıyor.

Yapay zekâ tarafından üretilmiştir.

Haberdeki skorlar

Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.

  • Swift-1.5-Qwen3.8-27B-AWQ-INT4Prefill token per second (prompt length 261 k tokens) · prompt length 261 k tokens
    723 tok/s
Devamı kaynakta

Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.

III

Aynı bölümden

Tümü →
III Benchmark

PCIe x1 sınırlarını zorlayan lvgale, 27B, 9B ve 2B LLM'leri aynı anda çalıştırıyor

Karmaşık bir donanım topluluğu olan lvgale, farklı GPU üreticileri ve düşük bant genişliğine sahip PCIe x1/x2 hatları üzerinden aynı anda üç farklı büyüklükte LLM'yi çalıştırarak dikkat çekici bir performans elde etti. Slipstream adlı özel orkestrasyon motoru ve Vulkan tabanlı Flash Attention sayesinde 27B model 3.82 t/s, 9B model 4.75 t/s ve 2B model 12.47 t/s hızları yakalandı.

Özetle 3 madde
  1. lvgale, farklı üreticilerin GPU'larını PCIe x1/x2 hatları üzerinden birleştirerek 27B, 9B ve 2B LLM'leri aynı anda çalıştırıyor.
  2. Slipstream adlı özel Python orkestrasyon motoru, Vulkan ve Flash Attention entegrasyonu sayesinde düşük bant genişliğinde kararlılığı sağlıyor.
  3. Elde edilen token/s değerleri: 27B model 3.82 t/s, 9B model 4.75 t/s, 2B model 12.47 t/s.

Reddit LocalLLaMA3 skor

III Benchmark

Qwen 3.8 FN modelleri RTX 5090'da test edildi: Basalt ve Infernix öne çıkıyor

Yerel LLaMA topluluğu, Qwen 3.8 FN checkpoint'ini aynı donanımda (RTX 5090, 128 GB RAM) çalışan yedi farklı motorla karşılaştırdı. Decode hızı ve prefill performansında Basalt ve Infernix %10 civarında farkla diğer motorların önünde yer alırken, tek GPU’da çalışan capy‑flash en iyi ikinci konumda kaldı.

Özetle 3 madde
  1. Basalt ve Infernix, Qwen 3.8 FN için decode ve prefill hızında %10 civarında farkla diğer motorların önünde.
  2. capy‑flash tek GPU’da en iyi ikinci performansı gösterdi; iki GPU tasarımı nedeniyle potansiyelini tam yansıtamadı.
  3. Llama.cpp MTP kapalı çalıştırıldığı için sadece referans amaçlı kullanıldı, doğrudan karşılaştırma için uygun değil.

Reddit LocalLLaMA3 skor

III Benchmark

Flint 40B-A2.5B, Ornith 1.5 35B-A3B ve Nemotron 3.5 Lightning Modelleri Üzerinde Atomik Kodlama Benchmarkı

Üç küçük MoE modeli (Flint 40B-A2.5B, Ornith 1.5 35B-A3B ve Nemotron 3.5 Lightning) aynı Three.js Halloween sahnesi kodlama görevinde karşılaştırıldı. Flint en kısa duvar süresi ve en düşük Opus harcamasıyla en verimli sonuç verirken, Nemotron en yüksek decode ve prefill hızına sahip olsa da token üretiminde ve planlama dalgalarında çok daha fazla maliyet oluşturdu.

Özetle 3 madde
  1. Flint en kısa duvar süresi (7:36) ve en düşük Opus harcaması ($0.41) ile en verimli model oldu.
  2. Nemotron en yüksek decode (295 t/s) ve prefill (7 670 t/s) hızına sahip olsa da 5 kat daha fazla token üretti ve maliyeti iki katına çıkardı.
  3. Opus planlayıcısının harcaması, kullanılan alt modelin verimliliğine doğrudan bağlı; aynı prompt ve ayarlar altında model değişimi $0.41'den $0.95'e yükseldi.

Reddit LocalLLaMA9 skor