RTX 3080 20GB için ReBAR ve P2P kilidi açıldı, prompt işleme hızı %70‑115 arttı
RTX 3080 20GB kartları için ReBAR ve P2P kilidi açıldı; bu sayede tensor paralel modda prompt ön doldurma (prefill) hızı %70‑115 oranında yükseldi. Testler, iki GPU'lu bir sistemde vLLM 0.32.0 ve Swift‑1.5‑Qwen3.8‑27B‑AWQ‑INT4 modeliyle gerçekleştirildi.
Özetle
- 1
ReBAR ve P2P kilidi açılması, RTX 3080 20GB kartlarda prompt ön doldurma hızını %70‑115 artırdı.
- 2
Testler, iki RTX 3080 20GB kartlı bir sistemde vLLM 0.32.0 ve Swift‑1.5‑Qwen3.8‑27B‑AWQ‑INT4 modeliyle yapıldı.
- 3
Token üretim (decode) performansı büyük değişiklik göstermedi; bazı durumlarda hafif artış, bazılarında ise düşüş görüldü.
Reddit topluluğu LocalLLaMA, RTX 3080 20GB kartları için ReBAR ve P2P (peer‑to‑peer) kilidinin açıldığını duyurdu. Bu geliştirme, NVIDIA sürücüsü 615.71.09 ve Linux kernel 6.14.11‑9‑pve altında, Proxmox VE 9.2.21 platformunda test edildi. Test ortamı, Threadripper 1920X işlemci, iki RTX 3080 20GB kartı (her biri 240 W güç sınırı) ve vLLM 0.32.0 ile Swift‑1.5‑Qwen3.8‑27B‑AWQ‑INT4 modelini kullanan bir yapıydı.
Performans ölçümleri üç konfigürasyonda yapıldı: (1) stok sürücü, (2) "gpu‑unlock" (sürücü kilidinin açılması) ve (3) "gpu‑unlock + ReBAR + P2P". Prompt ön doldurma hızı, "prompt_length / time_to_first_token" olarak hesaplandı ve sonuçlar token/s (tok/s) cinsinden raporlandı. 8 192 tokenlik bir prompt için stok konfigürasyonda 967 tok/s iken, unlock+P2P ile 2 080 tok/s elde edildi; bu %115'lik bir kazanç anlamına geliyor. Diğer uzunluklarda da %70‑115 arasında benzer artışlar gözlendi.
Decode (token üretimi) performansı ise daha değişken çıktı. Ölçüm, adım arası gecikme (ITL) üzerinden yapıldı ve step/s cinsinden raporlandı. Örneğin 8 192 tokenlik bir promptta stok konfigürasyonda 15.43 step/s iken, unlock+P2P ile 15.98 step/s elde edildi (%4 artış). Ancak bazı uzunluklarda (ör. 32768 token) hafif düşüşler görüldü. Genel olarak, uzun prompt görevlerinde (ör. ajan tabanlı kodlama) prompt ön doldurma sürecinde büyük kazanç sağlanırken, token üretim hızında belirgin bir iyileşme yok.
Bu sonuçlar, tam PCIe bağlantısı olmayan sistemlerde daha sınırlı fayda sağlayabileceğini gösteriyor. Geliştiriciler ve araştırmacılar, uzun promptlu uygulamalarda bu kilit açma yöntemlerini denemeli; ancak token üretim performansı için ek optimizasyonların gerektiği unutulmamalı.
Yöney yorumu
Bu kilit açma, RTX 3080 20GB kullanıcıları için uzun promptlu görevlerde maliyet ve gecikmeyi azaltarak daha verimli bir LLM çalıştırma imkanı sunuyor. Ancak token üretim hızındaki sınırlı etki, tam performans artışı için ek yazılım iyileştirmelerinin gerektiğini gösteriyor.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Swift-1.5-Qwen3.8-27B-AWQ-INT4Prompt prefill throughput (tok/s) · gpu_unlock+p2p, 8192 token prompt2080 tok/s
- Swift-1.5-Qwen3.8-27B-AWQ-INT4Decode step rate (step/s) · gpu_unlock+p2p, 8192 token prompt15.98223 step/s
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
