Intel Arc Pro B65 4x Konfigürasyonunda Uzun Bağlam ve Çeşitli Modeller İçin Token/Saniye Performans Ölçümleri
Reddit topluluğu üyesi SamSausages, Intel Arc Pro B65 GPU'larını dört birim olarak birleştirip uzun bağlam uzunluklarında çeşitli büyük dil modelleri için token/saniye bazlı throughput testleri gerçekleştirdi. Testler, vLLM sürümleri ve farklı veri tipleri (INT4, FP8, BF16) altında elde edilen sonuçları gösteriyor ve yüksek bellek bant genişliğinin gerçek dünyadaki etkisini ortaya koyuyor.
Özetle
- 1
Intel Arc Pro B65 GPU'ları dört birim olarak birleştirildiğinde, uzun bağlam uzunluklarında 200K token'a kadar yüksek throughput değerleri elde edildi.
- 2
MTP-3 etkinleştirilmesi, Flash-Next modelinde token/saniye başına %50'ye varan performans artışı sağladı.
- 3
Qwen3.8-27B INT4 modeli, 4× B65 konfigürasyonunda 8K bağlamda 239.6 token/saniye ile en yüksek sürdürülebilir throughput değerini gösterdi.
Yerel LLaMA topluluğunun bir üyesi, resmi vLLM dokümantasyonunu temel alarak Intel Arc Pro B65 GPU'larından dört tanesini (4× B65) bir araya getiren bir test rig'i kurdu ve bu sistemin uzun bağlam uzunluklarında nasıl performans gösterdiğini ölçtü. İlk adımda, sistemin yavaş ama kararlı bir kontrol konfigürasyonu oluşturuldu; bu aşamadan sonra önbellek boyutunu artırarak prefill sürelerini kısaltma gibi ayarlamalar denendi.
Testlerde, Flash-Next W4A16 modeli ve Qwen3.8-27B modelinin farklı veri tipleri (INT4, FP8, BF16) kullanılarak çeşitli bağlam uzunlukları (0, 16K, 32K, 64K, 128K, 200K token) ve eşzamanlı istek sayıları (1‑16) altında throughput ölçümleri alındı. Ölçümler, 30 saniyelik tekrar eden istekler sırasında elde edilen ortalama token/saniye değerlerini içeriyor; bekleme süreleri de dahil olduğundan bu değerler saf model işleme hızını yansıtmaz.
Flash-Next W4A16 modeli, MTP-3 etkinleştirilmiş vLLM 0.30.0 konfigürasyonunda 4 eşzamanlı istek ve bağlam uzunluğu 0 iken 243.2 token/saniye (kuyruklama dahil) performans gösterdi. MTP devre dışı bırakıldığında aynı koşulda bu değer 159.2 token/saniyeye düştü, bu da MTP'nin yüksek paralellikte önemli bir kazanç sağladığını gösteriyor. Qwen3.8-27B INT4 modeli ise 4× B65 ve vLLM 0.31.0+xpu.llmscaler altında 0 bağlam uzunluğunda 253.4 token/saniye, 8K bağlamda ise 239.6 token/saniye gibi yüksek değerler elde etti.
FP8 ve BF16 veri tipleriyle yapılan testlerde ise performans daha düşük seviyelerde seyrediyor; örneğin Qwen3.8-27B FP8 modeli 0 bağlamda 116.2 token/saniye, BF16 modeli ise 110.0 token/saniye üretti. Bu sonuçlar, düşük hassasiyetli veri tiplerinin yüksek bellek bant genişliği avantajını tam olarak kullanamadığını, ancak hâlâ makul bir throughput sağladığını ortaya koyuyor. Sonuçların tamamı, yazarın kişisel sitesinde (https://b65.thekaiser.us/matrices/) detaylı matrisler halinde yayınlandı.
Yöney yorumu
Bu benchmark sonuçları, Intel'in yüksek bellek bant genişliğine sahip GPU'larının çoklu birim yapılandırmalarında LLM'lerin uzun bağlam senaryolarında da rekabetçi performans sunabileceğini gösteriyor; geliştiriciler bu verileri sistem tasarımlarını optimize etmek ve maliyet‑verimlilik dengesini yeniden değerlendirmek için kullanabilir.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Flash-Next W4A16Throughput (tokens/sec) – 4 requests, context 0 · 4 simultaneous requests, context length 0243.2 tokens/sec
- Flash-Next W4A16Throughput (tokens/sec) – 4 requests, context 0 (MTP disabled) · 4 simultaneous requests, context length 0159.2 tokens/sec
- Qwen3.8-27B INT4Throughput (tokens/sec) – 4 requests, context 0 · 4 simultaneous requests, context length 0253.4 tokens/sec
- Qwen3.8-27B FP8Throughput (tokens/sec) – 4 requests, context 0 · 4 simultaneous requests, context length 0116.2 tokens/sec
- Qwen3.8-27B BF16Throughput (tokens/sec) – 4 requests, context 0 · 4 simultaneous requests, context length 0110 tokens/sec
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
