PCIe x1 sınırlarını zorlayan lvgale, 27B, 9B ve 2B LLM'leri aynı anda çalıştırıyor
Karmaşık bir donanım topluluğu olan lvgale, farklı GPU üreticileri ve düşük bant genişliğine sahip PCIe x1/x2 hatları üzerinden aynı anda üç farklı büyüklükte LLM'yi çalıştırarak dikkat çekici bir performans elde etti. Slipstream adlı özel orkestrasyon motoru ve Vulkan tabanlı Flash Attention sayesinde 27B model 3.82 t/s, 9B model 4.75 t/s ve 2B model 12.47 t/s hızları yakalandı.
Özetle
- 1
lvgale, farklı üreticilerin GPU'larını PCIe x1/x2 hatları üzerinden birleştirerek 27B, 9B ve 2B LLM'leri aynı anda çalıştırıyor.
- 2
Slipstream adlı özel Python orkestrasyon motoru, Vulkan ve Flash Attention entegrasyonu sayesinde düşük bant genişliğinde kararlılığı sağlıyor.
- 3
Elde edilen token/s değerleri: 27B model 3.82 t/s, 9B model 4.75 t/s, 2B model 12.47 t/s.
Reddit topluluğu LocalLLaMA'da paylaşılan bir gönderide, kullanıcı FieldMouse-AI, "lvgale" adlı bir deneme sunucusunun olağanüstü donanım yapısını ve elde ettiği sonuçları detaylandırdı. Sunucu, Intel Core i7-6700K işlemciye ve dört farklı GPU'ya (AMD RX 580, AMD RX 570, NVIDIA GTX 1660 Super, NVIDIA GTX 1070) sahip; bu GPU'lar PCIe x16, x1, x2 ve x1 hatları üzerinden bağlanmış durumda. Bu heterojen ve düşük bant genişliğine sahip yapı, aktivasyonların farklı mimariler arasında geçiş yapmasını zorlaştırıyor.
Yazılım tarafında, Slipstream adlı özel bir Python orkestrasyon motoru (Nuitka ile derlenmiş) kullanılıyor. Slipstream, karışık üretici Vulkan arka planını Flash Attention desteğiyle birleştirerek, parçalı topolojide kararlılığı sağlıyor. Bu sayede aynı anda üç farklı görsel LLM modeli çalıştırılabiliyor: Qwen3.8 27B-vision, Qwen3.5 9B-vision ve Qwen3.5 2B-vision.
Performans ölçümlerine göre, 27B model 3.82 token/s, 9B model 4.75 token/s ve 2B model 12.47 token/s hızları elde edildi. Özellikle 27B modelin düşük bant genişliğine rağmen çökmeden çalışması, Vulkan sürücüsü stabilitesi açısından büyük bir başarı olarak vurgulandı. 2B modelin modern bir laptop iGPU'sunda biraz daha hızlı çalışması, bellek birleştirme avantajını gösteriyor.
Bu deney, düşük maliyetli ve heterojen donanım ortamlarında büyük ölçekli LLM'lerin nasıl verimli bir şekilde koordine edilebileceğine dair pratik bir örnek sunuyor. Slipstream ve benzeri açık kaynaklı orkestrasyon çözümlerinin, gelecekte daha fazla araştırmacı ve geliştiricinin benzer yapılandırmalara yönelmesini teşvik etmesi bekleniyor.
Yöney yorumu
Bu sonuçlar, düşük maliyetli ve karışık GPU altyapılarında büyük dil modellerinin verimli bir şekilde koordine edilebileceğini gösteriyor; geliştiriciler benzer yaklaşımları deneyerek donanım kısıtlamalarını aşabilir.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Qwen3.8 27B-visiontokens per second · concurrent inference3.82 t/s
- Qwen3.5 9B-visiontokens per second · concurrent inference4.75 t/s
- Qwen3.5 2B-visiontokens per second · concurrent inference12.47 t/s
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
