DeepSeek V4.1 Flash 1017, 2x DGX Spark’da TensorFold ile vLLM’den 2‑3 Kat Hızlı

Reddit topluluğu LocalLLaMA üzerinden paylaşılan rapora göre, DeepSeek-V4.1-Flash-1017 (EXL3 2.9bpw, 1M bağlam) modeli iki adet DGX Spark sunucusunda TensorFold ile çalıştırıldı. Aynı donanım ve aynı ağırlık setiyle vLLM kitine kıyaslandığında, TensorFold çözümleme aşamasında metin için 27,0 tok/s yerine 56,8 tok/s, kod için ise 39,9 tok/s yerine 92,2 tok/s hız elde edildi.

Özellikle büyük bağlam uzunluklarında (64K token) yapılan "needle" testi, TensorFold'ın 35,9 saniyede tamamlandığını gösterirken vLLM kitinin 80,4 saniye harcadığı bildirildi. Bu, aynı görevde %55'lik bir gecikme azalması anlamına geliyor. Ayrıca, önceden doldurma (prefill) aşamasında 8K, 32K, 64K ve 1M tokenlik promptlar için TensorFold ortalama 2,075‑2,185 tok/s arasında bir performans sergiledi; vLLM ise 789‑925 tok/s civarında kaldı.

Testler, sistemde swap'in devre dışı bırakılması ve kernel sıkıştırma ayarlarının optimize edilmesi gibi host‑seviyesi ince ayarların da katkısı olduğunu belirtiyor. Bu iyileştirmeler, kod tabanına bir sonraki güncellemede entegre edilecek. Ayrıca, aynı 24K tokenlik belge ikinci kez sadece 1,1 saniye içinde işlenebildi ve prompt önbelleği bir yeniden başlatmadan sonra 18K tokenlik bir sohbeti 2,7 saniyede devam ettirebildi.

Bu sonuçlar, DeepSeek modelinin yüksek performanslı donanımlarda TensorFold gibi özel hızlandırıcıların entegrasyonu sayesinde üretken yapay zeka uygulamalarında daha düşük gecikme ve daha yüksek throughput sağlayabileceğini gösteriyor. Geliştiriciler, aynı ağırlıkları ve promptları kullanarak benzer hız artışlarını elde etmek için bu repo ve Hugging Face kartındaki talimatları izleyebilir.