DeepSeek-V4.1-Flash, 2x DGX Spark + 3090 kutusu ile 2,600+ tok/s prefill 256K ve 322 tok/s yapılandırılmış çıktı
DeepSeek-V4.1-Flash modeli, iki DGX Spark sunucusu ve ek bir 3090 kutusuyla çalıştırılarak 256K promptta 2,618 tok/s prefill hızı ve dört akışta 322 tok/s yapılandırılmış JSON çıktısı elde edildi. KV önbellek kapasitesi 1.93M tokena ulaşırken, ilk token gecikmesi 58.6 saniyeden 2.58 saniyeye düştü. Model, gerçek dünyadaki araç‑çağrı testinde %95.9 doğruluk gösterdi.
Özetle
- 1
256K promptta 2,618 tok/s prefill hızı, rakiplerden belirgin üstünlük.
- 2
4 akışta yapılandırılmış JSON çıktısı 322 tok/s, kod üretiminde 192 tok/s.
- 3
KV cache 1.93M token, prefix cache 150K promptu sunucu yeniden başlatmada korur.
- 4
İlk token gecikmesi 58.6 s'den 2.58 s'ye düşürülerek yanıt süresi dramatik olarak iyileştirildi.
- 5
Gerçek araç‑çağrı testinde %95.9 doğruluk, KLD 0.018 ile rakiplerin çok üzerinde.
Nick Mermiges, PLI Labs kurucusu ve "lawyer with too many GPUs" projesinin yürütücüsü, DeepSeek-V4.1-Flash-1017 modelini iki DGX Spark sunucusu ve bir EPYC tabanlı 3090 kutusuyla birleştirerek yeni bir benchmark ortamı oluşturdu. Model, EXL3 2.75 bpw quantizasyonu ve vLLM tensor paralelliğiyle çalıştırıldı; 3090 kutusu ise Engram tablolarını sistem RAM'inde tutup RDMA üzerinden Spark'lara hizmet veriyor ve NVLinked çift 3090'da spekülatif drafter'ı çalıştırıyor.
Bu yapılandırmada KV önbellek havuzu 1.93 milyon tokena, NVMe üzerindeki prefix cache ise 150 000 tokena kadar genişletildi; böylece bir sunucu yeniden başlatıldığında 150 K uzunluğundaki bir prompt kaybolmadı. İlk token yanıt süresi soğuk durumda 58.6 saniyeden 2.58 saniyeye düşürülerek büyük bir iyileşme sağlandı. Prefill hızı, 4 K'dan 256 K'ya kadar tüm prompt uzunluklarında 2,600+ tok/s seviyelerinde sabit kaldı; özellikle 256 K promptta 2,618 tok/s elde edildi.
Yapılandırılmış çıktı (JSON) performansı dört akışta 322 tok/s iken, tek akışta 138 tok/s olarak ölçüldü. Kod üretiminde dört akışta 192 tok/s, tek akışta 110 tok/s; prose (temp 0) tek akışta 66 tok/s, dört akışta 130 tok/s; temp 0.7'de ise 56 ve 105 tok/s olarak kaydedildi. Bu değerler, MiaAI ve bertholomus gibi rakiplerin aynı testlerdeki sonuçlarıyla karşılaştırıldığında prefill aşamasında üstünlük sağlasa da, prose üretiminde ve 128 K sonrası decode hızında geride kalıyor.
Gerçek iş akışlarında modelin doğruluğu da test edildi: sudoingX'in KLD panelinde araç‑çağrı tahminleri, orijinal modelin en yüksek olasılıklı tokeniyle %95.9 oranında aynıydı (KLD 0.018). Bu, bertholomus'un %79.4'lük performansının çok üzerindedir. Tüm kod, başlatma betikleri, benchmark araçları ve ham JSON sonuçları GitHub reposunda (https://github.com/ProprietaryLegal/DeepSeek-V4.1-Flash-2xDGX-Spark-x86-offload) açıkça paylaşıldı; sadece prefix‑cache kodu bir sonraki güncellemede yayınlanacak.
Yöney yorumu
Bu benchmark, yüksek bellek kapasiteli GPU kümelerinin LLM ön‑bellekleme ve uzun bağlam performansını nasıl artırabileceğini gösteriyor; geliştiriciler benzer mimarileri benimseyerek yanıt süresini ve throughput'u önemli ölçüde iyileştirebilir.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- DeepSeek-V4.1-Flash-1017Structured output (JSON) 4 streams · stream=4322 tok/s
- DeepSeek-V4.1-Flash-1017First token latency (cold start)2.58 s
- DeepSeek-V4.1-Flash-1017Tool‑call accuracy on sudoingX KLD panel%95.9
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
