DeepSeek-V4.1-Flash-1017, tek RTX 3090'da 41 tok/s hızla çalıştı
DeepSeek'in Q2 GGUF formatındaki V4.1-Flash-1017 modeli, tek bir NVIDIA RTX 3090 üzerinde ortalama 41 token/sn hızla çalıştırıldı. Model, genel metinlerde %90.2, kod ve matematik görevlerinde ise %92.4 doğrulukla DeepSeek API'sinin bir sonraki token tahminine eşleşti. 1M token konteks desteği ve çeşitli kuantizasyon seçenekleriyle açık kaynak bir Windows motoru üzerinden sunuldu.
Özetle
- 1
DeepSeek-V4.1-Flash-1017, tek RTX 3090'da ortalama 41 token/sn hızla çalışıyor.
- 2
Model, genel metinlerde %90.2, kod/matematikte %92.4 API doğruluğu sağlıyor.
- 3
Farklı kuantizasyon seçenekleri 125‑233 GB dosya boyutlarıyla sunuluyor ve hızları 38‑42 tok/s arasında değişiyor.
- 4
Kurulum tamamen Windows tabanlı, tek bir ZIP paketinden otomatik olarak gerçekleşiyor.
Yerel LLaMA topluluğu üyesi musicurgy, DeepSeek-V4.1-Flash-1017 modelinin Q2 GGUF sürümünü Windows ortamında, WSL kullanmadan tek bir RTX 3090 (24 GB VRAM) üzerinde çalıştırdığını duyurdu. 192 GB RAM ve 385 GB boş alan gerektiren bu kurulum, ortalama 41 token/sn (tok/s) üretim hızı sağladı; aynı donanımda 16 GB VRAM ile 31 tok/s, 12 GB VRAM ile 17 tok/s elde edildi. Model, 1 M token uzunluğunda konteks ile tam uyumlu.
Performans ölçümleri, modelin çıktısının DeepSeek'in resmi API'siyle ne kadar tutarlı olduğunu gösterdi. Genel metinlerde bir sonraki token tahmini %90.2, kod ve matematik örneklerinde ise %92.4 doğruluk oranına ulaştı; bu da "exact routing" olarak adlandırılan ölçekte bir puanlık farkla neredeyse mükemmel bir eşleşme demek.
Kullanıcı, üç popüler kuantizasyon formatını (nazeshinjite'in ds4 Q2 GGUF, ISTA‑DASLab'ın GSQ‑RCO IQ2_XS/XXS/IQ1_M ve Unsloth'un UD‑IQ1_S‑UD‑Q8_K_XL) aynı ZIP paketinden seçebiliyor. Kuantizasyonların dosya boyutları 125 GB‑233 GB arasında değişirken, token üretim hızları 38‑42 tok/s arasında farklılık gösteriyor. En yüksek doğruluk %91.5 (ds4 Q2) olarak raporlandı.
Kurulum, GitHub'da bulunan "delta-inference-engine" deposundan ZIP dosyasını indirip "Start DeepSeek.bat" dosyasını çalıştırmakla tamamlanıyor. İlk çalıştırmada Python ve önceden derlenmiş CPU motoru otomatik olarak kuruluyor; ardından model dosyaları SHA‑256 ile doğrulanıyor. Motor, sadece localhost üzerinden hizmet veriyor ve kullanıcı girdileri varsayılan olarak diske kaydedilmiyor. Gereksinimler: 12 GB+ VRAM (24 GB’da 41 tok/s), 128 GB+ RAM, hızlı NVMe SSD ve AVX2 destekli x86‑64 CPU.
Yöney yorumu
Bu sonuç, yüksek bellek kapasiteli tek bir tüketici GPU'sunun büyük dil modellerini gerçek zamanlı üretim için kullanılabilir kıldığını gösteriyor; geliştiriciler daha düşük maliyetli donanımla yüksek doğruluklu uygulamalar geliştirebilirken, kullanıcılar da açık kaynak çözümlerle API bağımlılığından kurtulabilir.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- DeepSeek-V4.1-Flash-1017Token Generation Speed (RTX 3090) · single RTX 3090, Windows 10/11, no WSL41 tok/s
- DeepSeek-V4.1-Flash-1017Top-1 vs API Accuracy (General Text) · general text prompts, exact routing%90.2
- DeepSeek-V4.1-Flash-1017Top-1 vs API Accuracy (Code/Math) · code/math prompts, exact routing%92.4
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
