748B DeepSeek-V4.1-Flash, €2k PC'de RTX 3090 ile Çalıştırıldı
Reddit kullanıcısı Vladowski, 24 GB VRAM'li RTX 3090 ve i9‑9900X işlemcili €2 000 tutarındaki bir bilgisayarda 748 milyar parametreli DeepSeek‑V4.1‑Flash modelini 1‑bit quant ile çalıştırarak saniyede 7,2 token elde etti. Model, 110 GB'lık Engram tablosunu NVMe üzerinden talep üzerine okuyarak belleğe sığdırdı.
Özetle
- 1
748 M parametreli DeepSeek‑V4.1‑Flash modeli, tek RTX 3090 GPU ve 24 GB VRAM ile çalıştırıldı.
- 2
Model, 7,2 token/s hızla yanıt üretti; bu, 1‑bit quant ve dinamik Engram yüklemesi sayesinde mümkün oldu.
- 3
110 GB Engram tablosu NVMe üzerinden talep üzerine okunarak belleğe sığdırıldı, toplam disk alanı 233 GB.
- 4
Benzer donanımda Qwen modelleri de iyi performans gösterdi, ancak DeepSeek deneyimi topluluk için bir kilometre taşı oldu.
Vladowski, geçen yıl ikinci el bir PC'yi 2 000 € altında almış: RTX 3090 24 GB, 128 GB DDR4 RAM ve Intel i9‑9900X işlemci. DeepSeek‑V4.1‑Flash‑1017 modelinin en küçük 1‑bit quant versiyonunu denemek istedi ve llama.cpp'in 30817 PR'sı üzerinden derlenmiş bir sürüm kullandı. Model, 7,2 token/s hızla çalıştı; yanıtında bir fizik hatası bulunması dışında işlevsel bir test olarak değerlendirildi.
Modelin 110 GB'lık Engram tablosu başlangıçta belleğe yüklenmedi; NVMe diskten sadece ihtiyaç duyulan satırlar talep üzerine okundu. Bu dinamik yükleme yöntemi, büyük bir modeli 24 GB VRAM'lı tek bir GPU'ya sığdırmasını sağladı. Kullanılan komut satırı parametreleri arasında "-ngl 99", "--n-cpu-moe 36", "-lm mmap" ve 16 384 token uzunluğunda konteks gibi ayarlar bulunuyor.
Vladowski, aynı donanımda Qwen serisi modellerinin de iyi performans gösterdiğini belirtti, ancak DeepSeek‑V4.1‑Flash'in çalıştırılabilirliğinin kendisi için bir başarı olduğunu vurguladı. Şu an modelin diskte kapladığı 233 GB alanı koruyup korumamaya karar vermek zorunda.
Bu deney, büyük ölçekli LLM'lerin tüketici sınıfı donanımla, özellikle disk‑tabanlı on‑demand bellek yönetimiyle, erişilebilirliğini gösteriyor ve açık kaynak topluluklarının model dağıtımını daha esnek hale getirme çabalarına ışık tutuyor.
Yöney yorumu
Bu deney, büyük modellerin düşük maliyetli donanımla erişilebilirliğini gösteriyor; geliştiriciler için daha esnek dağıtım seçenekleri sunarken, son kullanıcıların da yüksek parametreli LLM'leri deneme fırsatı bulmasını sağlıyor.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- DeepSeek-V4.1-Flash-1017tokens per second · RTX 3090 24GB, 10 CPU threads, llama.cpp build7.2 tok/s
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
