ISTA GSQ-RCO GGUF'ları DeepSeek-V4.1-Flash-1017 için yayınlandı
ISTA Deep Algorithms and Systems Lab, 763.2 milyar parametreli DeepSeek-V4.1-Flash-1017 modelini 1.75‑2.25 bit/weight aralığında GSQ ve RCO teknikleriyle quantize edilmiş üç GGUF dosyası olarak sundu. 12 GB VRAM'li tek bir GPU’da çalıştırılabilen bu sürüm, düşük bit genişliğinde bile temel modelin performansını %98,7’ye kadar koruyor.
Özetle
- 1
DeepSeek-V4.1-Flash-1017, 763.2 B parametreli sparse MoE modeli tek bir 12 GB GPU’da çalıştırılabilir.
- 2
GSQ ve RCO teknikleri sayesinde 1.75‑2.25 bpw aralığında %98,7’ye kadar temel model performansı korunuyor.
- 3
IQ2_XXS (2.00 bpw) sürümü, AIME25, GPQA‑Diamond ve LiveCodeBench v6 testlerinde %100 eşdeğer sonuç veriyor.
ISTADASLab, DeepSeek-V4.1-Flash-1017 modelini Gumbel‑Softmax Quantization (GSQ) ve Riemannian Constrained Optimization (RCO) yöntemleriyle post‑training aşamasında sıkıştırdı. Model, 384 yönlendirilmiş uzman katmanına sahip bir sparse mixture‑of‑experts mimarisiyle 6 aktif uzmanı token başına çalıştırıyor ve 1 M token bağlam penceresine sahip. Quantize edilmiş sürümler FP8 yoğun ağırlıklar ve FP4 yönlendirilmiş uzmanlar içeriyor.
Üç farklı bit‑genişliği seçeneği sunuluyor: IQ1_M (1.75 bpw, 120.7 GB), IQ2_XXS (2.00 bpw, 138.2 GB) ve IQ2_XS (2.25 bpw, 155.2 GB). Ortak bir Engram dosyası (110.6 GB) tüm sürümler için tek seferde indiriliyor ve disk üzerinde memory‑mapped olarak kullanılabiliyor. Her bir yapı, tek bir 12 GB NVIDIA GPU’da Strata çerçevesiyle çalıştırılabiliyor; llama.cpp henüz DeepSeek‑V4.1'i desteklemediği için GGUF dosyaları bu ortamda kullanılmalı.
Benchmark sonuçları, 2.00 bpw seviyesindeki IQ2_XXS sürümünün AIME25, GPQA‑Diamond ve LiveCodeBench v6 testlerinde temel modelle %100 eşleştiğini gösteriyor. IQ1_M sürümü ise AIME25'de %100, GPQA‑Diamond'da %88.38 (baz model %90.91) ve LiveCodeBench v6'da %88.57 (baz model %89.71) puanları alarak görev ortalamasında %98.7 performans koruması sağladı. Bu sonuçlar, düşük bit‑genişliğinde bile yüksek doğruluk elde edilebileceğini kanıtlıyor.
Modelin açık kaynak kodları ve akademik makaleleri de paylaşılmış; GSQ için arXiv 2604.18556 ve RCO için arXiv 2605.00649 referansları bulunuyor. Kullanıcılar, tek tıkla kurulum ve OpenAI‑uyumlu yerel uç nokta sağlayan Strata aracılığıyla modelleri deneyebilir, ayrıca yeni quantize istekleri de iletebilirler.
Yöney yorumu
Bu yayın, yüksek parametreli modellerin düşük donanım gereksinimleriyle erişilebilir olmasını sağlayarak geliştiricilerin ve araştırmacıların deneme maliyetlerini düşürüyor. Performans kaybının minimal olması, üretim ortamlarında da doğrudan kullanılabilirliğini artırıyor.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- DeepSeek-V4.1-Flash-1017 IQ1_M (1.75 bpw)AIME25 · reasoning effort 50%100
- DeepSeek-V4.1-Flash-1017 IQ1_M (1.75 bpw)GPQA-Diamond · reasoning effort 50%88.38
- DeepSeek-V4.1-Flash-1017 IQ1_M (1.75 bpw)LiveCodeBench v6 · reasoning effort 50%88.57
- DeepSeek-V4.1-Flash-1017 IQ2_XXS (2.00 bpw)AIME25 · reasoning effort 50%100
- DeepSeek-V4.1-Flash-1017 IQ2_XXS (2.00 bpw)GPQA-Diamond · reasoning effort 50%90.91
- DeepSeek-V4.1-Flash-1017 IQ2_XXS (2.00 bpw)LiveCodeBench v6 · reasoning effort 50%89.71
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
