ISTA-DASLab'dan DeepSeek-V4.1-Flash-1017 için GSQ-RCO Akıllı Kuantizasyon Çıktısı
ISTA-DASLab, DeepSeek-V4.1-Flash-1017 modeline yeni bir akıllı kuantizasyon yöntemi olan GSQ‑RCO'yu ekleyerek topluluğa sunuyor. Kuantize edilmiş model HuggingFace üzerinden indirilebilir, ancak llama.cpp entegrasyonu henüz tamamlanmadı.
Özetle
- 1
GSQ‑RCO akıllı kuantizasyonu DeepSeek‑V4.1‑Flash‑1017 modeline uygulandı.
- 2
Kuantize model HuggingFace üzerinden GGUF formatında indirilebilir.
- 3
llama.cpp desteği henüz tam entegrasyon aşamasında değil; ilgili PR'lar beklemede.
- 4
Model kartındaki Strata desteği muhtemelen Xolotl veya Maya fork'ları üzerinden sağlanıyor.
İstanbul Teknik Üniversitesi'nin DASLab birimi, DeepSeek‑V4.1‑Flash‑1017 modeline yönelik "GSQ‑RCO" (Smart Quantization) adlı yeni bir kuantizasyon yaklaşımını duyurdu. Bu kuantizasyon, modelin bellek ayak izini önemli ölçüde azaltırken performans kaybını minimuma indirmeyi hedefliyor ve özellikle düşük kaynaklı cihazlarda çalıştırılabilirliği artırıyor.
Kuantize edilmiş model dosyaları HuggingFace üzerindeki ISTA‑DASLab deposunda (https://huggingface.co/ISTA-DASLab/DeepSeek-V4.1-Flash-1017-GSQ-RCO-GGUF) yayınlandı. Kullanıcılar, GGUF formatındaki bu ağı doğrudan indirip, destekleyen arayüzlerde çalıştırabilir. Ancak, popüler açık kaynak inference motoru llama.cpp henüz bu yeni mimariyi tam olarak desteklemiyor; ilgili PR'lar (https://github.com/ggml-org/llama.cpp/pull/28696 ve https://github.com/ggml-org/llama.cpp/pull/30817) hâlâ inceleme aşamasında.
Model kartında "Strata" desteği olduğu belirtilse de, orijinal Strata entegrasyonu yalnızca Qwen3.8‑Flash‑Next modeline uygulanmış durumda. Bu nedenle, ISTA‑DASLab ekibi muhtemelen Strata tabanlı bir fork (örneğin Xolotl ya da Maya) üzerinden uyarlama yapmış olabilir. Topluluk, bu konuda netlik sağlamak ve entegrasyon sürecini hızlandırmak için geri bildirimde bulunuyor.
Bu yayın, yerel LLaMA topluluğu içinde kuantize modellerin erişilebilirliğini artırma yönündeki bir adım olarak görülüyor. Geliştiriciler, düşük bellekli ortamlarda yüksek kaliteli dil modelleri çalıştırmak için bu tür akıllı kuantizasyon tekniklerinden faydalanabilecek.
Yöney yorumu
GSQ‑RCO kuantizasyonu, yüksek performanslı modellerin daha geniş bir donanım yelpazesinde çalıştırılmasını mümkün kılıyor; bu da yerel AI ekosisteminin büyümesine ve inovasyona ivme kazandıracak.
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
