DeepSeek V4.1 Flash 1017 Desteği ds4 Quantization Suite'e Eklendi (PR #1225)

Reddit LocalLLaMA topluluğunda bir geliştirici, ds4 quantization suite'ine DeepSeek‑v4.1‑Flash‑1017 modelinin yeni engramları ve güncellenmiş vision tower'ı ile uyum sağlayacak bir PR (pull request) sundu. Bu PR, dosya revizyonlarıyla uyumluluğu sağlamak ve vision+language model dosya kombinasyonunun eşleşmesini kontrol etmek üzerine odaklanıyor; karışık eşleşmelerde hata veriyor. ds4 ile kuantize edilmiş dosyalar, ek bir değişiklik gerektirmeden yüklenebilecek ve önceki checkpoint için gerileme (regression) getirmiyor.

Değişiklikler kapsamlı: yönlendirilmiş uzman tensörlerinin yaklaşık %40'ı, engramların %30'u ve vision tower'ın uzman tensörlerinin %50'si değiştirildi. Mimari aynı kalıyor, bu yüzden mevcut kernel'lere sorunsuzca oturuyor. Bu, modelin temel yapısını bozmadan yeni özelliklerin entegrasyonunu mümkün kılıyor.

Geliştirici, 128 GB bellekli bir sistemde Q2‑Q8 karışık kuantizasyonu (SSD offloading) ile modelin M5 Max üzerinde saniyede yaklaşık 20 token (20 tps) çözümleyeceğini belirtiyor. Bu performans, topluluk içinde modelin daha geniş donanım konfigürasyonlarında kullanılabilirliğini artıracak ve düşük maliyetli donanımlarda bile yüksek verimlilik sağlayacak.

Gelecek planları arasında, 152 GB kablolu ve 366 GB toplam (engramlar dahil) depolama gereksinimiyle 128 GB RAM'li bir sistemde çalıştırılacak bir karışık kuantizasyonun (Q2‑Q8) yayınlanması bulunuyor. Bu sürüm, önceki checkpoint'in antirez'in tarifine göre hazırlanacak ve topluluk tarafından test edilerek geri bildirim toplanacak.