ISTAnın GSQ-RCO 2-bit DeepSeek-V4.1-Flash modeli, temel modelle aynı puanı alıyor: Gerçek mi?

Reddit'in LocalLLaMA topluluğunda, ISTA‑DASLab tarafından yayınlanan GSQ‑RCO GGUF dosyaları DeepSeek‑V4.1‑Flash modelinin 2‑bit (bpw) versiyonunu temsil ediyor. Paylaşılan benchmark sonuçlarına göre, IQ2_XXS konfigürasyonu temel modelle aynı performansı gösteriyor ve AIME25 testinde tüm sürümler 100 puan almış durumda. Ancak bu sonuçların %90 üzeri bir doygunluk seviyesinde olduğu ve AIME25'in her versiyonda 100 puan verdiği belirtiliyor, bu da ölçüm aralığının daralmasına ve olası kalite düşüşlerinin gizlenmesine yol açabilir.

Kullanıcı "Queasy_Back2588", bu yüksek skorların gerçek dünyadaki çıktıyı yansıtıp yansıtmadığını merak ediyor. Özellikle Kullandıkları KL Divergence (KLD) ve Perplexity (PPL) gibi metriklerin eksikliği, modelin düşük bit genişliğinde (≈2 bpw) ne kadar bilgi kaybı yaşadığını anlamayı zorlaştırıyor. Topluluk üyelerinden, GSQ‑RCO modelleri için KLD ölçümleri ya da perplexity değerleri talep ediliyor; böylece 2‑bit quantizasyonunun teorik olarak beklenen ~2 bpw seviyesindeki kalite kaybı doğrulanabilir.

Bu tartışma, düşük bit genişliğinde LLM quantizasyonunun sınırlarını ve benchmark metodolojisinin güvenilirliğini gündeme getiriyor. Eğer GSQ‑RCO gerçekten temel modelin performansını koruyorsa, 2‑bit quantizasyonu sayesinde depolama ve çıkarım maliyetlerinde büyük tasarruf sağlanabilir. Öte yandan, benchmarkların aşırı doygunlukta olması ve tek bir test (AIME25) üzerinden yüksek puan alınması, modelin gerçek kullanım senaryolarında beklenen performansı yansıtmayabileceği endişesini doğuruyor.

Topluluk, ISTA‑DASLab'ın model dosyalarını inceleyerek ve bağımsız KLD/PPL testleri yaparak bu iddiaları doğrulamak istiyor. Bu süreç, LLM quantizasyonu alanında daha şeffaf ve çok yönlü değerlendirme standartlarının geliştirilmesi için bir fırsat sunabilir.