DeepSeek-V4.1-Flash-1017 ve Unsloth Kuantizasyon Karşılaştırmasında Token Bütçesi Farkı Açıklandı
DeepSeek-V4.1-Flash-1017 modelinin performansına ilişkin son karşılaştırmalarda, Unsloth tarafından kullanılan 32K tokenlık sınırlı bir mantık bütçesi ile ISTA'nın 128K tokenlık çıkış bütçesi arasındaki farkın sonuçları belirgin şekilde etkilediği ortaya kondu. ISTA, modelin 763 milyar parametresi ve 1M bağlam uzunluğuna uygun standart ayarlarla test edildiğini vurguluyor.
Özetle
- 1
ISTA, DeepSeek-V4.1-Flash-1017 testlerinde 128K tokenlık çıktı bütçesi ve mantık çabası 50 kullandı.
- 2
Unsloth karşılaştırmalarında 32K tokenlık sıkı bir mantık bütçesi kullanıldı; bu fark performans sonuçlarını etkiledi.
- 3
ISTA, tüm kod ve makaleleri açık kaynak olarak paylaşıyor ve bağımsız doğrulamayı toplulukla davet ediyor.
ISTA ekibi, Reddit'te yayınladığı bir açıklamada, DeepSeek-V4.1-Flash-1017 modelinin Unsloth tarafından yapılan kuantizasyon karşılaştırmalarının kendi sonuçlarıyla uyumsuz olduğunu belirtti. Açıklamada, modelin 763 milyar parametreye sahip olduğu ve 1 milyon tokenlık bağlam penceresini desteklediği, bu nedenle testlerde 128K tokenlık bir çıktı penceresi ve mantık çabası (reasoning effort) 50 olarak ayarlandığı ifade edildi.
Unsloth'un karşılaştırmalarında ise 32K tokenlık sıkı bir mantık bütçesi kullanıldığı, bu durumun modelin potansiyel performansını kısıtladığı ve sonuçların düşüşe yol açtığı iddia edildi. ISTA, bu farkın modelin kalitesinden değil, test koşullarındaki farklılıklardan kaynaklandığını vurguluyor. Özellikle, 1M bağlam penceresine sahip bir model için 32K tokenlık bir sınırın tutarsız olduğu belirtilerek, ISTA'nın testlerinin modelin tasarımına daha uygun olduğu savunuldu.
IST A, tüm kodlarını GitHub üzerinden açık kaynak olarak paylaştığını ve ilgili makalelerin arXiv'de yayımlandığını hatırlatarak topluluk iş birliğine ve şeffaflığa önem verdiğini yineledi. Ayrıca, bağımsız doğrulama için aynı ayarlarla (128K çıktı bütçesi, mantık çabası 50) test yapılmasını davet etti ve daha önceki modellerinin Benjamin Marie (The Kaitchup) gibi üçüncü taraflarca da benchmarklandığını hatırlattı.
Ek olarak, ISTA ekibi şu anda kendi ortamlarında aynı karşılaştırmaları yürüttüklerini ve sonuçları yakında paylaşacaklarını belirtti. Bu süreç, modelin gerçek performansını doğru bir şekilde ölçmek ve topluluk içinde güvenilir bir referans noktası oluşturmak amacıyla yürütülüyor.
Yöney yorumu
Bu açıklama, büyük ölçekli LLM'lerin performans değerlendirmelerinde token bütçesi gibi parametrelerin kritik rol oynadığını ve standartlaştırılmış test koşullarının gerekliliğini bir kez daha ortaya koyuyor.
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
