Qwen 3.8 27B modellerinin farklı kuantizasyonları karşılaştırıldı
Reddit topluluğunda Qwen3.8‑27B serisinin üç farklı kuantizasyonu, aynı donanım ve test ortamında karşılaştırıldı. Sonuçlar, beklenmedik bir şekilde MXFP4 kuantunun matematik testlerinde en iyi, kod testlerinde ise en kötü performansı gösterdiğini ortaya koydu.
Öne Çıkan Başlıklar
- MXFP4 kuantı, matematik testlerinde (GSM8K) en yüksek performansı gösterdi, ancak kod testlerinde (HumanEval) en düşük skoru aldı.
- UD‑Q6_K_L modeli matematikte en kötü sonuç verirken, Swift‑Q6_K modeli en yavaş çalışan model olarak belirlendi.
- Testler aynı donanım (RTX 9700) ve aynı Docker ortamı içinde yürütülmüş, ancak farklı motorlar (llama.cpp vs. whirl) kullanılmıştır.
Yerel LLaMA topluluğunun bir üyesi, RTX 9700 GPU'su üzerinde üç farklı Qwen3.8‑27B kuantizasyon modelini aynı Docker konteynerinde çalıştırarak GSM8K (matematik) ve HumanEval (kod) test setlerini değerlendirdi. Kullanılan modeller: Qwen3.8‑27B‑UD‑Q6_K_L.gguf, Swift‑Qwen3.8‑27B‑Q6_K.gguf ve Swift‑1.5‑Qwen3.8‑27B‑MXFP4‑A‑outQ6_K.gguf. İlk iki model llama.cpp üzerinden, MXFP4 kuantı ise whirl motoru ile çalıştırıldı.
Hipotezler, UD‑Q6_K_L modelinin en yüksek doğruluk ancak en düşük hız, Swift‑Q6_K modelinin ikinci en iyi doğruluk ve hız, MXFP4 kuantının ise en düşük doğruluk ama en yüksek hız sağlayacağı yönündeydi. Ancak test sonuçları bu beklentileri çarpıttı: MXFP4 kuantı matematik testlerinde (GSM8K) en yüksek skoru alırken, kod testlerinde (HumanEval) en düşük performansı gösterdi. Öte yandan UD‑Q6_K_L modeli matematikte en kötü, Swift‑Q6_K modeli ise en yavaş olarak kayda geçti.
Araştırmacı, daha kesin sonuçlar elde etmek için tüm test setlerini birden fazla kez çalıştırmak istediğini, ancak mevcut donanımın bu süreyi karşılamadığını belirtti. Sonuçların neden böyle bir dağılım gösterdiği konusunda topluluktan açıklama talep ediyor. Bu bulgular, kuantizasyon tekniklerinin görev bazlı performans etkilerini yeniden gözden geçirme ihtiyacını ortaya koyuyor.
Bu deney, özellikle düşük bellekli ortamlarda yüksek performanslı LLM'ler çalıştırmak isteyen geliştiriciler için kuantizasyon seçiminde sadece hız değil, görev tipine göre doğruluk dengesinin de kritik olduğunu hatırlatıyor.
YZ Yorumu
Bu bulgular, kuantizasyonun sadece hız değil, görev türüne göre doğrulukta da büyük dalgalanmalar yaratabileceğini gösteriyor; geliştiriciler seçimlerini test senaryolarına göre yapmalı.
Yapay zekâ tarafından üretilmiştir.