Qwen Flash Next Quant ve Sıcaklık Karşılaştırması: Performans, Süre ve Kalite Analizi

Yerel LLaMA topluluğunun bir üyesi, boş zamanını değerlendirmek amacıyla Qwen Flash Next modelinin üç kuantizasyon varyantını (q3_xxs, q3_s ve q4_xs) aynı donanım üzerinde çalıştırdı. Her bir model iki farklı sıcaklık ayarıyla test edildi: önerilen parametrelerle (temp 1, top_k 20, top_p 0.95 vb.) ve tamamen deterministik bir çalışma için temp 0. Her kombinasyon üç kez tekrar edilerek toplam 12 görev yürütüldü.

Görev, belirli gereksinimleri olan bir tarayıcı tabanlı Tetris oyunu oluşturmayı içeriyordu; kalite değerlendirmesi ise sağlanan özelliklerin gereksinimlerle ne kadar örtüştüğüne göre yapıldı. Sonuçlar, tüm kuantizasyonların kabul edilebilir çıktılar ürettiğini, ancak düşük kuantizasyonlu modellerin (q3_xxs) kendilerine güvenmediği ve gereksiz token üretimi, ek araç çağrıları ve test tekrarlarıyla daha uzun toplam decode süresi oluşturduğu ortaya koydu.

İlginç bir bulgu, daha yüksek kuantizasyon seviyesinin (q4_xs) token başına decode hızını (TPS) düşürmesine rağmen, toplam token sayısının azalması sayesinde görev süresinin kısaldığıydı. Temp 0 ayarı ise görev süresi ve token sayısında daha düşük varyans gösterdi; kalite açısından ise belirgin bir fark bulunmadı, ancak yazar daha karmaşık görevlerde sıcaklığın etkisini sorguluyor.

Yazar, elde ettiği bulgulara dayanarak, donanımın izin verdiği en yüksek kuantizasyon seviyesini tercih etmeyi, decode hızına odaklanmak yerine toplam görev süresine bakmayı önerdi. Windows ortamında SSD önbelleği gerektirmeyen en yüksek kuantizasyonun q3_s olduğu belirtilirken, Linux tabanlı bir başsız kutuda farklı sonuçlar alınabileceği ihtimali de dile getirildi.