KLD Yanlış Anlaşılıyor: Kuantize Modellerde Ölçüm Yanılgısı

Reddit'in LocalLLaMA topluluğunda, KLD sayısının kuantize modelleri sıralamak için kutsal bir ölçüt gibi kabul edildiği sıkça görülüyor. Ancak KLD, aynı metni temel model ve kuantize modeline vererek elde edilen logit dağılımları arasındaki farkı ölçen bir istatistik; bu farkın ortalaması token bazında alınır. Bu ölçüm, modelin gerçek kullanım senaryolarını yansıtmayabilir, çünkü üretim sırasında modelin kendi ürettiği tokenlar bağlamı genişletir ve rastgele Wikipedia metinleriyle yapılan testler bu durumu yakalayamaz.

Daha güvenilir bir KLD değeri elde etmek için, temel modelden üretilen bir veri seti oluşturulup sadece bu üretilen tokenlar üzerinden KLD hesaplanmalı, prompt tokenlarına ağırlık verilmemelidir. İkinci bir sorun ise KLD'nin kolayca manipüle edilebilmesidir; kuantizasyon yöntemleri genellikle kalibrasyon verisi kullanır ve aynı veri setiyle KLD hesaplandığında sonuçlar yanıltıcı derecede iyi görünebilir. Kalibrasyon ve değerlendirme veri setleri aynı kaynaktan geliyorsa ya da çok benzer dağılımlara sahipse, KLD değeri güvenilir olmaz.

Bazı durumlarda, kuantizasyon ölçek parametreleri aynı veri seti üzerinde son‑uç ince ayarı (fine‑tuning) yapılabilir ve bu da KLD açısından çok daha büyük modelleri geride bırakır, fakat gerçek dünyadaki genelleme yeteneği düşük kalır. Dolayısıyla yüksek bir KLD, kuantize modelin görevlerde başarısız olacağı anlamına gelmez; sadece sınırlı bir veri setinde temel modele ne kadar yaklaştığını gösterir. Benchmark skorları ise genellikle büyük donanım ve hesaplama gücü gerektirirken, KLD'yi “güzel” göstermek çok daha ucuz bir manipülasyondur.

Sonuç olarak, KLD bir tanı aracı olarak faydalı olabilir, ancak kuantize modellerin kalitesini ölçen evrensel bir lider tablosu gibi kullanılmamalıdır. Geliştiricilerin ve kullanıcıların KLD'yi, modelin gerçek performansını yansıtan daha kapsamlı testlerle birlikte değerlendirmeleri gerekir.