Telperion'dan Qwen3.8-27B-MLA ve Qwen3.8-27B-GLA-g2: 4 kat daha küçük KV önbelleği ve geliştirilmiş akıl yürütme

Telperion, son araştırma çalışmalarının bir sonucu olarak Qwen3.8-27B tabanlı iki yeni model – Qwen3.8-27B-MLA ve Qwen3.8-27B-GLA-g2 – yayınladı. Bu modeller, "latent attention" adı verilen bir teknikle KV (key‑value) önbelleğini %400 oranında sıkıştırıyor; bu sayede tüketici donanımında bağlam uzunluğu neredeyse dört katına çıkıyor ya da sunucu ortamında aynı donanımda dört kat daha fazla eşzamanlı istek işlenebiliyor.

Performans açısından MLA varyantı, SWE-bench Verified (zero‑shot, toolless, n>1500) testinde %42,1 başarı oranı yakalarken, aynı testte temel Qwen3.8-27B modeli %39,5 ve GLA‑g2 %39,4 oranlarıyla geride kaldı. MLA modelinin %6,58'lik istatistiksel olarak anlamlı bir iyileşme gösterdiği belirtiliyor. Ayrıca, bu modeller %20'ye yakın daha az akıl yürütme token'ı tüketiyor, bu da hem maliyet hem de hız açısından avantaj sağlıyor.

Bellek tüketiminde de belirgin farklar var. FP8 kuantizasyonu kullanılan modeller sadece 31,5 GB bellek gerektirirken, INT4 kuantizasyonu 22,9 GB, EXL3‑4.0bwp* ise 17,2 GB bellekle çalışıyor. Top‑1 uyumsuzluk artışı (düşük olması tercih edilir) FP8 için %0,06, INT4 için %0,17 ve EXL3‑4.0bwp* için %0,46 olarak raporlanmış. Bu kuantizasyon teknikleri, aynı model boyutunda daha yüksek doğruluk ve daha düşük bellek ihtiyacı sunuyor.

Telperion, modelleri vLLM eklentisiyle kolayca kurulabilir hale getirdiğini ve açık kaynak yöntemlerini yakında paylaşacağını duyurdu. Yöntem, sıfır yeniden eğitim gerektirmiyor ve grouped query attention kullanan çoğu modelle uyumlu. Şirket, ilerleyen dönemde Qwen4‑27B için benzer sparse latent attention varyantları ve geliştirilmiş bir versiyon 2 planlıyor.