Uyarı: Flash Next'i DFlash2'ye Yükseltin, Ortalama %17 Hız Artışı

Geçtiğimiz günlerde Qwen3.8-Flash-Next modeli için DFlash2 sürümü yayınlanmıştı, ancak ilk etapta llama.cpp ile uyumlu değildi. llama.cpp v0.8.0, DFlash2 desteğini ekleyerek bu eksikliği giderdi ve yazar, kendi quantize ettiği GGUF dosyalarını bu sürümde test etti.

Performans ölçümleri, Apple Silicon M5 Max cihazında, MTP ve DFlash2 için parametre taraması yapıldıktan sonra en uygun ayarlarla gerçekleştirildi. Kullanılan ayarlar MTP için n-max=3, p-min=0.75; DFlash2 için ise n-max=5, p-min=0.75 idi. Ölçümler, kabul oranı (acceptance) üzerinden tps (tokens per second) değerleriyle raporlandı.

Sonuçlar, DFlash2'nin kod (code) ve liste (list) görevlerinde sırasıyla %18 ve %39 oranında, uzun bağlam (6k ctx) görevinde %19 oranında bir hız artışı sağladığını gösterdi. Prose (metin) görevinde ise %3'lük hafif bir gerileme yaşandı ancak bu fark gürültü seviyesinin içinde değerlendirildi. Geometrik ortalama üzerinden bakıldığında DFlash2, MTP'ye kıyasla %17 daha yüksek bir throughput (87.9 tps) elde etti.

DFlash2'nin bir diğer avantajı, draft head modelinin sadece ~350 MB olması; önceki Q4_0 ggml MTP head'i ise 2.2 GB büyüklüğündeydi. Bellek tasarrufu VRAM'e yansımasa da, modelin compute buffer ihtiyacı bu farkı dengeledi. Ayrıca, DFlash2 3.8 27B sürümünün aksine görsel girdileri de işleyebiliyor; görüntü destekli promptlar tutarlı ve kabul edilebilir yanıtlar üretti.