M6 Mac Mini 32 GB sahipleri artık Qwen3.8‑27B modelini Apple Neural Engine’de yüksek kaliteyle çalıştırabiliyor
ANEMLL Forge 0.2.1 sürümü, Qwen3.8‑27B büyük dil modelini M6 çipli Mac Mini üzerinde 192 K bağlam uzunluğuna kadar çalıştırabiliyor. INT8 KV önbellek ve daha küçük drafter sayesinde bellek tüketimi %50’ye kadar azalırken, içerik tipine göre 10‑62 token/s decode hızı sağlanıyor. 96 K bağlamda optimum performans elde edilerek, 123 token/s prefill ve 27 token/s decode hızları sunuluyor.
Özetle
- 1
ANEMLL Forge 0.2.1, Qwen3.8‑27B modelini M6 Neural Engine’de 192 K bağlam uzunluğuna kadar çalıştırabiliyor.
- 2
INT8 KV cache ve daha küçük drafter sayesinde ANE belleğinde 0,86 GB tasarruf sağlanıyor.
- 3
Decode hızı içerik tipine göre 10‑62 token/s, prefill hızı kısa bağlamda 260 token/s.
- 4
96 K bağlamda optimum performans: 123 token/s prefill, 27 token/s decode, 21.4 GB bellek tüketimi.
- 5
Tam 192 K derleme bir kez ~2 saat sürüyor; 16 K derleme ise ~10 dk içinde tamamlanıyor.
ANEMLL Forge 0.2.1, Apple'ın M6 Neural Engine'ini hedef alarak Qwen3.8‑27B modelini 32 GB RAM'li Mac Mini'lerde çalıştırma yeteneğini genişletti. Yeni sürüm, INT8 K/V önbellek (FP16'nın yarısı) ve hedef çıkış başlığını paylaşan daha küçük bir drafter kullanarak ANE belleğinde 0,86 GB tasarruf sağlarken aynı işlem hızını koruyor.
Performans ölçümleri, modelin içerik tipine göre değişen decode hızlarını gösteriyor: JSON üretiminde 35‑62 token/s, kod üretiminde 18‑32 token/s ve düz metin (prose) üretiminde 10‑17 token/s. Prefill aşaması ise kısa bağlamlarda 260 token/s, 192 K bağlamda ise 62 token/s hızına ulaşıyor. 128K‑192K arası bağlamlarda bellek bütçesini korumak için prefill batch boyutu 64 yerine 32 satıra düşürülüyor.
Tam 192 K bağlam derlemesi ilk kez yaklaşık iki saat sürüyor; bu derleme bir kez yapıldıktan sonra önbelleğe alınıp sonraki çalıştırmalarda kullanılabiliyor. Kullanıcılar, `--ctx` parametresiyle yalnızca ihtiyaç duydukları bağlamı dışa aktararak derleme süresini büyük ölçüde kısaltabiliyor; 16 K bağlamda sadece 10 dakikada indirme ve sunucu başlatma mümkün.
Yazarlar, 96 K bağlamı "tatlı nokta" olarak belirtiyor: bu seviyede toplam bellek tüketimi 21,4 GB, prefill hızı 123 token/s ve decode hızı yaklaşık 27 token/s. Detaylı sürüm notları, bir Tetris videosu ve üç bit MLP vektör kuantizasyonu üzerine teknik bir makale de GitHub üzerinden erişilebilir.
Yöney yorumu
Bu güncelleme, Apple çipli cihazlarda büyük dil modellerinin daha uzun bağlamlarla ve daha düşük bellek ayak iziyle çalışmasını mümkün kılıyor; geliştiriciler artık yerel olarak daha karmaşık uygulamalar ve uzun metin analizleri yapabilecek.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Qwen3.8-27Bprefill speed (short context) · prefill260 tok/s
- Qwen3.8-27Bprefill speed (192K context) · prefill62 tok/s
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
