Ternary Nemotron 30B-A3B Modeli 12 GB GPU’da 368K Bağlam ve Yüksek Hızda Çalışıyor

Yerel LLaMA topluluğu, boro64 adlı geliştiricinin yeni bir ternary MoE (Mixture‑of‑Experts) modeli olan Ternary Nemotron 30B‑A3B'yi duyurdu. Model, 1.58‑bit ternary kuantizasyonu sayesinde 30 billion parametreli bir yapıyı sadece 12 GB GPU belleğiyle çalıştırabiliyor ve 368 K token uzunluğunda bağlamı işleyebiliyor. Bu, özellikle düşük VRAM'li donanımlarda uzun metin üretimi ve analizine olanak tanıyor.

Model, hem orijinal llama.cpp motoru (b11555+, b11796 sürümleriyle doğrulanmış) hem de PrismML fork/Bonsai (b10793 sürümüyle doğrulanmış) üzerinde tek bir GGUF dosyasıyla çalışıyor. Kullanıcılar, aynı model dosyasını iki farklı motorla test edebildikleri için entegrasyon sürecinde büyük esneklik sağlıyor. Performans ölçümlerine göre model, dekod aşamasında 172 token/s, ön‑dolgu (prefill) aşamasında ise 7 000 token/s üzeri bir hız elde ediyor.

Topluluk, bu modelin ikinci ternary MoE olduğunu ve ilk örnek olarak "maple-preview" modelinin stock llama.cpp ile uyumlu olduğunu belirtiyor. Kullanıcılar, CPU‑only performans ölçümlerinin ve daha düşük VRAM (≈10 GB) ortamlarındaki sonuçların paylaşılmasını talep ediyor. Bu talepler, modelin farklı donanım sınıflarında ne kadar ölçeklenebilir olduğunu anlamak için kritik.

Modelin açık kaynaklı GGUF formatında sunulması, araştırmacıların ve geliştiricilerin hızlıca deneme yapmasını ve kendi uygulamalarına entegre etmesini kolaylaştırıyor. Ayrıca, yüksek bağlam uzunluğu ve düşük bellek gereksinimi, uzun belgeler, kod tabanları ve çok‑adımlı diyaloglar gibi görevlerde yeni kullanım senaryolarını mümkün kılıyor.