Nemotron 3.5 Super VL'yi Göz Ardı Etmeyin
Reddit topluluğu, Nemotron 3.5 Super VL 120B-A12B modelinin, Anno 1602 gibi nadir bilgi gerektiren bir benchmark'ta altı model arasında birinci sırada yer aldığını duyurdu. Model, önceki nesillere kıyasla sadece küçük hatalar yaparken, diğerleri büyük ölçüde hatalı sonuçlar verdi. Ayrıca modelin çift RTX 5060 Ti üzerinde NVFP4 kuantizasyonu ile yüksek hızda çalıştığı belirtildi.
Özetle
- 1
Nemotron 3.5 Super VL 120B-A12B, Anno 1602 bilgi testinde 1. sırada yer alarak diğer modellerden belirgin bir üstünlük gösterdi.
- 2
Modelin hataları büyük ölçüde azaldı; sadece küçük eksiklikler kaldı, diğer modeller ise ciddi "hallucination" hataları üretti.
- 3
NVFP4 kuantizasyonu ve çift RTX 5060 Ti 16 GB GPU ile ~8‑10 t/s üretim ve 150‑170 t/s işleme hızı sağlandı.
- 4
Benchmark, llama.cpp 0.7.0 ve çeşitli GGUF kuantizasyon formatları kullanılarak gerçekleştirildi.
Reddit'in LocalLLaMA topluluğunda paylaşılan bir gönderide, yazar kendi geliştirdiği "obscure knowledge" benchmark'ını kullandı. Bu test, 1998 çıkışlı Anno 1602 oyununun kuralları ve çeşitli sürümlerine dair detayları sorguluyor; web araması yasak. Testte altı farklı büyük dil modeli karşılaştırıldı.
Sıralama (1 en yüksek, 6 en düşük) şu şekilde gerçekleşti: Nemotron 3.5 Super VL 120B-A12B birinci, Gemma 4 31B IT QAT dördüncü, DeepSeek v4 Flash Vision Exp beşinci, Qwen3.5-122B-A12B altıncı ve Qwen3.8‑flash‑next ile GPT‑OSS 120B da benzer hatalar üretti. Nemotron, "hallucinated" hatalarını büyük ölçüde azaltarak yalnızca küçük eksiklikler gösterdi; diğer modeller ise gereksinim ve oyun sürümleri konusunda ciddi hatalar yaptı.
Modelin performansı sadece doğrulukla sınırlı kalmadı. Yazar, NVFP4 kuantizasyonu ile eğitilmiş Nemotron'un çift RTX 5060 Ti 16 GB GPU (her biri 48 GB DDR5‑6000 MHz) üzerinde yaklaşık 8‑10 token/s üretim ve 150‑170 token/s işleme hızı sağladığını belirtti. MTP, katman bölme ve Vulkan gibi ek optimizasyonlar kullanılmadı.
İnferans için kullanılan araçlar llama.cpp 0.7.0 ve ilgili GGUF kuantizasyon dosyalarıydı. Paylaşılan bağlantılarda her modelin hangi kuantizasyon formatı (Q4_K_S, Q4_K_XL, Q2_K_XL vb.) ve Hugging Face deposu olduğu listelendi. Bu detaylar, araştırmacıların ve geliştiricilerin benzer donanım ve yazılım ortamlarında aynı testleri tekrarlamasına olanak tanıyor.
Yöney yorumu
Bu sonuç, kuantize edilmiş görsel‑dil modellerinin niş bilgi alanlarında yüksek doğruluk sağlayabileceğini gösteriyor; geliştiriciler, özel veri setleriyle performans artırmak için Nemotron gibi modelleri tercih edebilir.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Nemotron 3.5 Super VL 120B-A12BObscure Anno 1602 knowledge test · 1=highest, 6=lowest1 rank
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
