NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB Modeli 2-bit Kuantizasyonla Yerel VLM Olarak Sunuldu

NVIDIA Nemotron 3.5 Bolt 74B-A9B 24GB, Mamba‑2‑Transformer hibrit mimarisi ve LatentMoE yapısına sahip bir vision‑language modelidir (VLM). Model, 74 milyar toplam parametreye sahip olmakla birlikte yalnızca 9 milyar aktif parametreyi çalıştırarak 2‑bit kuantizasyon (IQ2) sayesinde 24 GB VRAM içinde çalışabiliyor. Bu sayede kullanıcılar, modelin yüksek zekâ seviyesini yoğun bellek tüketimi olmadan yerel makinelerde, özellikle NVIDIA Ampere (A100), Hopper (H100‑80GB) ve Blackwell GPU'larında çalıştırabiliyor.

Model, 256 K token uzunluğunda bağlamı destekliyor ve metin, resim ve video girdilerini alıp sadece metin çıktısı üretebiliyor. Özel bir "speculative decoding" mekanizması olan LiLiCorr drafter, DFlash üzerinden 7 spekülatif token üretimiyle yanıt hızını artırıyor. Ayrıca, Super 3.5 VL istemcisinden devralınan "chat‑template" kontrolü sayesinde "enable_thinking" parametresiyle akıl yürütme modunu açıp kapatmak mümkün.

Nemotron 3.5 Bolt, OpenMDW‑1.1 lisansı altında hem ticari hem de ticari olmayan projelerde kullanılabiliyor. Modelin eğitim verisi Mayıs 2026 tarihine kadar güncel, bu da onu güncel bilgi gerektiren ajan görevleri için uygun kılıyor. NVIDIA, bu modeli Nemotron ailesinin açık ağırlıklı, açık veri ve tarif setiyle sunarak geliştiricilerin özelleştirilmiş AI ajanları oluşturmasını hedefliyor.

Yerel AI çözümlerine yönelen topluluklar ve geliştiriciler, bu modelin düşük bellek gereksinimi ve yüksek performansı sayesinde büyük ölçekli VLM'leri bulut yerine kendi cihazlarında çalıştırma imkanı bulacak. Model, Hugging Face platformunda iki farklı paket (GGUF ve LiLiCorr‑GGUF) olarak dağıtılıyor ve topluluk tarafından test edilip geri bildirim sağlanması bekleniyor.