NVIDIA Nemotron-3.5-Bolt-E4B-4GB Modeli Hugging Face Üzerinde Yayınlandı
NVIDIA, Gemma-4-E4B-it tabanlı yeni bir küçük dil modeli (SLM) olan Nemotron-3.5-Bolt-E4B-4GB'yi duyurdu. Model, çok‑turlu araç kullanımı, talimat takibi ve giriş bağlamlandırma konularında iyileştirmeler sunarak yerel ses asistanları ve kenar (edge) uygulamaları için tasarlandı.
Özetle
- 1
Nemotron-3.5-Bolt-E4B-4GB, Gemma-4-E4B-it tabanlı bir SLM olarak çok‑turlu araç kullanımını ve talimat takibini iyileştiriyor.
- 2
Model, düşük bellek ve düşük TTFT gereksinimleriyle kenar cihazlarda hızlı yanıt üretimine odaklanıyor.
- 3
Spekülatif kodlama için DFlash drafter eklentisi ve tam hassasiyetli BF16 sürümü ayrı paketlerde sunuluyor.
NVIDIA, Gemma-4-E4B-it modelini temel alarak Nemotron-3.5-Bolt-E4B-4GB adlı yeni bir küçük dil modeli (SLM) geliştirdi ve Hugging Face platformunda yayınladı. Bu model, Gemma serisinin güçlü sohbet yeteneklerini korurken, çok‑turlu araç kullanımını, talimat takibini ve giriş bağlamlandırmasını daha da geliştiriyor; bu sayede yerel ses/cihaz asistanları, etkileşimli kişilikler ve gömülü/kenar arayüzleri için daha akıcı ve tutarlı yanıtlar sağlanabiliyor.
Model, düşük bellek tüketimi ve düşük yanıt süresi (TTFT) hedefiyle tasarlandı; 4 GB parametre boyutu sayesinde sınırlı donanımlı cihazlarda bile hızlı yanıt üretimi mümkün. NVIDIA, spekülatif kodlama (speculative decoding) senaryoları için yan ürün olarak DFlash drafter adlı bir taslak oluşturucu sunuyor. Tam hassasiyetli (BF16) sürüm ise NVIDIA-Nemotron-3.5-Bolt-E4B-BF16 adıyla ayrı bir paket olarak mevcut.
Nemotron-3.5-Bolt-E4B-4GB, ticari ve ticari olmayan kullanım lisanslarıyla serbest bırakıldı; bu da araştırmacılar, geliştiriciler ve şirketlerin modeli doğrudan kendi uygulamalarına entegre edebilmesini sağlıyor. Modelin Hugging Face üzerindeki iki farklı dağıtımı (ggml-org ve unsloth) sayesinde farklı donanım ve çerçeve gereksinimlerine uyum sağlanabiliyor.
Bu yayın, NVIDIA'nın yerel ve kenar AI çözümlerine yönelik stratejisinin bir parçası olarak görülüyor. Küçük ölçekli, yüksek verimli dil modellerinin yaygınlaşması, bulut bağımlılığını azaltarak daha gizlilik odaklı ve düşük gecikmeli uygulamaların geliştirilmesine olanak tanıyacak.
Yöney yorumu
Bu model, düşük maliyetli donanımlarda yüksek kaliteli dil işleme yetenekleri sunarak geliştiricilerin kenar AI çözümlerini daha hızlı prototiplemesini ve ölçeklendirmesini sağlayacak. Aynı zamanda, açık lisans politikası sayesinde akademik araştırmalara da geniş bir erişim imkanı tanıyor.
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
