NVIDIA Nemotron Labs Dory1.0 4B BF16 Modeli Hugging Face'te Yayınlandı
NVIDIA, 4 milyar parametreli Dory1.0-4B BF16 modelini Hugging Face platformunda kullanıma sundu. Normalized‑GPT mimarisi, döngüsel (latent‑recurrent) katmanlar ve kaydırmalı pencere (SWA) ile tam‑dikkat katmanlarını birleştirerek 256K token uzunluğunda bağlam işleyebiliyor.
Özetle
- 1
4 milyar parametre ve BF16 hassasiyeti
- 2
Looped (latent‑recurrent) normalized‑GPT mimarisi
- 3
Kaydırmalı pencere (SWA) ve tam‑dikkat katmanlarının hibrit birleşimi
- 4
256 K token bağlam uzunluğu
- 5
OpenMDW License Agreement v1.1 ile ticari ve ticari olmayan kullanım izni
NVIDIA Nemotron Labs, Dory1.0-4B-BF16 adlı yeni büyük dil modelini 16 Ekim 2026 tarihinde resmi olarak yayınladı. Model, toplam 4 milyar parametreye sahip ve BF16 (bfloat16) hassasiyetinde çalışıyor, bu da yüksek verimlilik ve düşük bellek tüketimi sağlıyor.
Mimari açıdan Dory1.0, "looped (latent‑recurrent) normalized‑GPT" tasarımını benimseyerek aynı katman bloğunu birden çok kez uyguluyor. Bu döngüsel yapı, her token için daha fazla hesaplama harcamasına imkan tanıyarak modelin zekâ seviyesini ölçeklendirmesine yardımcı oluyor. Katmanlar arasında hibrit bir kaydırmalı pencere (sliding‑window attention, SWA) ve tam‑dikkat (full‑attention) katmanları iç içe yerleştirilmiş; bu sayede uzun bağlamları (256 K token) etkili bir şekilde işleyebiliyor.
Model, İngilizce dilinde genel amaçlı akıl yürütme görevleri için optimize edilmiş ve düşük ayak izi (small footprint) sayesinde sınırlı donanım kaynaklarına sahip ortamlarda bile kullanılabiliyor. Lisans olarak OpenMDW License Agreement sürüm 1.1 sunulmuş; bu lisans hem ticari hem de ticari olmayan kullanım senaryolarına izin veriyor.
Modelin Hugging Face üzerindeki sayfası, Reddit topluluğu LocalLLaMA'da /u/silenceimpaired kullanıcısı tarafından paylaşılmış ve topluluk yorumlarıyla desteklenmiş. Dory1.0-4B, araştırmacılar ve geliştiriciler için açık bir kaynak olarak sunuluyor ve NVIDIA’nın LLM ekosistemine yeni bir seçenek ekleyerek rekabeti artırması bekleniyor.
Yöney yorumu
Dory1.0-4B, düşük kaynak gereksinimi ve uzun bağlam yeteneğiyle özellikle kenar cihazları ve araştırma projeleri için cazip bir seçenek sunuyor. NVIDIA’nın açık lisans politikası, modelin geniş bir geliştirici kitlesi tarafından benimsenmesini hızlandırabilir.
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
