SenseNova-Loop-9B-Preview: Uzun Bağlam ve Çok Modelli Dil Modeli Tanıtıldı

SenseNova-Loop-9B-Preview, 9 milyar parametreli bir multimodal dil modeli olarak Hugging Face platformunda yayınlandı. Model, metin ve görüntü girdilerini aynı anda alabilen bir yapıya sahip ve özellikle uzun bağlamlı (262.144 token'a kadar) görevlerde yüksek performans sunmayı hedefliyor.

Modelin mimarisi, "looped decoder" adı verilen bir döngüsel kod çözücü katmanı ile iki akışlı manifold-kısıtlı hiper‑bağlantılar (mHC) içeriyor. 24 katmanlık bir blok, ağırlıkları paylaşarak iki kez çalıştırılıyor; bu sayede 32 farklı katmandan 56 dekoder katmanı yürütmesi elde ediliyor. Öğrenilmiş haritalar, döngü içindeki iki kalıntı akışı arasında bilgi akışını yönlendirerek parametre çoğaltmadan daha derin bir işlem yolu sağlıyor.

Ek olarak, model hibrit dikkat mekanizması kullanıyor; dört katmanlık bir desen içinde lineer ve tam dikkat katmanları ardışık olarak yer alıyor. Bu yapı, uzun sekanslarda bellek tüketimini kontrol ederken aynı zamanda tam dikkat gerektiren kritik adımlarda yüksek doğruluk sağlıyor.

Eğitim sürecinde, metin, görsel, kod ve araç etkileşim trajektörleri gibi çok modlu veri setleri kullanıldı. Eğitim sırasında maksimum sekans uzunluğu 256K token olarak belirlenmiş ve bu, belge anlama ya da kod tamamlama gibi uzun metin gerektiren uygulamalarda modelin avantajını ortaya koyuyor. Geliştiricilere, en iyi performansı elde etmek için belgelenmiş dağıtım ortamı ve yapılandırma parametrelerinin kullanılmasını öneriyor.