ggml-org/llama.cpp'ye Nemotron Super 3.5 VL ve Nemotron Bolt 74B A9B Desteği Eklendi

ggml-org/llama.cpp deposunda, kullanıcı "frozenblade1224" tarafından gönderilen PR #30520, Nemotron serisinin iki yeni modeline – Super 3.5 VL ve Bolt 74B A9B – destek ekliyor. Llama.cpp, GGML tabanlı hafif bir inference motoru olarak, CPU ve GPU üzerinde düşük bellek tüketimiyle büyük dil modellerini çalıştırabilmesiyle biliniyor; yeni eklenen modeller, özellikle görsel‑dil (VL) ve çok‑parametreli (74B) görevlerde performans artışı vaat ediyor.

Kod değişiklikleri arasında model yapılandırma dosyalarının tanımlanması, kv‑cache yönetiminin optimize edilmesi ve quantization (A9B) formatına özgü ağırlık okuma rutinlerinin eklenmesi yer alıyor. Ayrıca, README ve örnek komut satırı argümanları güncellenerek, kullanıcıların bu modelleri nasıl indireceği ve çalıştıracağına dair adım‑adım talimatlar sağlandı.

Topluluk, bu güncellemeyi özellikle araştırmacılar ve geliştiriciler arasında büyük bir ilgiyle karşıladı. Nemotron Super 3.5 VL, görsel girdileri işleyebilen bir multimodal model olarak, metin‑görsel eşleştirme ve açıklama üretiminde yeni uygulama senaryoları sunuyor. Öte yandan, Nemotron Bolt 74B A9B, 74 milyar parametreli bir dil modeli olup, A9B quantization sayesinde bellek ayak izini önemli ölçüde azaltıyor ve daha geniş donanım yelpazesinde kullanılabilir hâle getiriyor.

Bu destek, llama.cpp'nin açık kaynak ekosisteminde model çeşitliliğini artırarak, hem akademik araştırmalara hem de üretim ortamlarına daha fazla seçenek sunuyor. Geliştiriciler, kod tabanının modüler yapısı sayesinde benzer model eklemelerini kendi projelerine kolayca entegre edebilecek ve topluluk katkılarını hızla test edebilecek.