llama.cpp, MiniCPM-V 4.7 Model Desteği İçin Pull Request'i Birleştirdi
ggml-org/llama.cpp projesi, MiniCPM-V-4.7-35B-A3B modelinin entegrasyonu için bir pull request (PR #29416) yayınladı. Bu adım, topluluk tarafından daha önce Reddit'te duyurulan ancak Hugging Face'te gizlenen modeli yerel ortamlarda çalıştırabilmeyi mümkün kılıyor.
Öne Çıkan Başlıklar
- llama.cpp, MiniCPM-V-4.7-35B-A3B modelini resmi olarak desteklemeye başladı.
- Model, daha önce Reddit'te duyurulmuş ancak Hugging Face'te gizlenmişti; bu PR sayesinde erişim sağlandı.
- Kod değişikliği, görsel-işitsel uzantıların (Vision) entegrasyonu ve KV-cache optimizasyonlarını içeriyor.
Open-source LLM altyapısı llama.cpp, son güncellemesinde MiniCPM-V 4.7 serisinin 35 milyar parametreli A3B varyantını destekleyecek bir kod değişikliğini (PR #29416) ana dalına ekledi. Bu değişiklik, modelin GGML formatına dönüştürülmüş ağırlıklarını doğrudan CPU ve GPU üzerinde çalıştırabilen bir yol sunuyor.
MiniCPM-V-4.7-35B-A3B modeli, birkaç gün önce r/LocalLLaMA topluluğunda ortaya çıkmış ve kısa bir süre içinde Hugging Face deposundan gizlenmişti. Modelin gizlenmesi, erişim sorunları ve lisans belirsizlikleri yaratmıştı; bu PR sayesinde topluluk, modeli yerel olarak indirme ve çalıştırma imkanı buldu.
Kod değişikliği, modelin tokenizasyonu, kv-cache yönetimi ve görsel-işitsel uzantıların (Vision) entegrasyonu gibi kritik bileşenleri içeriyor. Geliştiriciler, bu güncellemeyi llama.cpp'nin 0.2.0 sürümünden itibaren derleyerek, MiniCPM-V 4.7'nin hem metin hem de görsel girdileri işleyebilen çok-modelli yeteneklerinden faydalanabilecekler.
Bu gelişme, özellikle düşük donanımlı cihazlarda büyük modelleri çalıştırmak isteyen araştırmacılar ve hobbyist geliştiriciler için önemli bir adım. Modelin açık kaynaklı bir çerçeve içinde kullanılabilir hâle gelmesi, topluluk katkılarını ve yeni uygulama senaryolarını hızlandırması bekleniyor.
YZ Yorumu
MiniCPM-V 4.7'nin llama.cpp'ye eklenmesi, büyük çok-modelli modellerin daha geniş bir kullanıcı kitlesi tarafından deneyimlenmesini sağlayarak, hem araştırmacıların hem de geliştiricilerin inovasyon hızını artıracak.
Yapay zekâ tarafından üretilmiştir.