Cohere, llama.cpp desteğini North Micro Vision Instruct ve diğer modellerine ekledi

Cohere ekibi, Reddit topluluğu LocalLLaMA’da uzun süredir beklenen bir özelliği hayata geçirdi: llama.cpp desteği. Şirket, North Micro Vision Instruct modelinin vision encoder’ını llama.cpp ile çalışacak şekilde entegre etti ve bu sayede en yeni mimarileri de açık‑kaynak LLM çerçevesiyle uyumlu hâle getirdi. North Mini Code ve Command A+ modelleri zaten bu çerçeveye uygun olduğu için, kullanıcılar bu modelleri de sorunsuzca çalıştırabilecek.

Bu güncelleme, özellikle yerel ortamda büyük dil modellerini (LLM) çalıştırmak isteyen araştırmacı ve geliştiriciler için büyük bir kolaylık sağlıyor. llama.cpp, düşük bellek tüketimi ve CPU/GPU esnekliğiyle biliniyor; Cohere modellerinin bu platformda çalışabilmesi, model dağıtım maliyetlerini düşürürken, topluluk geri bildirimlerinin ürün geliştirmedeki etkisini de gözler önüne seriyor.

Cohere ayrıca, ses‑metin (STT) alanındaki en iyi modellerden biri olarak tanımladığı Cohere Transcribe’ı Unsloth ve Unsloth Studio’da ince ayar (fine‑tuning) imkanıyla sunuyor. Bu entegrasyon, ses tanıma teknolojisini derin öğrenme projelerinde daha erişilebilir kılıyor ve Unsloth topluluğunun da ilgisini çekecek gibi görünüyor.

Şirket, topluluk geri bildirimlerine dayalı bu adımları bir başlangıç olarak nitelendiriyor ve gelecekte daha fazla model ve özellik desteği vaat ediyor. Kullanıcıların denemeleri ve geri bildirimleri, Cohere’ın ürün yol haritasını şekillendirmeye devam edecek.