MiniCPM-V 4.7 35B-A3B: Açık Kaynak MoE Modeli Mobil Cihazlarda Sorunsuz Çalışıyor
MiniCPM-V 4.7 serisinin 35B‑A3B varyantı, Lookahead Expert Scheduling ve ince katman‑katman kuantizasyonu sayesinde ilk açık kaynak MoE modelini iPhone 17 Pro Max gibi cihazlarda 13+ token/sn hızla çalıştırıyor. Performans‑verimlilik Pareto sınırını zorlayarak, Instruct modunda Qwen3.6 35B‑A3B'den daha yüksek puan ve daha düşük gecikme sunuyor.
Öne Çıkan Başlıklar
- Lookahead Expert Scheduling (LES) ve ince katman‑katman kuantizasyonu sayesinde 35B‑A3B, açık kaynak MoE modeli olarak ilk kez cihaz içinde sorunsuz çalışıyor (13+ token/sn).
- Instruct modunda Qwen3.6 35B‑A3B'den daha yüksek puan ve daha düşük inferans süresi elde edilerek performans‑verimlilik Pareto sınırı genişletildi.
- Intra‑ViT erken sıkıştırma ve 4x/16x karışık görsel token sıkıştırma, görsel işlem maliyetini önemli ölçüde düşürürken detay kaybını kontrol altında tutuyor.
OpenBMB, MiniCPM-V 4.7 serisinin en yeni üyesi olan 35B‑A3B modelini duyurdu. Bu model, MiniCPM-V ailesinin tek‑görüntü, çok‑görüntü ve video anlama yeteneklerini, daha güçlü temel becerilerle birleştirirken, görsel kodlamada verimliliği artırıyor ve cihaz içinde (on‑device) çalıştırılabilirliği sağlıyor.
Modelin en çarpıcı özelliği, Lookahead Expert Scheduling (LES) tekniği, ince katman‑katman kuantizasyonu ve DSpark spekülatif örnekleme entegrasyonu sayesinde, performanstan ödün vermeden kayıpsız ve akıcı bir mobil inferans sunmasıdır. iPhone 17 Pro Max üzerinde 13 token/sn üzeri bir çözümleme hızı elde edildiği belirtiliyor.
Verimlilik açısından MiniCPM-V 4.7, intra‑ViT erken sıkıştırma yöntemini (LLaVA‑UHD v4'ten uyarlanmış) kullanarak görsel tokenları erken aşamada sıkıştırıyor; bu sayede sonraki encoder katmanlarındaki işlem yükü azalıyor. Geliştiriciler, 4x ve 16x karışık görsel token sıkıştırma seçenekleriyle görsel detay ve maliyet arasında denge kurabiliyor.
Platform desteği de genişletildi: iOS, Android ve HarmonyOS'un yanı sıra Rockchip, Houmo, Intel, AMD ve Arm gibi çip platformları için güncel (day‑0) destek sağlanıyor. Inferans çerçeveleri SGLang, vLLM, llama.cpp ve Ollama, ince ayar çerçeveleri ise SWIFT ve LLaMA‑Factory olarak listelenmiş. Model, GGUF, BNB, AWQ, GPTQ ve yeni FP8 kuantizasyon formatlarını sunuyor; ayrıca Self‑Replay Fine‑Tuning yöntemiyle düşük maliyetli özelleştirme ve unutma (catastrophic forgetting) riskinin azaltılması hedefleniyor.
YZ Yorumu
MiniCPM-V 4.7 35B‑A3B, yüksek kapasiteli çok‑modal modellerin mobil ve kenar cihazlara taşınmasını kolaylaştırarak geliştiricilerin ve son kullanıcıların erişimini genişletecek; aynı zamanda açık kaynak ekosisteminde MoE mimarisinin benimsenmesini hızlandıracak.
Yapay zekâ tarafından üretilmiştir.