MiniCPM-V 4.7 ile 35B MoE Görsel‑Dil Modeli Telefon Belleğinde Çalışıyor
OpenBMB, MiniCPM-V 4.7 adlı 35 B parametreli MoE (Mixture‑of‑Experts) görsel‑dil modelini yaklaşık 3 GB RAM'li akıllı telefonlarda çalıştırabildiğini gösterdi. Model, Lookahead Expert Scheduling (LES) ve Self‑Replay Fine‑Tuning (SRFT) gibi yenilikçi tekniklerle hem performans hem de özelleştirilebilirlik açısından dikkat çekiyor.
Özetle
- 1
35 B MoE görsel‑dil modeli, ~3 GB RAM'li akıllı telefonlarda yerel olarak çalıştırılabiliyor.
- 2
Lookahead Expert Scheduling (LES) sayesinde uzman katmanları önceden tahmin edilip önbelleğe alınıyor, böylece bellek darboğazları aşılıyor.
- 3
Self‑Replay Fine‑Tuning (SRFT) geliştiricilere modeli belirli görevler için özelleştirme imkanı tanıyor.
- 4
Daha düşük kaynaklı cihazlar için 1 B parametreli MiniCPM‑V 4.7 modeli de yayınlandı.
OpenBMB, MiniCPM-V 4.7 sürümünü tanıtarak 35 B‑A3B parametreli bir MoE görsel‑dil modelinin mobil cihazlarda yerel olarak çalıştırılabildiğini kanıtladı. Demo, gerçek dünya işaretlerinin okunması, karmaşık belgelerin anlaşılması, görsel bilgi üzerinden akıl yürütme ve gerçek dünya kısıtlamalarıyla planlama gibi senaryolara odaklanıyor.
Bu başarının temelinde Lookahead Expert Scheduling (LES) adlı bir optimizasyon yöntemi bulunuyor. LES, modelin uzman (expert) katmanlarını önceden tahmin edip önbelleğe alarak MoE çıkarımındaki darboğazları ortadan kaldırıyor; böylece modelin boyutu küçültülmeden mobil bellek sınırlarına uyum sağlanıyor. Ayrıca, geliştiricilerin belirli görevler için modeli özelleştirmesine olanak tanıyan Self‑Replay Fine‑Tuning (SRFT) mekanizması da tanıtıldı.
MiniCPM-V 4.7'nin yanı sıra, daha düşük kaynak gereksinimi olan 1 B parametreli bir versiyon da yayınlandı. Bu küçük model, sınırlı bellek ve işlem gücüne sahip cihazlarda temel görsel‑dil yeteneklerini sunarken, 35 B sürüm ise yüksek doğruluk ve karmaşık görsel akıl yürütme gerektiren uygulamalara hitap ediyor.
OpenBMB, GitHub ve Hugging Face üzerinden ilgili kod ve modelleri paylaşıyor, SRFT detaylarını ise resmi blogunda yayınladı. Bu adım, bulut tabanlı görsel‑dil hizmetlerinden bağımsız, telefon üzerinde çalışan akıllı asistanların geliştirilmesine yeni bir ivme kazandırabilir.
Yöney yorumu
Bu gelişme, yüksek kapasiteli görsel‑dil modellerinin bulut bağımlılığını azaltarak uç cihazlarda daha hızlı ve gizlilik odaklı çözümler sunmasını mümkün kılıyor. Geliştiriciler, LES ve SRFT gibi tekniklerle performans‑kaynak dengesini yeniden tanımlayabilir.
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
