35B MoE modeli iPhone 18 Pro Max'te 20.5 tok/s hızla çalışıyor, uzmanlar atlanmadı

OpenBMB, büyük Mixture-of-Experts (MoE) modellerinin mobil cihazlarda çalıştırılmasının temel engeli olan ağırlık aktarım gecikmesini Lookahead Expert Scheduling (LES) ile aşmayı başardı. LES, bir sonraki katmanda hangi uzmanların kullanılacağını tahmin ederek bu uzmanların ağırlıklarını mevcut hesaplamalar sürerken flash depolamadan önceden yükliyor ve hazır olan uzmanları öncelikli olarak işliyor. Bu sayede modelin yönlendirme mantığı değişmeden, uzmanlar atlanmadan çalışması sağlanıyor.

MiniCPM-V 4.7 tabanlı 35B-A3B MoE modeli, iPhone 18 Pro Max 6.07 kat daha hızlı bir performans elde etti; token üretim hızı 3.38 tok/s'den 20.51 tok/s'ye yükseldi. Aynı zamanda uzman ağırlıkları %26.7 daha küçük hale getirildi ve beş farklı benchmark testinde sadece 0.16 puanlık bir doğruluk kaybı yaşandı. Düşük bellek konfigürasyonunda ise yaklaşık 3 GB tepe bellek tüketimi rapor edildi.

Bu performans iyileştirmeleri, ağırlık düzenlemeleri, karışık hassasiyetli kuantizasyon ve DSpark spekülatif dekodlama gibi ek optimizasyonlarla birleştirildi. OpenBMB, bu teknikleri ve LES entegrasyonunu açık kaynak olarak llama.cpp-omni projesine dahil etti, böylece geliştiriciler kendi MoE modellerini benzer şekilde mobil cihazlarda çalıştırabilir.

LES'in sunduğu bellek darboğazı gizleme yeteneği, MoE mimarisinin doğrudan uygulanmasını mümkün kılıyor ve diğer MoE modelleri için de potansiyel bir yol haritası sunuyor. Bu gelişme, büyük dil modellerinin mobil AI uygulamaları, offline asistanlar ve düşük gecikmeli yanıt gerektiren senaryolarda daha geniş bir kullanıcı kitlesine ulaşmasını sağlayabilir.