RK3588 NPU için Açık Kaynak Runtime: open_rknpu2_lm_infer ile Qwen3.5-4B %2 daha hızlı

Yerel LLM (Large Language Model) çalıştırma ihtiyacını karşılamak amacıyla geliştirilen open_rknpu2_lm_infer, Rockchip RK3588 NPU'sunun tam potansiyelini açığa çıkarıyor. Proje, Rockchip'in kapalı kaynaklı kullanıcı alanı inference kütüphanelerine bağımlılığı ortadan kaldırarak, üst katmanı Rust, NPU operatörlerini ise C++ ile kodluyor. Bu sayede geliştiriciler kodu inceleyip, istedikleri gibi değiştirerek veya yeni operatörler ekleyerek motoru özelleştirebiliyor.

Motor, Qwen3.5-4B modelini görüntü girdisiyle birlikte işleyebiliyor ve isteğe bağlı MTP (Multi-Token Prediction) spekülatif dekodlama özelliği sunuyor. Şu anki sürüm, terminal tabanlı sohbet, OpenAI uyumlu API, akış, araç çağrısı ve önbellekleme gibi modern LLM özelliklerini destekliyor. Ayrıca Qwen3-4B, Granite-4.2-3B ve MiniCPM5-2B gibi popüler checkpoint'ler de doğrulanmış durumda ve ARM64 Linux için önceden derlenmiş ikili dosyalar sağlanıyor.

Performans açısından yapılan karşılaştırmalarda, aynı donanımda çalışan resmi RKLLM 1.3.1 SDK'sına kıyasla open_rknpu2_lm_infer %2,5 ila %2,9 oranında daha yüksek token/s hızları elde ediyor. 512 tokenlık bir prompt için prefill aşamasında 147.83 tok/s, 3.800 tokenlık promptta 139.92 tok/s; dekod aşamasında ise 512 token sonrası 10.61 tok/s ve 3.800 token sonrası 9.90 tok/s değerleri ölçülmüş. Bu sonuçlar, özellikle uzun bağlamlı görevlerde ve gerçek zamanlı yanıt gerektiren uygulamalarda belirgin bir performans avantajı sağlıyor.

Geliştiriciler, farklı RK3588 kartları, RAM konfigürasyonları ve sürücü versiyonlarıyla test sonuçlarını paylaşmaya davet ediliyor. Proje GitHub üzerinden erişilebilir ve topluluk katkılarına açık; hata raporları, yeni model entegrasyonları ve performans iyileştirmeleri için pull request'ler bekleniyor. Gelecek sürümlerde DFlash ve DSpark spekülasyonları, MiniCPM-V 4.7 35a3 gibi modellerin uzman önbellekleme desteği planlanıyor.