llama.cpp WebGPU arka ucuyla tarayıcıda 80B MoE modeli Qwen3-Next gerçek zamanlı yanıt veriyor
llama.cpp, WebGPU desteğini genişleterek MoE (Mixture of Experts) modellerini tarayıcıda çalıştırabiliyor. 80 milyar parametreli Qwen3-Next modeli, diskten uzmanları dinamik olarak getirerek Chrome sekmesinde yanıt üretebiliyor. Bu, büyük dil modellerinin bulut dışı, tarayıcı tabanlı kullanımına yeni bir kapı aralıyor.
Özetle
- 1
llama.cpp'nin WebGPU backend'i, MoE modellerini tarayıcıda dinamik olarak diskten uzmanları getirerek çalıştırabiliyor.
- 2
80B Qwen3-Next modeli 2.9 tok/s hızla yanıt üretebiliyor; bu, tarayıcıda bu büyüklükte bir modelin çalıştırılmasının ilk kanıtı.
- 3
Sayfalama mekanizması yeni buffer tipi ve slot‑mapped shader'lar ekleyerek ggml-webgpu'yi genişletiyor.
Geçtiğimiz haftanın diskten MoE uzmanlarını tarayıcıda akışa sokma denemesinin ardından, bu sefer aynı disk katmanı llama.cpp'nin yerel WebGPU arka ucuna entegre edildi. Böylece, llama.cpp'nin zaten desteklediği MoE modelleri, ayrı bir model‑özel motor gerektirmeden doğrudan tarayıcıda çalıştırılabiliyor. Reddit'te paylaşılan video, gerçek bir Chrome kaydıyla bu süreci gösteriyor; ölçümler MacBook Pro M4 Pro (24 GB RAM) üzerinde yapıldı.
Performans verileri, 48.4 GB boyutundaki Qwen3-Next 80B‑A3B modelinin GPU'ya 4.89 GB yüklenmesi ve token başına yaklaşık 359 MB disk okuması gerektirdiğini, decode süresinin 48 saniye ve 2.9 tok/s hızında olduğunu ortaya koyuyor. Daha küçük modellerde ise OLMoE 1B‑7B (22.4 tok/s) ve LFM2 8B‑A1B (17.1 tok/s) gibi daha yüksek hızlar elde edildi. Qwen3-30B‑A3B modeli de (14.7 GB dosya) sorunsuz çalışıyor.
Teknik olarak, GGUF dosyası tarayıcının özel depolama alanı (OPFS) içine bir kez indiriliyor. GPU, yoğun katmanları, KV önbelleğini ve her katmanda sabit sayıda uzman yuvasını tutuyor; router seçimleri geri okunuyor ve yuvası olmayan uzmanlar OPFS'ten en az kullanılan yuvaya senkron olarak yükleniyor. Bu sayfalama, ggml-webgpu'ye yeni bir buffer tipi, slot‑mapped MUL_MAT_ID shader'ları ve rezidans mantığı eklenmesiyle sağlandı. Doğruluk testlerinde, sayfalama açık ve kapalı aynı yanıtları üretiyor; Metal arka ucuyla karşılaştırıldığında 9 üzerinden 8‑9 yanıt eşleşiyor.
Sınırlamalar hâlâ mevcut: 80B modelinin yanıt hızı düşük, token başına 359 MB okuma gerektiriyor ve prompt işleme süresi hâlâ yavaş. Özellik sadece Chrome/Edge 137+ sürümlerinde ve Apple silikon cihazlarda test edildi. İlk yükleme sırasında dosyanın tamamı tarayıcı depolamasına kopyalanıyor. Kullanıcılar denemeyi https://diskformer.naklitechie.com adresinden yapabilir ve kodu GitHub'da https://github.com/NakliTechie/diskformer.js adresinde inceleyebilir.
Yöney yorumu
Bu geliştirme, büyük dil modellerinin bulut dışı, tarayıcı tabanlı deneyimlerine yeni bir yön kazandırıyor; ancak hâlihazırda düşük hız ve sadece Apple silikon desteği, geniş çaplı benimsenmesini kısıtlıyor.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Qwen3-Next 80B-A3Bdecode speed (tok/s) · decode2.9 tok/s
- OLMoE 1B-7Bdecode speed (tok/s) · decode22.4 tok/s
- LFM2 8B-A1Bdecode speed (tok/s) · decode17.1 tok/s
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
