LFM3-Omni-2B Modeli WebGPU ile Tarayıcıda Yerel Çalıştırılabilir Hale Geldi
Açık kaynak topluluğu, 2 milyar parametreli LFM3-Omni-2B modelini WebGPU destekli JavaScript ve WASM tabanlı bir ortamda tarayıcı içinde çalıştırabildiğini duyurdu. Bu adım, büyük dil modellerinin internet bağlantısı olmadan, sadece bir tarayıcı penceresiyle kullanılabilmesini mümkün kılıyor.
Özetle
- 1
LFM3-Omni-2B, WebGPU ve WASM sayesinde tarayıcıda yerel olarak çalıştırılabiliyor.
- 2
Model, 4‑bit kuantizasyon ve dinamik bellek yönetimi ile 8 GB RAM üzerinde sorunsuz performans sağlıyor.
- 3
30 kelimelik bir prompt için ortalama 1,2 saniyelik yanıt süresi ve 2 GB VRAM tüketimi rapor edildi.
LocalLLaMA topluluğu, LFM3-Omni-2B modelinin WebGPU aracılığıyla doğrudan tarayıcıda çalıştırılabildiğini gösteren bir demo yayınladı. Proje, modelin ağırlıklarını sıkıştırılmış bir formatta sunuyor ve WebGPU'nin paralel işlem yeteneklerini kullanarak inference süresini masaüstü GPU'larına yakın seviyelere çekiyor. Kullanıcılar, sadece bir HTML dosyası ve JavaScript kodu ile modeli indirdikten sonra, herhangi bir ek yazılım kurmadan, Chrome, Edge veya Safari gibi WebGPU destekli tarayıcılarda sorunsuz bir deneyim elde edebiliyor.
Bu yaklaşım, geleneksel CPU‑GPU tabanlı yerel kurulumların aksine, işletim sistemi bağımlılığını ortadan kaldırıyor. Model, WebAssembly (WASM) üzerinden çalıştırıldığı için bellek yönetimi ve güvenlik açısından da avantaj sağlıyor. Topluluk, modelin 4‑bit kuantizasyonunu ve dinamik bellek tahsisini kullanarak ortalama 8 GB RAM üzerinde sorunsuz bir performans elde edildiğini belirtiyor.
Performans ölçümleri, 30 kelimelik bir prompt için ortalama 1,2 saniyelik yanıt süresi ve 2 GB VRAM tüketimi rapor ediyor. Bu değerler, aynı modelin masaüstü CUDA tabanlı bir kurulumunda elde edilen 0,9 saniyelik yanıt süresi ve 4 GB VRAM tüketimiyle kıyaslandığında, tarayıcı ortamının hâlâ rekabetçi bir alternatif olduğunu gösteriyor. Ayrıca, modelin offline çalışabilmesi, veri gizliliği ve düşük gecikme gerektiren uygulamalarda (ör. yerel asistanlar, eğitim araçları) kullanılmasını mümkün kılıyor.
Topluluk, bu başarının sadece LFM3-Omni-2B ile sınırlı kalmayıp, diğer açık kaynak modellerin de WebGPU üzerinden benzer şekilde taşınabilir olacağını vurguluyor. Geliştiriciler, GitHub deposunda bulunan örnek kod ve dokümantasyon sayesinde kendi modellerini derleyip, tarayıcı içinde test edebilecekler. Bu adım, AI’nın erişilebilirliğini artırarak, özellikle düşük donanımlı cihazlarda ve internet erişiminin sınırlı olduğu bölgelerde yeni kullanım senaryolarının önünü açıyor.
Yöney yorumu
Bu gelişme, geliştiricilere ve son kullanıcılara büyük dil modellerini internet bağlantısı olmadan deneyimleme imkânı sunarak, AI’nın demokrasileşmesine katkı sağlıyor. Ancak performans farkı, yüksek ölçekli üretim ortamları için hâlâ bir engel oluşturabilir.
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
