Ling 3.1 Flash (560B MoE) 4 DGX Spark'ta llama.cpp RPC ile çalıştırıldı
Bir Reddit kullanıcısı, 560 milyar parametreli Ling 3.1 Flash MoE modelini dört DGX Spark sunucusuna dağıtarak llama.cpp RPC üzerinden çalıştırdı. Model, her token için 25 B aktif parametreye sahip ve GGUF formatında Atomic Chat'in güncel sürümüyle kullanıldı. Performans verileri henüz paylaşılmasa da, bu dağıtık kurulumun 124 B Ling 3.0 Flash ile karşılaştırılması merak konusu.
Özetle
- 1
Ling 3.1 Flash, 560 B parametreli MoE modeli olarak her token için 25 B aktif parametreye sahip.
- 2
Model, dört DGX Spark sunucusuna dağıtılarak llama.cpp RPC üzerinden çalıştırıldı.
- 3
Resmi FP4 derlemesi bulunmadığından GGUF formatı ve llama.cpp RPC tercih edildi.
Reddit topluluğu LocalLLaMA'da, sudoing adlı bir kullanıcı, Ling 3.1 Flash modelini dört adet NVIDIA DGX Spark sunucusuna dağıtarak çalıştırdığını duyurdu. Model, 560 milyar parametreli bir Mixture-of-Experts (MoE) mimarisine sahip ve her token için 25 milyar aktif parametreyi işleyebiliyor. Kullanıcı, modelin önceki sürümlerini beğenmiş ve daha büyük bir versiyonla deneme yapmak istemiş, ancak iki Spark üzerinde yeterli bellek alanı bulamadığı için Almanya'dan dört Spark'lık bir ortam temin etmiş.
Model, Atomic Chat tarafından sağlanan güncel GGUF (Q4) formatındaki dosyalarla, llama.cpp'nin RPC (Remote Procedure Call) özelliği aracılığıyla dağıtık bir şekilde hizmete alındı. vLLM için resmi bir FP4 derlemesi bulunmadığından, bu yöntem tercih edilmiş. Kullanıcı, kurulumun bant genişliği ve gecikme açısından zorlayıcı olacağını kabul etse de, gerçek zamanlı yanıt kalitesi ve bekleme süresi açısından Ling 3.0 Flash (124 B) ile kıyaslamayı hedefliyor.
Paylaşılan ekran görüntüsünde henüz performans sayıları yer almıyor; ancak topluluk, modelin yanıt kalitesindeki olası artış ve ölçeklenebilirlik sorunları üzerine tartışmalar yürütüyor. Bu tür büyük MoE modellerinin çoklu GPU ortamlarında çalıştırılması, bellek yönetimi, ağ trafiği ve senkronizasyon gibi teknik zorlukları da beraberinde getiriyor. Llama.cpp RPC'nin bu bağlamda sunduğu esneklik, geliştiricilere benzer dağıtık çözümler üretme imkanı tanıyor.
Ling 3.1 Flash'in bu deneysel dağıtımı, topluluk temelli model dağıtımının sınırlarını zorlayarak, büyük ölçekli dil modellerinin erişilebilirliğini artırma potansiyelini gösteriyor. İlerleyen günlerde, performans ölçümleri ve kullanıcı deneyimi raporları paylaşılırsa, benzer altyapılara sahip araştırma ve endüstri grupları için değerli bir referans noktası oluşturabilir.
Yöney yorumu
Bu dağıtık kurulum, büyük dil modellerinin araştırma ortamlarında daha esnek bir şekilde test edilmesini sağlasa da, ağ gecikmesi ve bant genişliği gibi sınırlamalar, gerçek zamanlı uygulamalarda performansın kritik bir faktör olacağını gösteriyor.
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
