Snapdragon Mini PC’de ToRc Motoru ile 35B Modeli 315 tok/s Hıza Ulaştı – Flash Next Benchmark Sonuçları
Snapdragon X1 tabanlı mini PC'lerde geliştirilen yeni ToRc motoru, Qwen3.6 35B A3B modelini iki kutu konfigürasyonunda 315 tok/s okuma hızıyla çalıştırdı. Aynı sistemde Flash Next IQ4_NL modeli de 46.2 tok/s okuma performansı gösterdi. Bu sonuçlar, düşük maliyetli ARM cihazlarda büyük LLM’lerin gerçek zamanlı sohbet yeteneklerini ortaya koyuyor.
Özetle
- 1
ToRc motoru, iki Snapdragon mini PC'de Qwen3.6 35B A3B modelini 315 tok/s okuma hızıyla çalıştırdı.
- 2
Flash Next IQ4_NL modeli, ToRc ile iki kutuda 46.2 tok/s okuma ve 20.3 tok/s yazma performansı gösterdi.
- 3
GPU kullanılmadan, sadece CPU ve NPU ile büyük LLM’lerin akıcı sohbet ve kod üretimi yapılabildi.
- 4
İki kutu konfigürasyonu, tek kutuya göre okuma hızında %50’ye varan artış sağladı.
Reddit topluluğu üyesi WorldlyAd7946, £300 civarında bir Snapdragon X1-26-100 tabanlı Lenovo IdeaCentre Mini PC'yi iki adet birleştirerek 600 £'lık bir test ortamı kurdu. Cihazlar Windows 11 işletim sistemi, 32 GB LPDDR5 RAM ve 512 GB NVMe depolama ile donatıldı; GPU kullanılmadı ve sadece CPU çekirdekleri ile Hexagon NPU’dan yararlanıldı.
Kullanılan motorlar arasında klasik llama.cpp, Janas ve henüz yayınlanmamış ToRc bulunuyor. ToRc, CPU ve NPU'yu birleştirerek hem düz hem de MTP (Mixture of Tokens Prediction) başlıklarıyla çalışıyor. Testlerde aynı GGUF dosyaları farklı motorların .jns formatına dönüştürülerek karşılaştırıldı.
Benchmark, yaklaşık 580 tokenlık bir Alice's Adventures in Wonderland giriş metni ve 128 tokenlık yanıt üretimini içeriyor; ayrıca 62 tokenlık bir kod isteği ve ardından 6 referans kontrolü de yapıldı. Ölçümler, istemci tarafından HTTP istek süresi dahil edilerek tok/s cinsinden raporlandı. ToRc iki kutuda çalıştırıldığında Qwen3.6 35B A3B modeli 315 tok/s okuma ve 43.3 tok/s yazma hızına ulaştı; tek kutuda ise 228 tok/s okuma ve 43.4 tok/s yazma elde edildi.
Flash Next IQ4_NL modeli, 95 GB boyutundaki ağırlıkları nedeniyle tek kutuda RAM sınırlamasıyla çalıştırılamadı; ancak ToRc iki kutuda IQ4_NL için 46.2 tok/s okuma ve 20.3 tok/s yazma performansı sağladı. Bu, SSD üzerinden akış (streaming) yaparak büyük modellerin düşük bellekli ARM sistemlerde çalıştırılabileceğini gösteriyor. Enerji tüketimi ise iki kutu için yaklaşık 35 W civarında ölçüldü, bu da GPU tabanlı çözümlere göre çok daha ekonomik bir seçenek sunuyor.
Yöney yorumu
Bu sonuçlar, GPU’suz ARM tabanlı sistemlerde büyük dil modellerinin akıcı sohbet performansı sağlayabileceğini gösteriyor; geliştiriciler düşük maliyetli donanımla prototipler oluşturabilir, ancak ölçek ve hız açısından hâlâ GPU çözümlerinin gerisinde kalıyor.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Qwen3.6 35B A3BRead (prose) · two boxes315 tok/s
- Qwen3.6 35B A3BWrite (prose) · two boxes43.3 tok/s
- Qwen3.8 Flash Next IQ4_NLRead (prose) · ToRc IQ4_NL 2 boxes46.2 tok/s
- Qwen3.8 Flash Next IQ4_NLWrite (code) · ToRc IQ4_NL 2 boxes20.3 tok/s
- Engine internal ToRcRead (600-token prompt) · two boxes internal bench343.6 tok/s
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
