£300'lık Snapdragon Mini PC’de 35B Kodlayıcı ~30 tok/s, 80B Model RAM’a sığmıyor ama 17 tok/s

Lenovo’nun £299,99 fiyatındaki IdeaCentre Mini, Snapdragon X1-26-100 işlemci, 32 GB LPDDR5 RAM ve 35 W güç tüketimiyle geliyor. Kullanıcı, bu cihazı ARM Windows ortamında LLM çalıştırma potansiyeli için test ederken, GPU’nun (Adreno X1-45) LLM’ler için henüz kullanılabilir olmadığını ve NPU’nun da pasif kaldığını belirtti. Bu yüzden tüm ölçümler CPU tabanlı llama.cpp ve yeni port edilen Janas kütüphanesiyle yapıldı.

llama.cpp ile 512 token’lık bir prompt ve 8 iş parçacığı (thread) kullanılarak yapılan testlerde, Qwen3.6 35 B A3B kodlayıcı modeli 118 token/s okuma ve 24,5 token/s yazma hızına ulaştı; çoklu token işleme (MTP) ile bu değer 29‑33 token/s’ye yükseldi. Aynı ortamda Gemma 26 B modeli 134 token/s okuma ve 29,5 token/s yazma performansı gösterdi. 80 B Qwen3‑Next modeli ise MTP ile 17‑18 token/s yazma hızı sağladı.

Kullanıcı, RAM sınırını aşmak için Janas adlı bir sistemin ARM uyarlamasını geliştirdi. NEON tabanlı çekirdekler ve i8mm desteğiyle, Janas 35 B kodlayıcı modelinde 60 token/s okuma ve 17,2 token/s yazma, MTP ile 29‑31 token/s performans elde etti. Gemma 26 B modeli Janas ile 115 token/s okuma ve 23,5 token/s yazma, MTP ile 32‑34 token/s hızına ulaştı. En dikkat çekici, Janas’ın 80 B modeli RAM’a sığdırmasa da, düz yazma 9,8 token/s ve MTP ile 17‑18 token/s hızla çalıştırabilmesiydi.

Bu bulgular, sadece £300 maliyetle 35 W güç tüketen bir ARM mini PC’nin, 35 B seviyesindeki kodlayıcı modelleri gerçek zamanlı olarak çalıştırabildiğini ve 80 B gibi çok daha büyük modelleri sınırlı RAM ile bile MTP sayesinde kullanılabilir kıldığını ortaya koyuyor. Kullanıcı, iki cihazı USB4 üzerinden bağlayarak paralel uzmanlık (expert) yapılarını ölçeklendirme üzerine çalışmalarını sürdürüyor ve bu alandaki potansiyel performans artışlarını raporlamayı planlıyor.