MiMo-2.6-Pro Jetson AGX Thor’da 0.646 t/s Hızla Çalıştırıldı, 566 GB Model 128 GB Belleğe Sığdırıldı

Reddit topluluğu LocalLLaMA’da paylaşılan gönderide, kullanıcı Oswald_Hydrabot, MiMo-2.6-Pro modelini Jetson AGX Thor cihazında denediğini ve saniyede 0.646 token üretim hızı elde ettiğini raporladı. Modelin toplam boyutu yaklaşık 566 GB (FP8 formatında) ve cihazın yalnızca 128 GB belleği bulunuyor; bu nedenle inference sırasında modelin bir kısmı diske başvurarak çalıştırıldı.

Deneme sırasında her bir decoder katmanı, yönlendirilmiş uzman (routed expert) ve SSD okuma işlemleri adım adım izlenip kaydedildi. Bu detaylı izleme, modelin bellek yönetimi ve disk erişim stratejilerinin ne kadar kritik olduğunu ortaya koydu. Yazar, modelin çalıştırılabilir olduğunu ancak bellek sıkışması ve disk okuma gecikmelerinin performansı sınırladığını belirtti.

MiMo-2.6-Pro’nun bu koşullarda elde ettiği 0.646 token/s hızı, benzer boyuttaki modellerin tipik GPU tabanlı ortamlardaki hızlarıyla kıyaslandığında oldukça düşük olsa da, sınırlı bellek ve disk tabanlı veri akışıyla çalıştırılabilmesi bakımından ilginç bir teknik gösterge sundu. Yazar, modelin “fabrika sıcak köpek üretim” hızına ulaşması için daha fazla bellek veya daha hızlı depolama çözümlerine ihtiyaç duyulacağını ima etti.

Topluluk, bu tür sınır testlerinin açık kaynak modellerin gerçek dünya donanım kısıtlamaları altında nasıl performans gösterdiğini anlamak için değerli olduğunu vurguladı. Ayrıca, modelin kaynak kodunun açık olmaması nedeniyle iç yapısının tam olarak incelenememesi, performans iyileştirmeleri için bir engel olarak değerlendirildi.