Kimi K3 üç ay sonra: 1.56 TB'lik dev model hâlâ yerel çalıştırmayı zorlaştırıyor

Kimi K3, Temmuz 2024'te "indirilebilecek en iyi açık model" iddiasıyla piyasaya sürülmüş ve Artificial Analysis (AA) indeksinde 57 puan alarak Opus 4.8 ve GPT‑5.5 gibi devlerle eşitlenmişti. Ancak üç ay sonra yapılan incelemeler, modelin pratikte ne kadar zorlayıcı olduğunu ortaya koyuyor. Modelin tam ağırlık dosyası 1,56 TB ve 2,8 trilyon parametre içeriyor; aktif parametre sayısı 104 Milyar olsa da tüm parametrelerin belleğe yüklenmesi gerekiyor.

Unsloth'un kuantizasyon rehberine göre en küçük önerilen kuantizasyon 594 GB depolama alanı ve yaklaşık 610 GB RAM+VRAM gerektiriyor. Bu, 512 GB'lık sistemlerde çalıştırılamayacağı anlamına geliyor; 1‑bit kuantizasyon hâlâ tam modelle %79 token uyumu sağlarken, 2‑bit kuantizasyon %90 uyum veriyor ancak 861 GB bellek ihtiyacı doğuruyor. Bellek yeterli olduğunda B200 GPU'larda yaklaşık 20 token/s hız elde edilebiliyor; aksi takdirde disk üzerinden offload yapılarak performans ciddi şekilde düşüyor.

AA indeksindeki puan da 44'e geriledi; bu düşüşün büyük kısmı indeksin güncellenmesinden kaynaklanıyor, modelin kendisinde büyük bir gerileme yok. GLM‑5.3 (753 B) 45 puanla K3'ün önünde, Step 5 Preview (600 B) ise 44 puanla eşit seviyede. Kimi'nin kendi API'si ise 43 token/s hız sunuyor, ancak AA'nın ajan tabanlı benchmark'ında bir görev ortalama bir saatten fazla sürüyor ve maliyeti 10 USD'nin üzerine çıkıyor.

Lisans açısından da sürprizler var: K3 MIT lisansı altında değil; bir şirketin yıllık geliri 20 Milyon USD'yi aşarsa Moonshot ile ayrı bir ticari anlaşma yapması gerekiyor. Bu durum, özellikle model‑as‑a‑service (MaaS) sunan firmalar için ek bir engel oluşturuyor. Yazar, Sanbi.ai'nin kurucu ortağı olarak Çin modellerine yöneldiğini ve K3, DeepSeek ve Qwen gibi modelleri incelerken bu bulgulara ulaştığını belirtiyor.