Le Chonk: Mistral Large 4 Hugging Face'te Yayınlandı

Mistral Large 4, metin ve görüntüleri aynı anda işleyebilen bir multimodal dil modeli olarak tanıtıldı. Toplamda yaklaşık 1 trilyon parametreye sahip olmasına rağmen, aktif olarak kullanılan sadece 49 milyar parametre bulunuyor; bu, modelin MoE (Mixture‑of‑Experts) mimarisi sayesinde her token için dört uzman seçilerek sağlanıyor. Model, 1 M token'lık devasa bir bağlam penceresi sunarak uzun belgeler ve kod tabanları üzerinde etkili bir şekilde çalışabiliyor.

Mimari açıdan, Mistral Large 4'ün metin çözücüsü 72 katmandan oluşuyor; gizli boyutu 6 144 ve 64 dikkat başlığı bulunuyor. Dikkat blokları, Multi‑head Latent Attention (MLA) ile DeepSeek Sparse Attention (DSA) indeksleyicisini birleştiriyor; DSA her sorgu için en fazla 2 048 anahtar konumunu seçiyor. Katmanlarda 3:1 RoPE‑NoPE desenine göre RoPE kullanılan üç katman, dördüncüsü NoPE oluyor ve KV durumu katmanlar arasında paylaşılıyor. İlk katman yoğun bir feed‑forward ağ, geri kalan 71 katman ise MoE blokları içeriyor; her token için 128 uzmandan dört tanesi ve her zaman çalışan bir ortak uzman seçiliyor. Görüntü kodlayıcı ise 1,6 M parametreli Pixtral encoder, 30 katman, 2 048 gizli boyut ve 16 dikkat başlığı ile çalışıyor.

Siber güvenlik yetenekleri özellikle dikkat çekiyor: Model, Açık Analiz Siber Endeksi testinde %82 başarı elde ederek gerçek bir açık kodu yeniden üretebilme ve yamalama yeteneğini gösterdi. Bu skor, kapalı kaynak modellerin çoğunun sıfır puan almasının çok üzerinde. Ayrıca Cybench yarışmasındaki 40 güvenlik görevinden %93'ünü çözdü ve Lakera’nın B3 benchmark'ında %93,3 saldırı direnci gösterdi. Kodlama alanında ise DeepSWE v1.1 (%61,7), SWE‑Atlas‑QnA (%59,4) ve Terminal‑Bench 4 (%28,3) gibi testlerde rekabetçi sonuçlar aldı; birleşik Coding Agent Index puanı %49,8 olarak DeepSeek V4 Pro 0813 ve Qwen 3.8 Max'in önünde yer alıyor.

Mistral Large 4, Transformers, vLLM ve llama.cpp gibi popüler çerçevelerle gün‑başından (day‑0) destekleniyor; FP8 ve NVFP4 kuantizasyonları mevcut. Kullanıcılar, Hugging Face Inference Endpoints üzerinden 8 x NVIDIA H200 GPU'lu bir tarifle, 131 K token bağlamı ve aynı anda 16 istek işleyebilen bir dağıtık hizmeti hızlıca devreye alabiliyor. Model, TRL ve PEFT ile LoRA tabanlı ince ayar (fine‑tuning) süreçlerine de hazır; örnek bir çokdilli düşünme veri setiyle 8 x B300s düğümde eğitilebiliyor. Bu açık‑ağırlıklı lisans, hem araştırmacıların hem de geliştiricilerin modeli kendi altyapılarında güvenli bir şekilde dağıtmasına ve siber savunma sistemlerine entegre etmesine olanak tanıyor.