Recursive, yerel kodlama için 40 milyar parametreli Flint modelini duyurdu

Recursive, otomatik araştırma sistemi Eureka Machine'in desteğiyle dört ay içinde Flint'i geliştirdi. 40 Milyar toplam parametreye sahip olan model, MoE mimarisi sayesinde bir token üretildiğinde sadece 2,5 Milyar parametreyi aktif hâle getiriyor; bu da geleneksel yoğun (dense) modellerin iki katına kadar daha hızlı çalışmasını sağlıyor. Model, 125+ token/sn hızla bir M4 Pro MacBook Pro’da ve 150+ token/sn hızla 64 GB NVIDIA RTX Spark’da çalışıyor; kısa bağlamlarda 512 k token’a kadar destek sunuyor, ancak Recursive 256 k token sınırını öneriyor.

Flint, SWE‑Bench Pro v2, Terminal‑Bench 2.1 ve SWE‑Bench Verified gibi kodlama odaklı benchmarklarda 50 Milyar parametreden az MoE modelleri arasında lider konumda. Aynı zamanda 25‑40 Milyar parametreli yoğun kodlama modelleriyle benzer performans gösterirken beş kat daha hızlı çalışıyor. Modelin açık ağırlıkları Apache 2.0 lisansı altında sunuluyor ve llama.cpp, Ollama, Unsloth, LM Studio, vLLM ve SGLang gibi popüler araçlarla uyumlu.

Eureka Machine, Flint'in mimarisi, veri seti, optimizasyon algoritmaları, eğitim tarifleri, altyapı, kuantizasyon ve çıkarım performansını otomatik olarak tasarlayıp test etti. Tasarım sürecinde 35 Milyar parametreli bir temel modelden 3 Milyar aktif parametreli bir yapıdan, 40 Milyar toplam ve 2,5 Milyar aktif parametreli bir modele geçildi. Kuantizasyon aşamasında çıktı katmanı dört bit’e düşürüldü ve 16‑bit model öğretmen olarak kullanılan offline distilasyon uygulandı; sonuçta NVFP4 modeli, 16‑bit sürümle sadece 0,7 puan farkla eşdeğer performans gösterdi ve eğitim adımlarını yarıya indirdi.

Recursive ayrıca Flint için özel bir yerel çıkarım motoru olan "rec"i duyurdu. rec, Apple M4 Pro, M5 Pro ve M5 Max çipleriyle uyumlu ve modelin düşük‑bit projeksiyonları, MoE işlemleri, dikkat ve prompt işleme gibi bileşenleri için optimize edilmiş çekirdekler içeriyor. Bu sayede geliştiriciler, veri gizliliğini koruyarak, API maliyetlerinden kaçınarak ve çevrim dışı çalışarak kodlama ajanlarını yerel cihazlarda kullanabiliyor.