Ternary Bonsai 2 Ailesi: 2B, 4B ve 9B Modelleri Qwen 3.5 Tabanlı

Reddit'in LocalLLaMA topluluğu, Qwen 3.5 üzerine inşa edilen Ternary Bonsai 2 ailesini duyurdu. 2 milyar, 4 milyar ve 9 milyar parametreli üç farklı boyutta sunulan bu modeller, önceki Bonsai serilerinde gözlemlenen döngüsel davranışları test etmek amacıyla geliştirildi. İlk etapta modellerin çalıştırılması için llama.cpp'in "prism" adlı özel bir dalı gerektiği belirtilmişti, ancak topluluk üyeleri sonrasında standart llama.cpp ile de uyumlu olduklarını doğruladı.

Bu modellerin mobil entegrasyonu da gündemde. AnythingLLM Mobile için LLama.rn çatallaması üzerinden destek sağlanması planlanıyor ve iOS cihazlarda LocallyAI uygulamasıyla test edilmesi mümkün. Geliştiriciler, bu yeni modellerin Qwen 3.5'in 1.7B ve 0.8B sürümlerini geride bırakabileceğini ve özellikle düşük bellekli cihazlarda daha yüksek performans sunabileceğini öne sürüyor.

Teknik açıdan, modellerin QAT (Quantization Aware Training) gibi yöntemlerle eğitildiği ve dFlash, MTP ve MLX gibi hızlandırıcıların desteklendiği belirtiliyor. Bu özelliklerin, özellikle token per second (TPS) oranlarını artırarak gerçek zamanlı uygulamalarda daha akıcı bir deneyim sağlaması bekleniyor. Ancak henüz resmi benchmark sonuçları paylaşılmadığı için performans iddiaları topluluk testlerine dayanıyor.

Topluluk, bu modellerin açık kaynak ekosistemine katkı sağlayacağını ve yerel AI çözümlerinin çeşitlenmesine yardımcı olacağını vurguluyor. Modelin farklı boyutları, araştırmacıların ve geliştiricilerin ihtiyaçlarına göre ölçeklenebilir bir seçenek sunuyor, bu da özellikle sınırlı donanım kaynaklarına sahip projeler için önemli bir avantaj oluşturuyor.