Boole-1.7B: 1-bit Qwen3-1.7B modeli, Bonsai-1.7B'yi geride bırakıyor
Precision Numerics, Qwen3-1.7B tabanlı Boole-1.7B modelini 1-bit kuantizasyonla yayınladı. Model, BF16 referansının ortalama puanının %85,9'unu yakalarken, aynı sınıftaki 1-bit Bonsai-1.7B modelini geride bırakıyor ve 1.58-bit Bonsai-1.7B'ye neredeyse eşdeğer performans sergiliyor.
Öne Çıkan Başlıklar
- Boole-1.7B, Qwen3-1.7B'nin 1-bit kuantize edilmiş sürümü ve sadece 247 MB ağırlık dosyasına sahip.
- 10 görevlik benchmarkta BF16 modelinin ortalama puanının %85,9'unu yakaladı; 1-bit Bonsai-1.7B'yi geride bıraktı.
- Model, tarayıcıda yerel çalıştırma, vLLM ve llama.cpp entegrasyonlarıyla düşük gecikmeli İngilizce görevlerde kullanılabilir.
Precision Numerics, Qwen3-1.7B'nin 1-bit kuantize edilmiş bir versiyonu olan Boole-1.7B'yi duyurdu. Model, sadece 247 MB'lık paketlenmiş ağırlık dosyasıyla BF16 tabanlı orijinal modelin %13,9'u kadar bir depolama alanı gerektiriyor ve bu sayede düşük bellekli cihazlarda çalıştırılabilirliği artırıyor.
Yapılan 10 görevlik değerlendirmede Boole-1.7B, BF16 modelinin ortalama puanının %85,9'unu elde etti. Bu performans, aynı boyutta 1-bit Bonsai-1.7B modelinden daha yüksek ve 1.58-bit Bonsai-1.7B modeline çok yakın bir sonuç olarak raporlandı. Model, özellikle düşük gecikmeli İngilizce görevlerde ve "non-thinking" modunda tarayıcı üzerinden yerel olarak çalıştırılabiliyor.
Kullanıcılar Boole-1.7B'yi vLLM ve llama.cpp gibi popüler açık kaynak inference motorlarıyla entegre edebilecek. Ayrıca modelin bir tarayıcı demo sürümü ve GitHub üzerinden örnek kodlar da sağlanmış durumda. Precision Numerics, topluluk geri bildirimlerine göre daha yetenekli modeller geliştirmeyi ve açık kaynak ekosistemine katkı sunmayı hedefliyor.
Modelin ağırlıkları Hugging Face'de "precision-numerics/Boole-1.7B" deposunda bulunuyor, blog yazısı ve demo sayfası ise precisionnumerics.ai adresinde yer alıyor. Geliştiriciler ve araştırmacılar, bu düşük bit kuantizasyonun sağladığı hafıza tasarrufu ve performans dengesi sayesinde, daha geniş bir cihaz yelpazesinde büyük dil modellerini çalıştırma fırsatı elde edecek.
Benchmark Sonuçları
| Model | Benchmark | Skor | Ayar |
|---|---|---|---|
| Boole-1.7B | 10-görev ortalama puanı (BF16 referansına göre) | 85.9 % | Ortalama skor, 10 farklı görevde BF16 modelinin puanına göre normalize edilmiştir |
YZ Yorumu
Boole-1.7B, düşük bellekli cihazlarda büyük dil modellerinin kullanılabilirliğini artırarak geliştiricilere maliyet ve altyapı açısından yeni fırsatlar sunuyor; aynı zamanda 1-bit kuantizasyonun performans sınırlarını da yeniden tanımlıyor.
Yapay zekâ tarafından üretilmiştir.