Basalt: Qwen 3.8 Flash Next için Hızlı Blackwell Çıkarım Motoru ve Ücretsiz Görüntü Desteği
Basalt, Qwen 3.8 Flash Next modelini Blackwell optimizasyonlarıyla çalıştıran yeni bir çıkarım motoru. Görüntü işleme yeteneği, encoder'ı yalnızca ihtiyaç anında VRAM'e yükleyerek bellek tüketimini neredeyse sıfıra indiriyor.
Özetle
- 1
Basalt, Qwen 3.8 Flash Next modelini Blackwell optimizasyonlarıyla çalıştıran hızlı bir çıkarım motoru.
- 2
"--vision dynamic" özelliği, görüntü kodlayıcısını yalnızca ihtiyaç anında VRAM'e yükleyerek bellek tüketimini %0'a yaklaştırıyor.
- 3
Basalt çekirdekleri, llama.cpp'ye kıyasla 3 kat daha hızlı çalışıyor ve açık kaynak olarak geliştiricilere sunuluyor.
Basalt, Strata tabanlı bir kod çatallaması olarak geliştirildi ve Qwen 3.8 Flash Next modelinin Blackwell sürümü için yoğun bir şekilde ayarlandı. Motor, metin tabanlı görevlerde yüksek hız sunarken, aynı zamanda görsel girdileri de işleyebiliyor. Görüntü kodlayıcısının sürekli VRAM'de tutulması, uzman (expert) önbellek slotlarını tükettiği ve metin performansını düşürdüğü için, geliştiriciler bu sorunu çözmek amacıyla dinamik bir yaklaşım ekledi.
Yeni "--vision dynamic" seçeneği sayesinde, motor boşta iken kodlayıcı RAM'de saklanıyor ve VRAM kullanımını %0'a yaklaştırıyor. Bir görsel geldiğinde, ilgili uzman slotları geçici olarak kullanılmak üzere kodlayıcı VRAM'e (~30 ms) aktarılıyor, görüntü kodlanıyor ve işlem tamamlandığında aynı slotlar RAM'den geri dolduruluyor (~60 ms). Bu sayede görsel işleme ücretsiz hale geliyor ve metin çıkarımı üzerindeki performans etkisi ortadan kalkıyor.
Basalt'ın kendi çekirdekleri, llama.cpp'nin çekirdeklerinden üç kat daha hızlı çalışıyor ve bu hız farkı, özellikle büyük ölçekli inference senaryolarında belirgin bir avantaj sağlıyor. Projenin GitHub deposu (https://github.com/jesdga95/basalt) üzerinden erişilebilen kod, geliştiricilerin kendi motorlarına entegre etmeleri için gerekli commit hash'leri (9bfb90a, a704c65, efd23d9) ile belgelenmiş durumda.
Topluluk, bu yenilik sayesinde Qwen 3.8 Flash Next modelini daha düşük donanım gereksinimleriyle çalıştırabilirken, görsel yetenekleri de ek bir maliyet olmadan kullanabiliyor. Basalt'ın açık kaynak yapısı, diğer LLM çıkarım çerçevelerine entegrasyon ve özelleştirme fırsatları sunarak, yerel AI uygulamaları ekosisteminde yeni bir kilometre taşı oluşturuyor.
Yöney yorumu
Basalt'ın dinamik görsel desteği, düşük bellekli ortamlarda LLM'lerin çok modlu kullanımını mümkün kılıyor; geliştiriciler için maliyet ve performans dengesini yeniden tanımlıyor.
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
