Xolotl: Strata Tabanlı Inference Motoru, DeepSeek-V4.1-Flash 552B Modelini Tek RTX 4090’da Çalıştırıyor
IndrasMirror ekibi, Strata üzerine inşa ettikleri Xolotl adlı inference motorunu duyurdu. Motor, 552 milyar parametreli DeepSeek-V4.1-Flash modelini tek bir RTX 4090 (24 GB) üzerinde çalıştırarak 27 tok/s decode ve 180‑320 tok/s prefill performansı sağlıyor. Ayrıca model, HumanEval testinde tam puan alarak büyük bir teknik atılımı işaret ediyor.
Özetle
- 1
Xolotl, 552 B DeepSeek‑V4.1‑Flash modelini tek RTX 4090’da çalıştırabiliyor.
- 2
Decode hızı 27 tok/s, prefill hızı 180‑320 tok/s ve 512 K bağlam desteği.
- 3
HumanEval benchmark’ında 21/21 tam puan, araç çağrılarında 10/10 ve hata düzeltme döngülerinde 3/3 başarı.
- 4
Aynı motor GLM‑5.3‑Flash, Qwen3.8‑Flash‑Next ve Qwen3.8‑27B modellerini de destekliyor.
IndrasMirror topluluğu, Strata tabanlı yeni bir inference motoru olan Xolotl'u tanıttı. Motor, tek bir RTX 4090, Ryzen 7 5700X, 90 GB DDR4 RAM ve bir NVMe sürücüden oluşan bir oyun bilgisayarında DeepSeek‑V4.1‑Flash (552 B) modelinin tamamını çalıştırabiliyor. Ağırlıklar VRAM, sabit RAM ve NVMe arasında dağıtılıyor; her token için yalnızca gerekli uzman ağırlıkları çekilerek bellek verimliliği artırılıyor.
Performans ölçümlerine göre Xolotl, 27 token/s decode ve 180‑320 token/s prefill hızları sunuyor; aynı zamanda 512 K token uzunluğunda bir bağlamı destekliyor. Model, HumanEval benchmark'ında 21/21 tam puan alırken, araç çağrılarında 10/10 ve ajan tabanlı hata düzeltme döngülerinde 3/3 başarı gösterdi. Bu sonuçlar, tek bir tüketici sınıfı GPU ile bu kadar büyük bir modelin etkili bir şekilde kullanılabileceğini kanıtlıyor.
Motor, sadece DeepSeek‑V4.1‑Flash ile sınırlı kalmayıp, aynı altyapı üzerinden GLM‑5.3‑Flash, Qwen3.8‑Flash‑Next ve Qwen3.8‑27B gibi diğer büyük modelleri de çalıştırabiliyor. Açık kaynak kodları GitHub üzerinden erişilebilir durumda (https://github.com/Indras-Mirror/Xolotl). Şu anki sürüm, 152 GiB boyutundaki uncensored V4.1 quant dosyasını (https://huggingface.co/IndrasMirror/DeepSeek-V4.1-Flash-GSQ-Uncensored) kullanıyor.
Geliştiriciler, 510 GB büyüklüğündeki yeni DeepSeek‑V4.1‑Flash‑1017 modelini indirip aynı Xolotl motorunda çalıştırmak için kalibrasyon ve quant işlemlerini tamamlamayı planlıyor. Bu güncellemenin aynı performans seviyesini koruması bekleniyor ve topluluk üyelerinin sorularına yanıt vermek için süreç aktif olarak izleniyor.
Yöney yorumu
Xolotl, büyük modellerin erişilebilirliğini artırarak araştırmacı ve geliştiricilerin tek bir GPU üzerinde deney yapmasını mümkün kılıyor; bu da inovasyon hızını ve maliyet etkinliğini olumlu yönde etkileyecek.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- DeepSeek-V4.1-FlashHumanEval21 puan
- DeepSeek-V4.1-FlashTool Calls10 puan
- DeepSeek-V4.1-FlashAgentic Bug‑Fix Loops3 puan
- DeepSeek-V4.1-FlashDecode Speed27 tok/s
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
