Project Maya ile GLM-5.3 Flash Modeli Hızlandırıldı

Reddit topluluğu LocalLLaMA'da paylaşılan bilgilere göre, GLM‑5.3‑Flash modelinin önceki sürümü yalnızca yaklaşık 10 token/s hızla çalışıyordu ve pratik kullanım için yetersizdi. Project Maya adlı açık kaynak proje, bu modeli tek bir RTX 5090 üzerinde 30 token/s seviyesine çıkarırken, dört RTX 4090 konfigürasyonunda 118 token/s'ye ulaşarak performansı dramatik biçimde artırdı.

Maya, 321 milyar parametreli modeli yerel donanımda çalıştırmak üzere özel bir motor sunuyor. Modelin bir token üretimi sırasında yaklaşık 18 milyar aktif parametre kullanılıyor ve 1 M token'a kadar bağlam uzunluğunu destekliyor. Motor, en çok kullanılan uzmanları (experts) GPU'da, bir sonraki seviyedekileri RAM'de ve geri kalanını NVMe SSD'de tutarak dinamik bir bellek yönetimi sağlıyor; ayrıca sistemin GPU, CPU, RAM ve SSD kapasitesini ölçerek otomatik ayarlamalar yapıyor.

Project Maya, MIT lisanslı ZAI‑org kod tabanını kullanıyor ve tamamen yerel çalışıyor; verileriniz hiçbir zaman dışarı çıkmıyor. Kullanıcılar, OpenAI ve Anthropic uyumlu API'ler aracılığıyla sohbet, görsel üretim ve araç çağrıları (tool calls) gibi işlevleri tek komutla kurup entegre edebiliyor. Pakette tarayıcı tabanlı bir sohbet arayüzü, canlı izleme paneli, düşünce seviyeleri ve resim üretimi gibi özellikler de bulunuyor.

Performans ölçümlerine göre, Maya'nın kendi kuantizasyon teknikleri, orijinal FP8 modelinin sıfır‑şot (zero‑shot) doğruluk performansının %97,7‑99,2'sini koruyor. Bu, modelin hız artışıyla birlikte kalite kaybının minimum seviyede tutulduğunu gösteriyor ve büyük dil modellerinin daha geniş bir kullanıcı kitlesi tarafından erişilebilir olmasını sağlıyor.