EXL3-QLoRA ile 2-8bpw ExLlamaV3 Kuantize Modellerde Verimli Eğitim İmkânı Sunuluyor

EXL3-QLoRA, ExLlamaV3 çatısı altında geliştirilmiş, PyTorch tabanlı ve Transformers kütüphanesinden bağımsız bir eğitim implementasyonudur. Bu proje, kullanıcıların 2 ila 8 bit-per-weight (bpw) aralığında kuantize edilmiş ExLlamaV3 modellerini eğitebilmesine olanak tanıyor. Geliştiricinin belirttiğine göre, ExLlamaV3 modelleri şu anda boyutlarına göre en yüksek hassasiyeti sunarak daha düşük kayıp değerleri elde edilmesini sağlıyor. Bu durum, özellikle kısıtlı donanım kaynaklarına sahip yerel yapay zekâ geliştiricileri için büyük önem taşıyor. Sistem, adapterleri standart PEFT formatında kaydediyor ve TabbyAPI ile PEFT gibi platformlarda yüklenebiliyor, hatta temel modele geri birleştirilebiliyor. Llama3, Mistral Small/Medium, Qwen3 (yoğun ve MoE), Qwen3.5/3.6/3.8 (hibrit), Gemma3/4 (MoE dahil) ve Arcee Trinity gibi geniş bir model yelpazesini destekliyor. Her model ailesi, eğitime başlamadan önce çıkarım (inference) performansı açısından kontrol ediliyor. EXL3-QLoRA, Süpervizyonlu Fine-Tuning (SFT), Doğrudan Tercih Optimizasyonu (DPO) ve Kuantum Topolojik Optimizasyonu (KTO) gibi çeşitli eğitim yöntemlerinin yanı sıra rsLoRA ve PiSSA gibi gelişmiş LoRA tekniklerini de barındırıyor. Ayrıca, MoE uzmanları, embedding katmanları ve LM başlığı üzerinde isteğe bağlı LoRA uygulaması, tek GPU, çoklu GPU katman bölme ve DDP (Dağıtılmış Veri Paralelleştirme) desteği gibi özellikler sunuyor. Örnek paketleme, jinja aracılığıyla sohbet render'ı (araç çağrıları ve muhakeme dahil), gradient checkpointing, aktivasyon boşaltma (activation offload), chunked cross entropy, 8-bit ve paged optimizatörler ve Liger çekirdekleri gibi optimizasyonlar sayesinde verimli bir eğitim süreci vaat ediyor. Proje, aynı zamanda tarayıcı üzerinden canlı izleme (wandb alternatifi) ve yüklenen modelin aynı anda sohbet hizmeti verip adapter'ını eğittiği gerçek zamanlı eğitim imkânı da sunuyor. Yapılan benchmark testlerinde Qwen3.5-4B modeli üzerinde EXL3-QLoRA'nın performansı, geleneksel bnb NF4 (Axolotl) yöntemine kıyasla daha düşük eval loss değerleri elde etti. Örneğin, EXL3 6.0 bpw modeli 2.128, EXL3 4.0 bpw modeli 2.152 ve EXL3 3.0 bpw modeli 2.165 eval loss değerlerine ulaşırken, bnb NF4 2.183 eval loss gösterdi. Bellek kullanımı açısından ise EXL3 3.0 bpw, 11.5 GiB ile en düşük VRAM tüketimini sağladı. Geliştirici, bnb'nin yaklaşık iki kat daha hızlı olmasına rağmen, EXL3'ün daha esnek, VRAM açısından verimli ve testlerinde daha düşük kayıp ürettiğini belirtiyor. Bu, özellikle küçük ve orta ölçekli modellerin yerel olarak fine-tune edilmesi gereken senaryolar için umut vadeden bir gelişmedir.