VocabX ile Özel Sözlük Adaptasyonu, Gerçek Uygulamalarda Çıkarım Maliyetini %77 Azaltıyor

Genel amaçlı büyük dil modellerinin tokenizerları, çok sayıda dil ve alanı kapsayacak şekilde tasarlanır ve bu da tek bir görev ya da dilde çalışan modellerde iki temel israf kaynağı oluşturur: parçalanma ve gereksiz kelime hazinesi. Dharma‑AI'nin portekizce essay grader'ı örneğinde, modelin yanıtları gereksiz token sayısı ve 151.669 tokenlik vocab‑matrisinin tamamını her adımda işlemek zorunda kalıyordu. VocabX, bu sorunu token başına maliyeti (örneğin yanıt tokeni için 7,4 kat daha pahalı) göz önünde bulundurarak, domain‑spesifik bir sözlük oluşturuyor.

VocabX, iki aşamalı bir süreç izliyor. İlk aşamada, alt‑kelime birleştirme ile temel vocab küçültülür; ikinci aşamada ise tekrar eden ifadeler, satırlar, JSON yapıları gibi uzun spanlar otomatik minerler (uzun kelimeler, tam satırlar, ifadeler, cümleler, yapılandırılmış veri) tarafından tespit edilerek tek bir makro token haline getiriliyor. Her iki katman da aynı maliyet kriteri altında ve ayrı bütçelerle seçiliyor, böylece hem giriş hem de çıkışta tasarruf sağlanıyor.

Gerçek ölçümler, aynı temel model (Qwen3‑4B), veri ve eğitim tarifesi kullanılarak yedi farklı tokenizer versiyonu eğitildi ve 500 istek üzerinde RTX 5090 ve vLLM sunucusu ile test edildi. Sonuçta ortalama yanıt token sayısı 350'den 101'e düştü, çıkarım maliyeti %77 azaldı ve değerlendirme skoru 0.703'ten 0.810'a yükseldi. En kompakt makro token tasarımı kaliteyi düşürürken, grade tokenını ayrı tutmak hem kaliteyi artırdı hem de maliyet tasarrufunu %73,3'ten %77'ye çıkardı.

VocabX'in üstünlüğü, beş farklı domain (sözleşmeler, tıbbi makaleler, bilimsel makaleler, haber, Python kodu) ve üç model ailesi (Qwen3, Llama‑3.1, Gemma‑3) üzerinde yapılan karşılaştırmalarda da kanıtlandı. Tüm 15 kombinasyonda VocabX, en güçlü referans yöntemlerinden (%1,2‑9,3 token tasarrufu) daha iyi performans gösterdi ve ortalama maliyet avantajı Qwen3 için 10,2 puan, Llama‑3.1 için 7,5 puan, Gemma‑3 için 13,6 puan olarak ölçüldü.