Meta, küçük AI modellerini token yerine ham baytları okuyacak şekilde eğitti; uzun vadede üstün performans vaat ediyor

Araştırmacılar, Meta'nın yeni bir çalışma kapsamında, geleneksel token tabanlı dil modelleri yerine ham baytları (tek harf seviyesinde) işleyen modeller geliştirdi. Yaklaşık bir milyar parametreye sahip bu küçük modeller, bazıları token, bazıları ise bayt seviyesinde eğitildi; büyük bir öğretmen modeli olarak Llama 3 8B kullanılarak distilasyon yöntemi uygulandı. Öğretmen modelinin token tabanlı düşünmesi, öğrenci modelinin ise bayt tabanlı çalışması nedeniyle iki temsil biçimi arasında temiz bir çeviri mekanizması geliştirmek zorunlu kıldı.

Deney sonuçları, eğitim sürecinin erken aşamalarında token tabanlı modellerin daha yüksek doğruluk sağladığını gösterdi. Ancak eğitim ilerledikçe token modelleri bir plato seviyesine ulaştı ve performansları duraklarken, bayt modelleri sürekli bir iyileşme gösterdi. Eğitimin mevcut sınırlarını aşan bir eğri uzantısı üzerinden yapılan tahminlerde, bayt modeli Llama 3.2 1B ve Gemma 3 1B gibi aynı ölçekli modelleri birkaç puan farkla geride bırakabilir. Ayrıca bayt modellerinin aynı performansa ulaşması için gereken eğitim verisi miktarı, token modellerine göre yaklaşık altı kat daha azdı.

Araştırmanın sınırlamaları da açıkça belirtildi. "Daha iyi" olduğu iddiası, mevcut eğitim verisinin ötesine uzatılan bir tahmine dayanıyor; gerçek deneylerde token modelleri hâlâ bir adım önde. Bayt seviyesinde okuma, bir tokenın ortalama 4‑5 harfe denk gelmesi nedeniyle aynı metni işlemek için yaklaşık beş kat daha fazla adım gerektiriyor ve bu da hesaplama süresini artırıyor. Yine de, özellikle akıllı telefon ve dizüstü bilgisayar gibi sınırlı kaynaklı cihazlarda, aynı model boyutundan daha yüksek kalite elde etme potansiyeli, bu yaklaşımın cazibesini artırıyor. Gelecekte bayt modellerinin hızını token modellerine eşitleyecek optimizasyonların geliştirilmesi, bu alandaki bir sonraki araştırma sorusu olarak öne çıkıyor.