Araştırmacılar, LLM Eğitim Hesaplamasını Kaliteyi Bozmadan %15 Azaltmanın Yolunu Buldular

EMNLP 2026 konferansında, Macaristan'da gerçekleşen oturumda T-Tech ekibi, LIMe (Layer-Integrated Memory) adlı bir teknik tanıttı. Geleneksel Transformer mimarisinde her katman yalnızca bir önceki katmanın gizli durumuna dayanır ve bu durum, temsil çöküşüne yol açarak tokenların birbirine benzemesine ve model kalitesinin düşmesine neden olur. LIMe, bu sorunu hafifletmek için her katmanın zaten tuttuğu anahtar-değer tamponlarını kullanır ve her dikkat başlığına özgü öğrenilebilir yönlendirme ağırlıkları ekler; bu sayede bir başlık yalnızca bir önceki katmandan değil, aynı zamanda daha önceki katmanlardan da temsilleri çekip birleştirebilir.

Yöntemin temel avantajı, gizli durum boyutunu değiştirmeden önceki hesaplamaları yeniden kullanmasıdır. Yaklaşık bir milyar parametreli modeller üzerinde yapılan deneylerde, LIMe aynı eğitim kaybını elde ederken %15 daha az hesaplama gerektirdi. Ayrıca, dil modelleme ve çok adımlı akıl yürütme benchmark'larında rakip yöntemlerin önüne geçerek özellikle sentetik aritmetik görevlerinde ve daha derin mimarilerde belirgin iyileşmeler sağladı.

Araştırmacılar, LIMe'nin değer vektörlerinde daha yüksek entropi ve token ayrımında artış yarattığını, bunun da temsil çöküşünün etkili bir şekilde azaltıldığını rapor etti. Öğrenilen yönlendirme ağırlıklarının analizi, modelin hem yerel hem de uzun menzilli özellikleri sistematik olarak yeniden kullandığını ortaya koydu. Çalışmanın tam metni ve resmi kod uygulaması ilgili linklerde sunulmaktadır.