2-bit VRAM kopyası ve sistem RAM’de kalan ağırlıklarla spekülatif kodlama: GPU’ya sığmayan modeller için yeni yöntem
Araştırmacılar, büyük dil modellerini GPU belleğine sığdırmak için 2-bit bir kopya tutup geri kalan ağırlıkları sistem RAM’de saklayan bir spekülatif kodlama yöntemi önerdi. Bu teknik, modelin taslak çıktısını GPU’da hızlıca üretirken, tam doğrulama işlemini CPU‑RAM üzerinden yaparak veri akışını azaltıyor ve kabul edilen token oranını artırıyor.
Özetle
- 1
2-bit VRAM kopyası ve 6‑8 bit residual RAM’de tutularak spekülatif kodlama yapılabiliyor.
- 2
2-bit + 8-bit kombinasyonu bf16'a daha yakın kalite sunuyor, KL sapması %50 daha düşük.
- 3
6-bit residual, Q8_0 kalitesini korurken RAM okuma miktarını %28 azaltıyor.
- 4
2-bit taslak, Gemma 4 drafter'a kıyasla %25‑30 daha fazla kabul edilen token sağlıyor (5.23 vs 4.20).
Reddit topluluğu LocalLLaMA'da paylaşılan bir gönderide, bir geliştirici modelin sadece 2-bit versiyonunu GPU belleğine (VRAM) yerleştirip, geri kalan 6‑8 bitlik residual ağırlıkları sistem RAM'de tutarak spekülatif kodlama (speculative decoding) yapmayı önerdi. Bu yaklaşımda, GPU 2-bit kopya üzerinden taslak tokenlar üretirken, CPU tam modelin residual kısmını kontrol ediyor ve yalnızca aktivasyonlar PCIe üzerinden aktarılıyor. Böylece taslak üretimi ek bellek tüketimi yaratmıyor; doğrulama aşaması ise modelin yarısı kadar bellek kullanıyor.
Yapılan ölçümlere göre, 2-bit + 8-bit residual kombinasyonu, bf16 doğruluğuna Q8_0'den daha yakın bir performans sergiliyor ve KL sapması yaklaşık %50 daha düşük. 6-bit residual ise Q8_0 seviyesinde kalite sağlarken RAM'den okunan veri miktarını yaklaşık %28 azaltıyor. Ayrıca, 2-bit taslak modeli, Google'ın resmi Gemma 4 drafter'ına (31B, 16 düğüm ağaç) kıyasla %25‑30 daha fazla kabul edilen token sağlıyor (5.23 vs 4.20 token/kontrol).
CPU çekirdeğiyle çalışan kernel, bellek sınırlı olduğu için 1 token kontrol süresiyle aynı sürede 16 token'i işleyebiliyor. Bu, özellikle VRAM kapasitesi yetersiz olduğunda Q8 modelinin çalıştırılamadığı senaryolarda önemli bir performans kazancı sunuyor. Yazar, bu yöntemi bir açık kaynak repo üzerinden paylaşıyor ve ilgili kodları https://huggingface.co/HappyGuitar123/twobit-residual-spec adresinde bulunabiliyor.
Yöntemin en yakın benzeri SubSpec olarak gösteriliyor; ancak SubSpec ayrı bir 4-bit kopya kullanıp ağırlıkları PCIe üzerinden akıtırken, bu yeni yaklaşım modeli bit seviyesinde bölerek veri akışını minimize ediyor. Yazar, yöntemin hâlâ deney aşamasında olduğunu ve Claude, Astra gibi modellerle denemeler yapılabileceğini belirtiyor.
Yöney yorumu
Bu teknik, bellek sınırlı ortamlarda büyük dil modellerinin çalıştırılabilirliğini artırarak araştırmacı ve geliştiricilere maliyet tasarrufu sağlayabilir; ancak performansın gerçek zamanlı uygulamalara ne kadar yansıyacağı daha fazla test gerektiriyor.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- 2-bit draft with residualAccepted tokens per check (Gemma 4 drafter baseline)5.23 token/check
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
