jitllm ile Çalışan Model Katmanları GPU'lar Arasında Anlık Taşıma (8 ms, yeniden ön doldurma yok)
jitllm adlı yeni bir inference motoru, LLM katmanlarını yanıt üretimi sırasında GPU'lar arasında taşıyarak ön‑prefill ihtiyacını ortadan kaldırıyor. 8 ms gibi düşük gecikme süreleriyle katmanların dinamik olarak yeniden konumlandırılması, büyük modellerin bellek sınırlarını aşmadan çalıştırılmasını mümkün kılıyor.
Özetle
- 1
jitllm, model katmanlarını yanıt üretimi sırasında GPU'lar arasında taşıyarak yeniden ön‑prefill ihtiyacını ortadan kaldırıyor.
- 2
Katman taşıma gecikmesi T4 GPU'larda 8 ms, V100'de 20‑21 ms, RTX 3050 Ti dizüstü bilgisayarda 91 ms olarak ölçüldü.
- 3
KV cache sayfalama özelliği sayesinde prompt yeniden işlenmeden aynı çıktı elde ediliyor.
- 4
JIT tabanlı çekirdek üretimi, yeni donanımlara anında uyum ve performans iyileştirmeleri sağlıyor.
Yerel bir geliştirici, işletim sistemleri ve JIT derleyicileri konusundaki tecrübesinden yola çıkarak jitllm adını verdiği bir inference motoru geliştirdi. Motor, mevcut donanıma özgü çekirdekler üretirken model katmanlarını bağımsız süreçler gibi ele alıyor ve gerektiğinde bu süreçleri farklı GPU'lar arasında taşıyor.
Reddit'te paylaşılan bir video, iki T4 GPU'lu bir bulut VM'inde Llama-3.2-3B modelinin katmanlarının yanıt üretimi sırasında bir GPU'dan diğerine ve tekrar geri taşınmasını gösteriyor. Aynı zamanda, bir dizüstü bilgisayarda modelin CPU, CUDA ve Vulkan (iGPU) arasında bölünerek katmanların yeniden düzenlenmesi ve KV önbelleğinin sayfalara bölünerek katmanlarla birlikte hareket etmesi sağlanıyor; bu sayede prompt yeniden işlenmiyor ve çıktı, taşınma yapılmamış bir çalışmayla aynı oluyor.
Performans ölçümlerine göre, iki T4 GPU arasında katman taşıma süresi 8.1‑8.4 ms, V100 tabanlı bir sistemde 20‑21 ms, RTX 3050 Ti dizüstü bilgisayarda ise CUDA‑Vulkan geçişi 91 ms sürüyor. Tüm bu geçişlerde üretilen token sayısı sıfır, yani model yanıt üretimini kesintisiz sürdürüyor.
Geliştirici, jitllm'in tasarımının sunduğu esnekliğin, yeni donanım tiplerine hızlı adaptasyon ve optimizasyon imkanı tanıdığını vurguluyor. Dinamik çekirdek üretimi sayesinde her iyileştirme tüm makinelerde kullanılabilirken, sayfalama ve yeniden konumlandırma katmanlarını bir planlama problemi haline getirerek bellekten daha büyük modellerin, uyumsuz GPU kombinasyonlarının ve sohbet ilerledikçe değişen iş yüklerinin sorunsuz yönetilmesini hedefliyor. Proje kodları GitHub'da açık kaynak olarak sunulmuş durumda.
Yöney yorumu
jitllm'in sunduğu katman‑taşıma yeteneği, büyük modellerin bellek sınırlarını aşmadan çoklu GPU ortamlarında verimli çalışmasını sağlayarak geliştiricilere yeni bir dağıtım stratejisi sunuyor. Kullanıcılar ise daha düşük gecikme ve kesintisiz yanıt deneyimi elde edecek.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Llama-3.2-3B Q4_K_MGPU Layer Transfer Latency (GPU0→GPU1) · mid-reply, 0 tokens8.1 ms
- Llama-3.2-3B Q4_K_MGPU Layer Transfer Latency (GPU1→GPU0) · mid-reply, 0 tokens8.4 ms
- Llama-3.2-1B Q4_K_MCPU‑CUDA‑Vulkan Layer Transfer Latency · mid-reply, 0 tokens91 ms
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
