Hugging Face, TorchTPU ile PyTorch'u TPU'larda Yerel Hale Getirdi
Hugging Face, TorchTPU adlı yeni bir PyTorch arka ucunu duyurdu. Bu sayede Transformer, Diffusers ve özel çekirdekler, tek bir komutla TPU'ya gönderilerek, ek bir çeviri katmanı olmadan çalıştırılabiliyor. Kullanıcılar artık "device_map=\"tpu\"" ile modelleri doğrudan TPU üzerinde eğitebilir ve dağıtık eğitimden yararlanabilir.
Özetle
- 1
TorchTPU, PyTorch kodunu tek bir satırla TPU'ya yönlendirerek ek bir çeviri katmanı gerektirmeden çalıştırma imkanı sunuyor.
- 2
Transformers ve Diffusers kütüphaneleri, "device_map=\"tpu\"" ve "pipe.to(\"tpu\")" komutlarıyla tam entegrasyon sağladı; dağıtık eğitim ve torch.compile desteği mevcut.
- 3
Batch size 64'te Qwen3-30B-A3B modeli %21.5, Gemma 4 26B-A4B modeli %12.8 daha hızlı decode ederken, görüntü üretiminde derlenmiş mod %2.3 ila %50 arasında hız artışı gösteriyor.
Hugging Face, uzun süredir PyTorch kullanıcılarının TPU'ları kullanırken karşılaştığı zorlukları ortadan kaldırmak amacıyla TorchTPU'yu tanıttı. Önceden PyTorch/XLA (torch_xla) ve JAX gibi ek katmanlar gerektiren süreç, artık tek bir pip komutuyla kurulabilen ve PyTorch kodunun doğrudan TPU'ya yönlendirilebildiği bir altyapıya dönüştü. TorchTPU, Pallas tabanlı çekirdekler, dağıtık eğitim desteği ve torch.compile entegrasyonu sunarak performans artışı sağlıyor.
Yeni backend, Hugging Face ekosistemindeki Transformers ve Diffusers kütüphanelerine tam entegrasyon sağlıyor. Kullanıcılar bir model ID'si belirleyip "device_map=\"tpu\"" parametresiyle modeli TPU'ya yükleyebiliyor; tokenizasyon ve metin üretimi aynı PyTorch API'leriyle yürütülüyor. Diffusers kütüphanesinde ise pipeline'lar sadece "pipe.to(\"tpu\")" komutuyla TPU'ya taşınıyor ve isteğe bağlı olarak "torch.compile" ile derlenmiş modda çalıştırılabiliyor. Büyük modellerin birden fazla çip arasında bölünmesi için TensorParallelConfig desteği de mevcut.
Performans açısından TorchTPU, özellikle büyük dil modellerinde çarpıcı iyileştirmeler sunuyor. Batch size 64'te Qwen3-30B-A3B modeli, TPU v6e-8 üzerinde standart çekirdeklere kıyasla 21.5 kat daha hızlı decode ederken, Gemma 4 26B-A4B modeli %12.8 hız artışı sağlıyor. Görüntü üretiminde ise 1024×1024 çözünürlükte 40 adımlık bir StableDiffusion3 çalışması, derlenmiş modda 3.5 saniye sürerken, eager modda 8.0 saniye alıyor; bu da yaklaşık 2.3 kat hız kazancı demek. Daha büyük bir örnek olarak 1344×768 çözünürlükte 49 adımda derlenmiş mod 5.2 saniye, eager mod ise 262 saniye sürerek 50 katlık bir fark gösteriyor.
TorchTPU'nun tanıtımı, Optimum TPU gibi ara çözümlere artık ihtiyaç kalmadığını belirtiyor. Hugging Face, bu yeni backend'i sürekli test ediyor; şu ana kadar TPU üzerinde çalışan testlerin %96.5'i başarılı ve ortaya çıkan hatalar doğrudan TorchTPU deposunda raporlanıp düzeltiliyor. Geliştiriciler, sorun yaşadıklarında GitHub üzerinden geri bildirimde bulunarak ekosistemin olgunlaşmasına katkı sağlayabilir.
Yöney yorumu
TorchTPU, PyTorch topluluğu için TPU'ları erişilebilir kılarak araştırma sürecini kısaltıyor ve büyük ölçekli üretim modellerinin maliyet etkinliğini artırıyor; geliştiriciler artık ek çaba harcamadan yüksek performanslı donanımı kullanabilecek.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Qwen3-30B-A3BDecoding speedup · batch size 6421.5 x
- Gemma 4 26B-A4BDecoding speedup · batch size 6412.8 x
Bu haber Hugging Face kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
