TorchNeuron: AWS Trainium’da Hugging Face Modelleri Çalıştırmak Artık Çok Kolay
Hugging Face, AWS Trainium için yeni bir PyTorch eklentisi olan TorchNeuron’u kamu beta aşamasına taşıdı. Bu eklenti, eager execution, torch.compile ve yerel dağıtık API'leriyle modellerin Trainium üzerinde sorunsuz çalışmasını sağlıyor ve Transformers, Diffusers gibi popüler kütüphanelerle tam uyum sunuyor.
Özetle
- 1
TorchNeuron, PyTorch’un native backend’i olarak Trainium’da eager execution ve torch.compile desteği sunuyor
- 2
Transformers kütüphanesinde en çok kullanılan 100 metin‑üretim modelinin %89’u anında destekleniyor (Optimum‑Neuron %46)
- 3
Eğitimde standart Hugging Face araçlarıyla, TP ve FSDP kombinasyonu sayesinde 8 Trainium2 çipinde büyük modeller sorunsuz eğitilebiliyor
- 4
Diffusers pipeline’ları ve özel NKI kernel’leri ile görüntü üretiminde de yüksek paralellik ve %2.4’e varan hız artışı sağlanıyor
TorchNeuron, PyTorch için yeni bir backend sağlayarak AWS Trainium ve Inferentia çiplerine doğal bir cihaz desteği ekliyor. Optimum‑Neuron'un lazy‑tensor ve statik şekil gereksinimlerini ortadan kaldırarak, eager execution ve torch.compile entegrasyonu sayesinde geliştiriciler aynı PyTorch kodlarını değişiklik yapmadan Trainium’da çalıştırabiliyor. Ayrıca DTensor, FSDP2 gibi dağıtık primitifler ve tensor‑parallel (TP) desteği de yerleşik olarak sunuluyor.
Hugging Face kütüphaneleri bu yeni cihazı diğer hızlandırıcılar gibi kullanabiliyor. Transformers, Diffusers, Accelerate, PEFT ve TRL gibi paketlerde sadece `device_map=neuron` argümanını eklemek yeterli; model otomatik olarak Trainium cihazına taşınıyor. Özellikle metin üretiminde, TorchNeuron ile en çok kullanılan 100 model mimarisinin %89’u anında destekleniyor; bu oran Optimum‑Neuron v0.4.5’te %46’ya tekabül ediyordu.
Eğitim sürecinde de aynı rahatlık devam ediyor. TorchNeuron, TRL’in SFTTrainer’ı gibi standart eğitim betiklerini neredeyse hiç değişiklik yapmadan Trainium’da çalıştırmaya izin veriyor. Tensor‑parallel ve FSDP kombinasyonu sayesinde 8 Trainium2 çipi (32 NeuronCore) üzerinde 4×8 bir paralellik ızgarası kurularak büyük modellerin 2048 token’a kadar sabit şekillerle verimli bir şekilde eğitilmesi mümkün. Dinamik şekil derlemesi hâlâ desteklenmese de, torch.compile ile statik grafikler yeniden kullanılabiliyor ve asenkron ağırlık yükleme devre dışı bırakılıyor.
Diffusers kütüphanesindeki görüntü üretim pipeline’ları da TorchNeuron ile uyumlu. FLUX.1‑dev, FLUX.2, Qwen‑Image ve Qwen‑Image‑2.1 gibi modeller tensor‑parallel çalıştırılarak yüksek verim elde edilebiliyor. Ayrıca Neuron Kernel Interface (NKI) sayesinde geliştiriciler kendi özel kernel’lerini yazarak örneğin vision transformer’larda %2.4’e varan hız artışı sağlayabiliyor. TorchNeuron, 20 Ekim 2026’dan itibaren `pip install torch-neuronx` komutuyla erişilebilir olacak.
Yöney yorumu
TorchNeuron, Trainium üzerindeki geliştirme ve dağıtım süreçlerini standart PyTorch akışına entegre ederek hem maliyet hem de zaman açısından önemli tasarruflar sunuyor. Geniş model desteği ve yerel dağıtık API’ler, büyük ölçekli AI projelerinin bulut altyapısına geçişini hızlandıracak.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- TorchNeuronTop 100 text‑generation model support%89
Bu haber Hugging Face kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
