AWS Trainium’da Çalışan Modelleri Hızlıca Öğrenin: TorchNeuronx Model Desteği

Geçtiğimiz günlerde duyurulan TorchNeuronx, PyTorch tabanlı bir arka uç olarak AWS Trainium donanımını yerel olarak destekliyor ve Transformers kütüphanesindeki modellerin değişiklik yapmadan çalıştırılmasını sağlıyor. Hugging Face, bu entegrasyonu bir Space içinde sunarak, Hub üzerindeki en çok indirilen ve trend olan modellerin Trainium uyumluluğunu test ediyor ve sonuçları görsel bir tablo halinde sergiliyor. Her satırda modelin çalışıp çalışmadığı (PASS/FAIL), kullanılan Trainium çekirdek sayısı, derleme dahil toplam wall‑time ve en yüksek cihaz belleği gibi bilgiler yer alıyor.

Kullanıcılar, "Selected", "Trending" ya da "Downloads" görünümlerine geçerek ilgilendikleri modeli arayabilir ve modelin çalıştırma komutlarını, kullanılan Neuron derleyici (neuronx-cc) ve Transformers sürümünü doğrudan görebilir. Space ayrıca, modelin nasıl çalıştırılacağına dair bir run.py betiği sunuyor; bu betik, modeli from_pretrained ile yüklüyor, gerektiğinde tensor‑parallel ya da expert‑parallel yöntemleriyle parçalayarak torch.compile(backend="neuron") ile derliyor. İlk çalıştırmada modelin grafikleri derleniyor; derleme süresini atlamak isteyenler, test sırasında oluşturulan NEFF önbellek dosyalarını public bir S3 bucket'ından senkronize edebiliyor.

Test prosedürü, modeli bir trn2 örneğinde en az ağırlıkları tutabilecek çekirdek sayısına (genellikle 4 cihaz, yani 16 çekirdek) bölerek 32 token üretimini içeriyor. Tek çekirdekli çalıştırmalarda CPU çıktısıyla karşılaştırma yapılırken, çok çekirdekli paralel çalışmalarda ise kısa bir yargı modeliyle metnin akıcılığı kontrol ediliyor. Şu an sadece metin‑üretim ve görüntü‑metin‑metin modelleri test ediliyor; gelecekte diffusers, sentence‑transformers ve diğer Transformer görevlerine genişleme planlanıyor.