PyTorch 2.15 MPS Güncellemesi: FP8 Desteği, Hızlandırılmış LLM Çözümleme ve Video Bellek Tasarrufu
Hugging Face ekibi, PyTorch 2.15 sürümünde Apple Silicon MPS arka ucuna FP8 tensörleri, çok daha hızlı MoE ve dense LLM çözümleme yolları ve video VAE kodlamasında dramatik bellek düşüşü getirdi. Yeni Metal çekirdekleri sayesinde lineer katmanlar, softmax ve karmaşık lineer cebir işlemleri GPU’da doğrudan çalışıyor.
Özetle
- 1
FP8 tensörleri MPS üzerinde tanıtıldı; bellek tüketimi %50 azaldı ve F.scaled_mm ile doğrudan GPU çarpımı mümkün.
- 2
MoE ve dense LLM modelleri M3 Ultra’da 5‑6.5 kat daha hızlı token üretimi sağlıyor (Qwen3.6‑35B‑A3B 61.3 tokens/s).
- 3
Video VAE kodlamasında sürücü bellek ihtiyacı 270 GiB'den 8 GiB'ye düştü, büyük ölçekli video üretimi artık Mac’lerde mümkün.
- 4
Complex64 LU, QR ve üçgensel çözümler MPS’e taşındı; küçük‑matris işlemlerinde %10‑12 hız artışı.
- 5
Python API üzerinden MPS akış kontrolü ve yeni Metal çekirdekleri sayesinde daha tutarlı zamanlama ve düşük gecikme.
PyTorch 2.15, macOS 15 ve Python 3.11+ gereksinimleriyle Apple Silicon cihazlarda MPS (Metal Performance Shaders) desteğini büyük ölçüde genişletiyor. En dikkat çekici yenilik FP8 (float8_e4m3fn) tensörlerinin tanıtılması; bu tensörler bir baytlık depolama alanı kullanarak BF16 ve FP16’nın yarısı kadar bellek tüketiyor ve F.scaled_mm aracılığıyla doğrudan GPU’da çarpılıyor.
LLM (büyük dil modelleri) çözümleme sürecinde hem dense hem de mixture‑of‑experts (MoE) katmanları için özel Metal çekirdekleri eklenmiş. M3 Ultra üzerinde torch.compile ile Qwen3.6‑35B‑A3B modeli 9.4 token/s'den 61.3 token/s'ye, LFM2.5‑8B‑A1B ise 23.6 token/s'den 123.6 token/s'ye yükseliyor. Tek satır lineer katmanlar ve vocab üzerindeki softmax işlemi de sırasıyla %23 ve %8 hız artışı sağlıyor.
Kompleks sayılar, LU, QR ve üçgensel çözümler gibi lineer cebir rutinleri artık MPS üzerinde çalışıyor; bu da kamera geometri ve görüntü dönüşümleri gibi küçük‑matris işlemlerinde belirgin performans kazancı getiriyor. Ayrıca conv1d, padding, dropout ve upsampling gibi ses‑video iş akışları için yeni Metal yolları tanıtıldı; özellikle Wan2.2 video VAE kodlamasında sürücü bellek ihtiyacı 270 GiB'den 8 GiB'ye düştü.
Python seviyesinde kontrol de artıyor: torch.mps.Stream ve torch.mps.stream bağlam yöneticisi sayesinde geliştiriciler MPS akışlarını doğrudan seçebiliyor ve Tensor.record_stream ile bellek tahsiscisi akış takibini yapabiliyor. Bir dizi ek operasyon (torch.frexp, torch.logspace, torch.take vb.) da MPS üzerinde çalışır hâle getirildi. Gelecek sürüm 2.16’da dikkat (attention) tamamen Metal üzerine taşınacak ve daha fazla MPSGraph‑Metal geçişi planlanıyor.
Yöney yorumu
Bu güncellemeler, Mac üzerinde AI geliştirmeyi ciddi bir üretkenlik platformuna dönüştürüyor; geliştiriciler daha düşük bellek maliyetiyle büyük modelleri çalıştırabilirken, kullanıcılar da daha hızlı yanıt süreleri ve daha akıcı multimodal deneyimler elde edecek.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Qwen3.6-35B-A3Btoken throughput · M3 Ultra, torch.compile, 2.1561.3 tokens/s
- LFM2.5-8B-A1Btoken throughput · M3 Ultra, torch.compile, 2.15123.6 tokens/s
- Softmax (vocab size 128256)softmax latency · FP32 softmax over [1, 128256] logits, 2.157 µs
- Wan2.2 video VAE decodedriver memory peak · constant padding on Metal, 2.158 GiB
Bu haber Hugging Face kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
