Drama3 audio.cpp desteği: Tam hızda gerçek zamanın 5 katı, RTX 5090'da <8 GB VRAM ile gerçek zamanın 2 katı!
Drama3 modelinin audio.cpp entegrasyonu, CUDA, Vulkan ve Metal üzerinden yapılan optimizasyonlarla büyük bir performans sıçraması yakaladı. RTX 5090 üzerinde tam hızda gerçek zamanın beş katı, sınırlı VRAM koşulunda ise iki katı hız elde edildi.
Özetle
- 1
Drama3 audio.cpp desteği CUDA, Vulkan ve Metal üzerinde çalışıyor.
- 2
RTX 5090'da tam CUDA modunda 0.195 RTF (gerçek zamanın 5 katı) performans elde edildi.
- 3
CPU‑weight offload modunda VRAM tüketimi 8 GB altında kalarak 0.484‑0.635 RTF aralığı sağlandı.
- 4
Vulkan’da token limitine takılma ve çoklu konuşmacı sessizliği gibi sorunlar tespit edildi.
LocalLLaMA topluluğu, Drama3 modelinin audio.cpp dosyasına entegrasyonunu ve ardından gelen performans iyileştirmelerini duyurdu. Bu katkı, GitHub'da @JarodMica tarafından sağlandı ve öncelikli olarak CUDA tabanlı optimizasyonlara odaklandı; model aynı zamanda Vulkan ve Metal platformlarında da çalışabiliyor.
Toplanan benchmark verileri, farklı çalışma modları ve metin parça boyutları (chunk size) için VRAM tüketimi ve ortalama ısınma süresi (RTF) değerlerini gösteriyor. Tam CUDA modunda 512 tokenlik bir parça, 26,990 MiB VRAM kullanarak 0.195 RTF (gerçek zamanın 5 katı) sağlarken, aynı model CPU‑weight offload ile 512 tokenlik parçada sadece 9,680 MiB VRAM tüketip 0.484 RTF elde ediyor. Vulkan tabanlı çalışmada ise tam modda 27,234 MiB VRAM ile 0.247 RTF, offload modunda ise 12,470 MiB VRAM ve 0.601 RTF kaydedildi.
Bu sonuçlar, özellikle sınırlı VRAM (8 GB altında) koşullarında bile modelin gerçek zamanlı ses üretiminde kullanılabilirliğini gösteriyor. Ancak topluluk, performans ve VRAM verimliliği konusunda hâlâ iyileştirme alanı olduğunu belirtiyor; Vulkan’da bir istek token limitine takıldı ve çoklu konuşmacı üretiminde beklenmedik sessizlikler tespit edildi.
Geliştiriciler, paylaşılan çerçeve kodunda yapılan değişikliklerin eklenebilir ve isteğe bağlı olmasını vurgulayarak, diğer 100'den fazla modelin regresyon testlerini zorlaştırmamak istediklerini belirtiyor. Katkı sağlamak isteyenler, topluluk içinde iş birliği yaparak modelin bir sonraki küçük sürümüne dahil edilmesini hedefleyebilir.
Yöney yorumu
Bu iyileştirmeler, gerçek zamanlı ses üretimi gerektiren uygulamalarda Drama3'ün kullanılabilirliğini artırıyor ve topluluk katkısının model performansını hızla yükseltebileceğini gösteriyor.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Drama3RTF (full CUDA, chunk size 512) · full CUDA, 512 token0.195 RTF
- Drama3RTF (CPU-weight offload, chunk size 512) · CPU-weight offload with staged release, 512 token0.484 RTF
- Drama3RTF (CPU-weight offload, chunk size 256) · CPU-weight offload with staged release, 256 token0.521 RTF
- Drama3RTF (full Vulkan, chunk size 512) · full Vulkan, 512 token0.247 RTF
- Drama3RTF (CPU-weight offload, Vulkan, chunk size 512) · CPU-weight offload with staged release, Vulkan, 512 token0.601 RTF
- Drama3RTF (CPU-weight offload, Vulkan, chunk size 256) · CPU-weight offload with staged release, Vulkan, 256 token0.635 RTF
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
