Nvidia, Açık Kaynak Nemotron 3.5 Transcribe Modelini Tanıttı: Transkripsiyon, Çeviri ve Konuşmacı Tanıma Bir Arada

Nvidia, yeni Nemotron 3.5 Transcribe modelini açık kaynak olarak yayınladı. Model 30 milyar parametreye sahip ancak işlem adımında yalnızca yaklaşık 4 milyar parametre aktif hâle getirildiği için tek bir Nvidia GPU’sunda (örneğin RTX PRO 6000 Blackwell Server Edition) çalışabiliyor ve bir saatlik kaydı üç dakikadan kısa sürede işleyebiliyor.

Model, 40 dili doğrudan transkribe edebiliyor, bu dillerin 31’ini İngilizce’ye ya da İngilizce’den çevirebiliyor ve 13 dilde konuşmacı tanıma (diarization) yapabiliyor. Kullanıcılar, basit metin komutlarıyla aynı ses kaydını farklı çıktılara dönüştürebiliyor: konuşmacı etiketli bir transkript, İngilizce çeviri ya da karar özetleri gibi. En fazla sekiz konuşmacıyı tanıyabilen sistem, bir saatlik kayıtları işleyebiliyor ve teknik terimler gibi özel kelimeler için ipuçları alabiliyor.

Performans açısından Nemotron 3.5 Transcribe, bir dizi bağımsız benchmarkta üst sıralarda yer alıyor. Hugging Face İngilizce Open ASR Leaderboard’da ortalama kelime hata oranı (WER) %5.33 ile açık‑ağırlıklı modeller arasında birinci konumda. Artificial Analysis karşılaştırmasında %2.81 WER elde ederken, daha büyük Voxtral Small modelinin %2.77 WER’ine çok yakın bir sonuç gösterdi. VoiceArena’nın konuşmacı tanıma testinde ise kesintili konuşmalarda %8.32 kelime kaçırma oranıyla medyan %31’in çok altında bir performans sergiledi.

Modelin yanında Nvidia, Granary v2 adlı 844 000 saatlik ses verisinden oluşan, 48 dili kapsayan büyük bir açık veri seti de yayınladı. Veri seti, farklı transkripsiyon stilleri (tam metin, doldurulmuş kelimeler, temizlenmiş) içeriyor ve geliştiricilerin kendi alanlarına göre ince ayar yapmalarına olanak tanıyor. Özellikle Hindistan’da doktor ve tıp öğrencileriyle yapılan ince ayar denemelerinde, genel hata oranı %30.8’den %23.8’e, ardından %11.8’e düşürülerek tıbbi alanda rekabetçi bir sonuç elde edildi. Görülmeyen konuşmacılar için hata oranı %22.44’ten %12.17’ye (%45.8 relatif iyileşme) geriledi. Bu ince ayar süreci tek bir Nvidia GB300 GPU’sunda yaklaşık 14 saatlik işlem süresi gerektirdi.

Nemotron 3.5 Transcribe hâlâ gerçek zamanlı işleme desteklemiyor ve bazı dillerde özellik farklılıkları mevcut. Ses sorularına yanıt verme yeteneği yalnızca İngilizce için eğitildi. Nvidia, modelin ve Granary v2 veri setinin Hugging Face üzerinde bulunabileceğini ve ince ayar için rehberler ile bir AI kodlama asistanı uzantısı sunduğunu belirtiyor.