NVIDIA Nemotron ile Halloween’da Konuşan Garaj Kapısı: MonsterHouse Projesi
NVIDIA Nemotron Voice Agent ve ilgili açık kaynak modeller kullanılarak tek bir iş istasyonunda çalışan bir interaktif "MonsterHouse" oluşturuldu. Model zinciri Nemotron Speech ASR, Bolt E4B 4GB, Magpie TTS Zeroshot ve Audio2Face‑3D gibi bileşenleri birleştirerek ziyaretçilerin sesli komutlarını algılıyor, karakterin huysuz bir korsan sesinde yanıt veriyor ve Unreal Engine 5 içinde animasyonlu bir ağız hareketi sağlıyor.
Özetle
- 1
MonsterHouse, NVIDIA Nemotron Voice Agent, Bolt E4B, Magpie TTS ve Audio2Face‑3D gibi açık kaynak modelleri tek bir iş istasyonunda birleştiriyor.
- 2
Bolt E4B 4GB, düşük bellek ayak izi ve yeterli yanıt kalitesi sayesinde tercih edilen küçük LLM olarak öne çıkıyor.
- 3
Gerçek zamanlı yanıt gecikmesi: dinamik yanıtlar için ortalama 1.70 s, önbellekli yanıtlar için 0.72 s.
- 4
Unreal Engine 5 içinde Audio2Face‑3D ile senkronize 3D ağız animasyonu sağlanıyor.
- 5
YOLO ve ByteTrack ile ziyaretçi takibi, Nemotron 3 Nano Omni ile kostüm tanıma entegrasyonu.
Hikayenin temelini NVIDIA Nemotron Voice Agent oluşturuyor; bu altyapı, ses tanıma (Nemotron Speech ASR), metin üretimi (Bolt E4B 4GB) ve metinden sese (Magpie TTS Zeroshot) adımlarını tek bir akışta birleştiriyor. Kullanıcıların konuşması önce ASR ile metne dönüştürülüyor, ardından LoRA adaptörüyle kişilik kazandırılmış Bolt E4B modeli yanıtı üretiyor ve bu metin Magpie TTS tarafından kısa bir referans örnekten türetilen grumpy korsan sesine dönüştürülüyor. Son adımda NVIDIA Audio2Face‑3D, temiz ses sinyalini Unreal Engine 5 içinde oluşturulan 3D karakterin ağzına senkronize ediyor.
Projenin teknik çekirdeği, tek bir RTX PRO 6000 Blackwell Max‑Q ve bir RTX PRO 4000 Blackwell GPU’dan oluşan iş istasyonu. Dil ve ses modelleri RTX 6000’da çalışırken, görselleştirme ve animasyon RTX 4000 üzerinde yürütülüyor; bu sayede bellek sınırlamaları değil, işlem gücü yönetimi ön planda tutuluyor. Model seçimi açısından, Bolt E4B 4GB'in 4‑bit kuantize sürümü tercih edildi; aynı zamanda BF16 checkpoint'i de karşılaştırma amaçlı kullanılabiliyor. Yazar, Qwen‑3 serisi gibi daha büyük modellerle denemeler yapmış ancak daha düşük ayak izi ve yeterli yanıt kalitesi nedeniyle Bolt E4B'yi seçmiş.
Sistemin performans ölçümleri, gerçek zamanlı etkileşimin kritik olduğu bir senaryoda iki farklı ölçüt sunuyor. Bolt E4B ve Magpie TTS kombinasyonu ile üretilen yanıtların "ses‑son‑audio" gecikmesi ortalama 1.70 s iken, önceden hazırlanmış ve önbelleğe alınmış yanıtlar için bu süre 0.72 s’ye düşüyor. Bu fark, özellikle uzun yanıtların ortasında bile konuşmaya başlanabilmesi sayesinde karakterin daha akıcı ve doğal algılanmasını sağlıyor. Ayrıca, sistem YOLO ve ByteTrack tabanlı bir nesne algılayıcıyla ziyaretçileri sayıp izleyerek Nemotron 3 Nano Omni VLM aracılığıyla kostüm tanıma yeteneği ekliyor.
Yazının sonunda geliştiriciye yönelik bir rehber sunuluyor: Nemotron Voice Agent'ı klonlayıp Generic Assistant örneğini çalıştırmak, Bolt E4B'yi beyin modeli olarak eklemek, LoRA adaptörleriyle kişilik eğitmek ve Magpie TTS Zeroshot ile ses oluşturmak. Tüm bu bileşenler Hugging Face ve NVIDIA’nın resmi GitHub sayfalarında erişilebilir durumda, bu da benzer karakter tabanlı projelerin hızlı prototipleme sürecine büyük bir ivme kazandırıyor.
Yöney yorumu
Bu proje, açık kaynak Nemotron bileşenlerinin tek bir cihazda bütünleşik bir karakter deneyimi sunabileceğini göstererek, düşük maliyetli ve offline AI etkileşim çözümlerine ilham veriyor. Geliştiriciler benzer pipeline'ları kendi senaryolarına uyarlayarak yaratıcı uygulamalar geliştirebilir.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Bolt E4B + Magpie TTSend-of-speech-to-audio latency (dynamic response)1.7 s
- Bolt E4B + Magpie TTS (cached)end-of-speech-to-audio latency (cached response)0.72 s
Bu haber Hugging Face kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
