Tencent Hy-SimulMT-30B-A3B: Gerçek Zamanlı Çift Yönlü Konuşma‑Konuşma Çeviri Modeli Hugging Face’te

Tencent Hunyuan ekibi, Hy‑SimulMT‑30B‑A3B modelini, toplantılar, konuşmalar ve röportajlar gibi canlı iletişim senaryoları için tasarladı. Model, gelen ses akışını anlık olarak işleyerek hem çevirilen metni hem de sesli çıktıyı üretir; aynı zamanda konuşmacının ses tonunu ve karakteristik özelliklerini koruyan gerçek zamanlı ses klonlaması özelliği bulunur. Bu sayede çeviri sürecinde bekleme süresi minimuma indirilir ve iletişim akıcılığı artırılır.

Modelin performansı, kamuya açık benchmark'lar, gerçek dünya ses kayıtları ve profesyonel simultane tercümanlarla yapılan karşılaştırmalarla ölçülmüştür. RealSI uzun biçimli ses değerlendirmesinde Hy‑SimulMT, yaklaşık 3 saniyelik StreamLAAL (Ses Gecikmesi) değeriyle karşılaştırılan sistemler arasında en düşük gecikmeye ulaşmıştır. Ayrıca GEMBA skorunda, açık kaynak alternatiflerin ve beş ticari API'nin dört tanısının üzerindedir.

Hy‑SimulMT, GitHub üzerindeki SimulInfer çıkarım servisi ve SimulTrain eğitim araçlarıyla birlikte sunulmaktadır. Ses çıktısı ve ses klonlaması için ayrı bir TTS hizmeti yapılandırılması gerekir. Kullanıcılar, modelin yeteneklerini Hy Translate uygulaması üzerinden de deneyimleyebilirler. Modelin GGUF formatındaki iki versiyonu (standart ve Interleave) Hugging Face'te yayınlanmıştır.

Bu model, açık kaynak topluluğu ve geliştiriciler için gerçek zamanlı konuşma‑konuşma çevirisi alanında yeni bir referans noktası oluşturuyor. Hem akademik araştırmalarda hem de ticari ürünlerde entegrasyon kolaylığı, düşük gecikme süresi ve ses klonlaması gibi özellikleri, çok dilli iletişim çözümlerinin geliştirilmesinde önemli bir adım olarak görülüyor.