inclusionAI, Ming-3.0-audio-flash modelini duyurdu: 126B MoE / 6.5B aktif, ses anlama ve konuşma çıktısı, MIT lisansı

inclusionAI, yeni Ming-3.0-audio-flash modelini Hugging Face platformunda erişime açtı. Model, ses ve metin girdilerini aynı anda işleyerek transkripsiyon, sesli Soru‑Cevap, uzun kayıtların anlaşılması ve konuşma, çevresel sesler ile müzik hakkında akıl yürütme gibi yetenekler sunuyor. Toplam 126 milyar parametreye sahip MoE (Mixture of Experts) mimarisi, sadece 6,5 milyar aktif parametreyle çalışıyor, bu da yüksek performans ve daha düşük donanım gereksinimi sağlıyor.

Çince ve İngilizce modelin ana dilleri olarak belirlenmiş olsa da, aksanlar, lehçeler ve gürültülü ortamlar için destek vaat ediliyor. Kullanıcılar, yerleşik seslendirme motoru Talker aracılığıyla metin yanıtlarını sesli olarak da alabiliyor; bu motor, önceden tanımlı sesleri ya da referans ses dosyalarını kullanabiliyor. Model MIT lisansı altında dağıtıldığı için geliştiriciler ve araştırmacılar, kodu ve ağırlıkları serbestçe değiştirebilir ve kendi uygulamalarına entegre edebilir.

Yerel dağıtım için model kartı, üç farklı entegrasyon yolunu belgeledi: Transformers, SGLang ve vLLM‑Omni. SGLang yapılandırması, metin çıktısı üretmek için dört GPU önerirken, vLLM‑Omni 128K referans profili sekiz adet 80 GB H800 GPU'yu öneriyor. Bu gereksinimler referans konfigürasyonlar olup, minimum sistem gereksinimlerini temsil etmiyor; daha düşük donanımlı ortamlarda da çalıştırılabilir.

Modelin potansiyel kullanım senaryoları arasında çoklu konuşmacıların bulunduğu karmaşık ses kayıtlarını analiz etmek ve bu kayıtlar üzerinden sorulara yanıt vermek yer alıyor. Bu, özellikle sesli asistanlar ve ses tabanlı bilgi çıkarımı uygulamaları için değerli bir test alanı sunuyor.