Mistral, Voxtral 3'ü Sesli Asistan SDK'sı ve Çok Dilli STT/TTS Modelleriyle Tanıttı

Mistral, Voxtral 3 serisini hem konuşmadan metne (STT) hem de metinden konuşmaya (TTS) yönelik modellerle birlikte bir sesli ajan SDK'sı olarak piyasaya sürdü. Voxtral Small Transcribe 3, 50'yi aşkın dili destekleyerek diyafoni, bağlam önyargısı ve konuşma sonu algılama özellikleri sunuyor; FLEURS testinde %4.1 zorunlu ve %4.0 tahmini hata oranlarıyla Microsoft AI Transcribe 2'ye eşdeğer performans gösterdi.

Voxtral Mini Transcribe 3, 4 milyar parametreli bir model olarak toplu kullanımda dakikada 0,0035 $, gerçek zamanlı kullanımda ise dakikada 0,008 $ maliyetle, 500 ms altı gecikme sağlıyor. Model, teknik terimler için anahtar kelime ve serbest bağlam girişi kabul ederek ince ayar gerektirmeden hatırlama oranını artırıyor. TTS tarafında ise Voxtral Mini TTS 3.0, 35'ten fazla dil ve 50'den fazla lehçede ses üretimi yapıyor; karakter başına 13 $ maliyetle duygu, tempo ve vurgu kontrolü, bağlamsal talimatlar ve 30 dakikalık ses örnekleriyle ses klonlama imkanı tanıyor.

Yeni LiveKit tabanlı SDK, transkripsiyon, akıl yürütme, araç çağrısı ve ses üretimini aynı anda yürütüyor. Genel bir model (ör. Mistral Small) akıl yürütme ve araç çağrısı yaparken, ses modelleri konuşmayı işliyor; bu sayede bir tur süresi bir saniyenin altında kalıyor ve arayan kesildiğinde ajan anında durabiliyor. SDK, SIP ve WebRTC üzerinden kimlik doğrulama, fatura kontrolü, randevu oluşturma, web araması ve özel sistemlerden veri çekme gibi görevleri yerine getirebiliyor.

Müşteriler, kendi altyapılarına özel bulut ya da on‑premise kurulumlarıyla ses verilerini tamamen kontrol edebiliyor; barındırılan hizmet kullananlar ise Mistral'ın küresel API uç noktaları üzerinden erişim sağlıyor. Studio Playground ise API öncesi sesli ajan, transkripsiyon, konuşma sentezi ve ses klonlamasını test etmeye olanak tanıyor.