Alkove: 5 küçük on-device ses modeliyle yerel asistanlar için ses ön işleme katmanı
Alkove, beş hafif model ve Rust tabanlı bir inference motoru ile cihaz içinde çalışan bir ses ön işleme katmanı sunuyor. Kullanıcıların sesini izole ederek yanlış tetiklemeleri azaltıyor ve sadece metin tabanlı bir uyanma kelimesiyle çalışabiliyor.
Özetle
- 1
Alkove, beş hafif model ve Rust tabanlı bir inference motoru ile cihaz içinde gerçek zamanlı ses izole etme ve uyanma kelimesi tanıma sağlıyor.
- 2
Focus modeli, ses izini (voiceprint) kullanarak diğer katılımcıların kelimelerini dakikada 17'den 0.5'e düşürüyor.
- 3
Spot modeli tek kelime tanıma testinde İngilizce %67, Fransızca %90 ve Portekizce %85 hatırlama oranı elde ediyor.
Alkove, yerel sesli asistanların ön işlem aşamasını iyileştirmek amacıyla geliştirilen beş küçük modelden oluşuyor: Lex (1.8 MB) metin tabanlı uyanma kelimelerinin telaffuzlarını üretirken, Spot (2.8 MB) bu telaffuzları yedi dilde dinliyor. Timbre (0.74 MB) ses izleri oluşturuyor; üç kez uyanma kelimesi söylendiğinde bir ses profili oluşturulup konuşma sırasında sürekli güncelleniyor. Focus (1.1 MB) sesinizi izole edip gürültü, müzik ve diğer konuşmacıların seslerini temizleyerek STT öncesi sadece sizin sesinizi bırakıyor. Cue (1.1 MB) ise her 30 ms'de konuşmayı algılayarak kişisel bir VAD (ses aktivasyonu algılayıcı) görevi görüyor.
Alkove'un altyapısı, Rust ile yazılmış kendi küçük inference motoru sayesinde hem WebAssembly (tarayıcı) hem de yerel Python ve Android ortamlarında aynı çıktıyı veriyor. Motorun kendisi sadece 134 KB (brotli sıkıştırmalı) boyutunda ve tarayıcıda AudioWorklet üzerinden çalışan worker'lar aracılığıyla çalışıyor; ek COOP/COEP başlıkları gerektirmiyor. Paketleme açısından npm, pip, Kotlin ve LiveKit Agents ile Pipecat eklentileri sunuluyor, tek bağımlılık olarak sadece numpy bulunuyor.
Performans ölçümlerine göre Alkove, tek bir telefon çekirdeğinde gerçek zamanlı olarak çalışabiliyor: Focus modeli bir saniye ses için 38.6 ms, Spot 7.5 ms ve Cue 1.7 ms işlem süresi harcıyor. AMI toplantı kayıtlarında, Focus ve ses izini (voiceprint) kullanarak diğer katılımcıların kelimeleri dakikada 17'den 0.5'e düşürüldü. Spot modeli tek kelime tanıma testinde İngilizce %67 hatırlama oranı (saatte bir yanlış alarm) ve Fransızca %90, Portekizce %85 başarı sağladı. Ancak sistem hâlâ tek mikrofon ve tek kişi senaryoları için optimize edilmiş; aynı anda iki kişinin konuştuğu durumlarda ses ayrımı sınırlı ve 16 kHz işleme hızı 8 kHz'e kadar ses frekansını kapsıyor.
Alkove, açık kaynak Apache‑2.0 lisansı altında GitHub'da (alkove-ai/alkove) kod ve ağırlıklarla sunuluyor. Geliştiriciler, sesli asistanlarını bu katmanla güçlendirerek yanlış tetiklemeleri azaltabilir, kişisel VAD ve ses izleme özelliklerini entegre edebilir ve yerel cihazda tam kontrol sağlayabilir. Proje hâlâ erken ön izleme aşamasında ve API değişiklikleri bekleniyor; topluluktan geri bildirim ve entegrasyon talepleri aktif olarak isteniyor.
Yöney yorumu
Alkove, yerel asistanların ses ön işleme aşamasında gizlilik ve gecikme sorunlarını azaltarak geliştiricilere daha güvenli ve hızlı bir entegrasyon imkanı sunuyor. Ancak çoklu konuşmacı senaryolarındaki sınırlamaları, ilerleyen sürümlerde ele alınması gereken bir zayıflık olarak kalıyor.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- FocusAMI toplantı kayıtlarında diğer katılımcı kelimeleri0.5 words/min
- SpotEnglish single-word recall · one false alarm per hour%67
- FocusNative processing latency38.6 ms/s
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
