EmbeddingGemma-2, 2.4 MB PCA başlığıyla MAEB sıralamasını 26’dan 1’e taşıdı

Reddit topluluğu LocalLLaMA'da paylaşılan bir deneyde, kullanıcı JeanMichelRanu, Google'ın edge‑friendly embeddinggemma-2 modeline (577 M parametre, 768‑dimensional vektör) 2,37 MB büyüklüğünde bir safetensors dosyasıyla dondurulmuş PCA matrisleri ekledi. Bu ek, modelin MAEB skorunu %49,3'ten %54,4'e çıkararak sıralamada 26. sıradan birinciye taşıdı ve aynı zamanda tam MAEB (audio‑only ve text‑audio) sıralamasında da birinci konuma yükseltti.

Modelin temel avantajı, 9 B parametreli Omni gibi büyük multimodal modellerle kıyaslandığında çok daha düşük kaynak tüketimi. 577 M parametre ve 768‑dimensional vektörleri sayesinde dizüstü bilgisayar ya da kenar cihazlarda rahatça çalışabiliyor. Geleneksel metin‑odaklı ses modelleri, söylenen kelimeleri yakalamada başarılı olsa da sesin ton, duygu ve konuşmacı özelliklerini kaybediyor. EmbeddingGemma-2'nin erken katmanları (Layer 2 ve Layer 6) bu akustik bilgileri hâlâ taşıyor.

Araştırmacılar, erken katmanların konuşmacı, perde ve duygu gibi özellikleri sakladığını gösteren çalışmalara (Pasad et al.; Bouziane, Mdhaffar & Estève) atıfta bulunarak, bu katmanların çıktısını 256 boyuta düşüren bir PCA uyguladı. PCA, 1.400 dış ses klibi üzerinde eğitildi ve elde edilen temsiller, modelin 768‑dimensional vektöründeki 256 boş (null space) yönde dolduruldu. Bu sayede ses‑ses görevlerinde büyük bir performans artışı sağlandı.

Sonuçlar çarpıcı: ses‑ses sesli kimlik/ cinsiyet kümeleme %0,05'ten %63,1'e, sanatçı/şarkı arama %55,2'den %93,8'e ve vokal duygu sınıflandırması %19,7'den %40,2'ye yükseldi. Ancak, bazı sadece konuşma‑niyetli görevlerde (ör. MInDS14) performans %97,6'dan %88,3'e geriledi. Bu durum, eklenen akustik özelliklerin ağırlıksız bir şekilde bütün vektöre eklenmesinin bazı görevlerde yan etkisi olabileceğini gösteriyor. Tam detay ve kullanım talimatları Hugging Face model kartında bulunabilir.