Tarayıcıda Çalışan 4 Küçük Sinir Ağıyla Ritm Oyunu: Struna
Yerel olarak çalışan dört küçük sinir ağı, bir şarkıyı tarayıcı sekmesinde analiz ederek tamamen offline bir ritim oyunu oluşturuyor. BeatNet, Basic Pitch, Spleeter ve SwiftF0 modelleri, şarkının ritmi, notaları, vokal ayrımı ve ses perdesini gerçek zamanlı olarak işliyor ve oyun dünyasını şekillendiriyor.
Özetle
- 1
BeatNet, Basic Pitch, Spleeter ve SwiftF0 modelleri tarayıcı içinde ONNX Runtime Web ile çalıştırılıyor.
- 2
Tüm ses işleme tamamen yerel; hiçbir veri sunucuya gönderilmiyor.
- 3
Modeller toplamda ~22 MB ve bir kez yüklendikten sonra önbelleğe alınıyor, düşük performanslı cihazlar için DSP yedekleme mevcut.
- 4
Kod açık kaynak ve MIT lisansı altında; oyun mobil tarayıcılarda da çalışıyor.
Yerel LLM topluluğu Reddit'te paylaşılan bir proje, kullanıcıların kendi MP3 dosyalarını yükleyebildiği ve tüm ses işleme işlemlerinin tarayıcı içinde gerçekleştiği bir ritim koşucu oyunu sunuyor. Oyun, ONNX Runtime Web (WebAssembly) tabanlı dört ayrı modelin her birini kendi web worker'ında çalıştırarak şarkıyı analiz ediyor ve sonuçları oyun seviyesine dönüştürüyor.
İlk model BeatNet, yaklaşık 1.6 MB boyutunda olup beat ve downbeat takibi yapıyor; bu bilgiler, oyunun ızgarasını ve engellerin konumlarını belirliyor. İkinci model Spotify tarafından geliştirilen Basic Pitch (0.2 MB) notaları transkribe ediyor; uzun notalar bir bar ya da sallanacak bir hat, solo bölümler ise oyuncunun uçacağı halka dizileri olarak kullanılıyor.
Üçüncü model Spleeter (≈20 MB) vokalleri müzikten ayırarak geri kalan enstrümantal kısmın diğer modelleri yanıltmasını önlüyor. Dördüncü model SwiftF0 (≈0.1 MB) ise vokal perdesini ve hece başlangıçlarını 16 ms aralıklarla izliyor; bu sayede şarkının vokal kısmında oyuncu, sesin melodi çizgisine göre yükselip alçalabiliyor.
Toplamda yaklaşık 22 MB veri kullanan bu modeller, ilk yüklemeden sonra tarayıcıda önbelleğe alınıyor. Cihaz yeterli performansı sağlayamazsa oyun, klasik DSP (onset, ses şiddeti vb.) yöntemlerine geri dönerek hâlâ oynanabilir durumda kalıyor. Aynı şarkı her seferinde aynı oyun dünyasını ve hava durumunu üretiyor, bu da oyuncuların seviyeyi öğrenmesini mümkün kılıyor. Projenin kodları MIT lisansı altında GitHub'da açık kaynak olarak sunulmuş ve mobil cihazlarda da çalışabiliyor.
Yöney yorumu
Bu tür yerel AI entegrasyonları, veri gizliliği ve düşük gecikme gerektiren interaktif uygulamalar için önemli bir yol haritası sunuyor; geliştiriciler benzer yaklaşımları oyun ve müzik analizinde daha geniş ölçekte benimseyebilir.
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
