Açık kaynak Cotypist/Granola hibrit: Gemma 4 E2B ile otomatik tamamlama (≈50 ms/öneri) ve toplantı notları bağlamı

Stevyhacker, yerel toplantı notlarını saklayan ve bu notları ekran okuması ya da önceki toplantı kayıtlarıyla birleştirerek yazım sırasında otomatik tamamlama ve ek bağlam sunan bir masaüstü uygulaması geliştirdi. İlk aşamalarda uygulamanın aşırı müdahaleci ve gecikmeli olması sorun yaratmış, ancak son günlerde kullanılabilir bir hâle getirildi.

Uygulamanın çekirdeğinde, Apple Intelligence ve llama.cpp aracılığıyla çalışan Gemma 4 E2B tabanlı bir model bulunuyor. Model, Q6_K (6‑bit) kuantizasyonu ile çalıştırıldığında, standart bir MacBook M4 Max üzerinde ortalama 50 ms’lik öneri süresi sağlıyor. Geliştirici, farklı model ve kuantizasyon kombinasyonlarını test ettikten sonra Gemma 4 E2B’nin bu konfigürasyonunun kalite ve gecikme dengesi açısından en iyisi olduğunu vurguluyor.

LokalBot, Cotabby gibi benzer araçlarla karşılaştırıldığında 782 kelime tahmin noktasında %32.7 doğruluk (256/782) elde ederken, Cotabby %30.7 (240/782) skorunu gösterdi; bu da %2 puanlık bir fark anlamına geliyor. Uygulama, toplantı notlarından iki faktöre kadar bağlam ekleme, OCR tabanlı pencere metni okuma, erişilebilirlik metni üzerinden otomatik tamamlama, emoji ve makro desteği gibi özellikler sunuyor. Lisanslama açısından, sınırlı ücretsiz kullanım (günde 100 kelime) ve sınırsız kullanım için ücretli seçeneklerin yanı sıra AGPL‑3.0 ve GPLv3 beta sürümleri de mevcut.

Projeye ait kodlar GitHub üzerinden erişilebilir ve geliştirici, farklı dillerdeki kullanıcı deneyimlerini ve önerileri toplamak istiyor. Ayrıca, 50 ms civarında yanıt süresiyle Gemma 4 E2B’yi geride bırakabilecek daha küçük bir temel model bulunması halinde yeni benchmarklar yapılması talep ediliyor.