Embedding Gemma 2 ile Görsellerde Metin Arama: Cosine Similarity Testleri

Reddit topluluğu üyesi jupiterbjy, Embedding Gemma 2 modelini Llama CPP üzerinden çalıştırarak 3003 görselden oluşan iki farklı görsel roman veri setinde (Hanasaki Workspring ve Irotoridori no Hikari) metin‑görsel sorgu testleri gerçekleştirdi. Model, Q8_0 kuantizasyonu ile 330 MB boyutunda olup 4096 token bağlam uzunluğuna sahip bir embedding sınırlaması taşıyor; tüm görüntüler aynı boyutta işlenerek bir vektör veri tabanına (VectorDB) kaydedildi.

Testlerde, "image with sentence 삼각건이 머리에 얹어졌다" gibi tam cümle sorguları ile görüntüler arasındaki kosinüs benzerliği ölçüldü. En yüksek benzerlik 0.76813, en düşük ise 0.62414 gibi değerler elde edildi. Sonuçlar, metin öğelerinin (kelime varlığı) görsel özelliklerden daha baskın bir etki yarattığını, özellikle tek kelime varlığının (ör. "삼각건") benzerlik farkını artırdığını gösterdi. Modelin çok dillilik desteği sınırlı; Korece ve İngilizce kelimeler arasında tutarlı benzerlik sağlarken, Japonca gibi dillerde düşük skorlar gözlendi.

Görsel özelliklerin (ör. saç rengi, yüz ifadesi) benzerlik skorlarına etkisi ise düşük bulundu; veri setindeki %90'lık bir oranla aynı kızın farklı pozları benzer skorlar üretti. Kullanıcı, sorgu ifadesinin dikkatli seçilmesi gerektiğini, örneğin "blond" ve "blonde" gibi ince farkların sonuçları değiştirebileceğini belirtti. İşlem süresi ise 3003 görüntünün indekslenmesi için 510.10 saniye (≈5.9 görüntü/saniye) ve sorgu süresi ise anlık olarak gerçekleşti.

Bu deney, Embedding Gemma 2'nin düşük boyutlu bir embedding modeli olarak metin‑görsel aramalarda kullanılabilir olduğunu, ancak görsel içeriklerin ayırt edilebilmesi için daha yüksek boyutlu veya multimodal modellerin tercih edilmesi gerektiğini ortaya koydu. Kullanıcı, daha fazla test ve örnek sorgu görselleri paylaşma sözü vererek topluluğun geri bildirimine açık olduğunu vurguladı.