En Küçük LLM Hangi Boyutta Anlamlı İngilizce Üretebilir?

Reddit'in LocalLLaMA topluluğunda bir kullanıcı, "normal" İngilizce üretme yeteneğine sahip en küçük dil modelini bulma çabasıyla dikkat çekti. Modelin, dilbilgisi açısından doğru ve bağlam içinde mantıklı cümleler üretmesi hedeflenirken, aynı zamanda CPU üzerinde çalışabilecek kadar hafif olması isteniyor. Bu doğrultuda, 10 milyon parametreden daha az bir model arayışı içinde, Supra‑Mini‑v6‑1M gibi 1 milyon parametreli bir mikro‑LLM denendi.

Deneme sonucunda elde edilen örnek çıktı, "Once upon a time" gibi klasik bir başlangıç promptuna verilen yanıtın, kelime seçimlerinde tutarsızlıklar, anlamsız ifadeler ve hatta bazı bölümlerde tamamen rastgele karakter dizileri içerdiğini gösterdi. Kullanıcı, çıktının hem dilbilgisel hatalarla dolu olduğunu hem de bağlamdan kopuk, neredeyse şablon tabanlı bir metin gibi göründüğünü belirtti.

Bu deney, mikro‑LLM'lerin hâlâ dil üretiminde kalite açısından büyük zorluklar yaşadığını ortaya koyuyor. Özellikle düşük parametre sayısına sahip modeller, dilin ince nüanslarını yakalamakta ve tutarlı bir anlatı oluşturmakta yetersiz kalıyor. Topluluk üyeleri, daha büyük parametreli ama hâlâ hafif modeller (örneğin 20‑30M parametreli LLaMA‑mini türevleri) veya quantization teknikleriyle performans artırma yollarını öneriyor.

Kullanıcı, "minimum parametre sayısı nedir?" sorusunu sorarak, topluluktan daha iyi sonuçlar alabilecek alternatif mikro‑LLM önerileri talep ediyor. Bu tür bir talep, düşük kaynaklı cihazlarda (örneğin eski dizüstü bilgisayarlar, Raspberry Pi) yerel LLM çalıştırmak isteyen geliştiriciler ve araştırmacılar için önemli bir referans noktası oluşturabilir.