Ben bir Kralım, ama yerel 😂

Reddit'in LocalLLaMA topluluğunda paylaşılan bir gönderide, kullanıcı /u/perelmanych, iki Strata motorunu aynı anda çalıştırarak günde toplam 12 milyon token tükettiğini ve bu motorların her birinin 70 token/saniye (tps) hızında çalıştığını belirtti. Bu iddia, yerel büyük dil modellerinin (LLM) yüksek işlem hacmiyle ne kadar yoğun kullanılabildiğine dair bir örnek sunuyor.

Gönderide ayrıca, "Poteto" adlı bir Twitter kullanıcısının dakikada 34 milyon token harcadığına dair bir gönderiye rastlandığı ve bu rakamın topluluğun dikkatini çektiği vurgulandı. Poteto'nun kim olduğu ve bu kadar yüksek token tüketimini nasıl sağladığı merak konusu oldu.

Poteto'nun kim olduğuna dair ek bilgiler de paylaşıldı: Poteto, daha önce Cursor şirketinde çalışmış ve XAI tarafından satın alındıktan sonra Cursor ve GrokBot projelerine ayda ortalama 2.500 pull request (PR) gönderiyor. Bu yüksek PR sayısı, geliştiricinin kod tabanına yaptığı katkıların yoğunluğunu ve muhtemelen büyük ölçekli veri işleme süreçlerini yansıtıyor.

Topluluk üyeleri, bu tür yüksek token tüketim örneklerinin yerel LLM altyapılarının sınırlarını zorladığını ve ölçeklenebilirlik, maliyet ve altyapı yönetimi konularında yeni tartışmalar başlattığını belirtiyor. Özellikle, Strata gibi motorların performansının ve token başına maliyetin nasıl optimize edilebileceği, geliştiriciler ve araştırmacılar için önemli bir odak noktası haline geldi.