Açık Kaynak AI Lider Tablosu: Makinenizde Çalıştırabileceğiniz En İyi Modelleri Gösteriyor
Jake Manger, kullanıcıların RAM ve GPU kapasitelerini girerek yerel olarak çalıştırabilecekleri yapay zeka modellerini sıralayan bir açık kaynak lider tablosu (whatmodel.sh) geliştirdi. Araç, 19.731 yayınlanmış benchmark sonucunu tek bir puana dönüştürerek modelleri karşılaştırıyor ve API tabanlı modellerle aynı skoru gösteriyor.
Öne Çıkan Başlıklar
- whatmodel.sh, RAM ve GPU bilgisiyle yerel olarak çalıştırılabilecek modelleri puanlayıp sıralıyor.
- 19.731 yayınlanmış benchmark sonucundan tek bir skor üretiliyor; bu skor API modelleriyle aynı ölçekte karşılaştırılabiliyor.
- 32 GB RAM'li bir Mac, 4‑bit quantization ile Qwen3.8 27B modelini GPT‑5 seviyesinde bir skorla çalıştırabiliyor.
Reddit'in LocalLLaMA topluluğunda paylaşılan yeni bir proje, kullanıcıların sistem özelliklerini (RAM ve GPU) girerek yerel ortamda çalıştırabilecekleri LLM'leri (Large Language Model) anında görmelerini sağlıyor. whatmodel.sh adlı bu araç, her model için 19.731 farklı benchmark sonucundan türetilen tek bir skor hesaplıyor; bu skor, modelin performansını hem yerel hem de API tabanlı çözümlerle aynı ölçekte karşılaştırmaya imkan tanıyor.
Araç, komut satırından da erişilebiliyor; basit bir `curl whatmodel.sh` isteğiyle sonuçlar alınabiliyor. Kullanıcılar, modelin çalıştırma komutunu ve sıralamadaki yerini anında görebiliyor, böylece donanım sınırlarını aşmadan en verimli modeli seçebiliyorlar. Projenin geliştiricisi, 32 GB RAM'e sahip bir Mac'in, 4-bit quantization ile Qwen3.8 27B gibi 27 milyar parametreli bir modeli GPT-5 seviyesinde bir skorla çalıştırabildiğini belirtiyor.
whatmodel.sh'in metodolojisi ve veri seti, projenin GitHub deposunda (github.com/jakemanger/whatmodel) tamamen açık kaynak olarak sunulmuş. Kullanıcılar, gerçek dünya token/s (tok/s) ölçümlerini toplamak için bir benchmark script'i katkıda bulunabilir ve yeni modelleri ya da benchmark sonuçlarını kaynaklarıyla birlikte ekleyebilirler. Bu şeffaflık, topluluk tarafından doğrulanabilir ve güncel benchmark verilerinin sürekli genişlemesini sağlıyor.
Projenin potansiyel etkileri, özellikle geliştiriciler ve araştırmacılar için büyük. Yerel LLM çalıştırma maliyetlerini düşürürken, performans karşılaştırmalarını tek bir platformda toplaması, model seçimini hızlandırıyor ve donanım yatırımlarının daha verimli kullanılmasını mümkün kılıyor.
YZ Yorumu
Bu araç, yerel model çalıştırma maliyetlerini düşürürken performans şeffaflığını artırıyor; geliştiriciler daha bilinçli model seçimleri yapabilir, kullanıcılar ise yüksek kapasiteli bulut hizmetlerine bağımlılıktan kurtulabilir.
Yapay zekâ tarafından üretilmiştir.