llama.cpp 1,5 Yılda Hız ve Özelliklerde Büyük Atılım
Kullanıcı, son bir buçuk yılda llama.cpp’nin Tensor Parallel, MTP ve 0.7.0 sürümüyle elde ettiği performans artışlarını ve yeni model entegrasyonlarını detaylandırdı. RTX 5060 Ti çift kart ve çeşitli LLM’lerde 60‑70 t/s üretim hızı elde edilmesi, yerel AI kullanımının bulut bağımlılığını azaltma potansiyelini gösteriyor.
Özetle
- 1
llama.cpp 0.7.0 sürümünde Tensor Split ve MTP desteği aktif edildi
- 2
Gemma 4 31B IT QAT modeli yerel ortamda 60 t/s üretim hızıyla sınırları zorladı
- 3
Qwen3.8 27B, kod üretiminde 100 t/s’ye ulaşarak bulut alternatiflerini geride bıraktı
Kullanıcı, Mart 2025'te AMD Radeon RX 7800 XT 16 GB üzerinde Mistral Nemo Q4_K_M modelini 8K F16 ile çalıştırarak yerel LLM deneyimine ilk adımını attı ve ilk kez bilgisayarının doğal dilde yanıt verebildiğini gördü. Bu deneyim, TTRPG rol‑oyunları için SillyTavern ve koboldcpp entegrasyonlarıyla devam etti ve yerel modellerin eğlence amaçlı kullanımının kapılarını araladı.
2025 sonbaharına doğru, daha verimli bir yapı arayışıyla kullanıcı, ekonomik açıdan uygun olduğu düşünülen iki RTX 5060 Ti 16 GB kartını ASUS PRIME platformuna kurdu. Tensor Parallel (MTP) ve NVFP4/MXFP4 gibi ileri düzey özelliklerin ileride llama.cpp tarafından destekleneceği beklentisiyle, PCIe 5.0 x8‑x8 altyapısının uzun vadeli performans kazancı sağlayacağına inandı.
Ekim 2025'te Gemma 3 27B Q8_0 modeli layer split ile çalıştırıldığında yaklaşık 20 t/s üretim hızı elde edildi. Aynı dönemde Gemma 4 31B IT QAT modeli Q6_K kuantizasyonunda 17 t/s üretim ve 970 t/s işleme (32K BF16) performansı gösterdi. Haziran 2026'da llama.cpp 0.7.0 sürümüyle Tensor Split ve MTP desteği aktif edildi; bu sayede Gemma 4 31B IT QAT modeli 40 t/s üretim ve 980 t/s işleme hızına, Qwen3.8 27B ise 50 t/s üretim ve 1200 t/s işleme performansına ulaştı.
0.7.0 sürümünden birkaç ay sonra, aynı donanımda Gemma 4 31B IT QAT modeli 60 t/s üretim ve 1100 t/s işleme, Qwen3.8 27B ise MTP ile 70 t/s üretim (kod üretiminde 100 t/s) hızlarına çıktı. Kullanıcı, bu seviyedeki performansla .NET 8.0 programlama dışındaki tüm senaryolar için bulut tabanlı LLM'lere ihtiyaç duymadığını belirtti; ancak zaman zaman llama.cpp çöküşleri yaşandığını ve stabilite iyileştirmelerinin hâlâ gerekli olduğunu vurguladı.
Yöney yorumu
Tensor Parallel ve MTP’nin yerel inference’da kullanılabilir hale gelmesi, yüksek kapasiteli modellerin ev kullanıcıları tarafından da verimli bir şekilde çalıştırılmasını sağlıyor. Bu gelişme, özellikle düşük maliyetli donanımla bulut alternatiflerine yönelen geliştiriciler için önemli bir avantaj sunuyor.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- Gemma 3 27B Q8_0generation speed · layer split20 t/s
- Gemma 4 31B IT QATgeneration speed · 0.7.0 release with MTP60 t/s
- Gemma 4 31B IT QATprocessing speed · 0.7.0 release with MTP1100 t/s
- Qwen3.8 27Bgeneration speed · with MTP, without ngram draft70 t/s
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
