On dokuz model, beş kodlama görevi, tek 16 GB GPU üzerinde benchmark sonuçları
Reddit topluluğu LocalLLaMA, tek bir RX 9060 XT (16 GB) GPU’da beş farklı kodlama görevini çalıştırarak on modeli test etti. Modellerin başarı oranları 0’dan 5’e kadar değişti; en iyi iki model tüm görevleri tamamlayarak 5/5 puan aldı. Token tüketimi ve çalışma süresi de detaylı olarak raporlandı.
Özetle
- 1
Deepseek‑v4.1‑flash ve Qwen3.8‑27B‑ASCII‑Condensed tüm beş görevi tamamlayarak 5/5 puan aldı.
- 2
Token tüketimi iki model arasında büyük farklılık gösterdi: 43 k vs 185 k token.
- 3
c4 ve c5 görevleri, özellikle büyük veri setleri ve karmaşık desen kuralları nedeniyle modelleri ayırdı.
- 4
Nemotron‑3.5‑Bolt‑74B‑A9B gibi büyük modeller bile düşük puan alarak araç kullanımında zorluk yaşadı.
Topluluk, beş kodlama görevini (CSV kaydı ayrıştırma, aritmetik değerlendirme, POSIX benzeri kabuk tokenlemesi, maksimum kar interval planlaması ve yıldızlı desen eşleştirme) tek bir 16 GB GPU’da çalıştırdı. Her görev, modelin bir "solution.py" ve "test_solution.py" dosyası üretmesini, kendi testlerini çalıştırmasını ve ardından durmasını gerektirdi. Değerlendirme, modelin görmediği bir kontrolör tarafından sabit ve rastgele test vakalarıyla yapıldı; ayrıca görev tanımında belirtilen performans sınırları da uygulandı.
Sonuçlar, modelleri iki ana gruba ayırdı: kod yazıp yineleyenler ve yazamayanlar. Tüm modeller c3 görevini (kabuk tokenlemesi) başarıyla tamamladı; ancak c4 ve c5 görevleri, özellikle büyük veri setleri ve karmaşık desen kuralları nedeniyle ayrımcı oldu. En yüksek puanı alan iki model, deepseek‑v4.1‑flash (bulut API) ve Qwen3.8‑27B‑ASCII‑Condensed (kvstream fork) oldu; ikisi de beş görevi tamamlayarak 5/5 puan topladı. Ancak token tüketimleri farklıydı: bulut modeli 43 k token, yerel fork ise 185 k token harcadı.
Diğer modellerin performansları da detaylıca incelendi. Qwen3.8‑27B‑IQ3_XXS, Swift‑1.5‑Qwen3.8‑27B, Ornith‑1.5‑35B‑A3B, Qwen3.8‑Flash‑Next Coder ve Qwen3.6‑35B‑A3B gibi modeller 4/5 puan alırken, Nemotron‑3.5‑Bolt‑74B‑A9B yalnızca bir görevi (c1) geçebildi ve 1/5 puan topladı. Mellum2.1‑12B‑A2.5B‑Thinking ve LFM2.5‑24B‑A2B ise sırasıyla 1/5 ve 0/5 puanla en düşük performansı gösterdi.
Benchmark, modelin kod üretme yeteneği, araç kullanım sıklığı ve bellek/işlem süresi gibi pratik ölçütleri ortaya koyarak, geliştiricilerin yerel GPU ortamlarında hangi modellerin daha verimli olduğunu anlamalarına yardımcı oldu.
Yöney yorumu
Bu benchmark, geliştiricilerin sınırlı donanımda hangi LLM'lerin daha verimli kod üretebildiğini göstererek seçim sürecini netleştiriyor; aynı zamanda token ve zaman maliyetlerinin model seçiminde kritik faktörler olduğunu ortaya koyuyor.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- deepseek-v4.1-flashLocalLLaMA 5 coding tasks · 5 görev, 1750 saniye limit, 16 GB GPU5 puan
- Qwen3.8-27B-ASCII-Condensed UD-IQ4_XS + MTP (kvstream fork)LocalLLaMA 5 coding tasks · 5 görev, 1750 saniye limit, 16 GB GPU5 puan
- Qwen3.8-27B UD-IQ3_XXS + MTP Q4_0 sidecarLocalLLaMA 5 coding tasks · 5 görev, 1750 saniye limit, 16 GB GPU4 puan
- Swift-1.5-Qwen3.8-27B GSQ-RCO-IQ3_XXS, embedded MTPLocalLLaMA 5 coding tasks · 5 görev, 1750 saniye limit, 16 GB GPU4 puan
- Ornith-1.5-35B-A3B Q4_K_MLocalLLaMA 5 coding tasks · 5 görev, 1750 saniye limit, 16 GB GPU4 puan
- Qwen3.8-Flash-Next Coder GSQ-RCO-IQ1_MLocalLLaMA 5 coding tasks · 5 görev, 1750 saniye limit, 16 GB GPU4 puan
- Qwen3.6-35B-A3B UD-Q4_K_M (unpruned)LocalLLaMA 5 coding tasks · 5 görev, 1750 saniye limit, 16 GB GPU4 puan
- Nemotron-3.5-Bolt-74B-A9B IQ2_XXSLocalLLaMA 5 coding tasks · 5 görev, 1750 saniye limit, 16 GB GPU1 puan
- Mellum2.1-12B-A2.5B-Thinking Q6_KLocalLLaMA 5 coding tasks · 5 görev, 1750 saniye limit, 16 GB GPU1 puan
- LFM2.5-24B-A2B Q6_KLocalLLaMA 5 coding tasks · 5 görev, 1750 saniye limit, 16 GB GPU0 puan
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
