DeepSeek-V4.1-Flash-1017 Modelinin AA ve Vals Endeksindeki Performansı
DeepSeek-V4.1-Flash-1017, Terminal‑Bench 4.0 testinde model kartında bildirilen %42.3'lük skoru ile dikkat çekti. Ancak AA ve Vals indekslerinde sırasıyla %34 ve %31.82 gibi daha düşük puanlar elde edildi. Bu sonuçlar, aynı benchmarkta yeni çıkan Fable 5 modeliyle kıyaslandığında benzer bir seviyede olduğunu gösteriyor.
Özetle
- 1
DeepSeek‑V4.1‑Flash‑1017 model kartında %42.3, AA'de %34 ve Vals indeksinde %31.82 skor elde etti.
- 2
Fable 5 modeli aynı testte %42 (AA) ve %41.41 (Vals) puanlarla DeepSeek ile benzer performans gösterdi.
- 3
AA ve Vals indekslerinin mini‑SWE‑agent tabanlı olması ve 8 saatlik görev süresi skorları düşürmüş olabilir.
DeepSeek‑V4.1‑Flash‑1017, OpenAI‑Claude kod altyapısını kullanan Terminal‑Bench 4.0 testine tabi tutuldu. Model kartında bildirilen %42.3'lük skor, topluluk tarafından yapılan AA (Auto‑Eval) ve Vals indeks ölçümlerinde %34 ve %31.82 olarak raporlandı. Gözlemciler, AA ve Vals indekslerinin mini‑SWE‑agent tabanlı olması ve her bir görev için 8 saatlik zaman sınırlaması gibi faktörlerin skorları düşürmüş olabileceğini belirtti.
Benzer bir test ortamında, 9 Haziran 2026'da piyasaya sürülen Fable 5 modeli %42 (AA) ve %41.41 (Vals) puanlar elde etti. DeepSeek‑V4.1‑Flash‑1017'nin model kartı skoru ile Fable 5'in AA skoru neredeyse eşdeğer olduğundan, topluluk bu iki modeli performans açısından paralel görmeye başladı.
Benchmark sonuçlarının yorumlanmasında, test süresinin ve kullanılan token‑saniye hızının sonuçları etkileyebileceği vurgulandı. Özellikle terminal‑bench görevlerinin uzun sürelere sahip olması, donanım ve sağlayıcıların token işleme hızını skor üzerinde belirleyici kılıyor. Bu nedenle, aynı modelin farklı ortam ve ölçüm araçlarıyla elde ettiği puanlar arasında belirgin farklar ortaya çıkabiliyor.
DeepSeek‑V4.1‑Flash‑1017'nin bu sonuçları, modelin yüksek potansiyelini gösterirken aynı zamanda topluluk ölçümlerinin standartlaştırılması ihtiyacını da gözler önüne seriyor. Geliştiriciler, benchmark koşullarını netleştirerek daha tutarlı karşılaştırmalar yapmayı hedeflemeli.
Yöney yorumu
Bu benchmark sonuçları, DeepSeek‑V4.1‑Flash‑1017'nin rekabetçi bir performans sergilediğini gösterirken, ölçüm metodolojisinin standartlaştırılması gerektiğini de ortaya koyuyor. Geliştiriciler, benzer test koşullarını sağlayarak daha adil karşılaştırmalar yapabilir.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- DeepSeek-V4.1-Flash-1017Terminal-Bench 4.0 (AA) · AA%34
- DeepSeek-V4.1-Flash-1017Terminal-Bench 4.0 (Vals index) · Vals index%31.82
- DeepSeek-V4.1-Flash-1017Terminal-Bench 4.0 (model card) · model card%42.3
- Fable 5Terminal-Bench 4.0 (AA) · AA%42
- Fable 5Terminal-Bench 4.0 (Vals) · Vals%41.41
Bu haber Reddit LocalLLaMA kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
