Kodlama ajanı harness'leri maliyeti artırıyor, performansı iyileştirmiyor: Çalışma buldu
Shandong Üniversitesi'nden iki araştırmacı, aynı dil modelini farklı kodlama ajanı harness'leriyle (Claude Code, OpenCode, mini‑SWE‑agent) çalıştırarak, harness değişiminin sonuçları yalnızca bir yeniden çalıştırma kadar etkilediğini ve maliyetin üç katına kadar çıkabildiğini gösterdi. Açıkça, OpenCode dışındaki harness'ler performans açısından birbirine eşdeğer, ancak sistem istemi ve araç tanımları token tüketimini büyük ölçüde artırıyor.
Özetle
- 1
Yeni harness'ler performans açısından birbirinden çok az fark gösteriyor; sonuçlar bir yeniden çalıştırma kadar değişken.
- 2
Sistem istemi ve araç tanımları token tüketimini iki‑üç kat artırıyor, bu da maliyeti üç katına kadar çıkarıyor.
- 3
OpenCode, diğer iki harness'e göre büyük bir maliyet avantajı sağlasa da, geçerlilik açısından 9 puana kadar geride kalıyor.
Araştırmacılar, bir kodlama ajanının bir dil modelini, sistem istemini, araçları ve bağlam yönetimini birleştirerek kod deposu içinde çalışmasını sağlayan bir "harness" ile çalıştığını belirtti. Claude Code, OpenCode ve mini‑SWE‑agent gibi yeni harness'ler her gün piyasaya sürülürken, lider panolar bu harness'leri serbestçe karıştırıyor. Liu ve Han, model sabit tutulduğunda harness'in gerçek etkisini ölçmek için beş modeli (Qwen3.6, Qwen3.8, Deepseek‑V4‑Flash, GLM‑5.3‑Flash ve HY4‑Preview) üç harness üzerinden test etti.
Testler, SWE‑bench Verified veri setindeki en zor 45 görev ve ek olarak 447 daha geniş görev üzerinden yapıldı. Sonuçlar, en zor 45 görevde harness'ler arasında sadece iki‑beş görevlik fark bulunurken, aynı kurulumun iki kez tekrarlanması bile üç görevlik bir fark yaratıyordu. Büyük görev havuzunda Claude Code ve mini‑SWE‑agent arasındaki fark iki puanın altında kalırken, OpenCode diğer iki harness'ten dokuz puana kadar geride kaldı. Bu farkın büyük bir kısmı, OpenCode'un çıktı limitine erken ulaşması ve modelin adımın ortasında durmasıyla açıklanabiliyordu.
Maliyet açısından ise fark daha belirgindi. Aynı model, aynı görev ve aynı fiyat listesi kullanıldığında, bir görev için harcanan token sayısı harness'e göre iki‑üç katına çıkabiliyor. Claude Code'un sistem istemi yaklaşık 16.600 token iken, OpenCode yaklaşık 7.000 token ve mini‑SWE‑agent ise 1.000 tokenın altında. Bu durum, GLM‑5.3‑Flash modeliyle Claude Code'un maliyetinin 1.81 yuan, OpenCode'un ise 0.56 yuan olmasına yol açtı. Token maliyetindeki bu artış, modelin aynı performansı vermesine rağmen toplam harcamayı önemli ölçüde yükseltiyor.
Araştırmacılar, harness tasarımının çoğu zaman sadece maliyet artırdığını, geçerli bir performans artışı sağlamadığını vurguluyor. Tek bir istisna, "Extended Thinking" özelliğinin etkinleştirilmesiyle ortaya çıktı; bu özellik devre dışı bırakıldığında bazı modeller (örneğin HY4‑Preview) performans kaybı yaşadı. Çalışma, aynı zamanda Terminal‑Bench 2.1 üzerinde de benzer bir desen gözlemlendi ve sonuçların genellenebilirliğini destekledi. Sonuç olarak, yazarlar her harness karşılaştırmasıyla birlikte aynı kurulumun bir yeniden çalıştırmasını da yayınlamayı öneriyor.
Yöney yorumu
Bu bulgular, geliştiricilerin yeni ve karmaşık harness'lere yatırım yapmadan önce maliyet‑fayda analizine odaklanması gerektiğini gösteriyor; aynı modelle basit bir harness kullanmak, bütçeyi korurken performansı koruyabilir.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- GLM-5.3-Flashcost per trial (yuan) Claude Code1.81 yuan
- OpenCodecost per trial (yuan) OpenCode0.56 yuan
Bu haber The Decoder kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
