LLM'ler Araştırma Fikri Yeniliğini Değerlendirebilir mi?
Allen Institute for AI, insan ve yapay zeka tarafından üretilen araştırma fikirlerinin yeniliğini ölçmek için "Old Ideas, Novel Problems" adlı bir benchmark yayınladı. Altı büyük LLM üzerinden yapılan testlerde, prompt değişiklikleri gibi küçük ayarlamalar bile doğruluk oranlarını yüzde 50'ye kadar sarsabiliyor. Sonuçlar, mevcut yenilik yargılayıcılarının güvenilirliğinin hâlâ büyük ölçüde soru işareti taşıdığını gösteriyor.
Özetle
- 1
Prompt değişiklikleri aynı LLM için doğruluk oranını %50'ye kadar düşürebiliyor.
- 2
Basit bir Claude Opus 4.6 promptu, karmaşık retrieval‑tabanlı sistemlerden daha yüksek macro‑F1 ve çok daha düşük maliyet sağladı.
- 3
İnsan‑yazılı fikirlerde bile yargılayıcıların kararlılığı düşük; AI‑üretimli fikirlerde ise bu durum daha da belirginleşiyor.
AllenAI, bilimsel keşif sürecine destek veren sistemler geliştirdikten sonra, bu sistemlerin ürettiği fikirlerin gerçekten yeni olup olmadığını ölçmek için bir değerlendirme mekanizması olan "novelty judge" kavramını tanıttı. Bu yargılayıcıların nasıl inşa edildiği, kullanılan model, prompt, akıl yürütme bütçesi ve literatür arama sistemleri gibi faktörlerin sonuçları büyük ölçüde etkilediği, ancak çoğu zaman sadece insan yazısı makalelerle doğrulandığı belirtiliyor.
Araştırmacılar, ICLR 2026 peer review'larından elde edilen verileri kullanarak iki ayrı havuz oluşturdu: yüksek yenilikli (154 kabul edilen, yenilik övgüsü alan) ve düşük yenilikli (145 reddedilen, yenilik şüphesi taşıyan) fikirler. Bu "Human-Only" setinin yanı sıra, aynı insan fikirleriyle eşleştirilen basit bir LLM tarafından üretilen 154 fikirden oluşan "Human+Generated" seti de hazırlandı. Uzman bir değerlendirme, tüm 30 çiftte insan fikirlerinin daha yenilikçi olduğunu doğruladı.
Altı LLM (GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5, Claude Opus 4.6) üzerinden yapılan testlerde, prompt değişiklikleri en büyük performans dalgalanmasına yol açtı. Örneğin, GPT-5.4 için aynı çiftleri iki farklı promptla sorduklarında doğruluk %93,5'ten %40,9'a düştü. Claude Opus 4.6 bile aynı değişiklikle %21 puan kaybetti. Arama ve ek akıl yürütme ise tutarlı bir iyileşme sağlamadı; yüksek bütçeli bir GPT-5.6 Sol yargılayıcı, basit Claude Opus 4.6'ya göre 11 puan daha düşük macro‑F1 (0,78 vs 0,89) elde etti ve maliyeti yaklaşık 10 kat daha yüksek oldu.
En basit prompt ve düşük akıl yürütme bütçesiyle çalışan Claude Opus 4.6, üç çağrı üzerinden çoğunluk oylamasıyla $2,59 maliyetle 0,854 macro‑F1 skoru elde ederek, literatür‑temelli Idea Novelty Checker (0,642, $30,66) ve Sakana AI Scientist (0,772, $82,05) gibi özel sistemlerden hem daha doğru hem de çok daha ucuz çıktı. Bu bulgular, yenilik değerlendirmesinin özellikle AI‑tarafından üretilen fikirlerde kırılgan olduğunu ve mevcut LLM‑tabanlı yargılayıcıların güvenilir bir ölçüt sağlamadığını ortaya koyuyor.
Yöney yorumu
Bu çalışma, LLM tabanlı yenilik yargılayıcılarının hâlâ istikrarsız olduğunu ve prompt tasarımının sonuçları büyük ölçüde etkilediğini gösteriyor. Geliştiricilerin daha sağlam, literatür‑entegre ve maliyet‑etkin çözümler üretmesi, AI‑destekli bilimsel araştırmaların güvenilirliğini artıracak.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- GPT-5.4pairwise novelty accuracy (Human+Generated) · detaylı prompt (reviewers found exactly one novel)%93.5
- GPT-5.4pairwise novelty accuracy (Human+Generated) · basit prompt (which idea is novel)%40.9
- Claude Opus 4.6macro-F1 (Human+Generated) · baseline prompt0.89 score
- Claude Opus 4.6macro-F1 (Human+Generated) · simple prompt, low reasoning, majority voting across three calls0.854 score
- Idea Novelty Checkermacro-F1 (Human+Generated) · literature‑grounded retrieval and reranking pipeline0.642 score
- Sakana AI’s AI Scientistmacro-F1 (Human+Generated) · iterative search on Semantic Scholar using Claude Opus 4.60.772 score
- GPT-5.6 Solmacro-F1 (Human+Generated) · extra‑high reasoning budget with live iterative search restricted to arXiv0.78 score
Bu haber Hugging Face kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
