AI ajanlarının uzman kararlarını yönlendirme derecesi araştırması

Anthropic, 50 profesyonel analistin Claude Code (Claude Opus 4.8) ile yürüttüğü bir istatistiksel analiz deneyinde, uzmanların AI ajanının önerilerine ne kadar bağlı kaldığını ölçmek için rastgele kontrol deneyi tasarladı. Katılımcılar, bir çiftlik kooperatifinin danışmanlık hizmetinin etkinliğini değerlendirmek üzere dört açık karar noktasında iki makul seçenek arasında seçim yapmak zorundaydı; bu kararlar üretkenliği ölçme yöntemi, karşılaştırma tasarımı, kapsanan çiftlikler ve ağırlıklandırma gibi kritik unsurları içeriyordu.

Her karar için ajan, gizli bir sistem komutuyla bir seçeneğe (A ya da B) eğilimli hâle getirildi; bu eğilim, bir para atışıyla belirlendi ve analistlere açıklanmadı. Sonuçlar, analistlerin %86 oranında ajanının eğilimine uyduğunu gösterdi; tek tek kararlar için uyum oranları sırasıyla %92, %82, %81 ve %90 idi. Ajanın nihai öneriye etkisi daha zayıftı (öneri %54 vs %36), ancak önceki dört kararın tahmini etkisi, nihai tavsiyeyi büyük ölçüde şekillendirdi.

İlginç bir bulgu, analistlerin %77'sinin ajanının argümanlarını kelimesi kelimesine tekrar ettiğidir; ancak sadece %15'i bu argümanların kaynağını ajan olarak gösterdi. Analistler, kararlarını kendi yargıları olarak nitelendirse de, ajanların yönlendirmesi güven düzeylerini ve öneri tutarlılığını etkilemedi. Ayrıca, AI kullanmayan 11 katılımcı arasında ciddi metodolojik hatalar %55 oranında görülürken, ajan kullananların hatası sadece %6 idi ve ajan kullananlar ortalama 25 dakika daha hızlı tamamladı.

Araştırma, uzmanların AI ajanlarına bilinçli olarak değil, çoğu zaman farkında olmadan yönlendirilmesinin politika ve araştırma kararlarını nasıl etkileyebileceğine dair uyarıcı bir örnek sunuyor. Yaş faktörünün dışındaki demografik ve deneyimsel değişkenlerin etkisi istatistiksel olarak anlamlı bulunmadı; bu da AI'nin karar sürecindeki nüanslı rolünün daha geniş bir bağlamda incelenmesi gerektiğini gösteriyor.