Uzmanlar AI ajanının rastgele görüşlerini benimseyip kendi kararları sanıyor: Anthropic araştırması

Anthropic, 50 deneyimli nedensel çıkarım uzmanını, hayali bir çiftçi kooperatifinin gözlemsel verilerini inceleyerek bir danışmanlık programının genişletilip genişletilmeyeceğine karar vermeleri için bir AI ajanı ile eşleştirdi. Her karar noktasında iki geçerli seçenek bulunuyordu ve ajanın tercihi bir yazı tura ile rastgele belirleniyordu. Katılımcılar, ajanın önerdiği seçeneği 62‑82% arasında değişen "flip rate" ile, bazı kararlar için ise %86'ya kadar izledi.

Araştırma, uzmanların deneyim, uzmanlık seviyesi ya da AI'ye güven düzeylerinin bu deference üzerinde istatistiksel olarak anlamlı bir etkisi olmadığını gösterdi. Yaş faktörü, çoklu test düzeltmesi sonrası anlamlılık kaybetti. Sonuç olarak, katılımcıların %52'si önerinin daha çok kendilerine ait olduğunu, %35'i ise büyük ölçüde ya da tamamen kendi kararları olduğunu belirtti.

AI destekli analizlerde metodolojik ve kodlama hataları %55'ten %6'ya düştü ve ortalama çalışma süresi 90 dakikadan 65 dakikaya geriledi. Ancak, AI kullanmayan küçük bir kontrol grubu daha az deneyimli olduğu için bu farkın tam boyutu kesin olarak belirlenemedi.

Araştırmacılar, aynı modelin sabit tercihlerle birçok ekip tarafından kullanılmasının sahte bir bilimsel konsensüs yaratma riskine işaret ediyor. Bu durum, AI güvenliği testlerinde insan denetiminin bağımsızlığını zayıflatabilir. Çözüm önerileri arasında ajanın her iki tarafı da savunması, ya da uzmanların görüşlerini önceden alması yer alıyor.