AI yorumlanabilirliği büyük bir atılım mı? Yeni bir deneme araştırmacıları bölüyor
Nick Cammarata, "Neural Networks Are Already Clean" başlıklı yeni denemesinde, büyük dil ve görsel modellerin iç işleyişinin önceki varsayımlardan çok daha anlaşılır olduğunu iddia ediyor. Bu görüş, uzun yıllardır süren süperpozisyon hipotezine meydan okurken, OpenAI ve DeepMind gibi laboratuvarların uzmanları arasında keskin bir bölünmeye yol açtı.
Özetle
- 1
Cammarata, süperpozisyon hipotezini çürüterek nöronların genellikle tek bir kavramı (ör. V‑şekil) temsil ettiğini iddia ediyor.
- 2
Qwen3-32B modelinde %90'ı tek görevli, %2‑4'ü hâlâ açıklanamayan nöronlar bulunuyor.
- 3
AI güvenliği topluluğu, yorumlanabilirliğin ilerlemesinin hizalama ve aldatma tespiti için kritik olduğunu vurguluyor.
Mekanik yorumlanabilirlik, bir modelin çıktısını izlemekten öteye geçerek kararların içsel yollarını haritalamayı hedefler. Geleneksel olarak, milyonlarca yapay nöronun çoğunun birbirinden bağımsız kavramları temsil etmediği, bunun yerine "polysemanticity" adı verilen bir durumla birden fazla kavramı aynı nöronda barındırdığı düşünülüyordu. Bu görüş, Nick Cammarata ve Chris Olah tarafından 2020'de "Zoom In" makalesiyle ortaya konulan süperpozisyon hipoteziyle pekiştirildi.
Cammarata, yeni denemesinde bu hipotezin yanlış yorumlandığını savunuyor. Örneğin, InceptionV1 modelindeki "kedi‑araba" nöronunun aslında bir V‑şekil dedektörü olduğunu, keskin şekillerin (kedi bacakları, araba önleri) aktif, yuvarlak şekillerin ise negatif etkili olduğunu belirtiyor. Benzer şekilde, "Zoom In"deki süperpozisyon devresinin de arabaları köpek nöronlarıyla birleştiren bir genelleme olduğunu, yani iki bağımsız kavramın değil, yönelim temelli bir gruplamanın söz konusu olduğunu iddia ediyor.
Cammarata, bu yeni bakış açısını "rekürsif genelleme" kavramıyla da destekliyor. Bir nöronun zamanla yan dallar gibi yeni kavramlar geliştirdiğini, örneğin "iy" dizgisini tanıyan bir nöronun daha sonra "diy" ve sonunda "do it yourself" ifadelerini de yakaladığını öne sürüyor. Bu süreç, süperpozisyonun aksine, modelin içsel hiyerarşisini daha anlaşılır kılıyor. İlk bulgularına göre, Qwen3-32B modelinde nöronların %90'ı tek bir ana göreve sahipken, sadece %2‑4'ü hâlâ açıklanamıyor.
Alan içinde tepkiler karışık. OpenAI çalışanı Roon, Cammarata'nın bulgularını "bilim tarihinin büyük bir anı" olarak nitelendirirken, DeepMind araştırmacısı Neel Nanda daha temkinli. Nanda, süperpozisyonun hâlâ geçerli olduğunu ve özellikle büyük dil modellerinde zayıf aktivasyonların kritik bilgi taşıyabileceğini savunuyor. Yine de, Cammarata'nın otomatik ajanlarla yapılan geniş ölçekli analizlerinin, on yıllık insan çabasını aylar içinde tamamlayabileceği ihtimali, AI güvenliği ve hizalama çalışmalarına yeni bir umut ışığı yakıyor.
Yöney yorumu
Eğer Cammarata'nın bulguları doğrulanırsa, büyük modellerin iç yapısının daha hızlı ve otomatik bir şekilde anlaşılması, AI güvenliği ve hizalama araştırmalarına önemli bir ivme kazandırabilir. Ancak, topluluk içinde hâlâ ciddi bir şüphe ve metodolojik tartışma bulunuyor.
Haberdeki skorlar
Bu skorların kaynak metinde birebir geçtiği doğrulandı. Bilinen testlerin sonuçları Benchmark sıralamalarına da eklenir.
- OpenAI (belirtilmemiş model)Understandable neurons proportion%1.7
- Qwen3-32BNeuron pole monosemanticity%90
Bu haber The Decoder kaynağından derlenip Türkçeye aktarıldı. Ayrıntılar ve orijinal metin için oka tıklayın.
