Yanlış Bakıyorduk: AI dünyasını sarsan patlayıcı iddia

Nick Cammarata, Goodfire'da geçirdiği bir yıl boyunca nöronları tek tek inceleyerek sinir ağlarının iç mantığını ortaya çıkarmaya çalıştı ve "Yanlış bakıyorduk" diyerek, ağların karmaşık düğümlerinin aslında belirli görsel desenlere (ör. V şekli) göre organize olduğunu savundu. 2020'de Inception v1 modelinde bir nöronun hem araba hem de kedi görüntülerine yanıt vermesini, bu iki nesnenin ortak V şekline dayanarak açıklamayı başardı; aynı nöron, havuz masası köşesi, hızlı tren burunları ve itfaiye botu gibi V şekline sahip diğer nesnelere de yanıt veriyordu.

Cammarata, bu bulguların sinir ağlarının "süperpozisyon" olarak adlandırılan, farklı kavramları tek bir nöronda birleştirme eğilimini yeniden yorumlaması gerektiğini öne sürüyor. Ağların sadece rastgele karışık bir düğüm ağı değil, belirli görsel ve kavramsal desenleri yakalayan bir mantık içerdiği görüşü, mekanik yorumlama alanında yeni bir bakış açısı sunuyor. Ancak Stanford Üniversitesi'nden Chris Potts ve Alignment Research Center'dan Jacob Hilton gibi uzmanlar, bu iddiaların henüz sistematik bir değerlendirmeden yoksun olduğunu ve LLM'lerin iç işleyişinin hâlâ %0.01'den azını anladığımızı hatırlatarak temkinli bir yaklaşım sergiliyor.

Cammarata'nın çalışması, modern LLM'lerin de benzer bir mantıkla incelenebileceği umudunu taşısa da, bu alandaki araştırmacılar hâlâ nöron seviyesinin ötesinde devre (circuit) düzeyinde analizlerin gerektiğini vurguluyor. Google DeepMind'den Neel Nanda, tek tek nöronların anlaşılmasının model hatalarını açıklamada faydalı olabileceğini kabul ederken, bu yaklaşımın büyük resimdeki ilerlemeyi sağlamadığına dikkat çekiyor. Bu tartışma, AI güvenliği topluluğunun hâlâ kapsamlı bir yorumlama çerçevesi geliştirme ihtiyacını ortaya koyuyor.

Cammarata, iddiasının hâlâ bir "hunch" olduğunu ve tam bir çözüm sunmadığını kabul ediyor; ancak sinir ağlarının okunabilirliğine dair umut verici bir sinyal olarak görülüyor. Araştırmacılar, bu tür bulguların otomatik bilim insanları ve kontrol mekanizmaları geliştirmede bir katalizör olabileceğini, fakat aynı zamanda aşırı iyimserliğin kamuoyunda gerçekçi olmayan beklentiler yaratabileceğini belirtiyor.