Kaynak Bilincine Sahip Doğrulama: MCP Tabanlı LLM Ajanları İçin ProvenanceGuard

Hugging Face blogunda yayımlanan ve aynı zamanda arXiv'de yer alan "ProvenanceGuard: Source-Aware Factuality Verification for MCP-Based LLM Agents" adlı makale, geleneksel faktiklik ölçütlerinin MCP (Model Context Protocol) ajanları için yetersiz kaldığını vurguluyor. Tek bir metin parçasına dayalı RAG sistemlerinin aksine, MCP ajanları birden çok aracı (arama, veri tabanı sorgusu, hasta kaydı vb.) çağırarak yanıt üretir; bu da bir iddianın doğru bir yerde bulunması ancak yanlış bir kaynağa atfedilmesi riskini doğurur. ProvenanceGuard, bu "cross‑source conflation" hatasını tespit etmek için yanıtı iddialara ayırır, her iddia için en uygun kaynağı bulur, NLI tabanlı bir doğrulama modeliyle destek kontrolü yapar ve iddianın kaynakla eşleşip eşleşmediğini denetler.

Sistem, bir yanıt üretildikten sonra çalışan bir post‑generation katmanı olarak tasarlandı; bu sayede ajan modelinin yeniden eğitilmesine gerek kalmadan, yakalanan MCP izleri (tool output ve source ID'leri) üzerinden işlem yapılabiliyor. İş akışı beş adımda gerçekleşiyor: (1) yanıtı iddialara bölme, (2) her iddia için en ilgili kaynağı bulma, (3) kaynağın iddiayı destekleyip desteklemediğini kontrol etme, (4) iddianın kaynakta belirtilip belirtilmediğini karşılaştırma ve (5) per‑claim ve global karar (allow/block) üretme. Engellenen yanıtlar, RARR‑stil bir onarım döngüsüyle yeniden işlenebiliyor.

Deneysel sonuçlar, sistemin özellikle tıbbi bir ajan senaryosunda etkileyici performans gösterdiğini ortaya koyuyor. 281 gerçek iz üzerinden 361 iddia incelendi; uzmanlar 139 iddianın geçmemesi gerektiğini belirledi ve ProvenanceGuard bu iddiaların 138'ini doğru şekilde engelledi. Doğru kaynağı tanıma oranı %86 iken, aynı test setinde diğer dört karşılaştırmalı doğrulayıcı (MiniCheck, RAGAS Faithfulness, AlignScore, SummaC‑ZS) daha düşük F1 skorları elde etti. Ayrıca, zorlayıcı çok‑benzer kaynak testinde sistem %0.846 F1 skoru elde ederken, doğru kaynağı %50.3 doğrulukla belirledi. 50 kasıtlı kaynak değişikliği durumunda ise tüm hataları yakaladı.

ProvenanceGuard'ın ek maliyeti ise makul: yerel konfigürasyonda yanıt başına ortalama yarım saniye ek gecikme. Bu, veri‑hassas ortamlar için kabul edilebilir bir denge sağlıyor. Multiverse Computing, bu yaklaşımı NVIDIA NVFlow gibi finansal ajanlarda da uygulamaya alarak, kaynak‑bilinçli doğrulamanın geniş bir yelpazede kullanılabilirliğini gösterdi.