2023’te ABD’de bir hukuk avukatının, yapay zekaya sorduğu dava örneğini mahkemeye sunması olay oldu. Savunmada atıf yapılan “Mata v. Avianca” kararının var olmadığı, modelin kendi kafasından çıkardığı anlaşıldı. Olay dikkat çekti ama teknik olarak sürpriz değildi.

Model tam olarak ne yapıyor?

Dil modeli bir arşiv değildir. Verdiği her yanıtta, bir önceki kelimenin ardından hangisinin gelme olasılığının en yüksek olduğunu hesaplıyor. Eğitim verisinde otoriter ve emin tonlu ifadeler bol olduğu için model, doğru ya da yanlış olsun, emin tonda konuşmaya optimize olmuş durumda. İçinde bir doğruluk kontrolü yok; güven ile doğruluk arasında bağ kurmuyor.

Bu yüzden halüsinasyon bir yazılım hatası değil, mimarinin doğal sonucu. Eğitim verisinde bulunmayan ya da çelişkili sinyal taşıyan bir soruda, en olası tamamlamayı üretiyor — reddetmek yerine. Doğru cevapla yanlış cevabın arasındaki ayrımı yapabilme yeteneği, bu mimaride varsayılan olarak yok.

RAG neyi değiştiriyor?

Retrieval-Augmented Generation, bilgiyi modelin ağırlıklarından çıkarıp harici bir kaynağa taşıyor. Sistem önce soruyla ilgili belgeleri getiriyor, sonra modele “yalnızca bu metne dayanarak yanıtla” diyor. Böylece olasılık tahmini bir alıntıya bağlanıyor. Yaklaşımı Lewis ve arkadaşları 2020’de tanıttı; bugün açık kaynak araçlarla kurulabiliyor.

Ama sihirli değnek değil

RAG üç yeni sorun da getiriyor: getirilen belge yanlış olabilir, model bağlamı görmezden gelebilir, ya da alıntı yaptığı metni yanlış özetleyebilir. Araştırma literatürü bunları kanıt seçimi ve zeminleme sadakati sorunları olarak adlandırıyor. Yani halüsinasyon azalıyor ama sıfırlanmıyor; hata sadece başka bir yere kayıyor.

Ne zaman güvenmeli?

Güveni artıran sinyaller net: modelin kaynak göstermesi, yanıtın somut ve tarihli olması, birbirini destekleyen birden çok bağlamın gelmesi. Yanıtı doğrudan soramazsan, en azından “hangi belgeye dayanıyorsun?” diye sor. Emin olmadığını söyleyen bir model, uydurandan daha dürüsttür.

Kullanıcı tarafı

Pratikte işe yarayan üç alışkanlık var. Tarihli bir bilgi istiyorsan, bağlamda gerçekten bir kaynak var mı diye bak. Model kesin bir sayı verdiğinde, iki farklı kaynaktan doğrula. Ve en önemlisi: çıktıyı kendi alanın için bir taslak olarak kullan, teslim edilecek nihai metin olarak değil.

Halüsinasyonu tamamen bitirmek, “neden en olası kelime” sorusunu bırakmayı gerektirir — ki bu, bugünkü dil modellerinin çalıştığı temel. O yüzden asıl soru “yanılıyor mu” değil, “yanıldığını ne zaman yakalayacağın”.