Yapay zekâ botlarının sağlık tavsiyeleri güven vermiyor

BMJ Open’da yayımlanan yeni bir araştırma, ChatGPT, Gemini, Grok, Meta AI ve DeepSeek gibi beş büyük yapay zekâ sisteminin sağlık konularında verdiği yanıtları mercek altına aldı.

Araştırmacılar; kanser, aşılar, kök hücre tedavileri, beslenme ve atletik performans gibi kritik başlıklarda toplam 250 farklı soru yöneltti. Amaç, bu sistemlerin verdiği yanıtların bilimsel kanıtlarla ne kadar uyumlu olduğunu ölçmekti.

Sonuçlar dikkat çekici: Verilen cevapların yaklaşık yarısı hatalı, eksik ya da potansiyel olarak yanıltıcı bulundu.

Açık uçlu sorular en büyük sorunu ortaya çıkardı

Araştırmaya göre en zayıf performans, kullanıcıların günlük hayatta en sık sorduğu açık uçlu sorularda görüldü.

Örneğin:

• “Bu tedavi işe yarar mı?”
• “Bu aşı güvenli mi?”
• “Performansımı nasıl artırırım?”

gibi sorular, yapay zekâ sistemlerini daha fazla hataya sürükledi. Buna karşılık çoktan seçmeli veya daha sınırlı sorulara verilen yanıtların daha güvenli olduğu tespit edildi.

Bu durum önemli çünkü gerçek kullanıcılar genellikle sorularını akademik formatta değil, serbest ve yorum gerektiren şekilde soruyor.

Referanslar ve kaynaklar da güven vermiyor

Araştırmanın en dikkat çeken bulgularından biri de kaynak kalitesi oldu. Yapay zekâ botlarının verdiği yanıtların referans doğruluğu ortalama yalnızca %40 seviyesinde kaldı.

Tespit edilen sorunlar arasında:

• Eksik kaynak gösterimi
• Yanlış veya alakasız referanslar
• Tamamen uydurulmuş akademik kaynaklar

yer aldı.

Daha da kritik olan ise, bu hatalara rağmen botların yanıtlarını büyük bir özgüvenle sunması. Kullanıcılar açısından bu durum, yanlış bilginin doğruymuş gibi algılanma riskini ciddi şekilde artırıyor.

Neden önemli ve ne anlama geliyor

Araştırmacılar, çalışmanın bazı sınırlamaları olduğunu da belirtiyor. Test edilen bot sayısının sınırlı olması, sistemlerin sürekli güncellenmesi ve soruların özellikle zorlayıcı seçilmesi gibi faktörler sonuçları etkileyebilir.

Ancak genel tablo net: Yapay zekâ sistemleri, kanıta dayalı tıbbi konularda hâlâ tam anlamıyla güvenilir değil.

Bugün için bu araçlar:

• Bilgi özetlemek
• Konu hakkında genel fikir vermek
• Doktora sorulacak soruları şekillendirmek

gibi alanlarda faydalı olabilir.

Ancak doğrudan teşhis koymak, tedavi seçmek veya sağlık kararı vermek için kullanılması ciddi riskler taşıyor.