MEDİMAGAZİN - SUNY Downstate Sağlık Bilimleri Üniversitesi'nde Yardımcı Doçent olan Dr. Abdo E. Kabarriti'nin öncülük ettiği yeni bir çalışma, ürolojik kanserlerle ilgili sorguların ele alınmasında yapay zeka (YZ) sohbet robotlarının performansını araştırdı. "Bu makale, YZ sohbet robotlarının kanserle ilgili sorular karşısında nasıl bir performans sergilediğini inceleyen türünün ilk örneği. Daha fazla insan bilgi edinmek için yapay zekaya başvurdukça bu büyük önem taşıyor," diyor Kabarriti Urology Times'a.
Kalite ve Doğruluk: Karışık Bir Torba
Çalışma, Ocak 2021'den Ocak 2023'e kadar prostat, mesane, böbrek ve testis kanserleri için en iyi 5 Google Trends arama sorgusunu kullanarak dört önde gelen yapay zeka sohbet robotunu (ChatGPT, Perplexity, Chat Sonic ve Microsoft Bing AI) değerlendirdi. Bulgular, bilgiler genel olarak doğru olsa da (medyan DISCERN puanı 5 üzerinden 4), özellikle tedavi seçenekleriyle ilgili yanıtların kalitesinde boşluklar olduğunu gösterdi. ChatGPT, medyan DISCERN puanı 3 ile tüm chatbotlar arasında en düşük puanı aldı.
Yanlış Bilgilendirme Az, Ancak Eyleme Geçirilebilirlik ve Okunabilirlik Geride
Genel olarak verilen yanıtların çoğunlukla yanlış bilgi içermediği görülmüş, bu da ortalama Likert puanının 5 üzerinden 1 olmasıyla kanıtlanmıştır. Bununla birlikte, çalışma, sadece %66,7'lik bir medyan puanla anlaşılabilirlik konusunda iyileştirmeye ihtiyaç olduğunu göstermiştir. Ayrıca, yanıtlar genellikle karmaşık tıbbi terminoloji kullanmış ve kısa olduğu için konunun kapsamlı bir şekilde anlaşılmasını sağlayamamıştır.
Çalışmada ayrıca, medyan PEMAT-P skorunun sadece %40 olması nedeniyle eyleme geçirilebilirliğin eksik olduğu tespit edilmiştir. Özellikle, prostat kanseri sorgularına ilişkin yanıtlar hem anlaşılabilirlik hem de eyleme geçirilebilirlik açısından en düşük puanlara sahipti.
Uzmanlar Tamamlayıcı Rol Çağrısında Bulunuyor
Kabarriti şu sonuca varmıştır:
Bulgularımız, yapay zeka sohbet robotlarının çok az yanlış bilgi ile doğru bilgi sağladığını göstermektedir. Bununla birlikte, bilgiler üniversite okuma düzeyinde ve çok az eyleme geçirilebilirlikle sağlandı. Yapay zeka teknolojisi geliştikçe ve hasta eğitiminde daha büyük bir rol üstlenmesi beklendikçe, uzmanlar chatbotların geleneksel hasta-klinisyen tartışmalarının yerini almak yerine tamamlayıcı bir işlev görmesi gerektiğini öne sürüyor.
Yapay zeka sohbet robotları, okunabilirlik ve eyleme geçirilebilirlik alanındaki iyileştirmelere odaklanarak, daha geniş bir kitlenin bilgi ihtiyaçlarını karşılayarak sağlık hizmetlerinde değerli bir araç olma potansiyeline sahiptir.
