e-ISSN 2148-0532 DOI 10.54233 Açık Erişim · CC BY-NC-SA 4.0 English
Endoüroloji Bülteni — Endourology Bulletin Makale Gönder
Özgün Araştırma Açık Erişim

Chatbotlardan Elde Edilen Böbrek Kisti Bilgilerinin Değerlendirilmesi: Karşılaştırmalı Bir Çalışma

Evaluating Kidney Cyst Information from Chatbots: A Comparative Study

Yazar bilgileri
  1. Polatlı Duatepe Devlet Hastanesi
  2. Hatay Mustafa Kemal Üniversitesi
  3. Sincan Training and Research Hospital, Department of Urology
Sayı
Cilt 18 · Sayı 3
Sayfa
126-133
Yayın Tarihi
30 Eylül 2026
DOI
https://doi.org/10.54233/endourolbull-1848567 (yeni sekmede açılır)

Özet

Amaç: Böbrek kistleri, böbreğin en sık görülen edinsel lezyonlarıdır. Çalışmanın amacı, böbrek kistleriyle ilgili sorulara üç yapay zekâ sohbet botu tarafından verilen yanıtların güvenilirliğini ve kalitesini değerlendirmektir.

Gereç ve Yöntemler: Semrush platformu kullanılarak böbrek kistleriyle ilişkili arama eğilimleri beş yıllık dönem boyunca analiz edildi. Yirmi beş soru; “genel bilgiler”, “semptomlar ve tanı yöntemleri”, “tedavi ve takip yaklaşımları” ile “yan etkiler ve komplikasyonlar” olarak gruplandı. Sorular üç sohbet botuna (ChatGPT-4, Gemini Pro, Llama 3.1 Large) yöneltildi. Yanıtların okunabilirliği Flesch-Kincaid Sınıf Düzeyi (FKGL) testi ve Flesch Okunabilirlik Kolaylığı Skoru (FRES) testiyle değerlendirildi. Güvenilirlik ve kalite ise Hastalar İçin Bilgi Kalitesinin Sağlanması (Ensuring Quality Information for Patients – EQIP) skoru ve modifiye DISCERN skoru kullanılarak analiz edildi.

Bulgular: Llama’nın FKGL skoru ChatGPT’ye kıyasla anlamlı derecede yüksekti (p = 0,022); Llama ile Gemini (p = 0,500) ve Gemini ile ChatGPT (p = 0,525) arasında fark saptanmadı. FRES ölçeğinde ChatGPT, Gemini’den; Gemini ise Llama’dan yüksek skor elde etti (sırasıyla p = 0,006 ve p = 0,012). Medyan modifiye DISCERN skoru ChatGPT için en düşük değerdi (2); bu değer Gemini (3) ve Llama (3) ile karşılaştırıldığında anlamlı fark gösterdi (p < 0,001). Ortalama EQIP skoru ChatGPT için 71,22 ± 3,91, Gemini için 77,72 ± 1,16 ve Llama için 73,26 ± 2,70 bulundu (p < 0,001). ChatGPT, diğer sohbet botlarına kıyasla daha düşük kalite skorlarına sahipti.

Sonuçlar: ChatGPT, FRES skoruna göre en okunabilir yanıtları oluşturmasına rağmen, kalite ve güvenilirlik açısından Gemini ve Llama’ya kıyasla daha düşük performans göstermiştir. Genel olarak sohbet botlarının yanıtları okunabilirlik ve anlaşılabilirlik açısından zorlayıcı bulunmuş olup, hasta eğitimi için güvenilir bağımsız bir kaynak olarak değerlendirilebilmeleri için daha fazla geliştirmeye ihtiyaç vardır.

Bu Sayıdaki Diğer Makaleler