Oral Presentation - 81
ChatGPT-4o® in Pediatric Burn Care: Expert Review of Its Role in Initial Clinical Decision-Making
Asya Eylem Boztaş, İncinur Genişol, Ayşe Demet Payza, Özkan Okur, Arzu Şencan
Dr. Behçet Uz Child Diseases and Surgery Training and Research Hospital, Pediatric Surgery Clinic
Introduction:Artificial intelligence(AI)is playing an increasingly prominent role in advancing the field of medicine. Among AI technologies, ChatGPT stands out as a potential tool in clinical support and education. This study aims to evaluate, the accuracy and quality of responses generated by ChatGPT-4o® to frequently asked questions(FAQs) posed by practicing physicians regarding the initial assessment of pediatric burn injuries, with assessment of pediatric burn specialists.
Methods:Thirty-four FAQs about pediatric burn care were posed to ChatGPT-4o twice, one week apart, blindedly by four experienced pediatric surgeons who work at a national tertiary referral burn center. Questions were divided into five subgroups; initial assessment and triage, fluid resuscitation and hemodynamic management, wound care and infection prevention, pain management and sedation, special situations and follow-up. The results given by chatbot were evaluated by pediatric surgeons using modified five-point DISCERN tool(mDISCERN) for reliability and the Global Quality Scale(GQS) for comprehensive quality of the answers. Inter-rater reliability was measured using intraclass correlation coefficients(ICC).
Results:ChatGPT-4o® demonstrated high-quality and reliable responses to pediatric burn care questions. The median GQS was 4.75(3.50–5.00), with 67.7% of responses scoring ≥4.75, and 41.2% receiving a perfect score of 5.00. The mDISCERN median score was 9.25(7.00–10.00), and 74% of responses scored ≥9.25, reflecting strong informational reliability. There was a very strong correlation between GQS and mDISCERN scores(r=0.858,p<.001), indicating consistent alignment between content quality and reliability. Inter-rater reliability analysis showed good agreement for individual scores(ICC= 0.63) and excellent consistency for average scores(ICC= 0.87, p< .001), supporting the robustness of the reviewers' assessments.
Conclusions:ChatGPT-4o proves to be a high-quality and reliable source of information for the initial evaluation of pediatric burn patients, providing substantial support for healthcare professionals in clinical decision-making. Its consistent accuracy and relevance position it as a promising adjunct tool in pediatric burn care.
Pediatrik Yanık Yönetiminde ChatGPT-4o®’nun Kullanımı: İlk Klinik Karar Sürecine Yönelik Uzman Değerlendirmesi
Asya Eylem Boztaş, İncinur Genişol, Ayşe Demet Payza, Özkan Okur, Arzu Şencan
Dr Behçet Uz Çocuk Hastalıkları ve Cerrahisi Eğitim ve Araştırma Hastanesi, Çocuk Cerrahisi Kliniği
Giriş: Yapay zeka teknolojileri, tıpta klinik karar destek sistemleri ve tıp eğitimi alanlarında giderek artan bir etkiye sahiptir. Bu teknolojiler arasında yer alan ChatGPT, sağlık profesyonellerine yönelik bilgi sağlama potansiyeli taşımaktadır. Bu çalışmada, ChatGPT-4o® modelinin pediatrik yanık hastalarının ilk değerlendirmesine ilişkin klinisyenler tarafından sıkça yöneltilen sorulara verdiği yanıtların doğruluk ve içerik kalitesini, pediatrik yanık alanında uzman çocuk cerrahlarının değerlendirmesiyle incelenmesi amaçlanmıştır.
Yöntem: Üçüncü basamak pediatrik yanık merkezinde görev yapan dört uzman çocuk cerrahı tarafınca, pediatrik yanık yönetimine ilişkin sık sorulan toplam 34 soru ChatGPT-4o®’ya iki farklı zamanda (birer hafta arayla) bağımsız olarak yöneltilmiştir. Sorular; ilk değerlendirme ve triyaj, sıvı resüsitasyonu ve hemodinamik izlem, yara bakımı ve enfeksiyonu önleme, analjezi ve sedasyon, özel durumlar ve takip olarak beş gruba ayrılmıştır. Yanıtların güvenilirliği çocuk cerrahları tarafınca modifiye DISCERN (mDISCERN) ölçeği (0-10puan) ile, genel kalite düzeyi ise Global Kalite Skalası (GQS)(0-5 puan) ile değerlendirilmiştir. Gözlemciler arası uyum, intraclass korelasyon katsayısı (ICC) ile analiz edilmiştir.
Bulgular: ChatGPT-4o®, pediatrik yanık ilk müdahalesine ilişkin sorulara yüksek derecede güvenilir ve kaliteli yanıtlar üretmiştir. Medyan GQS skoru 4,75 (3,50–5,00) olup, yanıtların %67,7’si ≥4,75 ve %41,2’si tam puan (5,00) almıştır. Medyan mDISCERN skoru 9,25 (7,00–10,00) olarak saptanmış, yanıtların %74’ü ≥9,25 puan alarak yüksek bilgi güvenilirliği göstermiştir. GQS ve mDISCERN skorları arasında anlamlı düzeyde pozitif korelasyon izlenmiştir (r=0,858, p<0,001). Gözlemciler arası uyum, bireysel puanlar açısından iyi (ICC=0,63), ortalama puanlar açısından mükemmel düzeyde (ICC=0,87, p<0,001) bulunmuştur.
Sonuç: ChatGPT-4o®, pediatrik yanık hastalarının ilk değerlendirmesinde, klinik karar süreçlerini destekleyecek nitelikte güvenilir ve yüksek kaliteli bilgiler sunmaktadır. Bulgular, bu yapay zekâ modelinin pediatrik yanık değerlendirilmesi için yardımcı bir araç olarak kullanılabileceğini göstermektedir.