EN
TÜRKÇE
Oral Presentation - 71
AI-assisted 2D-to-3D conversion: an educational model for presenting Pediatric Surgery pathologies in a VR environment
Musa Batuhan Yolcu 1, Sinan Celayir 2
1 Istanbul University-Cerrahpaşa, Cerrahpaşa Research, Simulation and Design Center
2 Istanbul University Cerrahpasa Medical Faculty Department of Pediatric Surgery
OBJECTIVE: Traditional 3D modeling processes require specialized expertise and significant time investment. In this study, the AI-based platform Meshy.ai was utilized to automatically generate 3D models from 2D schematic drawings. These models were then transformed into an interactive VR application compatible with Meta Quest 3. The aim was to develop an accessible, realistic, and interactive educational tool tailored for medical students and pediatric surgery residents.
METHODS: As a pilot example, types A–E of esophageal atresia were selected and reconstructed using schematic 2D illustrations from the literature. These illustrations were processed through the AI-powered Meshy.ai platform to generate 3D mesh models with textures. The resulting models were integrated into a VR application developed in Unity and optimized for Meta Quest 3. Within the virtual environment, users can examine models in full 360°, exploring anatomical variations in detail. The system is also suitable for developing an interactive examination module.
RESULTS:
AI-Driven Automated Modeling: Compared to traditional 3D modeling methods, this approach provided a faster, cost-effective, and user-independent production process.
Anatomical Realism: AI-based segmentation and texture mapping successfully represented the unique anatomical structures of each atresia type.
Interactive VR Experience: The Unity-based platform allowed users to rotate, zoom, and compare 3D objects within the virtual space.
Educational Suitability: The system offers a portable and repeatable model that can be utilized in both remote and in-person training for medical students and residents.
CONCLUSION:
This study demonstrates that AI-assisted platforms can be effectively employed in medical education to produce 3D anatomical models. The integration of 3D models generated via Meshy.ai into a VR environment presents an innovative approach to enhancing the learning process in pediatric surgery. Additionally, the system is suitable for integration into assessment frameworks. Designed to be compatible with Meta Quest 3, this solution offers a low-cost, accessible, and highly interactive educational resource.
Yapay zekâ destekli 2D'den 3D'ye dönüşüm: Çocuk Cerrahisi patolojilerinin VR ortamında sunumu için bir eğitim modeli
Musa Batuhan Yolcu 1, Sinan Celayir 2
1 İstanbul Üniversitesi-Cerrahpaşa, Cerrahpaşa Araştırma, Simülasyon ve Tasarım Merkezi
2 İstanbul Üniversitesi Cerrahpaşa Tıp Fakültesi Çocuk Cerrahisi AD
AMAÇ: Geleneksel 3B modelleme süreçleri uzmanlık ve zaman gerektirirken, bu çalışmada yapay zekâ tabanlı Meshy.ai platformu kullanılarak 2B çizimlerden otomatik olarak 3B modeller elde edilmiş ve bu modeller, Meta Quest 3 uyumlu etkileşimli bir VR uygulamasına dönüştürülmüştür. Amaç; çocuk cerrahisi stajı alan öğrenciler ve asistanlara yönelik erişilebilir, gerçekçi ve etkileşimli bir eğitim aracı geliştirmektir.
YÖNTEM: Örnek olarak özofagus atrezisi tipleri (A–E), literatürdeki şematik 2D çizimlerden elde edilerek yapay zekâ destekli Meshy.ai platformunda 3D mesh ve texture’a dönüştürülmüştür. Ortaya çıkan modeller, Unity ile geliştirilen ve Meta Quest 3'e optimize edilen bir VR uygulamasına entegre edilmiştir. Kullanıcılar modelleri sanal ortamda 360° inceleyebilmekte, anatomik varyasyonları detaylı şekilde gözlemleyebilmektedir. VR ortamında interaktif sınav modülü geliştirilmesine uygundur.
BULGULAR:
Yapay Zekâ ile Otomatik Modelleme: Geleneksel 3D modelleme süreçlerine kıyasla hızlı, düşük maliyetli ve kullanıcıdan bağımsız bir üretim süreci sağlanmıştır.
Anatomik Gerçekçilik: AI tabanlı segmentasyon ve doku eşleştirme sayesinde her tip atrezinin özgün anatomik yapısı başarılı şekilde temsil edilmiştir.
Etkileşimli VR Deneyimi: Unity tabanlı platformda, kullanıcıya 3D objeleri sanal alanda döndürme, yakınlaştırma ve karşılaştırma imkânı sunulmuştur.
Eğitim Uygunluğu: Tıp öğrencileri ve asistanlar için hem uzaktan hem de yerinde eğitimde kullanılabilir, taşınabilir ve tekrar edilebilir bir model sunulmuştur.
SONUÇ: Bu çalışma, yapay zekâ destekli platformların tıbbi eğitimde 3D model üretiminde etkin şekilde kullanılabileceğini göstermektedir. Meshy.ai ile elde edilen 3B modellerin VR ortama entegre edilmesi, çocuk cerrahisi alanında öğrenme sürecini zenginleştiren yenilikçi bir yöntem olarak öne çıkmaktadır. Aynı zamanda sınav sistemlerine de entegre edilebilir. Meta Quest 3 ile uyumlu geliştirilen bu sistem, düşük maliyetli, erişilebilir ve yüksek etkileşimli bir eğitim materyali sunmaktadır.