삼차원 경동맥 TOF 자기공명 혈관조영 영상을 활용한 딥러닝 전이학습 기반 뇌백질변성 부피 예측

장혜정 이화여자대학교 대학원 2023 국내석사

본 연구의 목적은 딥러닝(deep learning) 모델을 이용하여 삼차원(three- dimensional, 3D) 경동맥 TOF (Time-of-Flight) 자기공명 혈관조영(magnetic resonance angiography, MRA) 영상으로부터 뇌백질변성(white matter hyperintensity, WMH)의 부피를 예측하는 것이다. 본 연구는 2016 – 2021년 서울대학교병원에서 수집한 건강검진 데이터를 기반 으로 수행되었으며, 총 975명의 대상자에 대한 TOF-MRA 영상 데이터를 훈련 (training) 데이터 및 테스트(test) 데이터로 사용하였다. 딥러닝 모델을 구축하기 위해 먼저 경동맥 분할(carotid artery segmentation)을 수행하도록 V-Net 모델 을 훈련하였다. 그리고 훈련된 V-Net 모델을 활용하여 전이학습(transfer learning) 기반의 뇌백질변성 부피 예측 모델을 형성하였다. 전이학습 기반 모델 의 성능 평가를 위해 기존의 합성곱 신경망(convolutional neural network, CNN) 모델(ResNet, Inception-ResNet-v2, and SFCN)을 학습시켜 뇌백질변성 부피 예 측의 비교 모델을 구축하였다. 연구에서 사용된 데이터세트가 불균형 데이터 문제를 가지고 있어, 이를 해결하 기 위해 LDS (Label distribution smoothing), FDS (Feature distribution smoothing), Ranking Loss와 같은 기법을 적용하였다. 구축된 딥러닝 모델은 평균 절대 오차(mean absolute error, MAE), 평균 제곱 근 오차(root mean squared error, RMSE), 결정계수(coefficient of determination; R-squared score, R2), 피어슨 상관계수(Pearson correlation coefficient, PCC)를 통해 성능을 평가하였다. 본 연구에서 구현한 딥러닝 모델은 평균 절대 오차 0.304, 평균 제곱근 오차 0.396, 결정계수 0.26, 피어슨 상관계수 0.519의 성능 을 나타냈다. 또한 Grad-CAM (Gradient-weighted class activation mapping) 기 법을 이용하여 TOF-MRA 영상에서 어느 영역이 뇌백질변성 부피 예측에 기여하 는지 평가하였으며, 이를 통해 경동맥이 뇌백질변성 부피 예측에 높은 영향력을 가지고 있음을 확인하였다. 본 연구에서 구현한 전이학습 기반 CNN 모델을 활용하면 뇌 MRI 영상 없이 경동맥 TOF-MRA 영상만으로도 뇌백질변성 부피를 예측할 수 있다. 따라서 향 후에 딥러닝 기술과 경동맥 TOF-MRA 영상을 활용한 뇌백질변성 진단을 통해 인지장애 또는 뇌혈관질환의 예방에 대한 중요한 정보를 손쉽게 제공할 수 있을 것으로 기대된다. Carotid arterial features, such as carotid plaques, carotid intima-media thickness, arterial stiffness, and remodeling, have been suggested to be associated with white matter hyperintensity (WMH). Considering this assumption, this study aims to build deep learning models to estimate WMH volumes based solely on time-of-flight (TOF) carotid magnetic resonance angiography (MRA) images. Our dataset includes a total of 975 carotid MRI scans obtained from Seoul National University Hospital. Using the carotid MRI scans, we attempt the transfer learning method to enhance the performance of WMH volume prediction applying pre-trained V-Net models developed for carotid artery segmentation. Because TOF-MRA images involve relatively simple image contrast compared to natural images, we modify the V-Net architecture by reducing down-sampling and up-sampling blocks. We then assess the performance of our approach by comparing the results from alternative CNN models (ResNet, Inception-ResNet-v2, and SFCN) trained for WMH volume prediction. Moreover, we apply label distribution smoothing (LDS), feature distribution smoothing (FDS), and ranking loss based on Spearman’s rank correlation coefficient to our transfer learning-based model to resolve the imbalanced data distribution. As a result, it shows the best performance with mean absolute error (MAE) of 0.304, root mean squared error (RMSE) of 0.396, R-squared score of 0.26, and Pearson correlation coefficient (PCC) of 0.519 using our transfer learning-based model without employing data imbalance methods. By applying Grad-CAM, we provide empirical evidence that our proposed transfer learning model estimates the WMH volume derived from carotid arterial features. Hence, this study shows the feasibility of estimating abnormal WMH volumes from neck MRA images using the transfer learning method.

경동맥 MR 혈관조영 영상을 활용한 딥러닝 기반 뇌백질변성 예측

이지호 이화여자대학교 대학원 2025 국내석사

This study proposes a deep learning-based model that predicts white matter hyperintensity (WMH) using only three-dimensional(3D) carotid Time-of-Flight (TOF) magnetic resonance angiography (MRA) images as input. WMH is a representative imaging marker of cerebral small vessel disease(cSVD) and is known to be associated with cognitive impairment, gait disturbances, and increased risk of stroke and dementia. While previous studies have primarily focused on the statistical correlations between carotid morphological features and WMH, direct prediction of WMH from carotid MRA imaging has not been explored. To address this gap, this study adopts an end-to-end deep learning approach that directly utilizes raw TOF MRA images for WMH classification. This study investigates two classification tasks: binary classification to detect the presence of WMH, and three-class classification to assess its severity. Several convolutional neural network (CNN)-based models—SFCN, ResNet10, and MedicalNet—and a Transformer-based model, MST, were trained and evaluated. Among these, the SFCN model demonstrated the best performance, achieving 81.8% accuracy and an AUC of 0.882 in binary classification, and 66.4% accuracy with an AUC of 0.847 in WMH severity classification. To interpret the model’s predictions, saliency maps and occlusion sensitivity analyses were performed. The saliency visualization revealed that the trained models commonly focused on the anatomical structures of the carotid artery, particularly around the carotid bifurcation. Occlusion sensitivity analysis further confirmed that this region played a crucial role in the prediction process. These findings suggest that vascular information contained in carotid MRA images can be meaningfully utilized for predicting WMH. This study demonstrates the feasibility of predicting and classifying WMH using carotid TOF MRA as the sole imaging modality within a deep learning framework. Furthermore, it highlights the potential of carotid imaging as a non-invasive tool for the early assessment of cerebrovascular abnormalities, establishing a practical basis for WMH prediction without relying on brain MRI. 본 연구는 뇌백질변성(white matter hyperintensity, WMH)을 예측하기 위하여 3차원 경동맥 TOF(Time-of-Flight) 자기공명 혈관조영(magnetic resonance angiography, MRA) 영상을 단독으로 활용하는 딥러닝(deep learning) 모델을 제안하는 것을 목적으로 한다. 뇌백질변성은 뇌소혈관질환(cerebral small vessel disease)의 대표적인 영상 지표로, 다양한 신경 행동 증상 및 기능적 장애와 연관되며, 뇌졸중 및 치매의 주요 원인으로 알려져 있다. 기존의 경동맥과 뇌백질변성 간의 연관성에 대한 연구들은 주로 경동맥의 형태학적 지표와 뇌백질변성 간의 통계적 상관관계 분석에만 초점을 맞추어 왔으나, 본 연구에서는 경동맥 MRA 영상을 직접 입력으로 사용하는 end-to-end 방식의 딥러닝 모델을 통해 영상 기반의 직접적인 예측 접근을 시도하였다. 뇌백질변성의 유무를 예측하는 이진 분류(binary classification)와 중증도를 예측하는 다중 클래스 분류(multi-class classification) 문제를 다루었으며, CNN(Convolutional Neural Network) 기반의 SFCN, ResNet, MedicalNet 모델과 Transformer 구조의 MST 모델을 학습하여 성능을 비교하였다. 이 중 SFCN 모델이 가장 우수한 성능을 보였으며, 병변 유무 분류에서는 정확도 81.8%, AUC 0.882를, 중증도 분류에서는 정확도 66.4%, AUC 0.847을 기록하였다. 또한, 모델의 예측 결과를 해석하기 위하여 시각적 중요도 분석(saliency map)과 폐쇄성 민감도 분석(occlusion sensitivity analysis)을 수행하였다. 시각화 결과에서 학습된 모델들이 공통적으로 경동맥의 해부학적 구조, 특히 경동맥의 분기점 부위에 주목한다는 것을 알 수 있었으며, 폐쇄성 민감도 분석에서도 해당 부위가 예측에 중요하게 작용한다는 것을 확인할 수 있었다. 이러한 결과는 경동맥 MRA 영상에 나타나는 혈관의 정보가 뇌백질변성 예측에 유의미하게 활용될 수 있음을 시사한다. 본 연구는 경동맥 TOF MRA 영상을 단독으로 활용하여 딥러닝 기반으로 뇌백질변성을 예측하고 분류할 수 있음을 실증하였으며, 나아가 경동맥 영상이 뇌혈관 이상에 대한 비침습적 조기 평가 도구로 활용될 수 있는 가능성을 제시한다.

딥러닝을 활용한 촉각적 환상의 뇌 활성화 분석

이은지 이화여자대학교 대학원 2025 국내석사

아리스토텔레스 환상과 같은 촉각적 환상은 감각 통합과 지각 과정을 이해하는데 중요한 단서를 제공하지만, 대부분의 연구는 시각적 환상에 집중되어 있어 촉각적 환상의 신경 기전에 대한 이해는 부족하다. 기존 EEG 기반 연구는 이 환상과 관련된 신경 활성화를 조사하였으나, 공간 해상도와 분석 방법의 한계로 인해 심층적인 신경 기전 규명이 어려웠다. 최근 딥러닝, 특히 CNN과 Grad-CAM은 fMRI 데이터를 효과적으로 분석하고 신경 활성화 패턴을 시각화하는 강력한 도구로 주목받고 있다. 본 연구에서는 fMRI 데이터를 활용하여 아리스토텔레스 환상, Reverse 환상, 비동기 자극의 세 가지 조건을 대상으로 CNN 모델을 학습하고 비교하였다. 자극 조건 간 분류 실험에서는 모든 모델에서 낮은 성능을 보였으나, 피험자 반응을 기준으로 한 분류 실험에서는 높은 성능을 보였다. 특히, SFCN 모델은 아리스토텔레스 환상을 경험한 경우와 Reverse 환상을 경험한 경우 간 분류에서 66%의 정확도를 기록하였으며, Reverse 자극 경험 유무 분류에서는 79.4%의 정확도를 달성하였다. 또한, Grad-CAM을 활용하여 각 조건에 따른 뇌 활성화 패턴을 시각적으로 분석하였다. Grad-CAM 분석을 통해 아리스토텔레스 환상과 Reverse 환상 간 비교에서는 체감각 피질(S1)과 두정엽 등이 주요 활성화 영역으로 관찰되었으며, Reverse 환상 경험 유무 간 비교에서는 두정엽이 주요 활성화 영역으로 확인되었다. 추가적으로 Reverse 환상 경험 비율과 중심소엽 우측 활성화 간 음의 상관관계가 확인되었다. 이러한 결과는 촉각적 환상과 관련된 뇌 활성화 패턴을 이해하는 데 있어 딥러닝 기반 접근법이 유용하며, 피험자 반응 기준 실험이 촉각적 환상의 신경 기전을 탐구하는 데 효과적인 방법임을 시사한다. 본 연구는 딥러닝 기법과 Grad-CAM을 활용하여 촉각적 환상의 신경 기전을 규명한 최초의 시도 중 하나로, 이를 통해 촉각적 환상의 신경학적 이해를 심화하고 기존 EEG 기반 연구의 한계를 보완하였다. 본 연구는 촉각적 환상에 대한 신경학적 이해를 확장하며, 딥러닝 기반 접근법이 신경과학 및 임상 응용 연구에 중요한 도구로 활용될 가능성을 제시한다. Perceptual illusions, such as the Aristotle illusion, provide valuable insights into neural mechanisms underlying sensory integration and perception. While most research has predominantly focused on visual illusions, the neural mechanisms of tactile illusions remain relatively underexplored. A previous EEG-based study has investigated the neural correlates of the Aristotle illusion, but limitations in spatial resolution and analytical methods pose challenges in detecting neural activity related to the Aristotle illusion from deep brain regions. Recently, deep learning techniques, particularly convolutional neural networks (CNNs) and Gradient-weighted Class Activation Mapping (Grad-CAM), have emerged as powerful tools for analyzing fMRI data and visualizing neural activation patterns. This study utilized fMRI data to compare CNN models based on three conditions: Aristotle illusion, Reverse illusion, and asynchronous stimulus. Classification experiments based on stimulus conditions showed low performance across all models, whereas experiments based on participant responses demonstrated higher performance. The SFCN model demonstrated the highest performance, achieving an accuracy of 66% in distinguishing between the perception of the Aristotle illusion and the Reverse illusion, and 79.4% in distinguishing cases where the Reverse illusion was perceived from those where it was not. Grad-CAM was employed to visually analyze brain activation patterns under each condition. Grad-CAM analysis revealed that the primary somatosensory cortex (S1) and parietal regions were key areas activated when distinguishing between the perception of the Aristotle and Reverse illusions, while parietal regions emerged as significant in distinguishing whether the Reverse illusion was perceived or not. In addition, a negative correlation was observed between the proportion of perceiving the Reverse illusion and activation in the right paracentral lobule. These findings suggest that a deep learning-based approach is effective in understanding brain activation patterns associated with tactile illusions and that participant response-based experiments offer a valuable method for investigating the neural mechanisms of tactile illusions. This study is among the first to elucidate the neural mechanisms of tactile illusions using deep learning techniques and Grad-CAM. By providing a more comprehensive understanding of the neural basis of tactile illusions, this study builds on existing EEG-based research and demonstrates the potential of deep learning approaches in neuroscience and clinical research applications.

인페인팅 기반 준지도 학습을 활용한 X-ray 기반 대퇴골두 무혈성 괴사 조기 진단 연구

정조은 이화여자대학교 대학원 2025 국내석사

대퇴골두 무혈성 괴사(Osteonecrosis of the Femoral Head, ONFH)는 혈류 공급 차단으로 인해 골조직이 괴사되는 진행성 질환이다. MRI는 ONFH의 조기 진단에 효과적이지만, 높은 비용, 오랜 촬영 시간, 그리고 낮은 접근성으로 인해 실제 임상에서 고관절 통증을 호소하는 환자들이 1차적으로 촬영하는 것은 X-ray이다. 그러나 X-ray 상에서 정상과 Stage 1을 구분하기는 어렵다. 또한, 의료 데이터에서 흔히 가능한 클래스 불균형이 존재할 때, 단순 분류 모델만을 이용하게 되면 낮은 분류 성능을 초래할 수 있다. 본 연구에서는 이러한 문제를 해결하기 위해, 정상 영상만으로 학습하는 인페인팅 기반 준지도 이상치 탐지 프레임워크와 이를 활용한 이진 분류(정상 vs. 함몰 이전 단계) 모델을 제안하였다. 대퇴골두를 포함하는 ROI를 정의하고, 인페인팅 모델은 해당 영역을 주변 배경 정보를 참고해 정상처럼 복원하도록 학습된다. 이후 인페인팅된 영상과 입력 영상 간의 차이 맵을 생성해 병변으로 추정되는 부위를 시각화하여 확인하였다. 또한, 인페인팅 결과 영상과 입력 영상 간의 차이를 정량화하고, 통계적 유의성 검정을 통해 각 질환 단계 간의 차이를 분석하였다. 그 결과, Stage 0과 Stage 1을 포함한 모든 쌍에서 통계적으로 유의한 차이가 관찰되었으며, 이는 X-ray 영상만으로도 조기 병변 감지가 가능함을 시사한다. 또한, 인페인팅 결과 영상을 활용한 분류 모델은 단순히 원본 영상만을 사용하는 분류 모델보다 우수한 성능을 기록하였다. 이러한 결과는 제안된 프레임워크가 임상 환경에서 X-ray 기반 조기 진단 보조 도구로 활용될 수 있는 잠재력을 지님을 보여준다. Osteonecrosis of the femoral head (ONFH) is a progressive disease caused by a loss of blood supply, leading to bone tissue necrosis. While MRI is highly sensitive for detecting early-stage ONFH, its high cost and limited accessibility make X-ray the primary first-line imaging modality for individuals presenting with hip pain. In X-ray, however, distinguishing early-stage ONFH, particularly Stage 1 from normal conditions, remains challenging due to minimal radiographic abnormalities. Moreover, the inherent class imbalance commonly observed in medical data causes conventional classification models to be biased toward normal cases. To address these challenges, we propose a semi-supervised anomaly detection framework based on image inpainting, trained exclusively on normal images, along with a corresponding binary classification model that distinguishes between normal and pre-collapse stages (Stage 1, 2). A rectangular region of interest (ROI) encompassing the femoral head was defined, and the inpainting model was trained to reconstruct the ROI to a normal appearance by considering surrounding background context. A difference map was then generated by comparing the input and inpainted images, which enabled the localization of abnormal regions. Statistical tests demonstrate significant inter-stage differences across all pairs with a notable distinction observed between Stage 0 and Stage 1 in X-ray imaging. Furthermore, a binary classification model that leverages inpainted images outperformed a baseline model relying solely on original X-ray inputs. These results demonstrate the potential of the proposed framework to serve as an effective X-ray–based decision support tool for early diagnosis of ONFH in clinical settings.

TOF-MRA를 가이드로 활용한 생성모델을 기반 CE-MRA 초해상화 기법에 관한 연구

이혜빈 이화여자대학교 대학원 2025 국내석사

고해상도의 의료 영상은 병변의 세부 구조를 명확히 시각화하고, 진단의 정확성을 높이는 데 중요한 역할을 한다. 특히 뇌혈관 질환과 같은 복잡한 구조를 다루는 경우, 더 정밀한 영상은 병변의 조기 발견과 치료 계획 수립에 큰 이점을 제공한다. 자기공명혈관조영술(MRA)은 뇌혈관 질환의 진단에 중요한 영상 기법으로, 조영제를 사용하는 CE-MRA와 비조영 방식의 TOF-MRA로 구분된다. CE-MRA는 혈관 구조를 명확히 시각화할 수 있지만 짧은 촬영 시간으로 인해 해상도에 한계가 있다. 반면, TOF-MRA는 높은 공간 해상도로 미세 혈관 구조를 시각화하는데 유리하며, 두 영상은 상호 보완적으로 활용된다. 기존에는 CE-MRA의 해상도 한계를 보완하기 위해 TOF-MRA 추가 촬영 또는 후처리 기법이 사용되었으나, 이는 시간과 비용 부담이 크며 해상도 개선에는 한계가 존재한다. 최근 딥러닝 기술의 발전으로 의료 영상 분야에서도 초해상도 기술이 활발히 연구되고 있으며, 특히 생성모델을 활용한 연구들이 뛰어난 성과를 보이고 있다. 이러한 기술은 복잡한 영상 변환 문제를 해결하며, 보다 정밀하고 사실적인 고해상도 이미지를 생성함으로써 진단의 정확도와 효율성을 획기적으로 향상시킬 잠재력을 가지고 있다. 본 연구는 동일한 환자에 대한 TOF-MRA와 CE-MRA를 쌍으로 학습시킨 딥러닝 모델을 활용하여 CE-MRA만을 입력으로 주었을 때 해상도를 개선시키는 방안을 제안하고자 한다. 다양한 생성모델 기반의 이미지 변환 네트워크로 실험을 진행하였으며, 특히 DDPM 모델에서 skip connection을 조정하여 추가적인 성능을 향상을 꾀하고자 하였다. 이를 통해 CE-MRA의 화질 개선과 진단 정확도 향상을 목표로 하며, 추가 촬영 없이도 고해상도 영상을 제공할 수 있는 가능성을 제시한다. High-resolution medical imaging is essential for accurately visualizing detailed structures of lesions and improving diagnostic precision. This is particularly critical in the diagnosis and treatment of cerebrovascular diseases, where detailed visualization of complex vascular structures can facilitate early detection and effective treatment planning. Magnetic Resonance Angiography (MRA) is a crucial imaging technique for cerebrovascular diagnosis, categorized into Contrast-Enhanced MRA (CE-MRA) and Time-of-Flight MRA (TOF-MRA). While CE-MRA provides clear visualization of vascular structures, its limited acquisition time restricts resolution. In contrast, TOF-MRA offers higher spatial resolution, making it advantageous for visualizing fine vascular structures. Traditionally, TOF-MRA has been employed to complement CE-MRA by additional imaging or post-processing techniques to enhance resolution, though these approaches increase time and cost and offer limited improvements. Recent advancements in deep learning have enabled significant progress in super-resolution techniques across medical imaging, particularly with the use of generative models. These models demonstrate outstanding performance in solving complex image transformation tasks and generating high-quality, realistic high-resolution images, thereby improving diagnostic accuracy and efficiency. In this study, we propose a generative model-based approach to enhance CE-MRA resolution using TOF-MRA as a reference. The performance of Pix2Pix, CycleGAN, and Denoising Diffusion Probabilistic Models (DDPM) was evaluated, with specific adjustments to the skip connections in DDPM to improve performance. Our method aims to enhance the image quality and diagnostic accuracy of CE-MRA without requiring additional imaging. This study highlights the potential of generative models in improving medical imaging quality and assesses their applicability in clinical settings.

Diffusion 모델을 이용한 MRI 내 다발성 경화증 병변 분할

이나현 이화여자대학교 대학원 2024 국내석사

의료 분야에서 딥러닝 기술을 적용하여 의학 전문가의 진단을 보조하려는 연구가 이루어지고 있다. 여러 의료 분야 중에서도 의료 영상을 이용하여 영상 내에 존재하는 병변, 신체 부위 등을 파악하고 예측하는 연구가 진행되고 있다. 의료 영상을 이용하여 진단할 수 있는 다양한 질병 중 다발성 경화증은 중추신경계의 탈수초성 질환 중 가장 흔한 유형이며, 주로 젊은 연령층에서 발생하는 만성 염증성 질환이다. 진단을 위해 숙련된 의료진이 중추신경계에 산재한 두 가지 이상의 병적인 변화를 시사하는 임상 증상이 관찰된다면 진단한다. 이 질병을 관찰하는 방법으로 자기공명 영상(Magnetic Resonance Imaging, MRI)을 이용하여 병변을 관찰하고 진행 상황을 파악한다. 다발성 경화증 병변 영역을 확인하는 일에는 인력과 시간이 소요되므로 이를 보조하기 위해 인공지능 기술을 접목하려는 시도가 진행되고 있다. 그러나 의료 영상 내 병변은 영역과 정상 영역의 구분이 어려움이 있다. 이러한 어려움을 자동 병변 예측 모델을 통해 개선하고자 하는 연구가 꾸준히 이루어지고 있다. 특히 다발성 경화증의 경우 병변이 소뇌, 뇌실 등 뇌의 여러 영역에서 병변이 다양한 크기로 관찰되어 병변의 패턴이 산발적이고 복잡하다는 특징이 있다. 본 논문은 MRI와 Diffusion 모델을 이용한 딥러닝 감독 모델을 이용하여 MRI 내 병변 영역을 분할하는 방법을 제안한다. 이를 위해 다발성 경화증 환자 MRI와 이에 해당하는 영상 전문가들의 병변 영역 판단 결과를 데이터로 사용한다. 또한 의료 영상 내 병변 분할이라는 목적에 최적화된 기법을 적용하여 MRI 내에 존재하는 병변 영역을 더욱 잘 파악할 수 있도록 한다. 이를 통해 Diffusion 모델을 활용한 병변 영역 분할 모델의 성능과 의료 영상 최적화 방법의 효용을 확인함으로써 모델의 효율성을 보인다. In the medical field, research is being conducted to assist the diagnosis of medical experts by applying deep learning. Among them, research is being conducted to identify and predict lesions and body parts present in images using medical images. Among the various diseases that can be diagnosed by using medical images, multiple sclerosis is the most common type of demyelinating disease of the central nervous system, and it is a chronic inflammatory disease that occurs mainly in younger age groups. For diagnosis, trained medical staff make the diagnosis if clinical symptoms suggesting two or more pathological changes scattered in the central nervous system are observed. As a method of observing this disease, the lesion is observed using magnetic resonance imaging (MRI) and the progress is determined. Since it takes manpower and time to identify the lesion area of multiple sclerosis, attempts to incorporate artificial intelligence technology are being made to assist this. However, it is difficult to distinguish between an area and a normal area of a lesion in a medical image. In particular, in the case of multiple sclerosis, the lesion is observed in various sizes in various areas of the brain such as the cerebellum and ventricle, and the pattern of the lesion is sporadic and complex. This paper proposes a method of segmenting lesion areas in MRI using a deep learning supervision model based on MRI and Diffusion models. For this, MRI of patients with multiple sclerosis and the results of determining lesion areas by imaging experts corresponding thereto are used as data. In addition, by applying a technique optimized for the purpose of segmenting lesions in medical images, it is possible to better grasp the lesion areas present in MRI. Through this, the efficiency of the model is shown by confirming the performance of the lesion area segmentation model using the Diffusion model and the utility of the medical image optimization method.

다중 이동 패치-그래프 어텐션 모듈 (MPGAT)을 이용한 뇌 나이 예측 알고리즘 개발

임희주 이화여자대학교 대학원 2023 국내석사

시간에 따라 사람은 나이가 들며 인간의 지적능력을 담당하는 뇌 또한 인지 기 능 저하와 같은 여러 노화작용을 겪게 된다. 이 현상은 보편적으로 모든 개개인 에 대해 관측되지만 때로는 유전학적 혹은 환경적 요인에 의해 평균보다 뇌 노화 가 더 빠르게 진행되는 경우가 있다. 뇌의 노화 상태를 컴퓨터 알고리즘을 사용 해 알아낼 수 있다면 예측된 뇌 나이(brain age)는 뇌 신경성 질환들의 예측 바이 오마커로 활용될 수 있을 것이다. 따라서 뇌 나이 예측 모델을 개발하는 것은 중 요한 과제 중 하나이다. 대다수의 기존 연구들은 T1 강조 3D 자기공명 영상 데이 터에 컴퓨터 비전 딥러닝 기술인 합성곱층 신경망을 적용하여 뇌 나이를 학습시 켰다. 하지만 합성곱층은 주어진 합성곱 필터 크기에 맞는 로컬한 특징 값을 추 출한다는 점에서 전체 영상 데이터의 글로벌한 특징을 알기 어렵다. 따라서 기존 의 합성곱층 신경망은 입력 데이터인 뇌의 특징을 잘 반영하지 못한다. 뇌는 각 각의 영역이 고립되어 독립적으로 작동하는 것이 아니라 여러 작은 영역들이 서 로 상호작용하며 작동하기 때문이다. 본 논문에서는 뇌의 작동 방식을 모방한 예측 모델을 새롭게 제시한다. 연구에 서는 다중 이동 패치-그래프 어텐션 모듈(MPGAT)을 개발하여 합성곱층 신경망에 서도 먼 영역 간의 관계성을 고려해주었다. MPGAT은 영상 특징 맵으로부터 그 래프 어텐션을 수행하여 모델이 이미지 영역들의 관계성을 포착하며 학습하도록 한다. 기존의 어텐션 모듈들과 비교했을 때 MPGAT은 크게 네 가지의 장점을 지 닌다. 먼저, MPGAT은 어떠한 합성곱층 신경망 모델에 대해서도 쉽게 탈부착이 가능하다. 모듈 내부에 이미지 특징 맵을 그래프 자료구조로 변환하고 다시 이 그래프를 특징 맵으로 변환하는 과정이 있기 때문에 합성곱층과 함께 사용할 수 있다. 두 번째로 MPGAT은 특징 맵 영역들 간의 직접적이고 간접적인 연결성을 모두 탐색한다. 특징 맵을 그래프로 변환한 이후, 노드 사이의 유사도 함수 계산 과정을 마로코브 프로세스로 모델링하여 노드 간 직,간접적인 연결성을 간단하게 추정하였다. 셋째, MPGAT은 효율적으로 어텐션 계수를 계산한다. 게이트 운영 함수를 통해 타겟 노드와 관련성이 높은 노드들의 집합만을 가지고 노드를 업데 이트하게 된다. 마지막으로 MPGAT은 계층적인 구조를 통해 특징 맵을 풍부하게 표현한다. 서로 다른 패치 사이즈를 지니는 어텐션 브랜치를 여러 번 수행함으로 써그래프형성과정에서생길수있는정보손실을최소화하였다. MPGAT은 이후 sSE-ResNet18에 부착되어 최종적인 예측 모델을 구성하였다. 2,788명의 정상군 3D T1 강조 영상 데이터에 대해 진행된 실험에서 MPGAT-sSE- ResNet18은 2.957년의 평균 절대 오차(MAE)와 0.958의 피어슨 상관 계수(PCC), 그리고 0.903의 결정 계수(R2)를 기록하였다. 실험을 통해 sSE-ResNet18을 단독으 로 사용했을 때보다 MPGAT을 함께 사용했을 때 MAE가 0.282년 감소한 것을 확 인하였고 MPGAT-sSE-ResNet18이 기존의 이미지 인식 및 뇌 나이 예측에서의 SOTA 모델들보다 더 좋은 성능을 지님을 검증하였다. 본 연구를 통해 다중 이동 패치-그래프 어텐션 모듈 (MPGAT)을 뇌 나이 예측을 도와주는 새로운 모듈로 제안한다. As people get older, various aging processes occur in the brain. This phenomenon is universally observed in all individuals, but brain aging can accelerate due to genetic or environmental factors. If the aging state of the brain can be detected using a computer prediction algorithm, it can be used as a predictive biomarker for a wide range of neurological diseases. Therefore, developing a brain age prediction model is one of the important tasks in medical imaging domain. Most previous studies inferred brain age by applying a convolutional neural network (a computer vision deep learning technique) to 3D T1-weighted MR image data. However, CNN focuses mainly on spatially local features since convolution filters of relatively small size are learned to find pixel relationship in a local neighborhood. Therefore, the existing convolutional layer neural network has a disadvantage in that it does not reflect the characteristics of brain data. Rather than working in isolation, different brain regions interact with each other through their neurological connections in an orchestrated manner. In this paper, we present a new prediction model that mimics the brain connectivity. In this study, the Multi hop Patch2Graph Attention module(MPGAT) was developed to consider the relationship between distant regions in convolutional neural networks. MPGAT performs graph attention from image feature maps, allowing the model to capture and learn the relationships between image regions. MPGAT has four major advantages over existing attention modules. To begin, MPGAT can be easily attached and detached from any convolutional neural network model. It can be used with a convolutional layer because the module converts an image feature map into a graph data structure and then back into the image feature map. Second, MPGAT explores both direct and indirect connectivity between feature map regions. To enhance the representative capacity of the brain connection, we modified the edge matrix in a way that can consider up to mth-order neighborhood information. Third, MPGAT calculates the attention coefficient efficiently. The gate operation function updates nodes by considering only a subset of nodes that are highly related to the target node. Finally, MPGAT expresses feature maps richly via a hierarchical structure. By performing attention branches with different patch sizes several times, information loss during the graph formation process is minimized. We attached MPGAT to sSE-ResNet18 to construct the final predictive model. In an experiment conducted on 3D T1-weighted image data of 2,788 normal subjects, MPGAT-sSE-ResNet18 recorded mean absolute error(MAE) of 2.957 years, Pearson's correlation coefficient(PCC) of 0.958, and coefficient of determination(R2) of 0.903. The experiment confirmed that using MPGAT with sSE-ResNet18 reduced MAE by 0.282 years compared to using sSE-ResNet18 only. Also, MPGAT- sSE-ResNet18 performed better than SOTA models in conventional image recognition and brain age prediction area. Through this study, we propose a Multi hop Patch2Graph Attention (MPGAT) as a new module that leads the high performance in the prediction of brain age.

Self-Supervised Learning for 3D Body Composition Segmentation in Abdominal-Pelvic CT

김민영 이화여자대학교 대학원 2024 국내석사

Body composition analysis is a crucial indicator for diagnosing various diseases and tracking treatment prognoses. In particular, the distribution and characteristics of fat and muscle tissues provide valuable information for understanding conditions such as diabetes, sarcopenia, and cancer. However, manually segmenting three-dimensional images to obtain this body composition information is labor-intensive and expensive, prompting the development of automated models using deep learning. Traditional deep learning methods rely on large, labeled datasets, which require expert knowledge and present limitations in medical imaging analysis, especially with three-dimensional images. To address these limitations, this study employs self-supervised learning (SSL). We pretrain anatomical representations of the abdominal-pelvic region using a large, unlabeled dataset of computed tomography (CT) scans and apply this to the target task of body composition segmentation. We utilized three pre-training tasks—rotation angle prediction, image reconstruction, and contrastive learning—which have demonstrated superior performance in previous multi-organ segmentation studies. The Swin Transformer encoder was used for pre-training, while the SwinUNETR model was employed for segmentation. To evaluate the effectiveness of these pre-training tasks in body composition segmentation, we varied the amount of labeled data used. Rotation angle prediction and image reconstruction showed less performance degradation compared to the randomly initialized (scratch) model. Additionally, experiments adjusting data augmentation techniques and pre-training tasks were conducted to identify the most suitable self-supervised learning approach for body composition segmentation. In conclusion, when reducing the labeled data by 90%, the average DSC (Dice Similarity Coefficient) for all foreground classes decreased by 11.02% in the scratch model, whereas the self-supervised pre-trained model showed a reduction of only 5.78%. This study demonstrates that self-supervised learning can effectively reduce the labeling burden in three-dimensional medical imaging for body composition segmentation. The proposed model showed less performance degradation with reduced training data compared to the scratch model, indicating higher efficiency with fewer labeled samples. However, due to limitations in computational resources and costs, we simplified the experimental setup to find an optimal combination of pre-training settings. Future work could explore various configurations in model design and loss function settings to further enhance performance. 체성분 분석은 다양한 질병을 진단하고 치료 예후를 추적하는 데 중요한 지표가 된다. 특히 지방과 근육 조직의 분포와 특징은 당뇨병, 근감소증 및 암 등의 이해를 돕는 정보로 활용된다. 그러나 이러한 체성분 정보를 얻기 위해 수동으로 삼차원 영상을 분할하는 것은 많은 노동과 비용이 들기 때문에 딥러닝을 활용한 자동화 모델이 개발되어 왔다. 전통적인 딥러닝 학습 방식은 대량의 레이블 데이터 세트를 기반으로 학습하기 때문에 전문적 지식이 필요한 동시에 삼차원 영상을 다뤄야 하는 의료 영상 분석에 있어 충분한 레이블링 데이터를 확보하는데 한계를 가진다. 따라서 본 연구에서는 이러한 한계점을 해결하기 위해 자기 지도학습 방식을 활용한다. 이를 통해 체성분 분할 레이블이 없는 대량의 복부-골반 컴퓨터 단층 촬영 영상을 이용해 해당 영역의 해부학적 표현을 사전 학습하여 목표 문제인 체성분 분할에 적용한다. 데이터 도메인의 특징을 학습하기 위해 여러 장기를 분할한 선행 연구에서 우수한 성능을 보였던 회전 각도 예측, 영상 재건, 대조 학습 세 가지의 사전 학습 문제들을 사용했다. 사전학습은 Swin transformer 인코더를, 분할에는 SwinUNETR 모델을 사용하였으며 세 가지 문제의 체성분 분할에서의 효과를 확인하기 위해 체성분 레이블의 양을 조절하며 분할 성능을 확인했다. 회전 각도 예측과 영상 재건이 무작위 초기화 기반의 모델(scratch)에 비해 적은 성능 감소를 보였다. 나아가 데이터 변형 기법 및 사전 학습 문제를 조정하는 실험을 진행하여 체성분 분할에 적절한 자기 지도 학습 방식을 선정했다. 최종적으로 레이블 데이터를 90% 줄였을 때 전체 조직 클래스(foreground classes) 평균 DSC 값은 무작위 초기화 학습 모델에서 11.02% 감소하였으며, 자기 지도 사전 학습된 모델에서 5.78%의 감소를 보였다. 본 연구는 삼차원 의료 영상에서의 레이블링 작업 부담을 줄이기 위해 자기 지도 학습을 활용한 체성분 분할 모델 연구를 진행하였다. 제안된 모델은 무작위 초기화 모델에 대비해 학습 데이터 감소에도 불구하고 적은 성능 감소를 보이며 적은 학습 데이터에서의 높은 효율을 보였다. 한편으로 컴퓨터 자원 및 비용의 한계로 최적의 사전 학습 설정 조합을 간소화하여 실험적으로 찾았기 때문에 모델 디자인과 손실함수 설정 등 다양한 설정을 활용하여 보다 성능이 향상될 수 있을 것으로 기대한다.

고관절 X-ray 영상을 활용한 웨이블릿 보강 어텐션 기반 골밀도 예측 연구

김민형 이화여자대학교 대학원 2026 국내석사

본 연구는 일상적으로 촬영되는 고관절 X-ray 영상만을 이용하여 이중에너지 X선 흡수계측법(dual-energy X-ray absorptiometry, DXA) 기반 골밀도(bone mineral density, BMD)를 정량적으로 추정할 수 있는 주파수 인지(frequency-aware) 딥러닝 모델을 개발하고, 그 성능을 평가하는 것을 목적으로 한다. 고관절 X-ray에서 근위 대퇴골 영역을 자동으로 분할한 뒤, 해당 영역을 입력으로 하는 합성곱 신경망(convolutional neural network, CNN) 기반 회귀 모델을 구축하였으며, 웨이블릿 변환과 어텐션(attention)을 결합한 주파수 인지 모듈인 Wavelet Attention Fusion(WAF)을 도입하여 다중 스케일 주파수 성분을 재가중함으로써 피질골 경계와 골소주 구조를 보다 선명하게 반영하도록 설계하였다. 예측된 골밀도 값에는 검증 데이터로부터 추정한 선형 편향 보정(linear bias correction)을 적용하여, 전 범위에서 DXA 측정값과의 일치도 및 보정(calibration) 특성을 함께 평가하였다. 제안 모델은 DXA 기반 골밀도와 Pearson 상관계수(r) 0.944, 결정계수(R^2) 0.888, 평균제곱근오차(root mean squared error, RMSE) 0.052, 일치 상관계수(concordance correlation coefficient, CCC) 0.942 수준의 높은 정량적 일치도를 보였으며, 기준 합성곱 신경망 모델보다 일관되게 낮은 예측 오차와 우수한 보정 특성을 나타냈다. 이러한 결과는 주파수 인지 어텐션을 합성곱 기반 골밀도 추정 모델에 도입하는 것이 추가적인 DXA 장비 없이도 고관절 X-ray 영상을 활용한 기회 기반(opportunistic) 골다공증 선별과 골 건강 평가의 정확도와 안정성을 향상시킬 수 있는 가능성을 제시한다. The purpose of this study is to develop and evaluate a frequency-aware deep learning model that quantitatively estimates bone mineral density (BMD) measured by dual-energy X-ray absorptiometry (DXA) using only routinely acquired hip radiographs. Proximal femur regions are first automatically segmented from hip radiographs, and the resulting regions are used as input to a convolutional neural network (CNN)–based regression model. A frequency-aware module, referred to as the Wavelet Attention Fusion (WAF) module, combines wavelet transform and attention to reweight multi-scale frequency components, which enhances structural representations of cortical boundaries and trabecular patterns. A simple linear bias correction estimated from validation data is applied to the predicted BMD values to assess agreement and calibration with respect to DXA measurements across the entire range. The proposed model achieves high quantitative agreement with DXA-based BMD, with a Pearson correlation coefficient (r) of 0.944, a coefficient of determination (R^2) of 0.888, a root mean squared error of 0.052, and a concordance correlation coefficient (CCC) of 0.942, consistently outperforming the baseline CNN model in terms of prediction error and calibration. These results suggest that incorporating frequency-aware attention via the WAF module into convolutional models is an effective approach to improving the accuracy and stability of hip radiograph–based BMD estimation and may provide a promising strategy for opportunistic osteoporosis screening and bone health assessment without additional DXA examinations.