3차원 플라즈모닉 클러스터 기반의 표면 증강 라만 산란 플랫폼에서 딥러닝을 활용한 유방암 진단

정신성 고려대학교 대학원 2024 국내박사

초고감도 표면 증강 라만 산란 기술은 뛰어난 민감도 덕분에 최근 많은 연구 분야에서 주목받고 있다. 표면 증강 라만 산란 기술이 지닌 특징들은 꾸준히 증가하는 질병 조기 진단 수요를 해결하는 데 중요한 역할을 할 수 있을 것으로 기대되며, 다양한 연구를 통해 활용 방안들이 제안되고 있다. 효과적인 표면 증강 라만 산란 플랫폼에서는 미량의 분석물 소비량 만으로도 최적의 민감도, 균일성, 재현성, 제조의 간편성 등이 확보되어야 한다. 이는 암과 같은 복잡한 질병의 진단에 실용적으로 적용될 수 있다. 한편, 최근 급속히 발전하고 있는 머신 러닝 기술은 다양한 응용 분야에서 활용되고 있으며, 스펙트럼과 같은 이미지 데이터를 분류하는 과정에서 매우 우수한 성능을 보여주고 있다. 따라서 표면 증강 라만 산란 기술과 머신 러닝 기술의 융합은 분자의 미세한 진동 지문, 특히 인체 혈액에서 발견되는 지문을 효과적으로 분류하여 분석 장치의 실용성을 향상 시킬 수 있는 잠재력을 가지고 있다. 본 연구의 목적은 유연성이 높은 3차원 플라즈모닉 클러스터 플랫폼을 통해 얻은 라만 스펙트럼 데이터에 딥러닝 분석을 적용하여 유방암 조기 진단을 위한 혁신적인 방법론을 제시하는 것이다. 본 논문에서 제안한 방법을 통해 구축된 플랫폼에서 4-니트로페놀 분자에 대해 10^-18 몰 (아토몰)까지 특성 신호를 검출함으로써 라만 신호의 강도가 크게 향상되는 것을 확인하였다. 이후 암 환자군과 건강한 대조군으로부터 채취한 혈장을 사용하여 3차원 플라즈모닉 클러스터 플랫폼을 구축하였다. 암 진단의 정확도를 높이기 위해, 데이터 분류에 높은 성능을 보이는 것으로 알려진 딥러닝 기술을 적용하였다. 이러한 딥러닝 기술 적용 과정에서, 구축된 플랫폼으로부터 얻은 라만 스펙트럼 데이터를 대상으로 다양한 실험을 통해 가장 높은 분류 성능을 보이는 데이터 전처리 방법을 도출하였다. 이를 통해 암 환자와 건강한 대조군의 스펙트럼 데이터에 대하여 최대 95%의 분류 정확도를 달성할 수 있었다. 본 연구의 결과는 3차원 플라즈모닉 클러스터 기반의 표면 증강 라만 산란 플랫폼과 딥러닝 기술의 융합이 유방암 조기 진단에 높은 잠재력이 있음을 보여주며, 이 분야에서의 향후 연구에 유망한 방향성을 제시한다. The surface-enhanced Raman Scattering (SERS) technique with ultrahigh sensitivity has recently attracted considerable attention due to its remarkable ability to provide highly sensitive results. This has led to suggestions that it could play an important role in addressing the growing demand for disease diagnosis. In addition to its inherent sensitivity and uniformity, an optimal SERS platform should also exhibit characteristics such as simplicity in manufacturing and low analyte consumption, which enable practical applications in complex diagnoses, including cancer. Recently, machine learning technology has been rapidly advancing and is being utilized in various application fields. It also demonstrates excellent performance in classifying image data such as spectra. Therefore, the integration of machine learning algorithms with SERS has the potential to enhance the practical usability of sensing devices by enabling the effective classification of subtle vibrational fingerprints produced by molecules, including those found in human blood. The objective of this study is to demonstrate an innovative methodology for the early detection of breast cancer, employing a bottom-up approach. This approach involves the construction of a flexible 3D plasmonic cluster (3D-PC) SERS platform, integrated with a deep learning algorithm. With these advantages of the 3D-PC, we demonstrated that the 3D-PC exhibits a considerably enhanced Raman intensity, down to a detection limit of 10^-18 mol (attomole) for 4-nitrophenol (PNP) molecules. Subsequently, the 3D-PC SERS platform was constructed using plasma derived from cancerous and non-cancerous subjects. To improve the accuracy of early diagnosis, deep learning techniques, known for their high performance in classification, were applied to the Raman spectrum data obtained from the constructed platform. Various experiments were conducted to derive the optimal data preprocessing method that showed the best classification performance for the Raman spectrum data. This allowed the successful clustering of the SERS data of cancer patients and healthy subjects into two distinct groups, achieving an accuracy of up to 95%. The results of this study demonstrate the potential of the 3D-PC SERS platform for the early diagnosis of breast cancer and suggest promising avenues for future research in this field.

딥러닝으로 구현한 반려동물의 감정 인식 프로그램과 도덕적 권리 재고(再考)

남유영 성균관대학교 교육대학원 2025 국내석사

This study develops a deep learning-based facial and emotional recognition program for pets, examining the ethical implications of three distinct programs and how advancements in artificial intelligence affect the moral rights of non-human entities. The research methodology includes a comprehensive review of relevant literature to synthesize the technological, ethical, and educational significance of the programs; data collection and preprocessing; the design of deep learning models in Python for facial recognition, object classification, and emotion prediction; and an evaluation of program performance alongside an analysis of ethical effects. The research questions focus on the ethical implications for pet welfare, addressing the development and validation methods of the programs and their impact on granting moral rights to non-human entities. Data were collected from publicly available image databases, AI HUB's “Pet Object/Behavior Classification AI Video Data,” and images taken by the researcher. The deep learning models, based on Convolutional Neural Networks (CNN), achieved an average accuracy of approximately 90%, demonstrating effectiveness in recognizing pet emotions and contributing to animal welfare. The study categorizes ethical implications into positive and negative aspects and emphasizes the need for extending ethical considerations in artificial intelligence technologies. Additionally, it suggests future research directions based on identified limitations and proposes a teaching model for the “Modern Society and Ethics” curriculum to enhance ethical responsibilities among high school students. This research serves as a foundational resource for fostering discussions on the ethical use of pet emotion recognition technology and improving understanding of moral rights between humans and non-human entities. * This paper used datasets from ‘The Open AI Dataset Project (AI-Hub, S. Korea)’. All data information can be accessed through ‘AI-Hub (www.aihub.or.kr)’. 본 연구는 딥러닝을 기반으로 반려동물의 안면과 감정을 인식하는 프로그램 세 가지를 개발하여, 프로그램이 어떠한 윤리적 영향을 미치는지 교육적, 사회적, 철학적 관점으로 검토하고 나아가 인공지능 기술의 발전이 동물과 같은 비인간 존재의 도덕적 권리에 어떤 변화를 가져오는지 탐구하기 위한 것이다. 이를 위해 연구는 다음과 같은 절차로 이루어졌다. 첫째, 연구와 관련된 문헌 조사를 통해 세 가지의 딥러닝 프로그램이 학제적 접근을 기반으로 개발될 수 있도록 이론적 기틀을 마련하였다. 둘째, 세 가지의 딥러닝 프로그램에 활용할 데이터를 수집하고 모델에 적합한 형태로 전처리하였다. 셋째, Python으로 딥러닝 모델을 설계하여 반려동물의 안면을 인식하는 ‘프로그램 1’과 반려동물의 개체를 분류하는 ‘프로그램 2’, 반려동물의 감정을 예측하는 ‘프로그램 3’을 개발하였다. 넷째, 모델 정확도와 모델 손실도를 통해 프로그램의 성능을 평가하고 결과를 검증하였다. 마지막으로 프로그램의 윤리적 영향과 효과를 분석하여 비인간 존재의 도덕적 권리를 재고하였다. 본 연구는 반려동물의 복지를 위해 개발한 딥러닝 프로그램이 어떠한 윤리적 영향을 미치는지 탐구하는 것이므로, 본 연구의 연구 문제는 크게 두 가지로 나뉜다. 첫 번째 문제는 딥러닝을 활용한 세 가지 프로그램의 개발 방법과 검증 방법이 무엇인가로, 두 번째 문제는 개발한 딥러닝 프로그램의 적용이 비인간 존재의 도덕적 권리 부여에 미치는 영향은 무엇인가로 설정했다. 데이터 수집을 위해 저작권 없는 이미지 데이터베이스와 AI HUB의 ‘반려동물의 종별 분류 및 행동 인식을 위한 반려동물별 객체/행동 분류 AI 영상 데이터’ 자료 및 연구자가 기르는 반려견의 사진을 직접 촬영하여 다량 확보하고 전처리하였다. 딥러닝 모델의 설계는 합성곱 신경망(CNN)을 기반으로 하였으며, 모델의 성능을 최적화하기 위해 Hyperparameter Tuning을 실시하였다. 훈련 과정에서는 교차 엔트로피 손실 함수를 사용하여 모델의 학습을 진행하였고 배치 정규화와 드롭아웃 기법을 통해 과적합을 방지하였다. 모델의 성능 평가는 테스트 데이터셋을 통해 이루어졌으며, 모델 정확도와 모델 손실도를 확인하여 결과를 검증하였다. 마지막으로 본 연구에서 설계한 프로그램이 어떤 윤리적 영향을 미치는지 긍정적 영향과 부정적 영향으로 나누어 논의하면서, 비인간 존재에 대한 도덕적 권리를 재고하였다. 이 과정에서 2022 도덕과 교육과정을 기반으로 교육적 의의를 제안하고 수업 모델 두 가지를 제시하였다. 본 연구의 결과를 정리하면 다음과 같다. 첫째, 개발된 딥러닝 기반 반려동물 안면 및 감정 인식 프로그램은 각각 평균 90% 정도의 정확도를 달성하여, 반려동물의 안면과 감정을 효과적으로 인식하였다. 둘째, 윤리적 영향 분석을 통해 프로그램의 긍정적 및 부정적 측면을 고찰하였으며, 윤리적 관계 확장의 필요성을 제기하였다. 셋째, 본 연구의 한계점에 따른 향후 연구 방향을 제안하고, 2022 도덕과 교육과정의 ‘현대사회와 윤리’ 교과 수업 모델을 제시하여 미래 사회에서 윤리적 책임을 강화하기 위한 기반을 마련하였다. 본 연구는 반려동물 안면 및 감정 인식 기술의 개발을 통해 인공지능 기술의 윤리적 사용에 대한 사회적 논의를 촉진하여, 철학적 측면에서 인간과 비인간 존재 간 도덕적 권리에 대한 이해를 높이는 기초 자료가 될 것이다.

딥러닝 기반 객체 분류에 의한 토지사용 현황 분석에 관한 연구 - 창원시 사례를 중심으로 -

김순한 서울시립대학교 대학원 2022 국내석사

국공유지 토지사용 현황을 파악하여 국공유지 불법점용을 파악하고 개발 등에 활용하기 위해서 지속적으로 현장조사를 진행하여 왔으나 이는 시간과 비용이 많이 들고 정보 최신성을 확보하지 못해 행정관리의 사각지대가 발생하였다. 이를 개선하기 위해 공간정보(GIS)를 이용한 분석 방법이 연구되었으나 이 또한 광범위한 지역에 적용하는 데는 제약이 있었다. 본 연구에서는 딥러닝 기반의 객체분류를 통해 도시 전체의 토지사용 현황을 단시간에 높은 정확도로 조사할 수 있는지 확인하였고 향후 활용을 위한 개선방안을 도출하였다. 연구의 자료로 창원시 항공영상 자료(10cm)를 확보하여 건물, 도로 등 9종의 토지사용 유형에 대한 학습DB를 구축하였다. 딥러닝 모델의 검출률 및 정확도를 분석한 결과 도로는 모두 90% 이상의 결과를 보여주었고 건물, 비닐하우스 등 각 유형별로 검출률과 정확도에 차이가 있었다. 창원시 4개연도(2015, 2017, 2018, 2019) 영상 자료를 확보하여 토지사용 현황을 분류한 결과 도로, 제방, 하천, 묘지 등은 연도별 판독 격차가 적고 건물, 전답, 비닐하우스의 경우는 연도에 따라 판독 편차가 크게 나타났다. 영상정보(항공영상, 드론영상 등)를 이용한 딥러닝 기반의 토지사용 현황 분석은 광범위한 도시지역을 단기간에 조사할 수 있고, 토지의 변화탐지에 이용할 수 있다는 가능성을 확인하였다. 분석결과의 신뢰도 향상을 위해서지역별, 계절별, 기타 형태 등 지속적인 학습DB 개선이 필요하며 이를 기반으로 공간정보 특성에 맞춰 정확도를 향상시킬 수 있는 기술적용이 필요함을 확인하였다. 주요어 : 인공지능, 딥러닝, 객체 분류, 영상 판독, 토지사용 현황 분류, 국공유지 사용 현황 조사 In order to keep track of the status, develop and utilize government owned land, continuous field surveys are required. However, this method is time consuming, costly, and out of date information often creates a blind spot of data management. An analysis method using spatial information(GIS) was studied to improve the problems but there are constraints in applying it to a wide range area. This research tried to verify the possibility of investigating the land use status of the entire city with high accuracy in a short period using deep learning-based object classification and to derive an improvement plan for its utilization. In this research, Changwon city orthographic image data(10cm) was used, and the image was analyzed to construct a learning DB for 9 types of land use, including buildings and roads. As a result of analyzing the deep learning model, all roads showed a result of over 90% in both precision and recall, in contrast, there was a difference in precision and recall for each type such as building, greenhouse, etc. In addition, as a result of classifying the land use status for orthogonal image data for four year (2015, 2017, 2018, 2019) in ChangWon City, roads, embankments, rivers and cemeteries have a small gap in detection by tear, and in the case of buildings, rice paddy/field and greenhouse, there was a large variation depending on the year. The analysis of the land use status based on deep learning using image information (aerial photo and drone image) confirmed the possibility that it could be used to detect land changes and to survey a wide urban area in a short period. In order to improve the reliability of the analysis result, it is necessary to continuously advance the learning database by region, season, and other type, and based on this, it was revised that it is necessary to apply a technology that can improve the accuracy according to the spatial information characteristics.

맞춤형 공감교육을 위한 딥러닝 기반 애플리케이션 개발

조애영 서울대학교 대학원 2023 국내석사

인공지능은 상황을 인지하고, 이성적이고 논리적으로 판단하고 행동하며, 감성적이고 창의적인 기능을 수행하는 능력까지 포함하여 발전되고 있는 과학기술 분야이다(박찬 외, 2020). 인공지능 기술을 활용하여 우리나라 학교교육 현장의 학급당 학생 수가 OECD 평균인 21.1명보다 높은 23명인 점(OECD, 2021), 행정업무 부담도 다른 국가들에 비해 크다는 점(박선형, 이상규, 2012)과 같은 맞춤형 교육 실현의 어려움으로 지적되는 문제점을 해소할 수 있다. 디지털 환경에서 학습자의 학습에 대한 빅데이터 생성이 상대적으로 쉬워졌으며, 이를 활용한 교육 데이터 마이닝은 의미 있고 개별화된 학습 피드백을 제공할 수 있게 한다(Fischer et al., 2020). 인공지능 학습시스템은 개별 학습자의 학습상황을 파악하고 이에 기반한 효과적인 개별화 학습을 가능하게 한다(Holstein et al., 2018; 이주호 외, 2021). 이러한 개별 맞춤형 교육으로 학습자는 자신의 학습을 개인화할 수 있는 기회를 얻게 되어 역량을 높일 수 있다(Dziuban et al., 2017). 인공지능의 교육적 활용에 관한 관심이 커지고 있지만, 다른 분야에 비해 교육에서의 인공지능 활용은 상대적으로 미진한 상황이다(Luckin & Cukurova, 2019). 빅데이터에 기반한 인공지능의 활용은 교육계에서 관심과 수요가 커지고 있는 분야 중 하나이다(Luan et al., 2020). 교육에서의 인공지능 사용은 학습자의 동기부여, 흥미를 높이고 더 적극적인 수업 참여를 유도할 수 있다(신동광, 2019; 홍선호 외, 2021). 공교육에서 AI를 적용한 수업과 이를 연구한 사례는 소수에 그치고 있으며, 공교육에서 활용하기에 적절한 AI 기반 교육 도구 및 콘텐츠가 부족하다. 학습자 데이터 분석, 학습자 특성에 따른 맞춤형 학습 설계, 맞춤형 학습 촉진의 맞춤형 수업 모형을 제시한 연구(안지연, 홍선주, 2020), 빅데이터를 활용한 맞춤형 수업설계 연구(권영옥, 2013; 최영인 외, 2019)와 같은 인공지능 활용 교육의 설계원리 및 지침이나 수업모형 관련 선행연구를 기반으로 후속연구로 인공지능 기반 교육 도구 및 콘텐츠 개발이 이루어진다면 공교육에서 활용 가능한 양질의 AI 기반 교육 도구 및 콘텐츠가 개발될 수 있다. 이에 따라, 본 연구에서는 맞춤형 공감교육을 위한 딥러닝 기반 애플리케이션을 개발하고 애플리케이션에 대한 사용자의 반응을 확인하는 것을 목적으로 한다. 이러한 목적을 달성하기 위한 본 연구의 연구 문제는 다음과 같다. 연구 문제 1. 맞춤형 공감교육을 위한 딥러닝 기반 애플리케이션의 설계원리 및 설계지침은 무엇인가? 연구 문제 2. 맞춤형 공감교육을 위한 딥러닝 기반 애플리케이션은 어떠한 기능과 특성을 가지는가? 연구 문제 3. 맞춤형 공감교육을 위한 딥러닝 기반 애플리케이션에 관한 학습자의 반응은 어떠한가? 이러한 연구 문제를 해결하기 위해서 설계개발연구 방법론 Type 1에 따라 연구를 진행하였다. 문헌분석을 통해 맞춤형 공감교육을 위한 딥러닝 기반 애플리케이션 개발을 위한 초기 설계원리와 설계지침을 도출하고, 전문가 타당화를 통해 최종 설계원리 및 설계지침을 도출하였다. 최종 설계원리 및 설계지침을 바탕으로 애플리케이션 프로토타입을 개발하였다. 안드로이드 스튜디오 프로그램으로 Flutter 애플리케이션 개발 플랫폼을 이용하여 텍스트 코딩 방법으로 직접 애플리케이션을 개발하고 .APK 형식의 파일로 학생들에게 배포하였으며, 학습자들은 스마트폰 혹은 스마트패드에 애플리케이션을 다운로드 후 사용하였다. 교육과정 재구성을 통해 6차시로 공감교육을 계획하였고, 서울 D초등학교 5학년 학습자 16명을 대상으로 맞춤형 공감교육을 위한 딥러닝 기반 애플리케이션을 활용한 공감교육을 실시하였다. 공감교육이 완료된 후 사용자 반응 확인을 위해 애플리케이션이 공감 역량에 미치는 영향을 살펴보고, 사용성 평가 설문과 면담을 했다. 연구 결과는 다음과 같다. 첫째, 맞춤형 공감교육을 위한 딥러닝 기반 애플리케이션의 설계원리는 인공지능의 효과적 활용, 맞춤형 학습 지원, 체계적 학습 자원 제공, 공감 인식 및 표현 지원, 견고한 디자인 구성으로 총 5개로 각 설계원리는 3개 이상의 설계지침을 가지고 있다. 본 연구에서는 총 30개의 설계지침을 도출하였다. 둘째, 본 연구에서 개발한 애플리케이션은 학습자에게 공감교육을 맞춤형으로 제공하는 특징이 있다. 구체적으로 애플리케이션을 활용한 공감교육에서 학습자는 자신의 공감역량을 진단하고 공감역량에 개별 맞춤형으로 제공된 학습 내용과 학습 과제를 수행하고, 학습스타일에 따라 학습 과제를 선택하며, 자신에게 적절한 속도로 학습한다. 또한, 본 연구에서 개발한 맞춤형 공감교육을 위한 딥러닝 기반 애플리케이션은 이미지 데이터를 분석하여 이미지 데이터 속 인간의 표정에 담긴 감정이 무엇인지 알려주는 기능이 있다. 셋째, 본 연구에서 개발한 애플리케이션은 학습자의 공감역량 향상에 효과적이다. 학습자 반응을 확인하기 위해 본 연구에서 개발한 애플리케이션을 활용한 공감교육을 실시하기 전과 후에 학습자의 공감역량 차이를 분석한 결과, 학습자의 공감역량이 향상된 것을 확인하였다. 넷째, 애플리케이션의 딥러닝 기능과 맞춤형 교육을 지원하는 특징에 대한 학습자의 반응은 긍정적이다. 맞춤형 공감교육을 위한 딥러닝 기반 애플리케이션을 사용한 공감교육에 참여한 학습자 대부분은 애플리케이션을 활용한 공감교육에 대해서 긍정적인 응답을 보였다. 특히 다수의 학습자가 자신의 감정을 예측하고 알려주는 기능과 학습자의 공감역량과 학습 스타일의 차이를 고려하여 맞춤형 교육을 지원하는 특징에 만족했다. 이상의 연구 과정과 결과를 종합해 볼 때 본 연구의 의의는 다음과 같다. 첫째, 학습자의 공감역량, 학습스타일, 학습속도의 차이를 고려한 맞춤형 교육을 위해 딥러닝을 활용했다는 점에서 의의가 있다. 둘째, 공감 교육에서 딥러닝을 이용하여 이미지 데이터에서 감정을 분석함으로써 학습자의 자기, 타인 감정 인식 및 표현 연습을 통한 공감 역량을 향상했다는 점에서 의의가 있다. 셋째, 공감 역량 향상에 효과적인 공감 교육을 위한 딥러닝 기반 애플리케이션을 개발했다는 점에서 의의가 있다. 넷째, 설계개발방법을 이용하여 설계원리 및 설계지침을 도출하고 이를 바탕으로 애플리케이션을 개발하고 수업에 적용 및 혼합분석 방법으로 사용자 반응을 확인했다는 점에서 의의가 있다. 본 연구에서는 맞춤형 공감교육을 위한 딥러닝 기반 애플리케이션을 개발하고 애플리케이션에 대한 사용자 반응 확인을 위해 애플리케이션이 학습자의 공감역량에 미치는 영향을 알아보고 사용성 평가를 하였다. 본 연구의 한계 및 제언은 다음과 같다. 첫째, 애플리케이션의 사용성 평가 설문 결과 사용성의 하위요소 중 매력성이 가장 낮게 나타났다. 요구조사에서 학습자들은 애플리케이션에 게임이 있었으면 좋겠다는 응답을 하였다. 게임이론을 활용한 학습 도구는 학습자의 학습을 촉진하므로, 게임이론을 활용한 공감 교육 애플리케이션을 개발하고 사용자 반응을 확인하는 후속 연구가 필요할 것이다. 둘째, 연구참여자를 서울특별시 소재 D초등학교 5학년 학습자로 한정하여 애플리케이션의 효과를 확인하여 연구 결과를 일반화하기에 무리가 있다. 따라서, 연구 결과의 일반화를 위해 다양한 지역의 다양한 학교급의 학습자를 대상으로 본 연구에서 개발한 애플리케이션으로 공감교육을 하고 애플리케이션에 대한 사용자의 반응을 확인할 필요가 있다. 셋째, 본 연구에서 개발한 맞춤형 공감교육을 위한 딥러닝 기반 애플리케이션이 공감 역량에 미치는 영향을 확인하고자 학습자의 공감 역량의 변화만 확인하였다. 하지만 애플리케이션이 학습에 미치는 영향을 더 면밀하게 분석하고 학습자의 전인적인 발달을 위한 맞춤형 지원을 제공하기 위해서는 학습자 핵심역량의 변화, 사회·정서적 측면의 변화까지 확인할 필요가 있다. Artificial intelligence(AI) is a rapidly evolving field of science and technology that encompasses the ability to perceive situations, make rational and logical judgments, take actions, and even perform emotional and creative functions (Park et al., 2020). Utilizing AI technology in the context of educational settings can potentially address challenges such as higher student-to-teacher ratios(23 students per class in South Korea) compared to the OECD average( 21.1 students per class)(OECD, 2021) and administrative burdens(Park & Lee, 2012) that hinder personalized education. The generation of big data in digital learning environments has made data mining for education feasible, enabling meaningful and personalized feedback for learners (Fischer et al., 2020). AI-powered learning systems can recognize individual learners' progress and facilitate effective personalized learning experiences (Holstein et al., 2018; Lee et al., 2021). Such personalized education can empower learners to tailor their learning experiences, ultimately enhancing their capabilities (Dziuban et al., 2017). While interest in the educational applications of AI is growing, its utilization in education remains relatively underdeveloped compared to other fields (Luckin & Cukurova, 2019). Leveraging AI through big data holds potential within education, arousing increased interest and demand (Luan et al., 2020). AI adoption in education has the potential to enhance student motivation, engagement, and active participation in lessons (Shin, 2019; Hong et al., 2021). However, practical applications of AI in public education are limited, with a lack of suitable AI-based educational tools and content. Building on existing research in AI utilization for education, including studies proposing principles and guidelines for AI-based education tools and customized learning models (An et al., 2020; Kwon, 2013; Choi et al., 2019), further research and development in AI-based educational tools and content could contribute to the creation of high-quality resources for public education. Therefore, this study aims to develop a deep learning-based application for personalized empathy education and investigate user responses to the application. The research questions guiding this study are as follows: Research Question 1: What are the design principles and guidelines for a deep learning-based application for personalized empathy education? Research Question 2: What are the features and characteristics of a deep learning-based application for personalized empathy education? Research Question 3: How do learners respond to a deep learning-based application for personalized empathy education? To address these research questions, this study follows a design and development research methodology Type 1. Design principles and guidelines were derived through literature analysis, validated by experts, and refined. Based on the finalized principles and guidelines, a prototype application was developed using the Flutter application development platform. The application was distributed to learners in the form of .APK files for download and use on smartphones or tablets. A 6-session empathy education curriculum was planned, and the developed application was used to deliver personalized empathy education to 16 fifth-grade students at a Seoul elementary school. Following completion of empathy education, user responses were examined through investigating the application's impact on empathy competence and conducting usability surveys and interviews. The study findings are as follows: First, design principles for a deep learning-based application for personalized empathy education were formulated, encompassing effective AI utilization, personalized learning support, systematic learning resource provision, empathy recognition and expression support, and robust design composition. These principles were translated into more than 30 specific design guidelines. Second, the developed application features personalized empathy education for learners. Learners engaged in diagnosing their empathy competence, completing personalized learning content and tasks based on their empathy competence, selecting learning tasks according to their learning styles, and progressing at their own pace. Moreover, the application utilizes deep learning to analyze image data and provide learners with information about emotions conveyed in human facial expressions. Third, the application effectively enhanced learners' empathy competence. An analysis of changes in learners' empathy competence before and after using the application for empathy education revealed improvements in empathy competence. Fourth, learners responded positively to the deep learning features and personalized education support of the application. Most learners participating in personalized empathy education using the application provided positive feedback. Particularly, many learners appreciated features such as predicting and identifying emotions in images and supporting personalized education based on empathy competence and learning styles. In conclusion, this study developed a deep learning-based application for personalized empathy education and investigated user responses to the application's impact on empathy competence. The study's significance lies in its utilization of deep learning for personalized education, enhancing empathy competence through image data analysis, and developing an effective application for personalized empathy education. Furthermore, the study's utilization of a design and development methodology, including the derivation of design principles and guidelines and subsequent application development and user response investigation, adds to its significance. However, the study has limitations and suggestions for future research. Firstly, the usability survey results indicated that the attractiveness of the application was relatively low. Participants expressed interest in incorporating game elements into the application, which aligns with the motivational potential of gamification in learning. Future research could focus on developing the version that reflects game elements of the empathy education application and investigating its impact. Secondly, the study was limited to fifth-grade students from a specific elementary school in Seoul, which may hinder possibility of generalization of the research findings. Future research could involve a more diverse range of learners from different regions to enhance possibility of generalization of the results. And Future research also could involve learners from middle school and high school to enhance possibility of generalization of the results. Lastly, while the study investigated changes in learners' empathy competence, more comprehensive analysis of the application's impact on learners' holistic development, including their core competencies and socio-emotional aspects, could provide valuable insights.

PVD를 활용한 딥러닝 기반 도심부 링크 통행속도 추정 알고리즘 개발

박건규 명지대학교 대학원 2022 국내석사

비정형 데이터를 위한 딥러닝 기반의 군집화 알고리즘 개발

이철희 명지대학교 대학원 2020 국내석사

1990년대 이후 여러 분야의 산업 기술 발전으로 인해 생성되는 데이터의 양이 많아지면서 데이터를 기반으로 스스로 학습하는 기계학습 분야에 대한 관심이 많아지기 시작했다. 하지만 생성되는 대부분의 데이터들은 구조적이지 않은 비정형 데이터들이었기 때문에, 기계학습으로 다루기 위해서는 비정형 데이터를 처리하기 위한 고도의 엔지니어링 기술 혹은 전문적인 도메인 지식이 필수적이었다. 새롭게 등장한 딥러닝은 이러한 비정형데이터 분석에 대한 제약을 많이 완화해주었다. 딥러닝은 여러 가지 비선형 변환기법의 조합을 통해 복잡한 데이터들을 분석할 수 있도록 하였으며, 특히, 다양한 딥러닝 기반의 비정형 데이터 분석모델들이 개발되면서 비정형 데이터를 효율적으로 분석할 수 있게 되었다. 하지만 딥러닝은 비지도학습의 대표적인 기법 중 하나인 군집화 기법에는 제한적으로 사용되고 있다. 그 이유는 학습하는 과정에서 목표값을 필요로 하는 딥러닝의 학습 알고리즘이 목표값이 없는 데이터를 분류하는 군집화 기법에는 적합하지 않기 때문이다. 그런데 전 세계에서 생성되는 데이터들은 대부분이 비정형 데이터이면서 동시에 목표값이 없는 데이터이다. 따라서 군집화 기법 연구에 대한 필요성이 대두되고 있지만 딥러닝의 이런 구조적 한계 때문에 연구개발이 활발히 이루어지지 않고 있다. 따라서 본 논문에서는 비정형 데이터에 적합한 딥러닝 기반의 군집화 알고리즘을 제안하고자 한다. 제안된 알고리즘은 차원에 구애받지 않는 코사인 유사도와 BCE(Binary Cross Entropy) 손실함수를 사용하여 군집을 수행함으로써 기존의 딥러닝 기반의 클러스터링 방법인 DEC(Deep Embedded Clustering)보다 빠르게 최적값에 수렴하면서 안정적인 성능을 보여주었다. Since the 1990s, the amount of data has increased by the development of industrial technology in various fields. However, most of the data are unstructured and unsupervised data without a target variable, so existing machine learning algorithsm are limited to analyze these data. The development of various deep learning algorithms has made it possible to analyze unstructured data. However, deep learning still suffers from applying clustering algorithms to unsupervised data without target variables. That’s because deep learning is an algorithm designed for supervised learning that requires a target variable. Due to the structural limitations of deep learning, research on deep learning based clustering has not been actively conducted. In this paper, we propose deep learning based clustering algorithms suitable for unstructured and unsupervised data, such as image and graph data without labels. The proposed methods perform clustering using cosine similarity that is less sensitive to dimensions, to calculate the similarities between the embedded features of each observation and the cluster centers. In addition, it uses hardmax function and BCE(Binary Cross Entropy) loss function for algorithm training. They help converge to the optimal parameters fatster and more stably than DEC(Deep Embedded Clustering), which is the existing deep learning based clustering algorithm. As a result, the proposed methods show more stable and better performance than DEC for unstructured and unsupervised data.

증식 데이터셋 구축을 통한 객체 인식 성능 향상 방안 연구

이동희 울산대학교 대학원 2021 국내석사

최근 인공지능의 발달로 다양한 산업 분야에서 급격한 환경 변화가 일어나고 있다. 이미 많은 공장 라인에서는 사람을 대신하여 자동화장비 및 무인 로봇으로 대체되고 있으며, 그에 대한 수요는 증대하고 있다. 그 뿐만 아니라 자율주행 차량, 무인 택배 로봇 등과 같이 제한된 환경을 넘어 우리의 일상 반경의 경계도 허물어 많은 부분에서 차지하는 비중이 증가하고 있다. 따라서 이와 같이 다양한 변수를 지닌 환경에서 대응이 가능한 기술적 요구가 꾸준히 제기되고 예상치 못한 환경에서의 로봇 움직임은 강건해야 한다. 이에 핵심적인 기술로, 다양한 임무 수행이 가능한 로봇 플랫폼 구축과 딥러닝 기반의 영상 객체 인식 기술이 필수적이다. 현재 물체 인식 관련 분야에서 딥러닝 구조 개선, 딥러닝 학습 방식 최적화 등과 같은 연구가 꾸준히 진행중이다. 그 이외에도 데이터 증식을 통해 인식 성능 향상을 도모하는 연구도 상당히 진전되고 있다. 특히 물체 인지 기술의 안정적이고 좋은 성능을 위해선 편향되지 않으며 수십에서 수백만장의 방대한 데이터셋이 요구된다. 주로 온라인에서 제공되는 공유 데이터셋은 차량, 사람, 컵, 동물 등과 같이 보편적인 사물로 구성되어 있다. 그러나 산업이나 개인적으로 특수한 환경에서 볼 수 있는 사물에 대한 데이터셋은 얻기 어려울 뿐만 아니라 구축하기에는 상당한 시간과 인력이 소모된다. 본 논문에서는 특화된 환경에서 물체 인식의 성능 향상을 위한 데이터셋 구축 프레임 워크를 제시한다. 이를 검증하기 위해 딥러닝 학습을 통해 성능 평가를 실시하고 실제 환경에서 테스트를 통해 정확도를 검증한다. 사물 인식 (Object detection)을 위한 딥러닝 학습에 필요한 커스텀한 데이터셋을 구축하였다. 먼저 공유 데이터셋에서 얻지 못하는 커스텀 데이터셋을 대상으로 온라인에서 데이터 수집을 실시하였고, 부족한 양과 편향된 데이터를 보완하기 위해 데이터 조작(Manipulation)과 딥러닝 GAN(Generative Adversarial Network)로 이루어진 프로세스를 구축하여 데이터 증식 을 실시하였다. 이미지 Manipulation으로는 회전, 반전, 블러, 랜덤 노이즈를 적용하였고, 딥러닝 기반의 GAN은 DCGAN, WGAN, SRGAN 구조를 통해 학습을 실시하였다. 해당 기술들을 효율성과 성능 최적화를 위해 데이터 증식 프레임 워크를 구축하였다. 해당 데이터셋의 성능 검증을 위해 1-stage 객체인식 알고리즘인 YOLO 계열 구조로 학습을 실시하였다. 이는 정확도와 실시간 인식시간의 절충된 알고리즘으로 빠른 시간 내에 적절한 정확도 결과를 가져다 주기에 이를 적용하였다. 총 YOLOv4, YOLOv3, YOLOv3-tiny 구조 기반으로 딥러닝 학습을 실시하였다. YOLOv4 학습 시에 최신 딥러닝 학습 기법인 Mish activation function, 상호 연관성을 띄는 구역 Dropout을 실시하는 DropBlock, CmBN 등을 활용하여 학습을 진행하여 최적 모델을 생성하였다. 그 이외에도 데이터셋별로 YOLOv3, YOLOv3-tiny 구조로 학습 모델을 생성하였다. 성능 검증을 위해 Precision과 Recall의 인자를 포함하는 PR곡선의 면적을 계산하는 AP 평가지표를 활용하였다. 수집된 데이터셋, 증식 데이터셋별로 동일한 테스트 데이터셋으로 AP 정확도를 추출하여 성능을 검증하였고 다양한 YOLO 구조 기반으로 검증을 실시하였다. 제시한 증식 데이터셋은 기존 수집된 데이터셋 대비하여 mAP 기준으로 평균 10~20% 의 정확도 향상, 최대 36%의 성능 향상을 확인하였다. 각각의 증식 기법에 의해 증식된 이미지 개수 당 정확도 향상 비율을 분석하였다. 기존 Manipulation 기법에 비해 GAN 기반의 데이터는 새로운 이미지를 생성하면서 편향적이지 않는 데이터셋을 생성함을 알 수 있었다. 추가적으로 생성된 최적 모델을 이용하여 실제환경에서 임베디드 기반 물체 인식 성능 테스트를 진행하였다. 이 때 ROS 기반의 UGV의 플랫폼을 활용하여 물체 인식 성능을 확인하였다. 또한 UGV의 탑재된 임베디드 보드인 NANO, TX2, Xavier에 인지 정확도 및 속도 성능을 확인하였다. 인지하고자 하는 사물 주변에서 실시간 정확도를 학습 모델별로 확인하여 정확도 향상을 확인하였다. 또한 YOLOv3-tiny 기준으로 Xavier기반 평균 54FPS, TX2 기반 평균 24FPS, NANO 기반 평균 12FPS의 속도를 제공하였다. YOLOv3기준으로 Xavier기반 평균 14FPS, TX2 기반 평균 8FPS, NANO 기반 평균 3FPS의 속도를 제공하였다. 본 논문에는 커스텀한 사물의 데이터셋을 구축하기 위한 프레임 워크를 제시하였고, 이를 YOLO 계열의 구조로 딥러닝 학습을 실시하여 최적 모델을 생성하였다. 생성된 모델의 성능 검증을 AP기반 실시하였으며, 실제환경에서 데이터셋 종류에 따라 테스트를 실시하여 제시하는 데이터셋의 안정적이고 높은 성능을 실시간으로 확인하였다. 이 뿐만 아니라 물체 인식의 인지 속도를 개선하고자 다양한 임베디드 시스템을 이용하여 성능 평가를 실시하였다.

초음파탐상검사(UT)에서 딥러닝을 이용한 결함 분석 연구 : 풍력발전기 블레이드 사례를 중심으로

서준성 연세대학교 공학대학원 2022 국내석사

This study deals with the analysis of defects in Ultrasonic Testing (UT) using deep learning algorithms. Ultrasonic Testing is known to be more sensitive than other non-destructive inspection methods, allowing it to detect even minute defects, such as very small cracks. Most current defect-detection techniques used by UTs are mainly based on inspector’s own knowledge and experiences. As a result, it is likely to have a substantial gap between expected outcomes by customers and inspectors, which deteriorates the credibility of the quality assurance team in the company. Therefore, in this study, some efficient deep learning (DL) techniques are employed to overcome the shortcomings of the existing inspection methods and provide more accurate defect detection results, and the validity and rationale for using them were verified. The learning mechanism is one of the most unique features of DL algorithms, and useful for processing newly updated, high-complexity image data. In this study, DL algorithms extract the shape and characteristics of defects from the ultrasonic testing data of wind turbine blades to determines whether they are true defects, or not and train itself to give the better performance with upcoming data. Several DL algorithms used in this study were selected based on the assessments by previous studies. After pre-processing actual signal and image data, hyperparameter tuning was performed to provide the best performance. The experimental results indicate that the employment of DL techniques in the defect-detection of wind turbine blades can be useful enough to help human inspectors reduce their own errors and improve overall inspection performances. In the future, new and more powerful DL algorithms, which are continuously being developed, will show higher accuracy and prediction ability in collaborative defect-detection process with humans. In addition, it is expected that the application domains will be expanded to many manufacturing industries with similar quality inspection processes. 본 연구에서는 딥러닝 알고리즘을 사용한 초음파탐상검사(UT)의 결함 분석을 다룬다. 초음파탐상검사는 다른 비파괴검사 방법들보다 더 민감한 것으로 알려져 있어 아주 작은 균열과 같은 미세 결함을 감지할 수 있다. 현재의 UT가 사용하는 대부분의 결함 감지 기술은 주로 검사자의 지식과 경험을 기반으로 한다. 그 결과 고객과 검사자가 기대하는 결과 사이에 상당한 괴리가 발생할 가능성이 있으며, 이는 회사 내 품질보증팀의 신뢰도를 떨어뜨린다. 이에 본 연구에서는 기존 검사 방법의 단점을 극복하고 보다 정확한 결함 감지 결과를 제공하기 위해 몇 가지 효율적인 딥러닝(DL) 기술이 사용되었고, 이를 사용하는 타당성과 근거를 검증했다. 학습 메커니즘은 DL 알고리즘의 가장 독특한 기능 중의 하나이며 특히, 새롭게 업데이트되는 복잡성이 강한 이미지 데이터들을 처리하는 데 매우 유용하다. 본 연구에서 DL 알고리즘은 풍력 터빈 블레이드의 초음파탐상검사 데이터에서 결함의 모양과 특성을 추출하여 실제 결함인지 여부를 판별하고 향 후 데이터로 더 나은 성능을 제공하도록 스스로 학습한다. 본 연구에서 사용되는 여러 DL 알고리즘은 이전 연구의 평가를 기반으로 선택되었다. 실제 신호와 이미지 데이터를 전처리한 후 최적의 성능을 제공하기 위해 하이퍼파라미터 튜닝을 수행했으며, 연구의 결과는 풍력 터빈 블레이드의 결함 감지에 DL 기술을 적용하는 것이 인간 검사자가 자신의 오류를 줄이고 전반적인 검사 성능을 개선하는 데 도움이 될 만큼 충분히 유용할 수 있음을 보여주었다. 향 후에는 지속적으로 개발되고 있는 새롭고 더 강력한 DL 알고리즘이 인간과의 협업적 결함 검출 프로세스에서 더 높은 정확도와 예측 능력을 발휘할 것이다. 또한, 유사한 품질 검사 프로세스를 가진 많은 제조 산업으로 적용 영역이 확장될 것으로 기대된다.

딥러닝 기반의 새로운 지능화 그래픽 디자인 방법에 관한 연구

왕문혜 동명대학교 대학원 2023 국내박사

Graphics already existed in the Primitive Society and did not decline with the changes of the times. Until now, graphics are still widely present in clothing, posters, goods, and logos, and are an indispensable part of human society. From a historical perspective, graphic design techniques have developed with the development of science and technology. At present, deep learning is one of the cutting-edge new technologies, and due to significant breakthroughs in deep learning technology, artificial intelligence technology has achieved numerous results in recent years. If deep learning is applied to design methods, the advantages of new technologies can be fully utilized to further develop graphic design. This study suggests applying theory to practical work to promote industrial application. For this purpose, the following work was carried out in this study: Firstly, this study analyzed the characteristics of graphic design methods and deep learning technologies through literature review and investigation, and grasped the current status of deep learning technology applied in design. Secondly, based on literature analysis and questionnaire surveys, the current problems in graphic design and the requirements and expectations of design methods for those engaged in design work have been identified. Thirdly, based on the current problems in graphic design and the requirements and expectations of designers, the Intelligent Narrow Graphic Design Method (INGD) has been established by combining deep learning technology with existing graphic design processes. Fourthly, available deep learning tools were selected and two specific production cases were used to demonstrate and analyze the two ways in which INGD is used. Finally, the effectiveness of INGD was verified through three methods. Eight completed series of works were proposed through INGD, and user evaluations were conducted through a questionnaire survey. Comparative experiments were conducted to verify the quality of INGD's works and their effectiveness in improving design efficiency. Through the above research, the following research results were obtained: Firstly, the development of graphics is greatly influenced by technology. At present, AI technology based on deep learning has achieved significant results in fields such as image generation and image style trans. However, in the field of design, research related to intelligent graphic design has not yet formed a system. Secondly, there are issues with low efficiency and repetitive work in current graphic design. Designers tend to solve related problems through new design methods that are controllable and do not change work habits. Thirdly, the INGD proposed in this study allows designers without a foundation in computer programming to utilize AI for their work. User evaluation of INGD can improve design efficiency, reduce repetitive tasks in the design process such as painting, and reduce the difficulty of creative generation. At the same time, INGD is evaluated as flexible, controllable, and can be flexibly applied according to the needs of designers without hindering the original workflow. Users show high satisfaction and strong intention to use INGD. Fourthly, the experimental results indicate that INGD has significant advantages over existing design methods and can improve the overall level of design works. Specifically, the work has significantly improved in terms of creativity, as well as visual effects and empathy. INGD can shorten the time required for design work while improving design efficiency, helping designers with low ratings to design higher quality works in a shorter period of time. The above research results in this paper can provide research reference for the future application of AI in design. 다양한 시각적 표현을 추구하는 그래픽 디자인은 과학기술의 진보와 함께 지속적으로 발달해오고 있다. 특히 과학기술 중 현재 디자인 응용 성 확대를 위하여 이슈가 되고 있는 것은 딥러닝 기술이다. 딥러닝 기술 은 최근 인공지능 기술로 다양한 분야에서 많은 성과를 거두고 있으며, 앞으로 디자인 예측 시스템으로 그 가능성을 예측할 수 있다. 이에 본 연구자는 딥러닝 기술을 디자인에 응용할 수 있는 방법을 모색하기 위하 여 다음과 같은 연구를 실시하였다. 첫째, 본 연구는 문헌 정리 및 조사 를 통해 그래픽 디자인 방법 및 딥러닝 기술의 특징을 분석하고 현재 딥 러닝 기술이 디자인에 응용되고 있는 현황을 파악하였다. 둘째, 문헌 분석 및 설문조사를 토대로 현재 그래픽 디자인에 존재하 는 문제점과 디자인 종사자의 디자인 방법에 대한 요구와 기대를 확정하 였다. 셋째, 현재 그래픽 디자인의 문제점과 디자인 종사자의 요구와 기대를 토대로 딥러닝 기술을 기존 그래픽 디자인 프로세스와 결합하여 지능화 그래픽 디자인 방법(Intelligent narrow graphic design method,INGD)를 수립하였다. 넷째, 활용 가능한 딥러닝 툴을 선별하여 2개의 구체적인 제작 과정 사례를 통해 INGD의 “분해 조립 모델”과 “자동 제도 모델” 두 가지 사용방식을 시연하고 분석하였다. 마지막으로, 작품 제시, 사용자 설문조사, 대조실험 3가지 방식을 통해 INGD의 효과를 검증하였다. 먼저, INGD를 통해 완성된 8가지 시리즈 작 품을 제시한 다음, 설문조사를 통해 사용자 평가를 실시하고 최종적으로 대조 실험을 통해 INGD의 작품의 질 및 디자인 작업 효율 제고 효과를 검증하였다. 이 연구를 통해, 아래와 같은 연구 결과를 도출할 수 있었다. 첫째, 그래픽 발전은 기술의 영향을 비교적 크게 받는다. 현재 딥러닝 을 핵심으로 하는 AI 기술은 이미 이미지 생성, 이미지 스타일 트랜스퍼 등 분야에서 성과를 거두었다. 그러나 디자인 분야에서 지능형 그래픽 디자인 방법에 중점을 둔 연구는 아직 체계적인 연구가 이루어지지 않고 있는 것을 알 수 있었다. 둘째, 현재 그래픽 디자인은 효율성이 비교적 낮고 반복적 작업 등의 문제점이 존재한다. 디자인 종사자들은 통제 가능하고 본인의 기존 작업 방식에 지장을 주지 않는 새로운 디자인 방법을 통해 기존 문제점을 해 결하기를 원하는 것을 알 수 있었다. 셋째, 본 연구에서 제시하는 INGD는 프로그래밍 등 컴퓨터 기술을 보 유하고 있지 않은 디자이너도 AI를 활용하여 작업을 수행할 수 있도록 해 준다. 사용자는 INGD를 통해 디자인 효율을 높이고 드로잉 등 디자 인 과정에서의 반복적인 작업을 줄일 수 있으며 아이디어 생성의 난이도 를 낮출 수 있다고 평가하였다. 이와 동시에 INGD가 유연하고 통제 가 능하며 디자이너의 필요에 따라 쉽게 활용할 수 있음과 동시에 디자이너 의 고유한 작업 프로세스를 방해하지 않는다고 평가하였다. 사용자는 INGD에 대하여 비교적 높은 만족도 및 강한 사용의향을 나타냈다. 넷째, 실험 결과, INGD는 기존 디자인 방법에 비해 뚜렷한 장점을 지 니고 있으며 작품의 종합적인 수준을 제고시키는 것으로 나타났다. 구체 적으로는 작품의 창의성 측면에서 뚜렷한 향상 효과가 있었으며 시각효 과와 공감성 측면에서도 마찬가지로 향상 효과가 있음을 증명할 수 있었 다.

머신러닝 및 딥러닝 기반 아동학대 예측요인 탐색 : 비학대, 단일학대, 중복학대를 중심으로

오수경 이화여자대학교 대학원 2025 국내박사