음향 방출 센서를 이용한 IZO 코팅층의 나노 가공 공정 및 결합력 분석

손권 한양대학교 대학원 2014 국내석사

본 연구는 Magnetic Abrasive Polishing 공정으로 IZO 코팅된 Pyrex Glass 시편을 대상으로 Polishing 가공을 진행 할 때 발생하는 코팅표면의 기계적 가공 특성을 연구하였다. 추가적으로 AE Sensor를 통한 신호수집과 SEM(Scanning Electron Microscope)을 이용한 이미지 촬영을 함께 진행하여 데이터를 분석하였다. Polishing 후 시편 표면형상에 따라 가공단계를 IZO 코팅만 존재하는 상태, 코팅과 Substrate의 공유상태 그리고 Substrate만 존재하는 상태 3가지로 구분하였다. IZO코팅의 기계적 가공특성 연구하기 위해서 본 논문에서 제시한 실험조건에 따라 가공된 IZO시편을 Nano-View를 통하여 MRR(Material Removal Rate) 분석과 AFM(Atomic Force Microscope) 측정을 통하여 IZO코팅 조직의 결합력을 분석하였다. 이와 같은 절차를 통하여 얻어낸 결과를 분석하여 IZO코팅의 나노 공정에서의 기계적 Polishing특성을 규명한다.

Prediction of partially observed human activity based on sub-volume co-occurrence matrix with deep learning

이동규 Graduate School, Korea Unversity 2019 국내박사

부분적으로 관측된 동영상에서 복잡한 사람 행동을 예측하는 것은 많은 실용적인 적용 분야를 가지고 있지만 어려운 문제이다. 영상이 부분적으로 관측된 경우에는, 주어진 영상에서의 관측된 행동의 표현력을 최대화하는 것이 시간 순서에 따른 모델링보다 중요하다. 본 논문에서는, 사전 학습된 깊은 연결망을 활용하여 간단하고 효율적으로 시스템의 행동 구분력을 최대화할 수 있는 새로운 사람 행동 예측을 위한 기술자 생성 방법을 제안한다. 구체적으로, 제안하는 기술자는 객체 사이에서 잠재적으로 중요한 관계를 사전지식 없이 포착할 수 있다. 그러한 관계에 대한 정보는 기술자 생성 과정에서 객체의 행동 참여도, 움직임 활성도에 따라 자동으로 반영된다. 사전 학습된 컨볼루션 신경망은 추가적인 학습 절차 없이 활용된다. 실용적인 관점에서, 제안하는 방법은 지능형 감시 시스템을 구축할 때 더 비용 효율이 높다. 정량적인 평가를 위한 실험에서, 우리는 두 가지 측면에 대하여 평가한다: 1) 각기 다른 영상 관측 비율에서 예측 정확도, 그리고 2) 사전 학습된 신경망의 종류와 레이어 선택이다. 실험 결과는 전 세계적으로 사용되는 다섯 개의 공용 데이터 세트에서 평가하여 제안하는 방법이 기존 방법들에 비해 뛰어난 성능을 보임을 확인하였다.

(A) novel BCI speller combining dot-based visual stimuli and user voluntary sound-imagery task

김홍경 Graduate School, Korea University 2019 국내석사

사건 관련 전위 (ERP)는 외부 시각 또는 청각 자극에 의해 도출된 뇌의 신경 활동을 나타내며 뇌-컴퓨터 인터페이스(BCI) 시스템에 널리 사용된다. ERP 반응은 oddball 자극이 발생한 후 몇 밀리초 이후에 도출된다. 목표 자극과 흔한 자극은 반복적으로 반짝인다. 더 강력한 ERP 응답을 유도하기 위해, 이전 연구는 색상 또는 크기와 같은 특정 실험 매개변수를 목표 기호로 변경함으로써 시도되었다. 하지만, 많은 BCI 응용 프로그램은 특정 유형의 시각적 자극을 구현하는 데 적합하지 않은 LED 유형 또는 소형 임베디드 모니터를 사용합니다. 우리는 시각적 자극의 크기를 크게 줄이는 도트 기반의 맞춤법 패러다임을 제안했습니다. 이전의 연구는 시각적 자극의 작은 크기가 P300 구성 요소의 진폭을 줄임으로써 맞춤법 성능을 저하시키는 것으로 보고되었습니다. ERP 응답 감소를 보완하기 위해 사용자가 자발적으로 소리 이미지 작업을 동시에 수행했습니다. 본 연구에서는 ERP 응답과 디코딩 정확도가 사용자의 자발적 정신 작업에 의해 크게 영향을 받는다는 것을 발견했다. 이는 두 가지 측면에서 실용적인 ERP 시스템에 유용한 접근 방식으로 이어질 수 있다. 첫째, 사용자 자발적 작업은 여러 가지 유형의 BCI 시스템에서 쉽게 활용될 수 있으며 성능 향상은 시스템 외부 시각적 자극 매개 변수의 변화에 덜 의존한다. 둘째, EEG 신호에서 음정 상상 작업을 적극적으로 수행하여 BCI에 대한 의도하지 않은 명령을 최소화함으로써 수동적인 시선과 능동적인 수행 사이의 측정 가능한 차이를 고려하여 사용자 의도를 분류하는 ERP 시스템을 제안한다. Event-related potentials (ERPs) represent neural activity in the brain caused by external visual or auditory stimuli and are widely used in brain computer interface (BCI) systems. The ERP response is several milliseconds after attending an oddball stimulus. Target and non-target stimuli are repeatedly flashed. To demonstrate a more robust ERP response, previous studies have attempted to change certain experimental parameters, such as color or size, to target symbols. However, many BCI applications use LED types or small embedded monitors that are not suitable for implementing certain types of visual stimuli. We have proposed a dot-based spelling paradigm that greatly reduces the size of visual stimuli. Previous studies have reported that the small size of visual stimuli degrades spelling performance by reducing the amplitude of the P300 component. In order to compensate for the reduced ERP response, the user voluntarily performed the sound image operation at the same time. In this study, we found that the accuracy of ERP response and decoding accuracy is heavily influenced by the voluntary mental work of users. This can lead to a useful approach in two ways in a real ERP system. First, user-voluntary work can be easily utilized in various types of BCI systems, and performance enhancement is less dependent on manipulation of the system's external visual stimulus parameters. Second, we consider the measurable difference by minimizing the unintended command to the BCI system by passively gazing and actively performing a sound image operation on the EEG signal, thereby determining whether the state of the brain is intentional or unintentional ERP system is proposed.

Three-stream fusion network for first-person interaction recognition

김예지 Graduate School, Korea Unversity 2019 국내석사

First-person interaction recognition is a challenging task due to unstable video conditions from a camera wearer’s movement. For human interaction recognition from a first-person viewpoint, this paper proposes the three-stream fusion network with two main parts: three-stream architecture and three-stream correlation fusion. The three-stream architecture captures characteristics of the target appearance, target motion, and camera ego-motion. The three-stream correlation fusion combines three feature maps of each stream to consider correlations between the target appearance, target motion, and camera ego-motion. The fused feature vector is robust to the camera movement and compensates for the noise of camera ego-motion. Short-term intervals are modeled with the fused feature vector, and the LSTM considers the temporal dynamics of videos. We evaluated the proposed method on two public benchmark datasets to show the effectiveness of our approach. In the experiments, we showed that the proposed fusion method successfully generated a discriminative feature vector, and our network outperformed all competing activity recognition methods in first-person videos where a lot of camera ego-motion occurs.

분리된 움직임 특징을 이용한 단계적 처리 기반 범죄 탐지 프레임워크

박종재 고려대학교 대학원 2019 국내석사

감시영상에서 사람의 행동을 인식하는 분야는 최근 신경망의 발달로 성능이 개선되면서 많은 관심을 받고 있다. 그 중 공공안전에 큰 영향을 주는 범죄 행동을 탐지하는 분야는 중요한 문제이다. 같은 범죄 행동이라도 사람의 자세, 외형, 움직임뿐 아니라 시점 변화, 밝기 차이, 가려짐 같은 환경적인 변화가 존재한다. 범죄 행동은 그 목적 때문에 일반적인 행동과 다른 특성의 패턴을 보여주는 행동들이 많다. 특히 범죄자나 피해자의 행동들은 빠른 움직임을 보여주는 경우가 많다. 또한 직접적으로 범죄에 관련된 행동이 아닌 배경 정보 역시 범죄를 탐지하는데 중요한 역할을 한다. 이러한 점을 다루기 위해 본 논문에서는 빠른 행동이 발생하는 구역의 특징을 따로 구분하여 학습하는 방법을 제안한다. 또한 두 층의 LSTM을 구성하여 첫 번째 층에서는 배경 정보를 처리하고 두 번째 층에서는 집중적으로 봐야 하는 빠른 행동이 일어나는 구역의 특징을 처리한다. 우리는 범죄 영상 데이터셋에서의 평가를 통해 제안한 방법이 범죄 행동 탐지 성능을 개선하는데 효과가 있음을 확인한다.

Spatio-temporal analysis of brain dynamics in the loss and recovery of consciousness and its explanation based on deep learning

염슬기 Graduate School, Korea University 2018 국내박사

뇌-컴퓨터 인터페이스는 최근 엄청난 성장을 보인 분야 중 하나이다. 비록 뇌-컴퓨터 인터페이스 연구가 의사소통의 복원에 주로 초점이 맞춰져 있지만, 전신 마취 또는 진정 상태에서 환자의 의식 정도를 모니터링하기 위한 기술로도 사용될 수 있다. 의식하 진정을 유지한 채 시술 또는 수술이 진행되는 동안 환자의 안전을 유지하기 위하여 반드시 의식 수준을 모니터링 해야한다. 하지만 현재까지도 1) 투여되는 진정제의 종류, 2) 시술 자극의 동반 여부에 따른 의식의 신경생리학적 연구 지식이 매우 부족하다. 뿐만 아니라, 의식과 무의식을 확실히 구분지을 수 있는 그리고 결과를 바탕으로 신경생리학적 현상에 대한 통찰력을 제공할 수 있는 연구가 부족 하다. 본 논문에서는 진정제(미다졸람, 프로포폴) 투여하여 통증 자가 조절법 기반 의식하 진정 시술 중 뇌전도 및 기능 적외선 분광기를 측정했을 때, 시간-공간 뇌 활성화 정도에 따라 의식의 전환시점에서 의식 vs. 무의식을 구분짓는 임계점이 존재함을 보여주며, 시술 자극 동반 여부에 따라 환자의 의식 소실 및 회복 시점에 효과 지역 집중 농도의 차이가 유의미함을 보여준다. 뿐만 아니라, 깊은 신경망이 의식 수준을 분류하는 강력한 비선형 알고리즘이며 계층적 연관성 전파 해석법이 신경 과학 응용분야에서 깊은 신경망을 해석하는데 도움을 줄 수 있는 기술 중 하나임을 보여준다. 실험 결과는 본 연구에서 발견한 새로운 신경생리학적 특징이 진정하 환자의 뇌 활성화 정도를 모니터링 하는데에 사용될 수 있으며, 이를 바탕으로 계층적 연관성 전파 해석법을 결합한 깊은 신경망의 활용이 의식과 무의식 상태를 유의미하게 분류할 수 있을 뿐만 아니라 이를 설명할 수 있음을 보여주었다. Recent years have brought up a tremendous advance of contributions to the field of brain-computer interfaces (BCIs). Although a major part of BCI research is focused on the restoration of communication, BCI has the potential to detect intraoperative awareness during general anaesthesia or sedation. During sedation, we must monitor the level of consciousness to maintain patient safety even with surgical stimulation. However, in this point of veiw, the neurophysiological basis of consciousness with respect to 1) the sedative types and 2) the presence/absence of surgical stimulations still remain unclear to date. Also, it is yet to be fully exploited to clearly distinguish between consciousness and unconsciousness and provide insight into neurophysiological phenomena underlying a decision. This thesis showed critical points in the spatio-temporal domain for the transition of consciousness based on multimodal EEG-fNIRS measurements during midazolam- and propofol-induced patient-controlled sedation. In addition, a significant difference were observed in effect-site concentrations in the brain during the loss and recovery of consciousness between stages. Furthermore, it has demonstrated that deep neural network (DNN) is a powerful non-linear tool for classifying the level of consciousness and layer-wise relevance propagation is a potential remedy for the lack of interpretability of DNNs that has limited their utility in neuroscientific applications. Results have clearly demonstrated that this novel neurophysiological signature can be used to monitor brain activity during sedation and based on this the application of DNNs with LRP can achieve significant classification accuracies as well as its explanation of 'consciousness' and 'unconscousness' state.

(A) novel linelet-based representation for line segment detection

조남규 고려대학교 2017 국내박사

고속 영상 검색 및 분류를 위한 다중 분류기 기반 딥해싱 기법=

최근호 고려대학교 대학원 2018 국내석사

이미지 및 비디오와 같은 멀티미디어 데이터의 급속한 증가로 빠른 검색에 대한 수요가 늘었고 그 중 가장 활발히 연구되고 있는 분야는 해시(Hash) 방법론이다. 해시 방법 역시 다른 컴퓨터 비전 분야와 마찬가지로 딥러닝(Deep learning)과 결합한 딥해싱(Deep hashing)이 기존의 해시 방법들보다 우수한 성능을 보여주었는데, 본 논문 역시 딥해싱에 대한 연구를 다루고 있다. 본 논문에서 제안하는 딥해싱 방법론은 앙상블 분류기(Ensemble classifier)를 만드는데 사용되는 Error Correcting Output Code(ECOC) matrix를 사용하여 다수의 분류기(classifier)를 만들고 다수의 분류기에서 얻는 값을 바로 이진 코드로 사용한다. 다수의 분류기에서 이진 코드를 추출했을 때 얻는 이점은 Hamming Distance 계산하여 검색에도 쓸 수 있을 뿐만 아니라 분류(Classification)에도 사용될 수 있다. 여러 데이터셋(dataset)에서 실험을 통해 제안한 방법이 다른 최신의 딥해싱 모델과 비교해 우수함을 보여주고 있다.

보행자-차량 충돌 방지를 위한 객체 후보 생성 기반의 잠재적 위험 영역 추정

오영석 고려대학교 대학원 2018 국내석사

본 논문은 주행 중에 갑작스럽게 등장한 보행자로 인한 주행차와 충돌 사고를 예방하기 위하여 보행자 출현 가능성이 높은 잠재적 위험 영역을 추정하는 방법에 대해 설명한다. 보행자와 주행차의 충돌사고가 끊임없이 발생함에 따라 최근 잠재적 위험 영역 연구는 각광을 받고 있다. 기존에는 잠재적 위험 영역 탐색을 위해 객체 분할 기법이나 객체 검출 방법을 응용하여 객체를 추정하고 비-객체를 분류하는 방식으로 위험 영역 탐색을 수행하였다. 하지만 특정한 물체에 관련한 클래스에 한정 지어서 객체를 검출하기 때문에 다양한 위험 상황을 모두 고려하기 힘들다. 이러한 문제들을 개선하기 위하여 영상 전체를 일정한 객체 크기의 윈도우로 직접 탐색하여 위험 영역을 검출하는 방법들이 최근 연구되고 있으나, 요구되는 계산량이 높아 실시간 처리에는 어려움이 있다. 본 논문에서는 기존 방법들의 문제점을 해결하기 위해 새로운 잠재적 위험 영역의 정의와 이 정의에 기반한 잠재적 위험 영역 추정할 수 있는 방법론을 제안한다. 위험 영역의 특성을 고려한 특징 추출을 위해 도로-장애물 경계 정보 추출하였고 특정한 클래스에 소속되지 않는 객체 후보 영역을 생성하였다. 각각의 객체 후보 영역에서 추출된 특징에 대한 가중치를 Structured-SVM [14]을 이용해 학습함으로써 후보 영역에 대한 유사도 평가를 수행하였다. 생성된 객체 후보 영역에 대해서 학습된 위험 영역 평가 모델을 통해 더 높은 점수를 부여하는 평가를 수행하여 위험 영역 후보를 생성하였다. 성능 평가를 위해 KITTI 데이터 셋을 활용해 위험 영역 레이블링 작업한 데이터로 평가를 하였으며, 평가한 잠재적 후보 영역들이 적은 후보 수에서 더 뛰어난 정확도를 보임을 확인하였다.

User personality based dialogue policy modeling using reinforcement learning for service robots

김준호 고려대학교 대학원 2018 국내석사

사람-로봇 상호작용 분야에서 사용자 성격 및 개인의 특성을 고려하는 것이 사용자의 대화 상호작용 만족도를 증가시키기 위해 매우 중요하다. 하지만, 기존 연구들의 로봇 대화 시스템은 설계된 모델이 변하지 않으며, 개인의 특성을 찾기 위해 많은 시간이 필요하다. 따라서 본 연구에서는 사용자 성격을 고려하여 Q-학습 알고리즘을 통해 개선되는 적응형 대화 시스템을 제안한다. 본 연구에서는 강화학습 프레임워크에 사용자 성격요인을 적용하여 사용자의 만족도를 높이는 성격 별 대화 패턴을 학습하기 위해 3가지 방법을 제안한다. 첫째, 사용자가 선호하는 성격 별 대화 패턴을 얻어내기 위해 개인 성격 별 초기 가치 모델을 적용한다. 둘째, 사용자의 성격 별 대화 패턴을 얻어내기 위해 개인 성격 별 강화학습의 탐험 및 고수 비율을 다르게 적용한다. 셋째, 성격 별 사용자의 보상을 적응한다. 제안하는 방법의 우수성을 증명하기 위해, 제안하는 시스템과 기존 시스템의 대화 길이 차이 및 수렴성을 실험을 통해 증명하였다. 또한 학습 과정 동안의 보상의 총합과 최종 만족도 평가를 통해 제안하는 방법의 사용자 만족도를 확인했다. In the field of human-robot interaction, consideration of user personality and personality characteristics is very important to increase user's conversation interaction satisfaction. However, the robot dialogue system of previous studies does not change the designed model, and it takes a lot of time to find individual characteristics. Therefore, this study proposes an adaptive dialogue system which is improved through Q-learning algorithm considering user characteristics. In this study, we propose three methods to learn the dialogue pattern via user personality by applying user personality factor to reinforcement learning framework. First, the initial value model for each personality is applied to obtain the user-preferred pattern of personality conversation. Second, the exploration of the reinforcement learning according to individual personality and the ratio of adherence are applied differently in order to obtain the dialogue pattern according to the personality of the user. Third, we adapt the rewards of the user by personality. In order to prove the superiority of the proposed method, the experimental results show that the proposed system and the existing system have differences in conversation length and convergence. In addition, we confirmed the user satisfaction of the proposed method through the sum of the compensation during the learning process and the final satisfaction evaluation.