의미론적 영상 분할을 위한 에지 맵 기반 후처리 알고리즘

김정환 숭실대학교 대학원 2020 국내석사

AI가 급부상하면서 여러 기술들이 기계 학습 기반의 방법으로 대체되며 발전하고 있다. 컴퓨터 비전 분야의 의미론적 영상 분할(Semantic image Segmentation) 기술은 이미지를 픽셀 단위로 분할하여 클래스를 나누는 기술이다. 이 기술도 기계 학습을 이용한 방법으로 성능이 빠르게 향상되는 중이며, 픽셀 단위의 정보를 활용할 수 있는 높은 가능성이 주목받는 기술이다. 그러나 이 기술은 초기부터 최근까지도 계속 ‘세밀하지 못한 분할’에 대한 문제가 제기되어 왔다. 이 문제는 레이블 맵의 크기를 계속 늘리면서 발생한 문제이기 때문에, 자세한 에지 정보가 있는 원본 영상의 에지 맵을 이용해 레이블 맵을 수정하여 개선할 수 있을 것으로 예상할 수 있었다. 따라서 본 논문은 기존 방법대로 학습 기반의 의미론적 영상 분할을 유지하되, 그 결과인 레이블 맵을 원본 영상의 에지 맵 기반으로 수정하는 후처리 알고리즘을 제안한다. 알고리즘의 적용 전후의 정확도를 비교했을 때 평균적으로 약 1.74% 픽셀 정확도와 1.35%의 IoU 정확도가 향상되었으며, 결과를 분석했을 때 성공적으로 본래 목표한 세밀한 분할 기능을 개선했음을 보였다. With the rapid rise of AI, many technologies are being developed and replaced by machine learning-based methods. Semantic image segmentation technology in the field of computer vision is a technology that classifies an image by dividing it into pixels. This technique is also rapidly improving performance using a machine learning method, and a high possibility of utilizing information in units of pixels is drawing attention. However, this technology has been raised from the early days until recently for ‘lack of detailed segmentation’ problem. Since this problem was caused by increasing the size of the label map, it was expected that the label map could be improved by using the edge map of the original image with detailed edge information. Therefore, in this paper, we propose a post-processing algorithm that maintains semantic image segmentation based on learning, but modifies the resulting label map based on the edge map of the original image. Comparing the accuracy before and after the application of the algorithm, the average accuracy was improved by about 1.74% pixel accuracy and 1.35% IoU accuracy, and the analysis of the results showed that the refinement of the original target was successfully improved.

시간적 지식과 시각-언어 모델을 활용한 준지도 의미론적 분할 방법론 연구

신우석 고려대학교 대학원 2025 국내박사

의미론적 분할(semantic segmentation)은 이미지 내 각 픽셀을 의미 있는 객체 범주로 분류함으로써, 장면을 구조적으로 분석하고 시각적 정보를 정밀하게 해석하는 데 핵심적인 역할을 한다. 이 기술은 자율주행, 의료 영상, 그리고 산업 현장의 결함 검사 등 다양한 산업 및 응용 분야에서 널리 활용되고 있다. 그러나 의미론적 분할 모델의 학습에는 픽셀 단위의 정밀한 주석이 요구되며, 이러한 레이블링(labeling) 작업은 많은 시간과 비용이 소요된다. 이로 인해 일반적인 지도 학습 기반 접근법은 다양한 산업으로의 확장성과 적용 가능성에 제약이 따른다. 이러한 한계를 극복하기 위한 대안으로 준지도 학습(semi-supervised learning)이 주목받고 있으며, 이는 소량의 정답이 있는(Labeled) 데이터와 대규모의 정답이 없는(Unlabeled) 데이터를 함께 활용해 모델의 성능을 향상시키는 방법이다. 하지만 의미론적 분할의 경우, 픽셀 수준의 구조적인 특성과 클래스 빈도의 불균형으로 인해 기존의 단순한 준지도 학습 방법 적용으로는 한계가 있으며, 이를 극복하기 위해서는 과업에 특화된 정교한 학습 전략이 요구된다. 본 학위 논문에서는 첫 번째로, 학습 과정에서 얻을 수 있는 모델의 시간적 지식(temporal knowledge)을 재조명하고 이를 효과적으로 활용하는 방법을 제안한다. 기존의 자기 학습(self-training) 기반 방법들은 현재 시점의 단일 예측에 의존함으로써, 잘못된 의사 레이블(pseudo-label)에 의한 확증 편향(confirmation bias)과 학습 불안정성 문제를 야기할 수 있다. 이러한 한계를 극복하기 위해, 본 연구에서는 학습 중 변화하는 모델의 예측 정보를 통합함으로써 보다 다양한 학습 신호를 확보하고자 한다. 구체적으로, 이전 시점의 모델을 활용해 현재 모델에 추가적인 지침을 제공하는 이전 지침(previous guidance) 전략을 도입하고, 여기에 더해 학습 과정 전반에서 이전 모델들의 예측을 무작위로 선택 및 조합하여 다양한 의사 레이블을 생성하는 무작위 앙상블(randomized ensemble) 전략을 함께 제안하였다. 제안하는 프레임워크는 총 세 가지 의미론적 분할 벤치마크(benchmark)에서 기존 준지도 학습 방법들과 결합하여 실험적으로 검증되었으며, 특히 성능이 불안정한 소수 클래스에 대해서도 일관된 성능 향상을 보여주었다. 또한, 계산 효율성 및 기존 학습 방법들과의 호환성 측면에서도 높은 실용성을 갖추고 있어, 다양한 준지도 학습 시나리오에 쉽게 적용이 가능하다. 두 번째로, 본 논문에서는 최근 주목받고 있는 시각-언어 모델(vision-language model)의 개방형 어휘(open-vocabulary) 능력을 활용하여, 기존 학습 분포와는 상이한 분포 외(out-of-distribution) Unlabeled 이미지까지 효과적으로 활용할 수 있는 준지도 의미론적 분할 프레임워크를 제안한다. 기존의 준지도 의미론적 분할 연구는 학습 이미지를 Labeled 이미지와 Unlabeled 이미지로 나눈 뒤, 특정 비율에 따라 벤치마크 데이터셋을 분할하는 방식의 실험 설정에 주로 집중해 왔으며, Unlabeled 데이터를 대규모로 확장했을 때의 추가적인 성능 향상 가능성에 대해서는 상대적으로 제한적인 논의만이 이루어져 왔다. 그러나 실제 산업 및 응용 환경에서는 웹 이미지나 공개 데이터셋 등에서 Unlabeled 데이터를 쉽게 확보할 수 있다. 본 연구에서는 이러한 현실적 상황을 고려하여, 분포 외 Unlabeled 이미지를 대규모로 수집하고 이를 효과적으로 학습에 활용할 수 있는 방법론을 탐구하였다. 특히, 개방형 어휘 분할 모델의 일반화 능력을 통해 기존 클래스에 포함되지 않은 객체나 표현에 대해서도 강건한 의사 레이블 생성을 가능하게 하였으며, 이를 통해 기존 방식으로는 활용하기 어려웠던 분포 외 Unlabeled 이미지까지 학습에 포함시킬 수 있음을 보였다. 제안된 프레임워크는 두 가지 주요 벤치마크 데이터셋을 기반으로 한 실험에서 기존 준지도 학습 방법들과 비교해 일관되고 유의미한 성능 향상을 달성하였으며, 특히 기존 방법들이 불안정한 성능을 보이던 조건에서도 높은 강건성을 유지하였다. 또한 본 방법은 학습 과정에만 적용되며, 추론 과정에는 영향을 미치지 않기 때문에 기존 모델의 구조나 추론 속도를 그대로 유지할 수 있으며, 다양한 준지도 방법과의 높은 호환성을 바탕으로 실제 응용 환경에서도 쉽게 통합이 가능한 실용적인 장점을 갖는다. 본 학위 논문에서는 제한된 레이블 환경에서 준지도 의미론적 분할 모델의 성능과 범용성을 향상시킬 수 있는 방법론을 제안한다. 이를 바탕으로 각 방법의 핵심 기여를 정리하고, 향후 연구 방향에 대해 논의하며 결론을 맺는다. Semantic segmentation plays a crucial role in scene understanding by structurally analyzing visual information and assigning each pixel to a semantically meaningful object category. This technology has been widely adopted in various domains, including autonomous driving, medical imaging, and industrial defect inspection. However, developing high-performance semantic segmentation models requires pixel-level annotations, which are costly and time-consuming to produce. As a result, fully-supervised approaches face scalability limitations when applied across diverse industrial settings. To overcome this challenge, semi-supervised learning has emerged as a promising alternative, leveraging a small set of labeled data alongside a large pool of unlabeled data. Nonetheless, due to the pixel-level structure and class imbalance inherent in semantic segmentation, naive applications of conventional semi-supervised methods often prove insufficient. This necessitates task-specific and sophisticated learning strategies. This dissertation first proposes a novel approach that revisits and leverages temporal knowledge obtained during training. Traditional self-training methods typically rely on a single prediction from the current model, which can introduce confirmation bias and unstable learning due to erroneous pseudo-labels. To mitigate these issues, we introduce the concept of previous guidance, where historical model predictions are used to provide additional supervision to the current model. Furthermore, we propose a randomized ensemble strategy that stochastically samples and combines pseudo-labels from previous models throughout training, thereby enhancing pseudo-label diversity. Our framework is evaluated on three standard semantic segmentation benchmarks in combination with existing semi-supervised methods. The results demonstrate consistent performance improvements, particularly for challenging classes, while maintaining high computational efficiency and compatibility with other training pipelines, making the approach broadly applicable in practical semi-supervised learning scenarios. In addition, this dissertation introduces a semi-supervised semantic segmentation framework that leverages the open-vocabulary capabilities of vision-language models to effectively utilize out-of-distribution (OOD) unlabeled images that originate from distributions distinct from the original training data. Previous studies have shown promising results in academic settings where benchmark datasets are split into different ratios or numbers of labeled and unlabeled images. However, the potential benefits of incorporating larger amounts of unlabeled data remain relatively unexplored. In real-world scenarios, abundant unlabeled images are often available from online sources or large-scale public datasets. However, these images frequently differ in distribution from the target dataset. Naively using such images in semi-supervised learning can result in inaccurate pseudo-labels and mislead the training process. This study investigates strategies to effectively integrate OOD unlabeled data into training. By leveraging the generalization capabilities of open-vocabulary segmentation models, the proposed method enables robust pseudo-label generation even for novel categories or visual concepts, thereby allowing the model to learn from previously unusable data. Experiments conducted on two benchmark datasets demonstrate that the proposed method consistently outperforms existing semi-supervised approaches, particularly in challenging conditions where prior methods exhibit performance instability. Furthermore, since the method is applied only during training, it introduces no inference-time overhead or architectural changes, ensuring compatibility with existing models and enabling seamless integration into practical applications. Overall, this dissertation presents methods to improve the performance and generalizability of semi-supervised semantic segmentation under limited supervision. It concludes by summarizing the core contributions and discussing future research directions.

약지도 의미론적 분할을 위한 픽셀 단위 레이블 전파 기법

최준수 성균관대학교 일반대학원 2024 국내석사

약지도 의미론적 분할 (Weakly-Supervised Semantic Segmentation)은 기존의 값비싼 픽셀 단위 레이블보다 약한 수준의 감독 신호를 사용하여 정확한 의미론적 분할 결과를 제공하는 것을 목표로 한다. 그 중 이미지 수준 약지도 의미론적 분할은 이미지 분류기에서 추출한 클래스 활성화 맵 (Class Activation Maps, CAM)을 보정하여 분할 네트워크를 학습하기 위한 정답 분할 마스크로 사용한다. 그러나, CAM은 좁고 특징적인 영역만 활성화하는 경향이 있어 전체 영역을 커버하지 못한다. 이는 분류 작업과 분할 작업 사이의 감독 신호 세기의 격차로 인해 발생한다. 기존 약지도 의미론적 분할 방법들은 넓고 정확한 CAM을 추출하기 위해 특징 표현 학습을 강화하거나 일관성 규제화 등을 시도하였지만, CAM을 감독하기 위한 명시적인 방법은 고려되지 않았다. 이 문제를 해결하기 위해, 모델이 객체의 다양한 시각적 특징에 대해 명시적으로 학습하도록 장려하여 CAM의 활성화를 넓히는 일관성 학습 기반의 프레임워크를 제안한다. 제안하는 프레임워크는 원본 뷰에 강력한 이미지 단위 섭동을 추가하여 까다로운 추론 대상을 만들고, 그 예측을 감독하기 위해 신뢰도 높은 픽셀 단위 감독 신호를 구축하는 데 중점을 둔다. 구체적으로, 신뢰성 있는 온라인 의사 레이블 구축 기법과 의사 레이블 영역에 대한 간단한 경계 확장 기법을 사용하여 네트워크에 정확한 픽셀 단위의 감독 신호를 제공하여 성능을 향상시킨다. 제안한 방법은 PASCAL VOC 2012 데이터셋에서 CAM의 품질과 최종 의미론적 분할 성능을 큰 폭으로 향상시키며 약지도 의미론적 분할 작업에서 새로운 최고 성능을 달성하였다. Weakly-Supervised Semantic Segmentation(WSSS) aims to provide accurate semantic segmentation results using supervised signals that are weaker than traditional expensive pixel-wise annotations. Among them, image-level weakly supervised semantic segmentation calibrates Class Activation Maps (CAMs) extracted from an image classifier and uses them as ground-truth segmentation masks to train a segmentation network. However, CAMs tend to activate only narrow, discriminative regions and fails to cover entire object region. This is caused by the supervision gap between the classification and segmentation task. Existing WSSS methods have tried to enhance feature representation learning or impose consistency regularization to broaden CAM coverage, but no explicit method for supervising CAMs has been considered. To address this issue, we propose a PixMatch framework based on weak-strong consistency training to broaden the activation of CAMs by encouraging the model to explicitly learn about various visual features of an object. PixMatch uses strong perturbation to make challenging inference target, and focus on constructing confident pixel-wise supervision signal to supervise prediction of non-discriminative regions. Specifically, a reliable online pseudo-label construction technique and a simple boundary expansion technique for the pseudo-label region provides the network with accurate pixel-wise supervision signals. The proposed method significantly improves the quality of the initial seed and the final semantic segmentation performance on the PASCAL VOC 2012 and COCO 2014 dataset, achieving new SOTA performance in the WSSS task.

Leveraging spatial information for robust weakly supervised semantic segmentation

장수진 중앙대학교 첨단영상대학원 2025 국내박사

Semantic segmentation involves assigning meaningful labels to each pixel in an image and plays a crucial role in various applications, such as autonomous driving, image editing, and medical image analysis. However, pixel-level annotation is time-consuming and expensive, which has led to active research in weakly supervised semantic segmentation (WSSS). WSSS aims to efficiently predict class labels for each pixel using weak annotations, such as image-level labels. This approach significantly reduces costs and time by eliminating the need to manually generate extensive pixel-level annotations. Due to its potential to achieve strong performance with limited annotation information, WSSS has garnered considerable attention. However, WSSS relying on image-level labels often fails to fully capture the complete extent of objects due to limited information, resulting in issues of object incompleteness. Additionally, noise can lead to false positives and challenges in distinguishing between objects and the background, causing pixel co-occurrence problems. To address these challenges, this thesis proposes methods to effectively extract spatial information using only image-level labels. The proposed methods leverage spatial information related to target objects to mitigate issues of object incompleteness and pixel co-occurrence, ultimately offering novel approaches to enhance semantic segmentation performance. The first proposed method extracts global representations by treating feature maps as graph structures, thereby capturing implicit spatial information. The second method effectively captures explicit spatial information related to target objects through pseudo annotations generated by the proposed approach. Finally, another proposed method leverages spatial information for both target objects and background, allowing for a focused emphasis on target object areas while suppressing background activation. By adopting these approaches, the method effectively captures a variety of objects and accurately delineates their entire regions, thereby addressing the issue of object incompleteness. This results in dense object localization and enhanced performance in semantic segmentation. Extensive experiments and analyses conducted on various benchmark datasets demonstrate that the proposed methods outperform existing WSSS approaches. By integrating global representations, target object information, and background representations, the framework accurately identifies object regions and effectively addresses issues related to object incompleteness and pixel co-occurrence. Furthermore, the single-stage design of the framework enables efficient end-to-end learning, reducing computational complexity while maintaining high segmentation performance. 의미론적 분할은 이미지 내 각 픽셀에 의미 있는 레이블을 할당하는 작업으로, 자율주행, 이미지 편집, 의료 영상 분석 등 다양한 응용 분야에서 중요한 역할을 합니다. 그러나 픽셀 수준의 주석 생성은 많은 시간과 비용이 소요되며 이를 해결하기 위해 약지도 학습 기반의 의미론적 분할에 대한 연구가 활발히 이루어지고 있습니다. 약지도 학습 기반 의미론적 분할은 이미지 수준 레이블과 같은 약한 주석을 활용하여 각 픽셀의 클래스 레이블을 효율적으로 예측하며 픽셀 수준 주석 생성을 최소화함으로써 시간과 비용을 크게 절감할 수 있습니다. 제한된 주석 정보로도 높은 성능을 달성할 가능성을 보여 큰 관심을 받고 있습니다. 그러나 이미지 수준 레이블에 의존하는 약지도 의미론적 분할에서는 제한된 정보로 인해 객체의 전체 영역을 충분히 포착하지 못하여 객체 불완전성 문제가 발생할 수 있습니다. 또한, 노이즈로 인해 오탐지가 발생하거나 객체와 배경을 명확히 구분하지 못하여 픽셀 동시 발생 문제가 나타날 수 있습니다. 이를 해결하기 위해, 본 학위 논문에서는 이미지 수준 레이블만을 활용하여 공간적 정보를 효과적으로 추출하는 방법을 제안합니다. 제안된 방법들은 타겟 객체와 관련된 공간 정보를 활용하여 객체 불완전성과 픽셀 동시 발생 문제를 완화하고, 의미론적 분할 성능을 향상시키기 위한 새로운 접근 방식을 제공합니다. 첫 번째로 제안된 방법은 이미지의 특징 맵을 그래프 구조로 처리하여 글로벌 표현을 추출함으로써 암묵적인 공간 정보를 포착합니다. 두 번째 방법은 제안된 접근법을 통해 생성된 의사 어노테이션을 활용하여 타겟 객체와 관련된 명시적인 공간 정보를 효과적으로 추출합니다. 마지막 방법은 타겟 객체와 배경 영역 모두의 공간 정보를 활용하여 타겟 객체 영역에 집중하고 배경 활성화를 억제할 수 있도록 합니다. 이러한 접근법을 통해 다양한 객체, 특히 작은 객체를 효과적으로 포착하고 객체의 전체 영역을 정확히 식별하여 객체 불완전성 문제를 해결합니다. 또한, 타겟 객체와 배경의 공간 정보를 활용하여 놓친 객체 영역을 보완하고 배경 활성화를 억제함으로써 밀집된 객체 위치 설정 및 의미론적 분할 성능 향상을 이끌어냅니다. 다양한 벤치마크 데이터셋에 대한 실험과 분석을 통해 제안된 방법들이 기존 약지도 학습 기반 의미론적 분할 방법을 능가하는 성능을 달성함을 확인하였습니다. 특히, 제안하는 방법들은 전역 특징을 활용한 암묵적 공간 정보, 의사 어노테이션을 활용한 명시적 공간 정보, 그리고 텍스트 지식을 활용한 배경을 포함한 공간 정보를 통합하여 목표 객체 영역을 정확히 식별하고 픽셀 동시 발생 문제를 효과적으로 완화합니다. 또한, 단일 단계 프레임워크로서 엔드-투-엔드 학습을 가능하게 하여 약지도 학습 기반 의미론적 분할 모델의 학습 과정을 더욱 효율적으로 만듭니다. 본 학위 논문은 이미지 수준 레이블을 기반으로 공간적 정보를 효과적으로 활용하여 약지도 학습 기반 의미론적 분할 성능을 크게 향상시킬 수 있음을 입증하며 다양한 응용 분야에서 의미론적 분할의 가능성을 제시합니다.

멀티모달 보조 정보를 활용한 효율적인 의미론적 및 인스턴스 분할 기법 연구

김주호 성균관대학교 일반대학원 2025 국내석사

RGB-X 의미론적 분할은 RGB 정보만으로 해결하기 어려운 장면 이해 문제를 추가 모달리티와 결합하여 해결하는 연구 분야이다. 본 연구는 프롬프트 학습 기법을 RGB-D 및 RGB-T 의미론적 분할에 적용하여, 기존 모델의 구조를 유지하면서도 적은 수의 파라미터를 추가하는 방식으로 성능 향상을 달성하였다. 특히 후 결합 프롬프트 방식은 간단하면서도 정보 손실을 최소화하며 두 모달리티 간의 상호작용을 극대화하는 방식이다. 후 결합 방식이 선 결합 방식보다 더 효과적임을 NYUDv2, SUN RGB-D, MFNet 데이터셋에서 실험적으로 검증하였다. NYUDv2 데이터셋의 경우 멀티모달 학습의 대표적인 방법인 MultiMAE(Multimodal Multitask Masked Autoencoders) 보다 약 2.2%의 mIoU 성능 향상을 보였으며, MFNet 데이터셋에서는 73.5%의 mIoU로 최고 성능 (State of the Art, SOTA)를 달성하였다. 이를 통해 RGB와 추가 모달리티의 융합과정에서 프롬프트 학습의 새로운 가능성을 제시하였다. 본 연구는 정지 영상 기반 성능뿐만 아니라, 해당 구조를 비디오로 확장하여 시간을 보조 정보로 활용하는 영상분할 모델 또한 함께 탐구하였다. 기존 준지도 비디오 객체 분할은 주로 메모리 읽기 기능과 메모리 저장 부분에 있어서 연구가 활발히 진행되었다. 반면 이미지 특징을 강화하는 연구는 상대적으로 적은 편이다. 또한 2D 합성곱 신경망을 인코더로 사용하기 때문에 장거리 종속성과 시간 정보를 충분히 반영하지 못하는 한계가 있었다. 이를 해결하기 위해 본 논문에서는 Temporal Encoding with Memory Attention (TEMA) 기법을 제안한다. TEMA는 외부 메모리 어텐션 메커니즘과 2 단계 그룹화 전략을 도입하여, CNN 기반 인코더가 프레임 간 시간 관계 및 프레임 내 공간 정보를 더욱 정교하게 인코딩할 수 있도록 설계되었다. 제안한 TEMA는 기존 SVOS 모델에 플러그인 형태로 쉽게 통합 가능하며, DAVIS2017, Youtube VOS와 LVOS에서 실험을 통해 그 효과를 입증하였다. 본 논문은 깊이 정보와 시간 정보라는 보조 정보를 효율적으로 활용한 영상 분할 기법을 제안하고, 각 분야의 영상 분할 정확도와 일반화 성능을 향상시켰다. Semantic segmentation with RGB-X modalities is a research area that seeks to address scene understanding challenges that are difficult to solve using only RGB information by incorporating additional modalities. This study applies prompt learning techniques to RGB-D and RGB-T semantic segmentation, achieving performance improvement by adding a small number of parameters without altering the structure of existing models. In particular, the proposed late-fusion prompt method is simple yet effectively maximizes the interaction between modalities while minimizing information loss. Experiments on NYUDv2, SUN RGB-D, and MFNet datasets demonstrate that the late-fusion approach is more effective than the early-fusion approach. On the NYUDv2 dataset, the method outperforms MultiMAE (Multimodal Multitask Masked Autoencoders), a representative multimodal learning method, by approximately 2.2% in mIoU. On the MFNet dataset, it achieves a state of the art (SOTA) performance with 73.5% mIoU. These results suggest a new potential for prompt learning in the fusion process of RGB and auxiliary modalities. In addition to static image-based performance, this study also explores the extension of the proposed structure to video, leveraging temporal information as an auxiliary cue for video segmentation. While existing semi-supervised video object segmentation (SVOS) methods have actively studied memory read/write mechanisms, relatively fewer works have focused on enhancing image features. Moreover, since most models use 2D convolutional neural networks (CNNs) as encoders, they struggle to capture long-range dependencies and temporal relationships. To address these limitations, we propose a novel technique called Temporal Encoding with Memory Attention (TEMA). TEMA introduces an external memory attention mechanism and a two-stage grouping strategy, allowing the CNN-based encoder to more precisely encode spatial and temporal information across frames. The proposed TEMA module can be seamlessly integrated into existing SVOS models in a plug-and-play manner. Experiments on DAVIS2017, YouTube-VOS, and LVOS datasets verify its effectiveness. This paper proposes an efficient video segmentation method that leverages both depth and temporal information as auxiliary cues and improves the accuracy and generalization performance of semantic segmentation in both static and dynamic scenes.

Multi-Modality Semantic Segmentation Learning Methodology for Enhancing Recognition Performance in Vehicle Driving Environments

유용현 국립한밭대학교 소프트웨어융합대학원 2025 국내석사

인공지능 기술은 합성곱 신경망과 다양한 모델 아키텍처의 발전으로 컴퓨터 비전 분야에서 이미지 분류, 객체 탐지, 의미론적 분할 등 여러 응용에서 성공적인 성과를 거두고 있다. 이러한 기술은 인식 정확도와 처리 속도 면에서 사람과 유사한 성능을 제공하며, 산업 자동화 시스템 개발에 중요한 역할을 하고 있다. 자율주행 기술에서는 복잡한 도로 상황에서 정확한 인식을 위해 다양한 데이터를 융합하는 연구가 필수적이다. RGB 영상은 주간의 밝은 환경에서 색상과 텍스처 정보를 제공해 도로와 장애물을 구분하는 데 유리하지만, 조도가 낮은 환경이나 악천후에서는 성능이 저하되는 문제가 있다. 이를 보완하기 위해 다중 모달리티 데이터, 특히 열화상 영상을 활용하는 연구가 주목받고 있다. 열화상 영상은 물체가 방출하는 열 신호를 감지해 조명 조건에 영향을 받지 않아 야간이나 저조도 환경에서도 안정적인 객체 탐지가 가능하다. 본 논문은 RGB와 열화상 영상의 상호보완적 특성을 활용하여 주간과 야간을 포함한 다양한 환경에서 자율주행 차량이 일관된 인식 성능을 발휘하도록 하는 것을 목표로 한다. 이를 통해 자율주행 시스템이 복잡한 조건에서도 안정적이고 신뢰성 있는 주행을 가능하게 한다. 이를 위해 세 가지 연구 방향을 제시한다. 첫째, RGB와 열화상 영상의 짝을 이루는 데이터셋을 활용해 의미론적 분할 작업을 수행한다. 단일 네트워크 구조에서 두 모달리티 데이터를 동시에 입력하고, 가중치를 공유해 함께 학습하도록 설계한다. 학습 과정에서 정보가 풍부한 모달리티가 다른 모달리티의 학습을 유도하며, 상호보완적 마스킹 기법으로 특정 모달리티 의존을 최소화해 다양한 환경에서도 일관된 성능을 보장한다. 둘째, RGB와 열화상 영상의 짝이 맞지 않는 데이터셋에서도 도메인 적응 기법을 통해 주행 경로와 장애물 예측이 가능하도록 설계한다. 주·야간 환경에 맞춰 각각 RGB와 열화상 데이터를 활용하며, 두 모달리티 간 표현 격차를 줄이고 공통 특성을 학습한다. 이를 통해 조명 변화나 기후 등 외부 요인에도 강인한 성능을 제공하며, 다양한 조건에서 신뢰성 있는 경로 예측을 가능하게 한다. 마지막으로, 의미론적 분할 결과를 기반으로 차량이 주행 가능한 영역과 장애물을 구분한다. 주·야간 다양한 도로 조건에서도 정확한 주행 가능 영역을 식별하며, 자율주행 차량이 복잡한 환경에서도 안전하고 신뢰성 있는 경로를 계획할 수 있도록 한다. 학습된 인식 결과를 활용해 예상치 못한 장애물에 대응하고 최적 경로를 선택하며 일관된 성능을 유지한다.

멀티모달 지식 융합 기반 구형 3D 의미론적 분할 트랜스포머 연구

김여경 부산대학교 대학원 2024 국내석사

LiDAR 포인트 클라우드는 3차원 공간을 나타내는 점들의 집합이다. 이는 2차원 카메라 이미지와 달리 깊이 정보를 포함하고 있어 자율주행 분야에서 LiDAR 센서와 함께 상호 보완적인 데이터를 제공한다. 이에 따라 멀티모달 데이터 융합을 통한 의미론적 분할에 대한 연구가 활발히 진행되고 있다. 하지만, 융합 기반 방법은 학습 및 추론 단계에서 확실한 LiDAR 포인트 클라우드와 카메라 이미지 간의 포인트-픽셀 매핑이 필수적이기 때문에 세계에서의 적용이 어려운 문제가 있다. 본 논문에서는 2D 네트워크와 3D 네트워크로 구성되며, 2D 네트워크의 정보를 3D 네트워크로 전달하는 것이 특징이다. 2D 네트워크의 데이터 전처리를 통해 3D LiDAR 포인트에 해당하는 Field Of View(FOV) 픽셀과 포인트가 대응되도록 한다. 또한, 2D 네트워크와의 융합 및 지식 증류를 통해 의미론적 및 구조적 정보를 풍부하게 활용하며, 이러한 결과를 순수 3D 네트워크로 전달하는 방식을 제안한다. 또한, 이전 연구에서는 큐브형 복셀을 사용하여 3D 의미론적 분할을 수행했지만, 이 방식은 포인트의 분포나 구조와 완전히 일치하지 않았다. 이에 따라 3D 네트워크는 구형 복셀을 활용하여 방사형 구조인 LiDAR 포인트 클라우드 데이터의 특성을 반영한다. 트랜스포머 네트워크는 CNN과 달리 포인트를 패치 별로 쪼개어 윈도우를 생성하고 각 윈도우에서 Key, Query, Value를 추출하여 윈도우 셀프 어텐션을 수행하면서 학습한다. 이 때문에 CNN 레이어와의 지식 증류 과정에서 차원 결합의 어려움을 겪게 된다. 이 문제를 해결하기 위해 본 논문은 3D 네트워크에서 트랜스포머의 특징 추출이 끝난 후에 2D 네트워크의 고유 정보를 결합하는 방법을 제안한다. 최종적으로 2D 네트워크에서 증류된 지식을 활용하는 3D 트랜스포머 네트워크는 3D 정보만 사용하여도 높은 수준의 의미론적 분할 결과를 도출한다. LiDAR point clouds, which are collections of points representing a three-dimensional space, differentiate themselves from conventional 2D camera images by including depth information. This property offers supplementary ndata when combined with LiDAR sensors, particularly in the field of autonomous driving, prompting active research in semantic segmentation through multimodal data fusion. However, the application of fusion-based methods in real-world scenarios proves challenging due to the necessity of precise point-pixel mapping between LiDAR point clouds and camera images. In this paper, we present an approach that involves 2D and 3D network branches, uniquely characterized by the transfer of information from the 2D network to the 3D network. To ensure pixel-point mapping for the field of view (FOV) scene image corresponding to the 3D LiDAR points, data preprocessing is conducted on the 2D network. Additionally, the fusion with the 2D network and knowledge distillation yields richer semantic and structural information. This method subsequently transfers these results to a pure 3D network. The 3D network, which employs spherical voxels, encapsulates the characteristics of LiDAR point cloud data. Previous studies have attempted 3D semantic segmentation using cuboid voxels, but this approach failed to align fully with the distribution and structure of the points. To better reflect the characteristics of LiDAR point cloud data, we propose a network that uses spherical voxels. The final semantic segmentation results are obtained by incorporating the knowledge distilled from the 2D network into the pure 3D network.

사전 학습된 영상 생성 모델을 이용한 의미론적 분할 복원 및 분할 기반 영상 생성

안천수 고려대학교 대학원 2023 국내석사

최근 영상에서 클래스 별로 분할된 의미론적 분할 영역을 이용해 이미지를 생성하는 다양한 모델이 제시되고 있다. 하지만 사전 학습된 모델을 사용하면 주어진 분할 영역이 불완전할 경우 제대로 된 이미지를 생성하지 못하는 문제점이 있다. 본 논문은 분할 영역으로부터 이미지를 생성하는 사전 학습된 모델을 활용하여 품질이 떨어지는 불완전한 분할 영역을 완전한 형태로 복원하는 모델을 제시한다. 그리고 사전 학습된 이미지 생성 모델을 활용해 분할 영역 생성 모델 학습에 활용하고자 한다. 학습 과정에서는 복원 분할 영역과 실제 완전한 분할 영역을 비교할 뿐만 아니라 이미지 생성 모델이 생성한 이미지와 실제 이미지를 비교하여 분할 영역 복원 성능을 높일 수 있도록 했다. 도로 주행 영상 데이터 셋인 Cityscapes에 대해 제시한 모델을 이용하여 클래스가 불완전하게 주어진 경우와 샘플링을 통해 8배만큼 화질을 저하시킨 경우에 대하여 온전한 분할 영역으로 복원하는 실험을 진행하였다.

TransHarDNet: 트랜스포머를 이용한 뇌출혈 영상 분할 모델

Jin, Hailin 세종대학교 대학원 2021 국내석사

최근 몇 년 동안 뇌출혈의 발병률이 점차 높아지고 있다. 뇌출혈은 조기 사망률이 높은 질병으로 환자가 정확한 진단과 빠른 치료를 받지 못하면 심각한 후유증을 겪거나 사망에 이를 수도 있다. 따라서 임상진단에서 뇌출혈을 빠르고 정확하게 분할할 수 있는 보조수단이 필요하다. 기존 딥러닝(Deep Learning) 기반 이미지 분할에 관한 연구가 빠르게 발전하고 있다. 특히 U-Net 기반 U자형 의미론적 분할(Semantic Segmentation) 네트워크가 의료영상 분할 분야에서 매우 큰 성과를 이루었다. 또한 트랜스포머(Transformer)라는 아키텍처가 있는데 자연어 처리 분야에서 기존의 순환 신경망(Recurrent Neural Network, RNN)보다 구조가 단순하면서도 높은 성능을 달성했다. 이에 많은 학자가 컴퓨터 비전 연구에 트랜스포머를 응용할 가능성을 탐구하고 지금까지 이미지 분류(Image Classification), 객체 탐지(Object Detection) 등 분야에서 가시적인 성과를 끌어냈다. 본 논문에서는 뇌 CT 영상으로부터 뇌출혈 영역을 탐지하는 U자형 기반 의미론적 분할 네트워크와 Transformer를 결합해 TransHarDNet 이라는 네트워크 구조를 제안한다. 실험에서 국내 여러 학교와 병원 등 기관에서 수집된 80,000장 이상인 뇌출혈 질환 CT 영상을 사용하고 기타 의미론적 분할 모델과의 성능 비교를 통해 본 논문에서 제안한 뇌출혈 영상 분할 모델의 우수성을 증명하였다. 실험 결과에서 TransHarDNet은 1,200장인 테스트 셋에서 0.712의 Dice 계수와 15.67 FPS(Frames Per Second)의 계산 속도를 달성하고 기존 의미론적 분할 네트워크보다 우월한 성능을 보였다.

마스킹 기반 특징 복원을 이용한 비지도 의미론적 분할에 대한 연구

공민석 서강대학교 일반대학원 2024 국내석사

비지도 의미론적 분할은 어떠한 형태의 주석도 없이 이미지 정보 내에서 의미론적으로 유의미한 카테고리를 발견하고 동일한 카테고리의 픽셀끼리 분할하는 것을 목표로 한다. 지도 학습 기반의 의미론적 분할과는 달리 픽셀 정답 레이블은 차치하고 클래스 정답 레이블조차 학습에 사용하지 않기 때문에, 목표를 달성하기 위해서는 알고리즘은 이미지의 각 픽셀에 대해 보다 의미론적으로 뚜렷한 클러스터을 형성할 수 있을만큼 충분히 함축된 정보를 포함하는 특징을 생성할 수 있어야 한다. 또한 이렇게 생성된 특징을 어떤 방식으로 학습에 활용해야 하는지에 대한 어려움이 있다. 최근 연구들은 자기 지도 학습 방법에 대한 지식을 활용하여 비지도 의미론적 분할의 성능을 향상시키는데 집중하였다. 최근 연구와 마찬가지로 본 논문에서도 자기 지도 학습 방법에서 아이디어를 얻어 실험을 진행하였다. 본 논문에서는 이미지에서 추출한 시각적 표현에 마스킹을 한 뒤 시각적 표현을 복원하도록 학습하였다. 이러한 시도는 랜덤 마스킹된 이미지 특징를 복원하는 과정에서, 모델이 이미지의 다양한 부분 간의 관계를 더 잘 이해하고 중요한 특징를 강조하게 되어, 더 풍부하고 일반화된 표현을 학습할 수 있도록 하였다. 기존 시각적 표현을 학습했을 때와 복원된 시각적 표현을 학습했을 때의 성능을 비교한 결과, 복원된 시각적 표현을 학습했을 때 모델의 성능이 향상되었다. 이는 본 논문에서 제안하는 방식이 모델의 성능을 향상시키고 일반화된 표현을 학습하도록 하는 데 효과적임을 보여준다. Unsupervised semantic segmentation aims to discover semantically meaningful categories within image data and segment pixels within the same category, without any form of annotation. Unlike semantic segmentation based on supervised learning, which uses pixel and class labels, unsupervised segmentation does not use class labels for training. Therefore, to achieve its goals, the algorithm must generate features for each pixel that contain enough condensed information to form distinctly semantic clusters. Additionally, there are challenges in how these generated features should be utilized in training. Recent studies have primarily focused on enhancing the performance of unsupervised semantic segmentation by leveraging semantic consistency, the coherence of the images themselves, or prior concepts from self-supervised learning methods. As in previous research, this paper draws on ideas from self-supervised learning methods to conduct experiments. In this study, we applied masking to the visual representations extracted from images and trained the model to restore the visual representations. This approach allows the model to better understand the relationships between different parts of the image and emphasize important features during the process of restoring randomly masked image features, leading to the learning of richer and more generalized representations. By comparing the performance of the model when learning from original visual representations versus restored visual representations, we found that the model's performance improved with the restored visual representations. This demonstrates that the method proposed in this paper is effective in enhancing model performance and facilitating the learning of generalized representations.