스펙트로그램을 이용한 CNN 음성인식 모델

정원석(Won-Seog Jeong),이행우(Haeng-Woo Lee) 한국전자통신학회 2024 한국전자통신학회 논문지 Vol.19 No.4

본 논문에서는 명령어 음성신호의 인식 성능을 개선하기 위한 새로운 합성곱 신경망(CNN: Convolutional Neural Network) 모델을 제안한다. 이 방법은 입력신호의 단구간 푸리에 변환(STFT: Short-Time Fourier Transform) 후 스펙트로그램 이미지를 구하고 CNN 모델을 이용한 지도학습을 통하여 명령어 인식 성능을 개선하였다. 입력신호를 단시간 구간별로 푸리에 변환한 다음 스펙트로그램 이미지를 구하고 CNN 딥러닝 모델을 이용하여 다중 분류 학습을 수행한다. 이는 시간영역 음성신호를 특성이 잘 표현되도록 주파수영역으로 변환하고 변환 파라미터에 대한 스펙트로그램 이미지를 이용하여 딥러닝 훈련을 수행함으로써 명령어를 효과적으로 분류한다. 본 연구에서 제안한 음성인식시스템의 성능을 검증하기 위하여 Tensorflow와 Keras 라이브러리를 사용한 시뮬레이션 프로그램을 작성하고 모의실험을 수행하였다. 실험 결과, 제안한 심층학습 알고리즘을 이용하면 92.5%의 정확도를 얻을 수 있는 것으로 확인되었다. In this paper, we propose a new CNN model to improve the recognition performance of command voice signals. This method obtains a spectrogram image after performing a short-time Fourier transform (STFT) of the input signal and improves command recognition performance through supervised learning using a CNN model. After Fourier transforming the input signal for each short-time section, a spectrogram image is obtained and multi-classification learning is performed using a CNN deep learning model. This effectively classifies commands by converting the time domain voice signal to the frequency domain to express the characteristics well and performing deep learning training using the spectrogram image for the conversion parameters. To verify the performance of the speech recognition system proposed in this study, a simulation program using Tensorflow and Keras libraries was created and a simulation experiment was performed. As a result of the experiment, it was confirmed that an accuracy of 92.5% could be obtained using the proposed deep learning algorithm.

진동 스펙트로그램과 Swin Transformer 모델을 활용한 회전체 예지보전 강건성 및 정확도 검증

박현석,김희원,오동진,조석찬,박종민,이건희 사단법인 한국융합기술연구학회 2025 아시아태평양융합연구교류논문지 Vol.11 No.8

본 연구의 목적은 진동 신호를 기반으로 Swin Transformer 모델을 활용하여 회전 기계의 예지정비 시스템을 개발하는데 있다. 이를 위해 한국 AI 허브에서 제공하는 11kW 및 22kW 전동기의 진동 데이터를 사용하였다. 수집된 원시 진동 신호는 스펙트로그램으로 변환되었으며, 변환된 스펙트로그램이 Swin Transformer 모델의 입력 데이터로 활용되었다. 이러한 접근 방식은 진동 신호의 복잡한 패턴을 효과적으로 분석하여, 회전 기계의 고장이나 이상 징후를 사전에 예측할 수 있는 기반을 제공한다. 개발된 모델은 정상 상태를 포함해 베어링 손상, 회전 불균형, 축 정렬 불량, 벨트 느슨함 등 네 가지 고장 유형을 분류한다. Swin Transformer의 성능은 기존 전통적 모델 대비 높은 분류 정확도를 보였으며, CNN 기반 모델과의 비교 실험을 통해 self-attention 메커니즘이 복잡한 진동 패턴 학습에 효과적임을 확인하였다. 향후 연구에서는 스펙트로그램 분석에 푸리에 변환(FFT)을 융합하여 주파수 영역 특성을 추가로 반영함으로써 예측 정확도를 더욱 향상 시킬 예정이다. 본 연구는 스마트팩토리 및 산업 설비의 실시간 상태 모니터링과 고장 예측 시스템 고도화에 기여할 수 있는 Transformer 기반 접근법의 가능성을 제시한다. The purpose of this study is to develop a predictive maintenance system for rotating machinery using Swin Transformer models based on vibration signals. In this research, vibration data from 11kW and 22kW motors provided by the AI Hub of South Korea were utilized. The raw vibration signals are converted into spectrograms, which serve as inputs to the Swin Transformer model. The proposed deep learning algorithm classifies normal vibration data and four types of faults: bearing failure, rotational imbalance, shaft misalignment, and loose belt conditions. The performance of the Swin Transformer model was evaluated and analyzed, demonstrating higher classification accuracy compared to traditional approaches. Furthermore, a comparative study with CNN-based models confirmed that the self-attention mechanism in the Swin Transformer effectively learns complex vibration patterns in rotating machinery. Future research will focus on enhancing predictive accuracy by integrating Fast Fourier Transform (FFT) techniques with spectrogram analysis. By combining frequency-domain features with deep learning, the reliability and accuracy of predictive maintenance systems can be further improved. The findings of this study contribute to the advancement of AI-driven predictive maintenance in smart factories, industrial equipment monitoring, and rotating machinery fault detection. This research highlights the potential of Transformer-based models for real-time fault prediction and condition monitoring in industrial applications.

EEG 스펙트로그램 이미지를 기반으로 한 행동 분류 모델의 2D-CNN

이나경,김재준,이소향,김웅식 한국인공지능융합기술학회 2024 인공지능융합기술연구 Vol.4 No.4

본 논문은 뇌의 전기적 활동을 기록하는 뇌파 데이터를 이용한 행동 분류 모델을 개발하는 데 초점을 맞춰 진행했다. 뇌파 신호의 잡음을 해결하기 위해 Notch filter(NF)와 Band-pass filter(BF)의 전처리 기법을 사용했다. 이후 신호를 단시간 Fourier 변환(STFT)을 이용하여 스펙트로그램으로 변환하여 시간과 주파수 활성화를 시각화했다. 스펙트로그램 이미지를 10초, 15초, 30초 간격으로 나누어 저장하여 시간적 유의성을 판단했다. 이 스펙트로그램을 기반으로 2D-CNN의 일종인 사전 학습된 ResNet18을 이용하여 모델을 구성했다. 실험 결과, 30초 간격으로 전처리를 적용한 데이터에서 NF와 Band-pass filter 모두 82.89%의 정확도를 보였으며, 이는 시간적 유의성을 가지는 것으로 나타났다. 이 연구는 뇌파 데이터의 효과적인 처리와 분류 성능 향상을 위한 전처리 방법의 중요성을 강조한다. This paper focused on developing a behavior classification model using EEG data that records the electrical activity of the brain. To solve the noise of EEG signals, preprocessing techniques such as Notch filter(NF) and Band-pass filter(BF) were used. After that, the signal was converted into a spectrogram using Short Time Fourier Transform(STFT) to visualize time and frequency activation. The temporal significance was determined by dividing the spectrogram image into 10-second, 15-second, and 30-second intervals and storing it. Based on this spectrogram, a model was constructed using pre-trained ResNet18, a type of 2D-CNN. As a result of the experiment, both the NF and the BF showed accuracy of 82.89% in the data to which the preprocessing was applied at 30-second intervals, which was found to have temporal significance. This study emphasizes the importance of preprocessing methods for improving the effective processing and classification performance of EEG data.

스펙트로그램을 이용한 근위축성측삭경화증 여성 화자의 모음 포먼트, 음성강도, 기본주파수의 변화

변해원 한국융합학회 2019 한국융합학회논문지 Vol.10 No.9

This study analyzed the changes of vowel formant, voice intensity, and fundamental frequency of vowels for 11 months using acoustochemical spectrogram analysis of women diagnosed with amyotrophic lateral sclerosis (ALS). The test word was a vowel /a, i, u/ and a diphthong /h + ja + da/, /h + wi + da/, and /h +ɰi+ da/. Speech data were collected through the word reading task presented on the monitor using 'Alvin' program, and the recording environment was set to 5,500 Hz for the nyquist frequency and 11,000 Hz for the sampling rate. The records were analyzed by using spectrograms to vowel formants, voice intensity, and fundamental frequency. As a result of analysis, the fundamental frequency and intensity of the ALS process were decreased and the formant slope of the diphthong was decreased rather than the formant change in the vowel. This result suggests that the vowel distortion of ALS due to disease progression is due to the decrease of tongue and jaw co morbidity. 본 연구는 근위축성측삭경화증(amyotrophic lateral sclerosis, ALS)으로 진단된 여성을 대상으로 음향음성학적 스펙트로그램 분석을 이용하여 11개월 동안 모음과 이중모음의 포먼트 변화(vowel formant variation)를 분석하였다. 검사어는 단모음 /a, i, u/와 이중모음 /h + ja + da/, /h + wi + da/, /h +ɰi+ da/를 이용하였다. 발화자료는 ‘Alvin’프로그램을 이용하여 모니터에 제시된 단어읽기과제를 통해 수집되었고, 녹음환경은 nyquist frequency는 5,500Hz, sampling rate는 11,000Hz으로 설정하였다. 녹음자료는 스펙트로그램을 이용하여 강도, 음도와 이중모음의 포먼트를 분석하였다. 분석결과, ALS의 진행과정에서 기본주파수와 강도가 저하되었고, 단모음에서의 포먼트 변화보다는 이중모음의 포먼트 기울기의 감소가 특징으로 확인되었다. 이 결과는 병의 진행에 따른 ALS의 모음왜곡이 혀와 턱의 협응력 감소에 기인함을 시사한다.

크로스 모달 스펙트로그램과 디퓨전 모델을 이용한 자동 안무생성

정찬혁(Chanhyuk Jung),고병철(Byoung Chul Ko) 대한전자공학회 2023 대한전자공학회 학술대회 Vol.2023 No.11

생성 모델을 통한 연구가 활발히 진행됨으로써, 이를 이용한 안무 생성 연구가 활발히 진행되고 있다. 하지만 여전히 음악에 기반한 안무 생성은 어려운 문제로 남아있다. 본 연구에서는 음악의 특징을 효과적으로 반영하고 추가적인 모델 파이프라인 없이, 음악, 댄스 데이터를 스펙트로그램으로 통합하여 학습하는 방법을 제안한다. 제안하는 모델은 실험을 통해 스펙트로그램으로 통합된 음악, 댄스 데이터를 학습하여 성공적으로 안무 생성이 가능함을 보였다. As research through generative models is actively conducted, research on choreography creation using this is being actively conducted. However, music-based choreography still remains a challenging problem. This paper proposes a method of learning by effectively reflecting the characteristics of music and integrating music and dance data into a spectrogram without an additional model pipeline. Through experiments, the proposed model showed that it was possible to successfully create choreography by learning music and dance data integrated into spectrograms through experiments.

Denoising CNN 기반 시계열 데이터의 스펙트로그램 이미지를 이용한 리튬 이온 배터리 잔여수명 예측

채선규,배석주 한국품질경영학회 2021 한국품질경영학회 추계학술발표논문집 Vol.2021 No.10

많은 산업 분야에서 시스템 또는 구성 요소 고장을 방지하는 것이 중요하며, 갑작스러운 고장을 방지하기 위하여 기존의 정기적 보수를 통한 방식이 널리 사용되지만 효율성 및 신뢰성의 요구를 충족하지 못한다. 이에 따라 지능형 예지보전 (PHM) 기술이 중요하며, 해당 분야의 주요영역 중 하나는 잔여수명 (RUL)의 추정이다. 통상적으로, RUL의 추정은 물리적 속성에 대한 충분한 사전 지식에 달려 있으나, 구성 요소에 대한 사전 지식을 얻는 것은 복잡하거나 많은 경우에 불가능하기 때문에, 확 보된 데이터만을 사용하여 잔여 수명을 예측하는 데이터 중심 접근법이 많은 영역에서 제안되고 있다. 그러나 데이터 중심의 접근 방식을 사용하여 구성 요소의 수명을 예측하는 것은 과적합 문제와 모델의 학습 과정에서 과도한 리소스를 사용하기 때문에 한계가 존재한다. 학습과 현장에서의 적용 사이의 정확성과 학습 시간에 영향을 끼치는 이러한 문제를 극복하기 위하여 본 논문에서는 1차원 시계열 데이터를 2차원 스펙트로그램으로 변환하고, 변환된 데이터에 기반한 노이즈 제거 단계와 잔여수명 추정 단계로 구성된 CNN 모델을 제안한다. 본 연구를 통하여 노이즈를 제거하고 고장 신호만을 포함한 스펙트로그램 데이터를 출력할 수 있도록 학습된 CNN 을 통하여 리튬 이온 배터리의 잔여 수명 추정 문제에 접근함으로써 빠르고 정확한 추정이 가능함을 시사한다.

사운드 스펙트로그램과 심층신경망 기법을 사용한 패셔너블한 웨어러블 제품 디자인을 위한 테크놀로지

김영언,김이경,박구만 한국패션디자인학회 2018 한국패션디자인학회지 Vol.18 No.2

디지털 문화가 보급되면서 다양한 문화 양식과 사조를 공유하게 되었고, 새로운 장르의 스타일을 창조하 는 경향을 낳았다. 이러한 현상으로 패션과 기술이 융합된 디자인 개발도 폭넓게 전개되고 있다. 기존의 창작 과 미에 중점을 둔 스타일과는 다른 새로운 장르인 패션이 가미된 웨어러블 제품은 차세대 상품으로 많은 기대와 관심 속에 시장 도입이 되었다. 그러나 최근 웨어러블 제품의 시장 동향은 성장 없이 혼돈 속에 있으 며, 기술적 기능만을 중시한 상품 도입이 여러 부진 원인중의 하나로 분석되고 있다. 시장을 활성화하기 위한 방안의 하나로 웨어러블 제품은 외부로 드러나는 착용형의 상품이므로, 사용자의 정체성을 표현할 패션이라 는 요소가 융합되고 자동 반응하는, 독자적인 가치를 갖는 디자인을 구현해야 한다. 본 논문에서는 패션과 인공지능 기술을 융합하여 웨어러블 제품에 장착된 디스플레이가 사용자가 자각하지 않은 상태에서 주위 환경에 따라 자동으로 반응하여 사전 디자인에 따라서 패셔너블하게 디스플레이 되도록, 패션이 가미되어 디자인된 디스플레이를 갖는, 패션과 인공지능이 융합하여 자동으로 반응하는 웨어러블 제품에 사용할 테크 놀로지를 제안한다. 사운드 스펙트로그램으로 주위환경에서 입력된 소리의 특징을 추출하고 DNN의 Keras 기법으로 특성을 분류하여 레이블링한 후, 자동으로 반응하여 설정된 패션에 맞게 음향을 패션영상으로 변환 하여 패셔너블하게 디스플레이 하도록 하는 것이다. 제안된 실험 시스템으로 채집된 소리 샘플을 실험한 결 과 –10 dB이내의 노이즈 환경에서 우수한 인식률을 나타내어 웨어러블 제품의 주위 환경에서 채집 가능한 소리를 인식하는 것이 가능함을 확인하였다. 사용자의 사전 디자인에 따라 디스플레이가 자동 반응하여 사용 자의 아이덴터티를 표현할 패셔너블한 웨어러블 제품의 디자인에 사용할 음향-패션영상 변환 맵을 제안하였 다. 실험에서 분류된 레이블로 음향을 패션영상으로 변환하여 패셔너블하게 디스플레이 하는 것이 가능함을 검증하였다. As digital culture became popular, various cultural styles and customs were shared. This has created a tendency to create new genre styles. As a result of this phenomenon, The development of the design which fuses fashion and technology is widely spread. Wearable products in new genres have been introduced into the market with much expectation. However, market of wearable products is in chaos. The introduction of products with an emphasis on technical functions has been analyzed as one of the reasons for the sluggishness. One of the ways to revitalize the market, due to the characteristic of wearable products, worn as an outer wear, amalgamation of the fashion element, which expresses an identity of a user, and the unique value of design that enables the automatic reaction of artificial intelligence should be implemented. This paper proposes a technological system with a transformation map from sound to graphic image that can be used for designing auto-responsive and fashionable wearable products that amalgamate fashion and artificial intelligence in the stylishly designed display. The display will automatically react to environmental changes and show predefined fashionable display designs without users’ awareness. After the sound spectrogram extracts the characteristics of sound input from the surrounding environment to classify and label them through Keras method of DNN, it automatically reacts to covert the sound input into stylish graphic images and display them fashionably according to the user’s preset design. The result of the experiment with the proposed sound system has proved that the system is capable of recognizing and characterizing the sound inputs around the wearable products when the noise level of the environment is under –10 dB. The experiment has verified that inputted sound can be transformed into a graphic image according to classified labels and it is successfully put on display.

음성 분리를 위한 스펙트로그램의 마루와 골을 이용한 시간-주파수 공간에서 소리 분할 기법

임성길,이현수,Lim, Sung-Kil,Lee, Hyon-Soo 한국음향학회 2008 韓國音響學會誌 Vol.27 No.8

본 논문에서는 스펙트로그램에서 마루와 골을 이용한 주파수 채널 분할 알고리즘을 제안한다. 주파수 채널 분할 문제는 동일한 음원으로부터 발생한 음성이 포함된 주파수 채널들을 하나의 그룹으로 묶는 것을 의미한다. 제안된 알고리즘은 입력 신호의 평탄화된 스펙트럼에 기반한 알고리즘이다. 평탄화된 스펙트럼에서 마루와 골은 각각 세그먼트의 중심과 경계를 판단하기 위해 사용된다. 각 세그먼트를 하나의 소리로 묶는 그룹핑 단계 이전에 제안된 알고리즘에 의한 세그멘테이션 결과가 유용함을 평가하기 위하여 이상적인 마스크에 의한 세그멘테이션 결과와 제안된 방법을 비교한다. 제안된 방법을 협대역 잡음, 광대역 잡음, 다른 음성신호와 혼합된 음성신호에 대하여 실험하였다. In this paper, we propose an algorithm for the frequency channel segmentation using peaks and valleys in spectrogram. The frequency channel segments means that local groups of channels in frequency domain that could be arisen from the same sound source. The proposed algorithm is based on the smoothed spectrum of the input sound. Peaks and valleys in the smoothed spectrum are used to determine centers and boundaries of segments, respectively. To evaluate a suitableness of the proposed segmentation algorithm before that the grouping stage is applied, we compare the synthesized results using ideal mask with that of proposed algorithm. Simulations are performed with mixed speech signals with narrow band noises, wide band noises and other speech signals.

분산형 음향 검지 데이터의 이미지 변환과 합성곱 신경망을 통한 레일절손 검지 방안

김정태(Jungtai Kim),전혜연(Hye-yeun Chun),김길동(Gil-Dong Kim),정락교(Rag-Gyo Jeong) 한국비파괴검사학회 2022 한국비파괴검사학회지 Vol.42 No.2

최근 분산형 음향 검지(Distributed Acoustic Sensing; DAS) 기술을 이용하여 레일절손 검지 기능을 구현하려는 연구가 국내외로 진행되고 있다. DAS는 광케이블에 특정 주파수의 신호를 보내고 받아서 진동에 의해 발생하는 신호의 왜곡을 분석함으로써 진동 발생 위치와 크기를 검지하는 비파괴검사기술이다. DAS를 레일절손 검지에 응용하고자 한다면 레일절손으로 인하여 발생하는 열차운행 시의 소음과 진동의 특이성을 파악하고 이를 이용하여 판별하여야 한다. 그런데 여기서 소음과 진동의 특이성에는 특정 시각에서의 크기나 주파수 특성뿐만 아니라 시간에 따른 소음과 진동의 변화도 포함한다. 이러한 변화를 전반적으로 인지할 수 있는 방법 중 하나가 스펙트로그램이다. 본 논문은 DAS 검지 데이터를 스펙트로그램으로 변환하고 이를 합성곱 신경망을 이용하여 이미지 분류를 수행함으로써 레일절손을 판별할 수 있는 방안에 대하여 기술한다. Recently, research on implementing broken rail detection functions using distributed acoustic sensing (DAS) technology has gained attention worldwide. DAS is a nondestructive testing technology that detects the location and size of a vibration by sending and receiving a signal of a specific frequency to an optical cable and analyzing the signal distortion caused by the vibration. To apply DAS to broken rail detection, the specificity of the noise and vibration caused by rail breakage during train operation must be used. However, the specificity of the noise and vibration not only includes the size or frequency characteristics at a specific time but also the changes in the noise and vibration over time. One method for recognizing these changes cumulatively is through a spectrogram. In this study, a method to determine rail breakage by converting DAS detection data into spectrograms and performing image classification using a convolutional neural network was developed.

천해에서 측정한 선박 방사소음 스펙트로그램의 줄무늬 패턴에 나타나는 해저면 전단성 영향

이성욱,한주영,백운,나정열,Lee, Seong-Wook,Hahn, Joo-Young,Baek, Woon,Na, Jung-Yul 한국음향학회 2004 韓國音響學會誌 Vol.23 No.3

천해에서 측정한 선박 방사소음의 거리-주파수 영역 스펙트로그램에 나타나는 줄무늬 패턴 기울기의 부호 변화 원인에 대한 분석 결과를 수록하였다. 모드 이론에 근거한 수치 모델을 이용하여 해저면 음향 특성을 변화시켜 가며 모의한 줄무늬 패턴과 분산 특성을 분석한 결과는 측정 신호에 나타나는 줄무늬 패턴 기울기의 부호 변화가 해저면의 전단성, 보다 구체적으로는 두께가 약 3±1m 정도일 것으로 예상되는 퇴적층의 하부에 존재하는 기반암의 전단성에서 기인한 특징임을 보여주었다. This paper represents the results of interpretation on the cause of sign changing of the striation slopes appearing in the range-frequency domain spectrogram of ship-radiated noise measured in a shallow sea. Striation patterns and dispersion characteristics simulated from a numerical model based on mode theory at various seabed conditions show that the sign changing of the striation slopes appearing in measured signal is caused by the shear property of seabed. more specifically by the shear property of the basement lying below the sediment which is estimated about 3±1m thick.