BERT와 지식 그래프를 이용한 한국어 문맥 정보 추출 시스템

유소엽,정옥란 한국인터넷정보학회 2020 인터넷정보학회논문지 Vol.21 No.3

Along with the rapid development of artificial intelligence technology, natural language processing, which deals with human language, is also actively studied. In particular, BERT, a language model recently proposed by Google, has been performing well in many areas of natural language processing by providing pre-trained model using a large number of corpus. Although BERT supports multilingual model, we should use the pre-trained model using large amounts of Korean corpus because there are limitations when we apply the original pre-trained BERT model directly to Korean. Also, text contains not only vocabulary, grammar, but contextual meanings such as the relation between the front and the rear, and situation. In the existing natural language processing field, research has been conducted mainly on vocabulary or grammatical meaning. Accurate identification of contextual information embedded in text plays an important role in understanding context. Knowledge graphs, which are linked using the relationship of words, have the advantage of being able to learn context easily from computer. In this paper, we propose a system to extract Korean contextual information using pre-trained BERT model with Korean language corpus and knowledge graph. We build models that can extract person, relationship, emotion, space, and time information that is important in the text and validate the proposed system through experiments. 인공지능 기술의 비약적 발전과 함께 사람의 언어를 다루는 자연어 처리 분야 역시 활발하게 연구가 진행되고 있다. 특히 최근에는 구글에서 공개한 언어 모델인 BERT는 대량의 코퍼스를 활용해 미리 학습시킨 모델을 제공함으로써 자연어 처리의 여러 분야에서좋은 성능을 보이고 있다. BERT에서 다국어 모델을 지원하고 있지만 한국어에 바로 적용했을 때는 한계점이 존재하기 때문에 대량의한국어 코퍼스를 이용해 학습시킨 모델을 사용해야 한다. 또한 텍스트는 어휘, 문법적인 의미만 담고 있는 것이 아니라 전후 관계, 상황과 같은 문맥적인 의미도 담고 있다. 기존의 자연어 처리 분야에서는 어휘나 문법적인 의미를 중심으로 연구가 주로 이루어졌다. 텍스트에 내재되어 있는 문맥 정보의 정확한 파악은 맥락을 이해하는 데에 있어 중요한 역할을 한다. 단어들의 관계를 이용해 연결한 지식그래프는 컴퓨터에게 쉽게 문맥을 학습시킬 수 있는 장점이 있다. 본 논문에서는 한국어 코퍼스를 이용해 사전 학습된 BERT 모델과 지식 그래프를 이용해 한국어 문맥 정보를 추출하는 시스템을 제안하고자 한다. 텍스트에서 중요한 요소가 되는 인물, 관계, 감정, 공간, 시간 정보를 추출할 수 있는 모델을 구축하고 제안한 시스템을 실험을 통해 검증한다.

BERT 모델과 지식 그래프를 활용한 지능형 챗봇

유소엽,정옥란 한국디지털산업학회 2019 한국전자거래학회지 Vol.24 No.3

As artificial intelligence is actively studied, it is being applied to various fields such as image, video and natural language processing. The natural language processing, in particular, is being studied to enable computers to understand the languages spoken and spoken by people and is considered one of the most important areas in artificial intelligence technology. In natural language processing, it is a complex, but important to make computers learn to understand a person’s common sense and generate results based on the person’s common sense. Knowledge graphs, which are linked using the relationship of words, have the advantage of being able to learn common sense easily from computers. However, the existing knowledge graphs are organized only by focusing on specific languages and fields and have limitations that cannot respond to neologisms. In this paper, we propose an intelligent chatbotsystem that collects and analyzed data in real time to build an automatically scalable knowledge graph and utilizes it as the base data. In particular, the fine-tuned BERT-based for relation extraction is to be applied to auto-growing graph to improve performance. And, we have developed a chatbot that can learn human common sense using auto-growing knowledge graph, it verifies the availability and performance of the knowledge graph.

소셜 카테고리를 이용한 추천 방법

유소엽 ( So-yeop Yoo ),정옥란 ( Ok-ran Jeong ) 한국인터넷정보학회 2014 인터넷정보학회논문지 Vol.15 No.5

SNS becomes a recent issue, and many researches in various kinds of field are being done by taking advantage of it. Especially, there are many researches existed on the system that finds user`s interest and makes recommendation based on multiple social data generated on the SNS. User`s interest is not only revealed from the user`s writing but also from the user`s relationship with friends. This study proposes a recommendation method that extracts user`s interest by using social relationship and its categorization applies it to the recommendation. In this way, it can recommend user`s interest with category based on the writings by the user and furthermore it can apply the user`s relationship with his/her friends for more accurate recommendation. In addition, if necessary, the recommendation can be made by extracting any interest shared between the user and specific friends. Through experiments, we show that our method using social category can produce satisfactory result.

The YouTube Video Recommendation Algorithm using Users Social Category

유소엽(SoYeop Yoo),정옥란(OkRan Jeong) Korean Institute of Information Scientists and Eng 2015 정보과학회논문지 Vol.42 No.5

개인화된 소셜 검색 시스템

유소엽(So-Yeop Yoo),임재상(Jae-Sang Lim),정옥란(Ok-Ran Jeong) 한국정보과학회 2015 한국정보과학회 학술발표논문집 Vol.2015 No.12

소셜 카테고리 기반 유튜브 추천 시스템

유소엽(So-Yeop Yoo),정옥란(Ok-Ran Jeong) 한국정보과학회 2014 한국정보과학회 학술발표논문집 Vol.2014 No.12

소셜 미디어 콘텐츠 분석을 위한 프레임워크

유소엽(So-Yeop Yoo),박태수(Tae-Soo Park),정옥란(Ok-Ran Jeong) 한국정보과학회 2015 한국정보과학회 학술발표논문집 Vol.2015 No.6

소셜 네트워크 기반 음악 추천 시스템

박태수,유소엽,정옥란 한국정보과학회 2014 한국정보과학회 학술발표논문집 Vol.2014 No.12

뉴스 감성 분석을 이용한 딥러닝 기반 주가 예측에 대한 연구

강두원,유소엽,이하영,정옥란 한국컴퓨터정보학회 2022 한국컴퓨터정보학회논문지 Vol.27 No.8

Stock prices are influenced by a number of external factors, such as laws and trends, as well as number-based internal factors such as trading volume and closing prices. Since many factors affect stock prices, it is very difficult to accurately predict stock prices using only fragmentary stock data. In particular, since the value of a company is greatly affected by the perception of people who actually trade stocks, emotional information about a specific company is considered an important factor. In this paper, we propose a deep learning-based stock price prediction model using sentiment analysis with news data considering temporal characteristics. Stock and news data, two heterogeneous data with different characteristics, are integrated according to time scale and used as input to the model, and the effect of time scale and sentiment index on stock price prediction is finally compared and analyzed. Also, we verify that the accuracy of the proposed model is improved through comparative experiments with existing models. 주가는 거래량, 종가 등과 같은 숫자 기반의 내부적인 요인뿐만 아니라 법, 유행 등 여러 외부요인에 의해 영향을 받는다. 수많은 요인이 주가에 영향을 미치기 때문에 단편적인 주식 데이터만을 이용한 정확한 주가 예측은 매우 어려운 일이다. 특히 기업의 가치는 실제 주식을 거래하는사람들의 인식에 영향을 많이 받기 때문에 특정 기업에 대한 감성 정보가 중요한 요인으로 여겨진다. 본 논문에서는 시간적 특성을 고려한 뉴스 데이터의 감성 분석을 이용한 딥러닝 기반 주가예측 모델을 제안하고자 한다. 주식과 뉴스 데이터, 서로 다른 특성을 가진 2개의 이종 데이터를시간 크기에 따라 통합하여 모델의 입력으로 사용하며, 시간 크기와 감성 지표가 주가 예측에 미치는 영향에 대해 최종적으로 비교 및 분석한다. 또한 우리는 기존 모델과의 비교 실험을 통해제안 모델의 정확성이 개선되었음을 검증한다.

연속학습 기반의 대화형 AI agent

박채림,유소엽,정옥란 한국컴퓨터정보학회 2023 한국컴퓨터정보학회논문지 Vol.28 No.1

본 논문에서는 시간의 흐름에 따라 새로운 데이터를 지속적으로 학습하고 성장할 수 있는 연속학습 기반 대화형 AI 에이전트를 제안한다. 연속학습 기반 대화형 AI 에이전트는 태스크 관리자(Task Manager), 사용자 속성 추출(User Attribute Extraction), 자동 확장 지식 그래프(Auto-growing Knowledge Graph), 크게 3가지 요소로 구성된다. 태스크 관리자는 사용자와의 대화에서 새로운 데이터를 발견하면 이전에 학습한 지식을 통해 새로운 태스크를 생성한다. 사용자 특성 추출 모델은 새로운 태스크에서 사용자의 특성을 추출하고, 자동 확장 지식 그래프는 새로운 외부 지식을지속적으로 학습할 수 있도록 한다. 한정된 데이터셋을 기반으로 학습된 기존 대화형 AI 에이전트와 달리, 본 논문에서 제안하는 방법은 지속적인 사용자의 특성과 지식 학습을 기반으로 대화를 가능하게 한다. 연속학습 기술이 적용된 대화형 AI 에이전트는 사용자와의 대화가 축적될수록개인 맞춤형 대응이 가능하며, 새로운 지식에도 대응이 가능하다. 본 논문에서는 시간에 따른 대화 생성 모델의 성능 변화 실험을 통해 제안하는 방법의 가능성을 검증한다.