Learning and Generalizing Complex Robot Motion Skills with Movement Primitives

김효인 서울대학교 대학원 2020 국내박사

Learning from demonstrations (LfD) is a promising approach that enables robots to perform a specific movement. As robotic manipulations are substituting a variety of tasks, LfD algorithms are widely used and studied for specifying the robot configurations for the various types of movements. This dissertation presents an approach based on parametric dynamic movement primitives (PDMP) as a motion representation algorithm which is one of relevant LfD techniques. Unlike existing motion representation algorithms, this work not only represents a prescribed motion but also computes the new behavior through a generalization of multiple demonstrations in the actual environment. The generalization process uses Gaussian process regression (GPR) by representing the nonlinear relationship between the PDMP parameters that determine motion and the corresponding environmental variables. The proposed algorithm shows that it serves as a powerful optimal and real-time motion planner among the existing planning algorithms when optimal demonstrations are provided as dataset. In this dissertation, the safety of motion is also considered. Here, safety refers to keeping the system away from certain configurations that are unsafe. The safety criterion of the PDMP internal parameters are computed to check the safety. This safety criterion reflects the new behavior computed through the generalization process, as well as the individual motion safety of the demonstration set. The demonstrations causing unsafe movement are identified and removed. Also, the demolished demonstrations are replaced by proven demonstrations upon this criterion. This work also presents an extension approach reducing the number of required demonstrations for the PDMP framework. This approach is effective where a single mission consists of multiple sub-tasks and requires numerous demonstrations in generalizing them. The whole trajectories in provided demonstrations are segmented into multiple sub-tasks representing unit motions. Then, multiple PDMPs are formed independently for correlated-segments. The phase-decision process determines which sub-task and associated PDMPs to be executed online, allowing multiple PDMPs to be autonomously configured within an integrated framework. GPR formulations are applied to obtain execution time and regional goal configuration for each sub-task. Finally, the proposed approach and its extension are validated with the actual experiments of mobile manipulators. The first two scenarios regarding cooperative aerial transportation demonstrate the excellence of the proposed technique in terms of quick computation, generation of efficient movement, and safety assurance. The last scenario deals with two mobile manipulations using ground vehicles and shows the effectiveness of the proposed extension in executing complex missions. 시연 학습 기법(Learning from demonstrations, LfD)은 로봇이 특정 동작을 수행할 수 있도록 하는 유망한 동작 생성 기법이다. 로봇 조작기가 인간 사회에서 다양한 업무를 대체해 감에 따라, 다양한 임무를 수행하는 로봇의 동작을 생성하기 위해 LfD 알고리즘들은 널리 연구되고, 사용되고 있다. 본 논문은 LfD 기법 중 모션 프리머티브 기반의 동작 재생성 알고리즘인 Parametric dynamic movement primitives(PDMP)에 기초한 알고리즘을 제시하며, 이를 통해 다양한 임무를 수행하는 모바일 조작기의 궤적을 생성한다. 기존의 동작 재생성 알고리즘과 달리, 이 연구는 제공된 시연에서 표현된 동작을 단순히 재생성하는 것에 그치지 않고, 새로운 환경에 맞게 일반화 하는 과정을 포함한다. 이 논문에서 제시하는 일반화 과정은 PDMPs의 내부 파라미터 값인 스타일 파라미터와 환경 변수 사이의 비선형 관계를 가우스 회귀 기법 (Gaussian process regression, GPR)을 이용하여 수식적으로 표현한다. 제안된 기법은 또한 최적 시연를 학습하는 방식을 통해 강력한 최적 실시간 경로 계획 기법으로도 응용될 수 있다. 본 논문에서는 또한 로봇의 구동 안전성도 고려한다. 기존 연구들에서 다루어진 시연 관리 기술이 로봇의 구동 효율성을 개선하는 방향으로 제시된 것과 달리, 이 연구는 강한 구속조건으로 로봇의 구동 안전성을 확보하는 시연 관리 기술을 통해 안정성을 고려하는 새로운 방식을 제시한다. 제안된 방식은 스타일 파라미터 값 상에서 안전성 기준을 계산하며, 이 안전 기준을 통해 시연을 제거하는 일련의 작업을 수행한다. 또한, 제거된 시위를 안전 기준에 따라 입증된 시위로 대체하여 일반화 성능을 저하시키지 않도록 시위를 관리한다. 이를 통해 다수의 시연 각각 개별 동작 안전성 뿐 아니라 온라인 동작의 안전성까지 고려할 수 있으며, 실시간 로봇 조작기 운용시 안전성이 확보될 수 있다. 제안된 안정성을 고려한 시연 관리 기술은 또한 환경의 정적 설정이 변경되어 모든 시연을 교체해야 할 수 있는 상황에서 사용할 수 있는 시연들을 판별하고, 효율적으로 재사용하는 데 응용할 수 있다. 또한 본 논문은 복잡한 임무에서 적용될 수 있는 PDMPs의 확장 기법인 seg-PDMPs를 제시한다. 이 접근방식은 복잡한 임무가 일반적으로 복수개의 간단한 하위 작업으로 구성된다고 가정한다. 기존 PDMPs와 달리 seg-PDMPs는 전체 궤적을 하위 작업을 나타내는 여러 개의 단위 동작으로 분할하고, 각 단위동작에 대해 여러개의 PDMPs를 구성한다. 각 단위 동작 별로 생성된 PDMPs는 통합된 프레임워크내에서 단계 결정 프로세스를 통해 자동적으로 호출된다. 각 단계 별로 단위 동작을 수행하기 위한 시간 및 하위 목표점은 가우스 공정 회귀(GPR)를 이용한 환경변수와의의 관계식을 통해 얻는다. 결과적으로, 이 연구는 전체적으로 요구되는 시연의 수를 효과적으로 줄일 뿐 아니라, 각 단위동작의 표현 성능을 개선한다. 제안된 알고리즘은 협동 모바일 로봇 조작기 실험을 통하여 검증된다. 세 가지의 시나리오가 본 논문에서 다루어지며, 항공 운송과 관련된 첫 두 가지 시나리오는 PDMPs 기법이 로봇 조작기에서 빠른 적응성, 임무 효율성과 안전성 모두 만족하는 것을 입증한다. 마지막 시나리오는 지상 차량을 이용한 두 개의 로봇 조작기에 대한 실험으로 복잡한 임무 수행을 하기 위해 확장된 기법인 seg-PDMPs가 효과적으로 변화하는 환경에서 일반화된 동작을 생성함을 검증한다.

MAMMOS: MApping Multiple human MOtion with Scene understanding and social interactions

정천기 서울대학교 대학원 2023 국내석사

We present MAMMOS, which maps the motions of multiple humans that naturally interact with each other in 3D scene structure of choice. For the ultimate metaverse, one needs to create multiple characters interacting in response to the environment or other people. However, it is hard for an artist to generate multiple characters in diverse 3D scenes or gather training data to train an automated system that understands the entangled spatio-temporal contexts. MAMMOS is a modular approach that successfully handles complex constraints for realistic motion with nuances and intention. MAMMOS consumes a simple text input and first places anchors in time and location for individual characters that avoid collisions yet enable necessary interactions. Then we generate the spatio-temporal paths of multiple people within the scene and connect them to perform diverse and natural motions. To the best of our knowledge, we are the first to generate long-horizon motion sequences with multiple humans with rich interactions such that we can automatically populate the 3D scenes with realistic character motions. 우리는 주어진 3차원 장면 구조에서 자연스럽게 상호작용하는 여러 사람의 움직임을 매핑하는 프레임워크인 MAMMOS를 제시한다. 궁극적인 메타버스를 위해서는 환경이나 다른 사람들에 반응하여 상호 작용하는 여러 캐릭터를 만들 수 있어야 한다. 그러나 아티스트가 다양한 3차원 장면에서 여러 캐릭터를 생성하거나 얽힌 시공간적인 문맥을 이해하는 자동화 시스템을 훈련하기 위한 훈련 데이터를 수집하는 일에는 어려움이 따른다. MAMMOS는 뉘앙스와 의도가 있는 사실적인 모션에 대한 복잡한 제약 조건을 성공적으로 처리하는 모듈식 접근 방식이다. MAMMOS는 간단한 텍스트 입력으로 받아 개별 사람에 대하여 충돌을 피하면서도 필요한 상호 작용을 가능하게 하는 시간과 위치에 앵커를 먼저 배치한다. 그런 다음 장면 내에서 여러 사람의 시공간 경로를 생성하고 연결하여 다양하고 자연스러운 동작을 수행하게 한다. 우리가 아는 한, MAMMOS는 풍부한 상호작용을 갖는 여러 사람의 동작 시퀀스를 생성해 내는 최초의 프레임워크이다. MAMMOS를 통해 3D 장면에 사실적인 여러 사람의 모션을 자동으로 채울수 있게 되었다.

Data-Driven Analysis and Insight of Human Motion

Sohre, Nicholas Edward ProQuest Dissertations & Theses University of Minn 2021 해외박사(DDOD)

Motion is a central element of the human experience. Artificial Intelligence (AI) and robotics technologies continue to transform society, but work is needed to enable solutions that engage with our motion-driven reality. Critical to an understanding human motion is the ability to model and accurately simulate virtual humans. To that end, my thesis provides data-driven analysis and insight for human motion. I identify two key aspects of realistic human motion simulations: being both natural in appearance while covering the rich variety of motions exhibited by humans. I describe how motion data can be leveraged to both simulate realistic motion, as well as validate simulation realism through a combination of data-driven analysis and user study approaches.Computational methods for human motion are largely studied in the context of computer graphics and virtual character animation. Drawing from and expanding on work in this field, my work applies data-driven methods for simulating humans in several settings: that of facial motion, local crowd simulation, and global navigation. The methods and analysis in this dissertation present contributions to the fields of AI, robotics, and computer graphics in supporting my thesis that data-driven methods can be used to create and validate realistic simulations of human motion.In the first part of my thesis, I study the simulation of realistic human smiles by conducting a large user study to connect observer reactions to computer animated faces. The result is a rich dataset providing value beyond that of this thesis to interdisciplinary research. I use the data to train a generative model with a new machine learning heuristic (PVL) that I develop, which tunes the trade-offs in creating a variety of happy smiles. I validate the realism of the PVL results with a follow up user study.The second part of my thesis studies the simulation of realistic human navigation. I perform a data-driven evaluation of the impact of collision avoidance on user experiences in virtual reality (VR), validating its importance for enabling the feeling of presence. I leverage motion data of shoppers to drive new insights for human navigation decisions, discovering an entropy law governing item retrieval patterns. Finally, I present a deep-learning technique (SPNets) for simulating realistic human navigation behaviors in indoor settings trained on optimal paths. The resulting agents exhibit several human-like behaviors, such as intelligent backtracking, narrowing down goal locations, and environment familiarity. I validate the realism of SPNet simulations using paths from a user study on the same navigation tasks.

Motion & Motion graphic : Permanent Motion

유지은 홍익대학교 국제디자인전문대학원 2007 국내석사

For more than a decade, digital media have been approached as a new and challenging subject matter from a variety of academic disciplines. We have seen a series of first encounters in which established theoretical traditions with their existing conceptual frameworks are applied, more or less directly, to the new digital artifacts, their uses and influences. With digital media the act of reading extends beyond the visual field of perception toward multimodal and multisensory relationship. We take motion for granted. Virtually every activity we do in a day involves motion. There are many different kinds of motions that occur in nature, and that are caused by humans and machines. Riding a bicycle to school, walking; to class, the liquid flowing into your cup of coffee and the motion of the text book you accidentally drop as you dash to class, all represent various forms that motion can take. I would like to classify these motions into three large groups which are personas motions, object motions and graphic motions. These motions usually happen independently and occur one at a time. One thing comes after another or comes before other movement. But, what would happen if the motions work together in same time and same space? We can see this as `motions sparkle". Motion sparkle could make a new way of initiating motion and it can be connected with our `Digital media designs, a different way to show the new motion design.

Development of Motion Recognition System via Kinect Sensor for the Upper Limb Robotic Rehabilitation

아 와이스 무하마드 전남대학교 대학원 2020 국내석사

뇌 손상은 종종 뇌 세포의 파괴를 유발합니다. 이 손상은 손을 움직이는 방법, 걷는 방법 및 생각하는 방법에 영향을 줄 수 있습니다. 뇌 손상 후, 많은 환자들이 일방적 인 마비를 겪는 데, 이때 상지가 종종 신경 가소성에 의해 영향을 받고 회복됩니다. 따라서 치료사는 먼 곳의 재활 치료와 함께 환자를 동반하는 것이 중요합니다. 한쪽 팔다리의 운동 상실을 견디는 환자들에게 중요한 치료법은 거울 요법입니다. 전통적인 거울 처리의 경우 기본 거울을 사용할 수 있습니다. 대상은 거울에 대칭 적으로 앉아 있고, 마비 된 팔다리는 거울 뒤에 위치합니다. 이런 식으로 거울은 영향을받은 사지의 시야를 방해하고 거울 앞에 놓인 건강한 사지를 보여줍니다. 마비되지 않은 팔다리의 움직임은 마비 된 팔다리에 예상됩니다. 이 반사는 시각적 환상을 만듭니다. 따라서, 마비 된 팔다리가 마비되지 않은 팔다리의 거울 운동을한다. 오늘날 상지의 운동 손실을 복구하기 위해 다양한 로봇 시스템이 개발되고 있습니다. 이 시스템의 주요 목적은 치료사의 감독하에 복원 절차를 돕는 것입니다. 어쨌든 전통적인 거울 치료에는 기본 제한이 있습니다. 집에서. 또한 일부 시스템은 작업 공간이 제한적이며 건강한 손으로 모션 인식 시간이 길다 그래서 우리는 비전 시스템과 평면 케이블 로봇을 기반으로 rehabot 이라는 실시간 2 자유도 로봇 재활 프로토 타입을 개발했습니다. 기본 아이디어는 마스터-슬레이브 원칙입니다. 마비되지 않은 손은 임의의 움직임을 만들 수 있습니다. 로봇의 엔드 이펙터는 마비되지 않은 손의 움직임을 따르는 슬레이브입니다. 모션 캡처 시스템은 3D Kinect 카메라를 사용하여 건강한 손의 깊이 이미지를 캡처 한 다음 이미지 처리 알고리즘에서 얻은 정보를 처리하므로 마비되지 않은 손의 움직임을 추적하고 평면에서의 위치를 인식합니다. 모션 인식 시간은 다른 개발 된 시스템보다 적습니다. 그런 다음 위치가 미러 평면에 미러링됩니다. 이는 슬레이브가 도달해야하는 마스터의 위치입니다. 로봇 거울 요법은 감각 피질에 대한 고유 수용 학적 기여를 향상시킬 수 있으며, 이는 신경 가소성 및 편마비 팔의 실제 회복에서 현저한 것으로 여겨진다. 따라서 제시된 리 하봇 시스템은 고급 거울 요법에 효과적으로 사용될 수 있습니다. A brain damage causes frequently the breaking up of cerebrum cells. This damage can influence how to move a hand, how to walk and how to think. After a brain injury, a lot of patients have unilateral paralysis, where the upper extremity is often affected and recovered by neural plasticity. Therefore, it is important that a therapist accompanies the patient in the long way of the rehabilitation. A significant treatment for those patients that endure on a loss of motion of one upper limb is the mirror therapy. For traditional mirror treatment a basic mirror can be utilized. The subject is sitting symmetrically to the mirror, his paralyzed limb being positioned behind the mirror. This way mirror hinders the view on the affected limb and shows the healthy limb which is put before the mirror. The motion of the non-paralyzed limb is anticipated onto the paralyzed limb. This reflecting makes a visual illusion. Hence, the paralyzed limb makes the mirror motion of the non-paralyzed limb. Nowadays diverse robotic systems are developed for the recovery of a loss of motion of the upper limb. The primary purpose of these systems is to help the restoration procedure under the supervision of a therapist. In any case, traditional mirror treatment has a basic restriction that is, the hemiplegic arm isn't really moving and among the diverse existing technologies, there does not exist a simple robot that permits the mirror treatment that is cheap and sufficiently helpful to utilize it at home. Moreover, some systems have limited workspace and long recognition time of motion in a healthy hand. Thus, we developed a real-time 2 degrees of freedom robotic rehabilitation prototype named as rehabot based on a vision system and planar cable robot. The basic idea is a master-slave principle. The non-paralyzed hand can make an arbitrary movement. The end effector of the robot is the slave that will follow the non-paralyzed hand’s motion. The motion capturing system uses the 3D Kinect camera which captures the depth images of healthy hand and then image processing algorithm processes the information got from it and hence, tracks the motion of the non-paralyzed hand and recognizes its position in a plane. The motion recognition time is less than other developed systems. The positions are then mirrored on a mirror plane, it is the position of the master, which the slave has to reach. Robotic mirror therapy may improve proprioceptive contribution to the sensory cortex, which is viewed as significant in neuroplasticity and practical recovery of hemiplegic arms. The rehabot system presented thus can be effectively used for advanced mirror therapy.

Reliable Direction Selection for Forward and Backward Motion Estimation : 순방향과 역방향 움직임 추정을 위한 신뢰성 있는 방향 선택 방법에 관한 연구

유동곤 포항공과대학교 일반대학원 2014 국내박사

Motion estimation은 시공간적 유사성을 가지는 두 프레임 사이에서의 변화를 묘사하는 motion vector를 결정하기 위한 과정이다. 이러한 motion estimation은 움직임 보상 프레임률 증가 보상, 영상 압축, 그리고 물체 추적 등과 같은 영상 처리 및 컴퓨터 비전 분야에서 주요 기술로 활용되고 있다. 프레임이 찍힌 시점에서의 motion vector를 필요로 하는 기술들과 달리, 움직임 보상 프레임률 증가 보상은 프레임과 프레임 사이의 중간 시점에서의 motion vector를 필요하다. 프레임 사이의 중간 시점에서의 motion vector는 프레임이 찍힌 시점에서의 motion vector보다 정확하게 추정하기 어렵다. 따라서, 움직임 보상 프레임률 증가 보상을 위한 motion estimation 방법은 보다 신중하게 다루어져야만 한다. 움직임 보상 프레임률 증가 보상은 영상에서 연속된 프레임 사이에 움직임을 고려하여 새로 만들어진 프레임을 삽입함에 의해 프레임률을 올리는 기술이다. 움직임 보상 프레임률 증가 보상은 일반적으로 연속된 프레임 사이에서 움직임을 추정하여 motion vector를 생성하는 motion estimation과 motion vector와 인접 프레임들을 이용하여 interpolated frame을 생성하는 motion compensated interpolation으로 구성된다. 추가적으로, motion vector의 정확성 향상을 위하여 motion estimation 후에 motion vector smoothing을 수행하기도 한다. 이러한 움직임 보상 프레임률 증가 보상의 성능은 motion vector의 정확도에 크게 좌우되며, 이는 사용하는 motion estimation 및 motion vector smoothing 알고리즘의 성능에 크게 영향을 받는다. Motion estimation은 사용 목적에 따라 다양하게 개발 되었지만, 간단하면서도 효과적이고 하드웨어 구현이 용이한 block 기반 motion estimation 알고리즘에 대한 연구가 많이 수행 되고 있다. 하지만 이러한 block 기반 motion estimation 알고리즘은 움직이는 물체의 boundary 영역에 발생하는 occlusion area에서 motion vector를 정확하게 추정하지 못하는 occlusion problem이 있다. Occlusion area에서 잘못된 motion vector의 추정은 interpolated frame의 화질을 매우 떨어뜨리는 결과를 초래한다. Motion vector smoothing은 motion estimation과정에서 잘못 찾은 motion vector들을 검출하고 교정하는 과정이다. 하지만, 많은 motion vector smoothing 알고리즘들에서 정확한 motion vector를 잘못 추정한 motion vector라고 판단하여 교정하게 되는 false motion vector correction이 빈번하게 발생하고 있다. 또한, 잘못된 motion vector를 교정한 후에도 정보의 부족으로 인하여 교정된 motion vector에 약간의 residual error가 존재하게 된다. 이들은 interpolated frame의 화질을 열화 시키는 요인들이다. 이를 해결하기 위해서 본 연구에서는 방향 선택 움직임 추정 방법을 제안하였다. 제안하는 알고리즘은 양방향으로 움직임을 추정한 후, motion vector smoothing과 motion vector refinement를 수행함에 의해 각 방향의 motion vector의 신뢰성을 향상시킨다. 그런 다음, interpolated frame 관점에서 움직이는 물체에 대한 matching cost를 통하여 각 motion vector의 신뢰성을 판단하여 최종 motion vector를 선택함으로써 occlusion problem을 완화시킨다. 그리고, false motion vector correction을 줄이기 위하여 새롭게 제안한 two-dimensional weighted motion vector smoothing은 주변 motion vector들을 사용한 circular range를 생성하여 주변 motion vector들 중에 존재하는 다른 outliers의 영향을 최소화한다. 이를 통하여 false motion vector correction을 줄이고, motion vector smoothing을 수행한 후 motion vector refinement를 수행함에 의해 교정한 MV의 residual error를 최소화한다. 1,720장의 test sequence를 이용한 성능 평가 실험에서, 제안하는 방향 선택 움직임 추정 알고리즘은 기존의 motion estimation 알고리즘들과 비교하여 interpolated frame의 평균 peak signal-to-noise ratio (PSNR)과 평균 structural similarity (SSIM) index를 각각 최대 5.31 dB과 0.053을 향상시켰으며, 샘플 영상을 이용한 시각적 평가에서도 다른 방법들보다 화질이 좋음을 확인하였다. 또한, 제안한 two-dimensional weighted motion vector smoothing 역시 기존의 motion vector smoothing 알고리즘들과 비교하여 interpolated frame의 평균 PSNR과 평균 SSIM을 각각 최대 1.12 dB과 0.009를 향상시켰다. Motion estimation (ME) is the process of determining the motion vectors (MVs) that describe the transformation between two frames with spatio-temporal similarity. ME is used for a wide range of applications in image/video processing and machine vision, such as motion-compensated frame rate up-conversion (MC-FRUC), image compression, and object tracking. Unlike the latter two, the former requires MVs from the viewpoint of an intermediate frame between two frames, and it is therefore much harder to estimate the MVs correctly. Therefore, ME used for MC-FRUC should be more carefully addressed. MC-FRUC is a technique for increasing the frame rate of an image sequence by inserting newly interpolated frames between the original frames. MC-FRUC is generally used for reducing the motion jerkiness of the video with a low frame rate, or mitigating the motion blur occurring in hold-type displays such as liquid crystal displays. MC-FRUC generally consists of the following two processes: ME and motion compensated interpolation (MCI). The ME process generates MVs by calculating the displacements of the moving objects between consecutive frames. The MCI process generates interpolated frames using adjacent frames and MVs. It is well known that the performance of MC-FRUC depends greatly on the MV accuracy, which is largely affected by the performance of the ME algorithm used. In addition, motion vector smoothing (MVS) can be used to improve the MV accuracy. Among the various ME algorithms available, the block matching algorithm (BMA) is the most popular owing to its easy implementation and good performance. Most block-based ME algorithms have been developed based on the BMA. However, block-based ME algorithms including BMA suffer from an occlusion problem, which causes an incorrect ME in the occlusion area around the boundaries of moving objects. It greatly degrades the image quality of the interpolated frames. The MVS process is used to correct outliers (incorrect MVs) in the MV field. However, conventional MVS algorithms suffer from a false MV correction, which corrects the correct MVs wrongly by classifying them as outliers. In addition, some residual errors in a corrected MV remain since the outlier is corrected by the prediction using the data of the neighboring MVs. Owing to these problems, the MVS process may worsen the MV accuracy. This thesis proposes a new ME algorithm, referred to as direction-select ME (DS-ME). Although the proposed algorithm can be used for a wide range of applications, it focuses on improving the performance of MC-FRUC. To mitigate the occlusion problem, the proposed algorithm carries out MEs in both forward and backward directions, and selects the more reliable of the forward and backward MVs by evaluating their reliability from the viewpoint of the interpolated frame. The proposed DS-ME algorithm smooths and refines both the forward and backward MVs to enhance the confidence level of the reliability estimation before selecting the final MV. Unlike other ME algorithms, the MVS process is performed as a part of the DS-ME algorithm, which helps in selecting reliable MVs even in the occluded area. In identifying the outliers in the MV field, the proposed MVS algorithm uses a circular range, the center of which is located at the mean of the eight neighboring MVs of the MV being processed. The proposed MVS algorithm controls the sensitivity of the outlier detection according to the distribution of the neighboring MVs of the MV being processed, thereby reducing the possibility of a false MV correction. In addition, the residual errors in the corrected MVs are also minimized through a refining operation applied to the MVs. Experimental results using 1,720 test images show that the proposed DS-ME algorithm improves the average peak signal-to-noise ratio (PSNR) and the average structural similarity (SSIM) of the interpolated frames by up to 5.31 dB and 0.053, respectively, compared to conventional ME algorithms. In addition, the proposed MVS algorithm improves the average PSNR and SSIM of the interpolated fames by up to 1.12 dB and 0.009, respectively, compared to conventional MVS algorithms.

Motion context 기반 동작 생성 통합 시스템

류재영 중앙대학교 첨단영상대학원 2024 국내박사

본 연구에서는 motion context 기반 동작 생성 모델을 제안하고, 해당 생성 모델은 동작 센싱 시스템과 결합되어 다양한 동작을 생성할 수 있다. 결합된 통합 시스템은 메타버스에 활용되어서 사용자의 간단한 동작을 바탕으로 역동적인 동작들을 생성할 수 있다. 따라서 메타버스 사용자는 통합 시스템의 도움을 받아서 다양한 콘텐츠를 박진감 있게 즐길 수 있다. 위의 활용을 위해서는 통합 시스템을 구성하는 동작 센싱 시스템과 동작 생성 모델이 중요하다. 동작 센싱 시스템은 기존 Augmented reality, Virtual reality에서 사용되는 디바이스와 같이 사용자의 접근성을 높이는 형태로 연구되었다. 다음으로 생성 모델은 동작 데이터에서 제공하는 context 정보를 바탕으로 다양한 동작들을 생성할 수 있게 연구했다. 우선 논문에서는 생성 모델과 함께 사용될 동작 센싱 시스템으로 센서 자켓을 제안했다. 센서 자켓은 기존의 모션 캡처 시스템의 한계점인 동작 데이터 취득 환경 구축이 어렵다는 점을 해결할 수 있다. 센서 자켓의 사용자는 동작 데이터 취득을 위해서 간편하게 자켓을 착용하면, 동작 데이터를 취득할 수 있다. 취득된 동작 데이터는 아바타 렌더링 시스템에 의해서 아바타로 구현될 수 있다. 논문에서는 센서 자켓 기반 아바타 렌더링 시스템과 동작 DB 기반 아바타 렌더링 시스템을 고안했다. 다음으로 논문에서 제안된 생성 모델은 총 2가지 형태로 키포즈 기반 전이 동작 생성 모델과 context 기반 동작 생성 모델이다. 키포즈 기반 전이 동작 생성 모델의 차별점으로는 동작 데이터를 입력데이터로 사용하는 것과 skip connection을 사용해서 섬세한 동작을 생성할 수 있는 것이다. 다음으로 context 기반 동작 생성 모델은 키포즈 기반 모델과 다르게 연속적인 동작 데이터를 입력받고, 입력된 동작에서 context 정보를 추출하고, 이를 바탕으로 새로운 동작을 생성하는 구조로 설계되었다. 제안된 두 생성 모델은 동작 데이터를 기반으로 새로운 동작들을 생성할 수 있고, 원하는 동작을 생성하기 위해서 상세한 묘사가 필요하지 않다. 간단하게 원하는 동작을 직접 입력함으로써 다양한 동작을 생성한다. 실험 결과에서는 context에 기반한 동작 생성 모델이 키포즈 기반 동작 생성 모델에 비해서 더 역동적이고, 다양한 동작들을 생성할 수 있는 것으로 확인되었다. 마지막으로 논문에서는 센싱 시스템과 context 기반 동작 생성 모델을 결합해서 통합 시스템을 구축했다. 우선, 통합 시스템의 성능 검증을 위해서 센싱 시스템에서 취득된 단일 context 동작을 생성하는 실험을 진행했다. 실험 결과에서는 단일 context를 입력했을 때, 입력된 context는 유지하는 형태로 다양한 동작이 생성되는 것을 확인했다. 다음으로 연속적으로 입력되는 사용자의 동작을 처리할 수 있는 구조를 설계했고, 연속동작에 대한 실험을 진행했다. 실험 결과 단일 context와 연속 context를 사용한 모든 경우에서 안정적으로 다양한 동작을 생성하는 것을 확인했다. 따라서 제안된 통합 시스템은 메타버스에 활용되어서 사용자의 간단한 동작 입력을 바탕으로 다양한 동작들을 생성할 수 있다. This research proposes a motion context-based motion generation model, which, when integrated with a motion sensing system, can generate various motions. The integrated system allows users to dynamically generate various motions based on simple user actions in the metaverse. Consequently, metaverse users can enjoy a thrilling experience with a variety of content through the assistance of the integrated system. For the effective implementation of this application, the components of the integrated system, namely the motion sensing system and the motion generation model, play a crucial role. The motion sensing system has been researched to enhance user accessibility, following a research direction of devices used in traditional augmented reality and virtual reality applications. Additionally, the generation model has been researched to create diverse motions based on the context information provided by motion data. At first, the paper proposes a sensor jacket as the motion sensing system to be employed in conjunction with the motion generation model. The sensor jacket can solve the difficulty of establishing a motion data acquisition environment, which is a limitation of the existing motion capture system. The user of the sensor jacket can acquire motion data by simply wearing the sensor jacket. The acquired motion data can be shown as actions of avatars through an avatar rendering system. The paper proposes two rendering systems: the sensor jacket-based avatar rendering system and the motion database (DB)-based avatar rendering system. The proposed generation models in the paper are constructed in two different forms: a key-pose-based transfer motion generation model and a context-based motion generation model. The novelty of the key-pose-based transfer motion generation model differentiates are utilizing motion data as input and applying skip connections, allowing for the generation of subtle movements. On the other hand, the context-based motion generation model, distinct from the key-pose-based model, takes in continuous motion data as input, extracts context information from the inputted movements, and is structured to generate new motions based on this extracted context information. Both proposed generation models can create novel movements based on motion data, eliminating the need for detailed descriptions to generate desired actions. Users can simply input their desired movements directly to generate a variety of actions. Experimental results represent that the context-based motion generation model is more dynamic than the key-pose-based motion generation model, and it can generate a broader range of motions. Finally, the paper completes a comprehensive system by combining a sensing system and a context-based motion generation model. Initially, an experiment was conducted to generate a single context motion acquired from the sensing system to verify the performance of the comprehensive system. Experimental results demonstrated that various movements could be generated while maintaining the inputted single context. Subsequently, a structure capable of handling continuous user motions was designed, and experiments were conducted on continuous actions. The results revealed the stable generation of diverse motions in all cases, whether using a single context or continuous contexts. Therefore, the proposed comprehensive system can generate a variety of movements based on simple user input in the metaverse.

Motion Planning and Control Strategies for Automated and Remote Driving Systems

Ji Hwan Seo DGIST 2025 국내박사

國語 移動動詞의 認知的 意味 硏究

이민우 경희대학교 대학원 2002 국내석사

The purpose of this study is, from a cognitive linguistic point of view, to analyze the elements of meaning in motion verbs and to classify patterns of motion events, and to search for the meaning of motion verbs. Verbs serve the schema of frame with which human being cognize external events. Verbs' meaning is abstract and schematic, therefore it is determined in relation with the other elements in sentence. In this view, this study tries to understand the meaning in relation between the elements in sentence and illustrate by using the schema of motion event frame that motion verbs imply. In addition to it I look about the representation of fictive motion that haven't been out of concern and search for a principle of conceptualization on motion. Each Chapter can be briefly summarized as follows: In chapter 2, I examine semantic issues related to the analysis of motion verb. First, I establish the semantic definitions of motion and motion verb to overcome the arbitrariness in applying them to objects. This work can distinguish motion verbs that manifest 'motion' - especially the purer motion verbs among motion verbs - from other verbs by bringing them to light on the basis of cognitive components. Chapter 3 concentrates on a new classification of the patterns of motion verbs by looking about the ways that cognitive components abstracted in the second chapter are conflated in motion verbs or are represented in sentences. Through this study, I investigate the cognitive module of the limitation on motion verbs and the differences of meaning made by the participants in construction of motion verb. In the whole view of motion event frame, I also investigate various types of motion sentence with semantic schema. In chapter 4, I investigated non-real motion, fictive motions style. The concept of fictive motion is distinguished from not only physical motion in real world but also spatial metaphor and personification. The representation of fictive motion is cross-linguistic and have various patterns. This work inquire the meaning of cognitive elements that compose the event in the experession of fictive motion, and search for the cognitive mechanism that make these expressions possible, and look into characteristics in them. Meaning is the manner that human conceptualize the world. This study starts from the view that the main subject of semantics is examining how people recognize and conceptualize the world and that the way of human cognition is represented in Korean expression. According to it, I focus on motion events, represented by motion verbs, among a set of frames that motion verbs imply, in order to investigate how the cognition of real world is manifested as 'motion' in language.

An investigation on the relationship between motion sickness susceptibility and visuospatial ability factors

곽영관 서울대학교 대학원 2022 국내석사

In this thesis, we investigate the relationship between motion sickness susceptibility and different factors of visuospatial ability. Human visuospatial ability is conceptualized as consisting of multiple sub-components or elements. Such aspects of visuospatial ability include Visualization (VZ), Spatial Relations (SR), Closure Speed (CS), Flexibility of Closure (CF), and Perceptual Speed (P). Some research studies have identified associations/correlations between motion sickness and visuospatial ability suggesting some links between the two constructs. However, neither previous studies have explored the possible relation between motion/ visually induced motion sickness susceptibility and visuospatial ability. Therefore, it can be understood in more detail by revealing a possible relationship between motion sickness susceptibility and components of visuospatial ability. Understanding how the different sub-dimensions of visuospatial information processing ability impact motion/visually induced motion sickness susceptibility will significantly improve the current knowledge on motion sickness susceptibility. However, the relationship between motion sickness and visuospatial ability still remains unclear. In particular, the relationships between motion sickness and individual factors of visuospatial ability have not been investigated sufficiently. Discovering possible relationships between visuospatial ability test scores and motion sickness susceptibility would help reduce dropouts in simulator-based human factors studies - the occurrence of dropouts has been identified as a severe problem for simulator-based human factors studies. If significant relationships exist, they could be utilized to develop proper screening guidelines. The objective of the current study was to empirically investigate the relationships between visuospatial ability factors and motion sickness susceptibility. 본 논문은 멀미에 대한 이해를 높이고자 멀미 민감도와 시각공간능력 인자간 관계를 더욱 자세하게 살펴보고자 한다. 사람의 시각공간 능력은 여러 하위 요소가 있으며 멀미의 종류도 다양하다. 멀미 민감도는 동적 멀미 민감도와 시각적 멀미 민감도를 평가하고 시각공간능력의 5가지 주요 인자를 평가하여 멀미 민감도와의 관계를 살펴보는 연구를 진행하고자 한다. 연구 결과를 바탕으로 개개인의 멀미 민감도에 영향을 주는 인간의 시각공간 정보 처리 능력 파악함으로써, 어떠한 사람이 멀미를 더 잘 느끼는지 파악할 수 있으며, 멀미를 줄이기 위한 해결 방안을 제시할 수 있을 것으로 기대된다. 시각공간 능력이 뛰어난 개개인이 시각정보처리 능력과 시각정보조작능력이 더 좋기 때문에 일반적으로 멀미를 덜 느낄 것이라 예상된다. 하지만, 기존 시각공간 능력과 멀미가 연관이 있다는 연구와 없다는 연구가 있기 때문에 본 연구를 통해 둘 사이의 관계를 파악함으로써 멀미에 대한 지식을 넓힐 수 있을 것이라 기대한다. 나아가 개개인의 시각공간 능력에 따라 멀미 민감도가 어떻게 달라지는지를 파악함으로써 시각정보처리이나 시각정보조작 능력과 멀미와의 개념도 함께 접목시켜 설명할 수 있을 것이다.