TTA 간행물 - ICT Standard Weekly

> 표준화 참여 > TTA간행물 > ICT Standard Weekly

기술표준이슈

다운로드 (2017-16호)
트위터 페이스북 미투데이

[ICT응용] Advanced Immersive audio and visual (AIAV) systems 기술 동향

New Template

1. Advanced Immersive audio and visual (AIAV) systems 개요

Advanced Immersive audio and visual (AIAV) systems은 사용자로 하여금 기존에 존재하지 않던 몰입형 시각 및 청각 정보를 전달하여 실감 경험(immersive experiences)을 제공하는 시스템.

AIAV는 인간 두뇌의 여러 감각들을 자극시켜 사용자가 마치 어딘가에 있는 것처럼, 또는 누군가가 된 것처럼 느끼게 해주기 때문에 실감미디어 또는 몰입형 인터페이스(immersive interface)와 같은 응용 프로그램에 사용될 수 있다.

○ 현실에서는 움직임에 따라 오감이 뇌로 전달되는 것과 달리 AIAV의 경우 시각 및 청각(audio and visual) 정보만 뇌로 전달되어 시력 저하, 사이버 멀미(cyber sickness) 등의 신체 부작용을 유발할 수 있으며, 시청 환경 및 콘텐츠 요인에 따른 불편함(Visual discomfort) 혹은 시청 피로도 (visual fatigue), 기타 여러 통증(sensory sickness)을 유발할 수 있다.

 

2. Advanced Immersive audio and visual (AIAV) systems의 형태(Forms)

AIAV 방송은 만들어진 가상의 공간이나 환경 속에 사용자가 몰입되는 경우를 나타내는 가상 현실(VR: Virtual Reality)과 사용자가 직접 지각할 수 있는 현실에 대하여 컴퓨터로 만들어진 영상 (computer-generated images)을 사용하여 더 많은 정보를 부가, 제시하는 경우인 증강 현실 (AR: Augmented Reality), 직접 지각할 수 있는 현실과 가상 현실과 혼합된 형태로 경험할 수 있는 복합 현실(MR: Mixed Reality)의 범위를 포함한다.

 

3. 구동 및 재생 방식(Presentation Modes)

Head mounted display (HMD): 얼굴에 착용하     는 디스플레이 장치로, 눈에 착용하는 작은 디스플레이에 시청자의 움직임을 추적할 수 있는 추가적인 센서가 장착되어 있다. AR MR 환경에서 구동할 수 있는 HMD의 경우 물리적인 현실(physical world)을 시청할 수 있지만, VR 환경에서 구동하는 HMD의 경우 물리적인 환경이 차단된 상태로 시청할 수 있다.

Magic window: 모바일 단말 및 TV 없이 360˚ 동영상 콘텐츠를 시청할 수 있는 장비. 마우스 포인터의 드래그 또는 손가락 움직임(finger gestures)을 이용하여 360˚로 영상을 회전시켜 시청할 수 있음. 영상의 화질에 따라 일부 동영상의 경우 줌 기능이 추가되기도 한다. 모바일 단말을 이용할 경우, 모션 센서를 이용하여 360˚로 영상의 방향을 자동 조절하여 사용자에게 전달하는 기능을 사용할 수 있다.

Second screen: TV 증감형 방송과 동기화(synchronized)된 부가적인 스크린(second screen)을 제공함으로 실감 미디어 환경을 구상하는 방식을 말하며, Second screen을 사용하는 AIAV system은 사용하던 기존의 TV 환경을 교체할 필요 없이 실감 미디어를 경험할 수 있다. 또한 Second screen의 경우 실제 정규 TV 프로그램에서 제공하는 특정 VR 조망 환경(vantage points)을 시청할 수 있는 장점이 있다.

 

4. 상호 작용 방식(Modes of Interactivity)

3 Degrees of Freedom (3DOF): 어느 방향으로든 자유롭게 시청할 수 있는 방식 (yaw, pitch, and roll).

3 Degrees of Freedom Plus (3DOF+): 어느 방향으로든 자유롭게 시청할 수 있는 방식 (yaw, pitch, and roll)에 추가적으로 머리 움직임(head movements)에 따른 광학적 중심으로의 이동이 아닌 제한적인 화면 전환 이동(limited translation movements)을 말한다. 운동 시차(motion parallax)와 실감도에 강인한 요소에 대한 지각 효과를 가져온다.

○ 다중 조망 시점(Multiple Vantage Points): 3DOF3DOF+가 단일 시점에서의 관측을 기반으로 하는 반면, 사용자가 다양한 시점에서 얻은 현장을 경험할 수 있도록 시점을 확장시킨 개념을 말한다.

6 Degrees of Freedom (6DOF): 시청자가 자유롭게 움직일 수 있는 방식을 말함. 센서와 제어기 등을 통해 시청자 자체적인 움직임이 야기되며, 회전 (yaw, pitch, and roll 과 병렬 이동 (x, y, z 이동)이 모두 가능하다.

 

5. 현황 및 해결하여야 문제(Current challenges)

○ 현재 실감형 미디어(advanced immersive media) 방송의 가능성이 대두되고 있으며, 다음과 같은 흐름도를 통한 AIAV의 방송 시나리오 전개가 논의 중에 있다.

 

[그림] 방송 환경에서의 AIAV 프로그램 흐름도

이철희 (연세대학교 전기전자공학부 교수, chulhee@yonsei.ac.kr)

* 본 글은 저자의 의견일 뿐 TTA 기관의 입장과는 무관합니다.