1. Advanced Immersive audio and visual (AIAV) systems 개요

o Advanced Immersive audio and visual (AIAV) systems은 사용자로 하여금 기존에 존재하지 않던 몰입형 시각 및 청각 정보를 전달하여 실감 경험(immersive experiences)을 제공하는 시스템.

o AIAV는 인간 두뇌의 여러 감각들을 자극시켜 사용자가 마치 어딘가에 있는 것처럼, 또는 누군가가 된 것처럼 느끼게 해주기 때문에 실감미디어 또는 몰입형 인터페이스(immersive interface)와 같은 응용 프로그램에 사용될 수 있다.

o 현실에서는 움직임에 따라 오감이 뇌로 전달되는 것과 달리 AIAV의 경우 시각 및 청각(audio and visual) 정보만 뇌로 전달되어 시력 저하, 사이버 멀미(cyber sickness) 등의 신체 부작용을 유발할 수 있으며, 시청 환경 및 콘텐츠 요인에 따른 불편함(Visual discomfort) 혹은 시청 피로도 (visual fatigue), 기타 여러 통증(sensory sickness)을 유발할 수 있다.

2. Advanced Immersive audio and visual (AIAV) systems의 형태(Forms)

o AIAV 방송은 만들어진 가상의 공간이나 환경 속에 사용자가 몰입되는 경우를 나타내는 가상 현실(VR: Virtual Reality)과 사용자가 직접 지각할 수 있는 현실에 대하여 컴퓨터로 만들어진 영상 (computer-generated images)을 사용하여 더 많은 정보를 부가, 제시하는 경우인 증강 현실 (AR: Augmented Reality), 직접 지각할 수 있는 현실과 가상 현실과 혼합된 형태로 경험할 수 있는 복합 현실(MR: Mixed Reality)의 범위를 포함한다.

3. 구동 및 재생 방식(Presentation Modes)

o Head mounted display (HMD): 얼굴에 착용하      는 디스플레이 장치로, 눈에 착용하는 작은 디스플레이에 시청자의 움직임을 추적할 수 있는 추가적인 센서가 장착되어 있다. AR 및 MR 환경에서 구동할 수 있는 HMD의 경우 물리적인 현실(physical world)을 시청할 수 있지만, VR 환경에서 구동하는 HMD의 경우 물리적인 환경이 차단된 상태로 시청할 수 있다.

o Magic window: 모바일 단말 및 TV 없이 360˚ 동영상 콘텐츠를 시청할 수 있는 장비. 마우스 포인터의 드래그 또는 손가락 움직임(finger gestures)을 이용하여 360˚로 영상을 회전시켜 시청할 수 있음. 영상의 화질에 따라 일부 동영상의 경우 줌 기능이 추가되기도 한다. 모바일 단말을 이용할 경우, 모션 센서를 이용하여 360˚로 영상의 방향을 자동 조절하여 사용자에게 전달하는 기능을 사용할 수 있다.

o Second screen: TV 증감형 방송과 동기화(synchronized)된 부가적인 스크린(second screen)을 제공함으로 실감 미디어 환경을 구상하는 방식을 말하며, Second screen을 사용하는 AIAV system은 사용하던 기존의 TV 환경을 교체할 필요 없이 실감 미디어를 경험할 수 있다. 또한 Second screen의 경우 실제 정규 TV 프로그램에서 제공하는 특정 VR 조망 환경(vantage points)을 시청할 수 있는 장점이 있다.

4. 상호 작용 방식(Modes of Interactivity)

o 3 Degrees of Freedom (3DOF): 어느 방향으로든 자유롭게 시청할 수 있는 방식 (yaw, pitch, and roll).

o 3 Degrees of Freedom Plus (3DOF+): 어느 방향으로든 자유롭게 시청할 수 있는 방식 (yaw, pitch, and roll)에 추가적으로 머리 움직임(head movements)에 따른 광학적 중심으로의 이동이 아닌 제한적인 화면 전환 이동(limited translation movements)을 말한다. 운동 시차(motion parallax)와 실감도에 강인한 요소에 대한 지각 효과를 가져온다.

o 다중 조망 시점(Multiple Vantage Points): 3DOF와 3DOF+가 단일 시점에서의 관측을 기반으로 하는 반면, 사용자가 다양한 시점에서 얻은 현장을 경험할 수 있도록 시점을 확장시킨 개념을 말한다.

o 6 Degrees of Freedom (6DOF): 시청자가 자유롭게 움직일 수 있는 방식을 말함. 센서와 제어기 등을 통해 시청자 자체적인 움직임이 야기되며, 회전 (yaw, pitch, and roll 과 병렬 이동 (x, y, z 이동)이 모두 가능하다.

5. 현황 및 해결하여야 문제(Current challenges)

o 현재 실감형 미디어(advanced immersive media) 방송의 가능성이 대두되고 있으며, 다음과 같은 흐름도를 통한 AIAV의 방송 시나리오 전개가 논의 중에 있다. 
 

[그림] 방송 환경에서의 AIAV 프로그램 흐름도