체험형 실감미디어란?

3D 콘텐츠의 사용이 급증함에 따라 사용자의 오감을 자극할 수 있는 체험형 실감미디어(Multiple Sensorial Media)에 대한 요구가 점차 증가하고 있다. 이러한 체험형 실감미디어는 현재 4D 극장, 체험관 등에서 한정적으로 활용되고 있지만 초고해상도의 영상, 입체 음향 등의 기술이 발전함에 따라 점차 그 활용도가 높아지고 있다. 체험형 실감미디어를 처리하기 위해서 기존에는 SMMD(Single Media Multiple Devices) 기술을 기반으로 하나의 미디어를 복수개의 디바이스를 이용하여 사용자에게 실감을 전달하는 방식을 사용하였다. 체험형 실감미디어는 2007년 MPEG(Moving Picture Expert Group) 82차 미팅에서 RoSE(Representation of Sensory Effect)라는 이름으로 사용자에게 물리적인 실감효과를 전달할 수 있는 바람, 조명, 온도, 진동, 향기 등의 실감효과메타데이터 표준이 제안되었다. 그 동안 오디오/비디오/이미지 등의 순수 미디어에 대한 압축/전송/파일포맷 등에 대한 표준을 이끌어 오던 MPEG 표준기구에서는 RoSE 표준을 신 개념의 미디어로서 주목을 하면서 이에 대한 산업체로부터의 요구사항을 공식적으로 요청하게 되었다. 2011년 8월에 ISO/IEC 23005-1~6에 해당하는 국제표준이 제정되었고, 2013년 1월에 2nd Edition, 그리고 2014년 10월 회의에서 Part 2~6에 대한 3rd Edition의 DIS 문서가 채택되었다.

관련 표준화 현황

ISO/IEC 23005에 해당하는 MPEG-V(Media Context and Control) 표준의 구성은 다음과 같다. Part 1 Architecture에서는 가상세계와 현실세계 및 가상세계와 가상세계 간 예상되는 인터페이스를 포함한 전체적인 구조와 다양한 예제 시나리오들을 기술하고 있다. Part 2 Control Information에서는 가상세계와 실세계간 사이에 적용 엔진(Adaptation Engine)이 존재할 때, 실세계와 엔진 사이의 인터페이스를 서술하기 위한 구조를 정의하고 있으며, 실세계와의 인터페이스에 필요한 사용자의 선호도, 디바이스의 성능, 센서의 성능, 센서를 통한 실세계의 정보 입력, 실세계 디바이스의 제어 등을 위한 정보 기술 방법을 정의하고 있다. Part 3 Sensory Information에서는 사용자의 감각기관에 영향을 줄 수 있는 오감 정보를 표현하기 위한 구조 및 형식을 설명하고 있다. Part 4 Virtual World Object Characteristics에서는 가상세계에 존재하는 아바타와 기타 가상 객체의 정보를 표현하는 메타데이터를 정의하고 이를 통하여 가상세계와의 인터페이스를 제공하고 있다. Part 5 Data formats for interaction devices에서는 실세계와 가상세계와의 연동을 위하여 필요한 사용자 인터페이스 부분의 데이터 포맷을 정의하였고, Part 6 Common Types and Tools에서는 Part 2~5까지의 규격들에서 공통적으로 사용되는 타입들이나 도구들을 정의하고 Part 7 Reference Software에서는 상기한 Part들에서 정의하는 기술을 실제로 구현하여 사용할 수 있도록 참조 소프트웨어를 구현하여 제공하고 있다. 

기존 표준의 문제점 및 해결 방안

MPEG-V(Virtual)를 중심으로 진행되어 온 표준은 주로 실감효과를 생성, 재현, 제어하기 위한 XML(eXtensible Markup Language) 스키마를 정의하고 이를 이진 부호로 표현하기 위한 의미(Semantic)과 구문(Syntax)을 중심으로 하고 있다. 그렇지만 정의된 메타데이터가 너무나 방대하여 실제 산업체에서 직접 쓰기에는 상당한 노력이 필요하다. MPEG-V에서 체험형 실감미디어에 대한 메타데이터는 정의되어 있지만 실제 이러한 메타데이터를 현장에서 적용하기 위해서는 아직 정의되어야 하는 표준들이 있다. 현재 MPEG에서는 이를 해결하기 위해 체험형 실감미디어를 위한 파일 포맷을 정의하고, 실감효과메타데이터를 관리하기 위한 적용 엔진에 대한 표준을 추진하고 있다.

체험형 실감미디어 관련 기술쟁점사항 현황 및 향후 계획

체험형 실감미디어를 위한 파일 포맷은 2012년 4월 제네바 미팅에 처음 제안되었으며, 2014년 7월 사포로 미팅에서 다시 논의되기 시작했다. 기존에 체험형 실감미디어 파일을 생성하기 위해서는 실감효과메타데이터를 편집할 수 있는 도구를 이용하여 실감효과메타데이터를 생성한 후 이를 MPEG-4 파일 내부의 메타데이터를 저장하기 위한 영역(meta box)에 저장하였다. 초기에는 실감효과메타데이터의 양이 크지 않았으나 점차 실감재현 디바이스의 성능이 개선되고 종류가 많아지면서 점차 이 데이터의 양이 증가하게 되었다. 예를 들어, 모션을 표현하는 궤적데이터의 경우 부드러운 움직임을 처리하기 위해서는 20ms 이하 단위로 데이터가 생성되어야 하는 데 이를 메타데이터 저장 영역에만 저장하기에는 너무나 많은 공간이 필요하게 되었다. 그리고, 영상과 음성의 시간에 맞게 실감효과를 처리해야 하는데 기존 방식으로는 저장된 실감효과를 모두 불러들인 후 다시 실감효과에 정의되어 있는 시간에 맞게 재정렬을 해야 영상과 음성의 시간에 맞게 실감재현 디바이스를 제어할 수 있었다. 이러한 방식은 방송 서비스에는 적합하지 않기 때문에 메타데이터 전체를 저장하는 방식보다는 영상과 음성이 저장되는 영역(trak box)에 실감효과가 재현되어야 하는 순서대로 영상과 음성에 맞추어 저장하는 방식이 효과적이다. 또한, 실감효과메타데이터가 전송될 때에는 수신 측에서 검증을 수행할 수 있도록 검증 단위로 잘라서 보내는 방법이 필요하다. 110차 미팅에서는 명지대학교에서 실감효과메타데이터를 네트워크에서 분할한 후 전송하기 위해 MPEG-21의 XSI를 기반으로 하는 방법을 제안하여 채택되었다.

<그림 1> 체험형 실감미디어를 위한 파일 포맷 개념

실감효과메타데이터를 사용하기 위한 적용 엔진은 실세계와 가상세계의 중간에 위치하며 상호간에 전달되는 데이터를 처리하는 기능을 담당한다. 실세계의 데이터는 센서를 이용하여 수집되고 가상세계의 데이터는 실감효과메타데이터를 이용하여 실세계로 표현되며, 이 과정에서 사용자의 선호도, 센서의 성능, 디바이스의 성능, 디바이스 제어 정보가 참조된다. SE(Sensory Effect) Engine으로 최종 명명된 이 엔진은 2013년 4월에 표준화 이슈가 제기되었다. 이후, 105~107차 회의에서 필요한 기능들에 대한 논의를 거쳐 110차 회의에서 MPEG-M(ISO/IEC 23006)의 Part-2에 대한 3rd Edition에 Green ICN과 더불어 진행되게 되었다. MPEG-M은 멀티미디어를 처리할 수 있는 Application을 설계 및 구현할 수 있는 개방형 플랫폼 규격을 정의하고 있으며, MPEG-M의 MXM(MPEG extensible middleware, ISO/IEC 23006)은 미들웨어인 엔진(MPEG-21 File Engine, Security Engine, Media Framework Engine, Content Search Engine, etc.)에 대한 표준 사양을 정의하고 있다.

<그림 2> 실감효과메타데이터 적용 엔진 표준화 추진 방안

맺음말

체험형 실감미디어 서비스에 대한 요구가 점차적으로 증가함에 따라 이를 산업화하기 위한 다양한 시도가 진행되고 있다. 이와 관련하여 MPEG에서는 ISO/IEC 23005(MPEG-V)를 통해 가상세계 정보인 실감효과메타데이터를 실세계의 정보인 디바이스 제어 신호로 변경하고 실세계의 환경을 측정하는 센서 정보를 가상세계의 아바타에게 반영할 수 있는 메타데이터를 정의하고 있다. 그러나, 현재 표준화되어 있는 기술을 체험형 실감미디어에 적용하기 위해서는 체험형 실감미디어를 생성하고 전송하기 위한 새로운 파일 포맷과 실감효과메타데이터를 관리하기 위한 엔진이 필요하다. 2014년 10월 MPEG 110차 회의에서는 체험형 실감미디어 포맷을 위한 MulSeMAF(Multiple Sensorial Media Application Format)에 대해 논의가 되었고 실감효과메타데이터를 네트워크에서 분할한 후 전송하기 위해 MPEG-21의 XSI를 사용하기로 결정되었다. 또한, MPEG-V와 MPEG-M 조인트 미팅에서 SE Engine에 대한 4개의 기능(SEM Manipulation, SEM retrieval, SEM adaptation, SEM actuation)을 MPEG-M의 3rd Edition에서 신규로 진행하기로 하였다. 차후에는 관련된 다른 엔진 기술들이 제안이 활발할 것으로 예상되며, MPEG-M의 Part-2만 새로이 시작하는 것 보다 Part-5에 추가될 수 있는 서비스를 고려해 보라는 의견에 따라 체험형 실감미디어 서비스에 대한 다양한 새로운 기술이 제안될 것으로 예상된다.