3차원 비디오 시스템은 양안식(stereoscopic) 입체영상보다 많은 시점의 영상을 이용하여 3차원 비디오 서비스를 제공하는 기술을 말한다. MPEG(Moving Picture Experts Group)에서는 2002년부터 3차원 비디오 시스템의 중요성은 인식하고, 국제표준을 만들기 위한 노력을 계속해 왔다. 본 기고문에서는 MPEG에서 진행되었던 3차원 비디오 부호화의 표준화 작업을 간단히 소개한다.

<그림 1> 3차원 비디오 시스템의 개념도

(출처: ISO/IEC JTC1/SC29/WG11 MPEG2008/N9784 Introduction to 3D Video)

3D 비디오 시스템의 정의

3차원 비디오는 2차원 비디오와는 달리 사용자에게 영상에 깊이감을 제공하여 보다 실감나는 영상을 제공한다. 사용자가 입체감을 느끼는 기본 원리는 서로 약간의 차이가 있는 좌우 영상을 두 눈으로 받아서 뇌가 3차원으로 인식하는 것이다. 이러한 원리를 이용하여 ISO/IEC 산하의 MPEG에서는 <그림 1>과 같은 시스템을 정의하고 표준화 작업을 진행하고 있다. 이 시스템은 N 대의 다시점 카메라를 이용하여 획득한 색상 영상과, 깊이값 예측이나 깊이 카메라를 이용하여 얻은 깊이 영상을 동시에 압축하여 전송한다. 수신단으로 전송된 색상 영상과 깊이 영상은 디스플레이 장치에 따라 여러 가지 방법으로 재생될 수 있다. 기본적으로 전송된 N 시점 중에서 원하는 시점의 2차원 영상을 자유롭게 선택하여 기존에 사용하던 2차원 재생 장치에서 시청할 수 있다. 또한 다양한 종류의 3차원 디스플레이 장치를 이용하여 재생할 수도 있다. 전송된 N 시점 영상보다 적은 M 시점의 3차원 디스플레이 장치로 여러 시점의 입체 영상을 재생하거나, 시청자의 위치를 파악하여 시청자의 위치에 맞는 시점의 입체 영상을 재생하는 장치(head-tracked stereo display)를 이용해서 시청할 수 있다. 이러한 다양한 디스플레이 장치에 따른 여러 시점의 입체 영상을 재생하기 위해서는 전송된 시점보다 많은 수의 시점을 생성해야 하기 때문에, 수신단에서는 임의의 시점 영상에 대한 시점 합성(view synthesis) 기능을 포함해야 한다.

3D 비디오 부호화의 표준화 현황

MPEG에서는 2002년부터 3차원 오디오 비주얼(3-Dimensional Audio-Visual, 3DAV)이란 이름으로 다양한 3차원 비디오 서비스 환경을 검토했다. 그 중 다시점 비디오 부호화(Multiview Video Coding) 기술의 중요성이 인정되어 MPEG과 JVT(Joint Video Team)을 중심으로 표준안이 개발되었다. 다시점 비디오 부호화의 표준화 작업이 마무리될 즈음에, 3차원 비디오 시스템에 대한 보다 구체적인 표준안이 제정되어야 한다는 요구가 있었다. 이에 따라, 2007년부터 MPEG에서는 자유시점 TV(Free viewpoint TeleVision, FTV)에 대한 표준화 작업을 시작했고, 이어서 3차원 비디오 부호화(3D Video Coding, 3DVC)에 초점을 맞추어 표준화 작업을 진행하고 있다. 2009년 1월 MPEG 회의에서는 3차원 비디오 부호화의 표준안에 대한 기본 개념과 기술의 방향을 제시했다. 2009년 7월 회의부터는 제안요청서(Call for Proposal)에 필요한 실험 조건들을 구체화하기 시작했고, 2010년 1월 회의에서는 테스트 영상의 선정 작업을 시작했다. 이를 바탕으로 앞으로 두 번의 회의를 통해 테스트 환경을 결정하고, 2010년 10월에는 제안요청서(Call for Proposal, CfP)가 배포될 예정이다.

3D 비디오 부호화의 실험 환경

표준화 작업을 진행하기 위해서는 실험 환경이 정의되어야 한다. 이에 2008년 1월 MPEG 회의에서는 3차원 비디오 부호화 표준화를 위한 실험 영상을 요청했다. 이에 대한 응답으로, 2008년 4월 회의에서 4개 연구기관에서 총 10개의 실험 영상이 기고되었다. 2010년 3월 현재까지 깊이 영상을 효과적으로 생성하는 방법과 중간 시점의 영상을 효과적으로 생성하는 다양한 기술들이 소프트웨어로 구현되었다. 반복적인 탐색실험(Exploration Experiments, EE)을 수행하면서 2010년 1월 회의에서 7개의 테스트 영상을 참조 영상으로 선정했고, 나머지 영상에 대해서도 지속적인 실험을 진행하기로 했다. 또한, 테스트 영상이 제공되는 동시에 각 시점에 대한 깊이 영상을 생성하는 소프트웨어(depth estimation reference software, DERS)가 개발되었다. 깊이 영상의 정확도를 향상하기 위한 다양한 기술들이 검토되어 현재 DERS 5.0에 구현되어 있다. 그리고 생성한 깊이 영상을 이용하여 중간 시점의 영상을 생성하는 소프트웨어(view synthesis reference software, VSRS)가 개발되어 현재 VSRS 3.5에 구현되어 있다.

표준화 쟁점사항

향후 MPEG 3DVC 그룹에서는 테스트 영상을 확정하고, 제안요청서를 배포하여 본격적인 표준화 작업을 수행할 것이다. 표준화 작업에서 다루어질 주요 쟁점 사항으로는 3차원 비디오 데이터 형식(data format), 다시점 비디오를 효율적으로 부호화하는 방법, 3차원 비디오 부호화의 화질 평가 방법 등이 있다. 3차원 비디오 시스템은 중간 시점의 영상을 생성하기 위한 깊이 영상을 기본 입력 데이터로 이용하기 때문에 다시점 색상 영상과 다시점 깊이 영상을 동시에 고려한 새로운 3차원 비디오 데이터 형식이 결정되어야 한다. 그리고 3차원 비디오는 다시점 비디오 각각의 부호화 화질도 중요하지만, 합성한 중간 시점의 영상의 화질도 동시에 고려해야 한다. 따라서 보다 객관적인 화질 평가 방법이 결정되어야 한다. 마지막으로, 3차원 비디오는 다시점 색상 영상과 다시점 깊이 영상을 동시에 부호화해야 하기 때문에 두 가지 다른 형식의 데이터를 효과적으로 부호화해야 한다. 앞에서 언급했듯이, 2010년 10월에 3차원 비디오 부호화 기술에 대한 제안요청서가 배포되면 국내외 여러 기관에서 치열한 기술 경쟁을 벌일 것으로 예상되며, 국내의 많은 기관의 큰 관심과 적극적인 참여가 요구된다.