3차원 비디오 부호화의 필요성과 국제 표준화 작업

3차원 비디오는 2차원 비디오에 깊이감을 더해 사용자에게 입체감 있는 영상을 제공한다. 3차원 비디오를 획득하기 위해서는 다시점의 색상영상과 깊이영상이 필요하다. 모든 시점에서의 카메라 촬영은 불가능하므로 존재하는 색상영상과 깊이영상의 데이터로 가상시점에서의 합성영상을 생성하는 것이 필수적이다. 색상영상과 깊이영상 모두 부호화되어야 하고 이 데이터양은 시점 수에 따라 선형적으로 증가하기 때문에 효율적인 압축 기술이 중요하다. 따라서 이러한 기술에 대한 개발 및 표준화를 MPEG(Moving Picture Experts Group) 국제 표준화 회의에서 활발히 다루고 있다.

4K 혹은 8K UHDTV(Ultra High-Definition TV) 영상은 매우 높은 해상도를 갖는 영상을 재생할 수 있다. 하지만 단일 시점에서 촬영된 영상만을 보여준다는 것과 시청자가 다른 시점에서 촬영된 영상을 선택할 수 없는 제약이 존재한다. 자유 시점 제한 문제는 아직까지 우리가 실생활에서 볼 수 있는 것처럼 완벽하게 볼 수 없다는 문제점을 나타낸다. 시청자들에게 자유로운 시점 영상을 제공하기 위해 MPEG에서는 자유시점 TV(Free-viewpoint TV, FTV) 그룹을 만들어 첫 회의를 2014년 7월에 가졌으며 현재도 활발히 진행 중이다. 초다시점 영상(Super multi-view, SMV)과 자유 탐색 영상(Free-navigation, FN) 기술의 초기 기술 평가 방법은 2015년 10월 회의에서 확정될 예정이다.

초다시점 영상(Super multi-view, SMV)

시청자에게 다양한 시점의 영상을 제공하기 위해서는 그만큼 많은 수의 카메라로 촬영한 정보를 전달해야 한다. 초다시점 영상은 일반적으로 80개에서 120개 정도의 카메라로 촬영한 영상을 의미한다. 하지만 이 모든 시점의 데이터를 전송하는 것은 대역폭 측면에서 불가능하다. 따라서 이를 해결하기 일부 영상만을 압축해서 전송하고 수신부에서는 받아들인 정보를 기반으로 다른 시점의 영상을 복원한다. 따라서 초다시점 영상 시스템은 높은 압축 효율을 보유하며 카메라를 통해 촬영한 영상 정보의 손실 최소화를 목표로 하고 있다.

복호기에서는 받아들인 시점 영상의 정보를 이용하여 인접 시점 영상을 복원하며 화질 또한 원본 영상에 비해 크게 떨어지지 않아야 한다. 가장 높은 성능을 내는 부호기는 HEVC(High Efficiency Video Coding)이며 이의 다시점 영상 확장 버전(MV-HEVC), 3차원 영상 확장 버전(3D-HEVC) 등도 개발되었다. 기초 실험으로써 이 부호기들을 이용해 초다시점 영상의 일부 시점 부호화 및 나머지 시점 복원을 진행하였으나 높은 효율을 낼 수 없었다. 따라서 초다시점 영상에 이용할 수 있는 부호기는 차세대 기술 및 기존 부호기의 획기적인 개선 등이 필요할 전망이다.

<그림 1>은 초다시점 영상에 사용되는 80-시점 혹은 그 이상의 카메라를 나타내며, 카메라 배열은 선형 구조 또는 아크형 구조를 이용하게 된다. 초다시점 영상의 실험 영상으로는 일본의 Nagoya 대학에서 제공한 80-시점의 “Champagne Tower”와 “Pantomime”이 있고 이는 선형 카메라 구조를 이용하였다. 헝가리의 Holografika사는 컴퓨터 그래픽스(CG)를 사용한 91-시점의 “Big Buck Bunny”와 “Big Buck Butterfly”를 제공하는데 이는 아크형 카메라 구조 기반이다.

<그림 1> 초다시점 영상 시스템의 카메라 배열

(출처: ISO/IEC JTC1/SC29/WG11 m36580)

자유 탐색 영상(Free-navigation, FN)

자유 탐색 영상은 <그림 2>에서 보이는 것과 같이 카메라 사이의 간격을 넓게 할 수 있도록 6개에서 10개 정도의 카메라를 사용한다. 자유 탐색 영상의 목적은 임의 시점에서의 영상을 생성하여 시청자가 자유롭게 공간을 탐색할 수 있게 하기 위함이다.

<그림 2> 자유 탐색 영상 시스템의 카메라 배열

(출처: ISO/IEC JTC1/SC29/WG11 m36580)

자유 탐색 영상은 인접한 카메라 정보를 이용하여 다양한 임의 시점 영상을 생성할 수 있어야 한다. 자유 탐색 영상에서 이용되는 카메라 구조는 초다시점 영상 카메라 구조에 비해 시점 간 연관성이 많이 낮기 때문에 합성되는 영상의 화질 또한 떨어진다.

기존 합성 기술은 3D-HEVC 내 합성 방법을 널리 이용하는데 이를 자유 탐색 영상에 적용했을 때는 성능이 높지 않다. 이는 기존 방법이 선형적이고 좁은 간격의 카메라 구조를 고려하여 개발되었기 때문이다. 영상의 부호화 방법이 HEVC 기반에서 변경되면 합성에 이용할 수 있는 정보도 달라질 수 있는데 따라서 부호화 방법 및 합성 방법은 같이 검토되어야 할 것이다.

자유 탐색 영상의 실험 영상으로써 벨기에의 Hasselt 대학에서는 8-시점의 “Soccer-linear 2”와 7-시점의 “Soccer-corner”를 제공한다. 전자는 평행형 카메라 배열, 후자는 아크형 카메라 배열이며 각 카메라가 이루는 각도는 120°이다. 폴란드의 Poznan 대학에서는 아크형 카메라 배열을 이용하여 10-시점의 “Poznan Block”을 제작하였으며 카메라 배열의 각도는 100°이다. 마지막으로 Holografika사에서 91-시점의 “Big Buck Bunny Flower”을 제공하며 이 영상 또한 마찬가지로 아크형 카메라 배열을 이용하며 카메라간의 배열 각도는 45°이다. 시점은 91개지만 그 중 7개의 시점만 따로 빼내어 이 시점 정보들만 이용하게 된다. 실험 환경 및 영상의 최종 결정은 2015년 10월에 열리는 113차 MPEG 회의에서 검토될 예정이다.

초다시점 영상과 자유 탐색 영상은 2018년 평창 동계올림픽과 2020년 일본 도쿄 하계올림픽에서 중계를 매우 실감나게 할 수 있을 것이다. 이를 위해 국내외 학계 및 기업에서는 지속적으로 이에 관련한 연구 및 개발을 진행할 예정이다.