3차원 비디오 압축 표준화의 필요성과 목적

3차원 비디오는 2차원 비디오와는 달리 사용자에게 3차원 장면의 깊이감을 제공하여 보다 실감나는 영상을 제공한다. 사용자가 입체감을 느끼는 기본 원리는 서로 약간의 차이가 있는 좌우 영상을 두 눈으로 받아서 뇌가 3차원으로 인식하는 것이다. 3차원 비디오 부호화(3DVC: 3D Video Coding)의 표준화 목적은 고화질의 합성영상을 위한 데이터 형식(data format)을 정의하고, 이에 대한 부호화 기술을 정의하는데 있다.

최근 제96차 MPEG(Moving Picture Experts Group, 2011년 3월 21~25일, 스위스 제네바) 회의에서는 다시점 비디오 영상을 효율적으로 부호화하고 고품질의 중간 영상을 만들기 위한 3차원 비디오 부호화 표준을 만들기 위해 제안요청서(MPEG문서 N12036)가 만들어졌다. 본 고에서는 이 제안요청서에 정의된 내용들을 다루고자 한다.

3차원 비디오 부호화 표준 관련 제안서 작성시 정의되어야 할 요소들

• 테스트 데이터와 분류

표준화 작업을 진행하기 위해서는 실험 환경이 정의되어야 한다. 3차원 비디오 부호화의 입력영상이 되는 다시점 컬러 영상과 깊이 데이터는 YUV 4:2:0 형식을 이용하고, 각 화소당 8비트로 표현한다. 이번 실험에 사용할 테스트 영상은 아래의 표와 같다.

각 테스트 영상은 2시점을 이용한 실험 조건과 3시점을 이용한 실험 조건을 동시에 이용하여 실험해야 한다. 그리고 부호화 방법의 성능을 비교하기 위하여 두 가지의 서로 다른 부호화 방법을 이용할 수 있다.

1) AVC-Compatible: 기존의 H.264/AVC 부호화 표준과의 호환성을 유지하기 위해 다시점 비디오 부호화(multi-view video coding) 방법을 이용하여 성능을 평가한다. 부호화기는 JMVC 8.3.1을 이용한다.

2) HEVC-Compatible & Unconstrained: HEVC와의 호환성을 유지하기 위해 HM2.0을 이용하여 성능을 평가한다.

• 테스트 조건과 변수

3차원 비디오 부호화의 표준화를 위해 기술을 기고할 때 몇 가지 부호화 조건을 만족해야 한다.

1) 입력 영상에 대한 선처리(pre-processing)는 금지

2) 복호단에서의 후처리(post-processing)는 가능, 후처리에 대한 기술은 상세하게 기술되어야 함

3) 양자화 설정(table)은 고정되어야 함

4) 부호화 변수를 수동(non-automatic)으로 설정하면 안됨

3차원 비디오 부호화는 수신단에서 압축된 영상을 복원하여 3차원 영상으로 재현해야 하므로 성능 평가 시에 합성된 중간영상의 주관적 화질을 평가한다. 이를 위한 영상을 합성할 때 다음과 같은 조건을 만족해야 한다.

1) VSRS 소프트웨어를 이용한 영상합성

2) Stereoscopic display와 Auto-stereoscopic display (28view)를 이용하여 테스트하므로 지정된 각 테스트 영상별로 지정된 시점의 영상을 합성해야 한다.

• 제안서 제출시 제출해야 할 자료들

3차원 비디오 부호화 방법을 제안할 때 다음과 같은 사항들을 같이 제출해야 한다.

1) 비트스트림: 제안한 방법을 이용하여 부호화한 비트스트림을 제출해야 한다.

2) 합성영상: 제안한 방법으로 압축한 비트스트림을 복원하고, 복원한 영상을 이용하여 중간시점의 영상을 합성해서 제출해야 한다.

3) 실행파일(binary decoder executable): 직접 실행할 수 있도록 실행파일을 제출해야 한다.

4) 부호화 결과(BDBR, BDPSNR을 이용한 평가): 엑셀 파일에 결과를 정리하여 제출해야 한다.

5) C/C++로 작성된 소스코드 기술: 제안한 방법을 구현한 소스코드를 제출해야 한다.

6) 복잡도 기술: 부호화 시간, 복호화 시간, 렌더링 시간, 메모리 용량

MPEG 3DV 표준화 일정 및 결언

현재 MPEG에서 작업하고 있는 3차원 비디오 부호화 표준은 향후 3차원 실감방송과 가상현실 환경을 구현하는데 핵심적인 영역이므로, 국내 여러 기관들의 큰 관심과 적극적인 참여가 필요하다.