3차원 비디오 부호화의 필요성과 국제 표준화 작업

3차원 비디오는 2차원 비디오에 깊이감을 더하여 사용자에게 입체감 있는 영상을 제공한다. 3차원 비디오를 만들기 위해서는 다시점 카메라로 획득한 색상영상과 깊이영상이 필요하다. 모든 시점에서의 카메라 촬영은 불가능하기 때문에 다시점 색상영상과 깊이영상의 데이터로 가상시점에서의 영상을 합성하는 것이 필요하다. 색상영상과 깊이영상을 모두 부호화할 경우에 데이터양은 시점 수에 따라 선형적으로 증가하기 때문에 효율적인 압축 기술이 중요하다. 3차원 영화와 3차원 TV를 위한 3차원 비디오 부호화의 중요성 때문에 이를 위한 국제 표준화 작업이 활발히 진행되고 있다.

ISO/IEC 산하의 MPEG(Moving Picture Experts Group)과 ITU-T 산하의 VCEG(Video Coding Experts Group)은 JCT-3V(Joint Collaborative Team on 3D Video Extension Development) 그룹을 만들어 AVC 기반(3D-AVC)과 HEVC 기반(3D-HEVC)의 3차원 비디오 부호화에 관련된 기술을 평가하여 새로운 국제 표준을 만들고 있다. MPEG 3차원 비디오 코딩(3D video coding, 3DVC) 그룹의 활동을 이어 진행되고 있는 JCT-3V는 2012년 7월에 첫 회의가 열렸다. 현재 진행하고 있는 3D-AVC와 3D-HEVC의 표준화는 각각 2013년 11월과 2015년 1월에 최종적으로 완료될 예정이다.

부호화 기술 평가 방법

부호화 기술을 평가하기 위해서는 공통된 평가 방법이 필요하다. 3D-AVC와 3D-HEVC 부호화 기술은 공통적으로 총 7개의 테스트 시퀀스를 사용하여 실험한다. 이 중에 4개의 시퀀스는 1920x1088 해상도, 나머지 3개의 시퀀스는 1024x768 해상도를 갖는다. 이 중 핀란드 Nokia에서 제공한 “Dancer”와 “GT_Fly” 시퀀스는 깊이 정보를 컴퓨터 그래픽스로 만들었다.

3D-AVC는 26, 31, 36, 41의 QP 값을 사용하는데 이는 색상영상과 깊이영상에 공통적으로 적용된다. 반면에 3D-HEVC에서는 깊이영상에 사용되는 QP가 색상영상에 사용되는 QP보다 높다. 미리 상관관계 테이블을 만들었는데, 색상영상에 사용되는 QP 값은 25, 30, 35, 40이며, 깊이영상에서는 34, 39, 42, 45를 사용한다.

3-시점의 색상영상과 깊이영상을 부호화한 이후 6개의 가상시점 합성영상을 생성해 평가를 수행한다. 이를 위해 영상의 PSNR을 계산해 이를 비트율에 대조해 BD-BR (%) 값으로 나타낸다.

AVC-기반 3차원 비디오 부호화 (3D-AVC)

3D-AVC는 3DV-ATM이란 참조 소프트웨어를 사용하고 이는 H.264/AVC의 참조 소프트웨어인 JM을 바탕으로 만들어졌다. 기준 시점을 0이라 하고, 두 개의 참조 시점을 1과 2로 나타낸다면, 부호화 순서는 T0-D0-D1-D2-T1-T2가 된다. 여기서 T와 D는 각각 색상영상과 깊이영상을 의미한다. 이 구조는 깊이 우선 부호화(depth first coding)라고도 한다.

3D-AVC는 깊이영상을 부호화할 때 다운샘플링된 깊이영상을 이용한다. 색상영상에 비해 상대적으로 단순한 깊이영상은 정확한 부호화 중요도가 떨어지기 때문에 이를 저해상도에서 부호화하여 비트율을 줄인다. 3D-AVC에서 색상영상의 부호화를 위한 기술로는 깊이정보 기반 움직임 벡터 예측(depth-based motion vector prediction, DMVP), 적응적 밝기 보상(adaptive luminance compensation, ALC) 등이 있다. 깊이정보 기반 움직임 벡터 예측은 같은 시점에서 먼저 부호화된 깊이영상의 움직임 정보를 이용해 색상영상에서의 움직임을 예측하는 것이다. 적응적 밝기 보상은 시점 차이 때문에 발생하는 색상정보 오차를 줄이기 위해 사용된다.

깊이영상의 부호화를 위한 기술로는 시점간 깊이 필터링(in-loop joint inter-view depth filtering, JVDF), 색상-깊이 움직임 예측(motion prediction from texture to depth) 등이 있다. 시점간 깊이 필터링은 시점간 존재하는 깊이정보의 불규칙함을 보상한다. 색상-깊이 움직임 예측은 기준 시점에서 먼저 부호화한 색상영상의 정보를 이용하여 깊이영상에서의 움직임 예측에 사용하는 것이다. <그림 1>은 3D-AVC에서 깊이영상의 부호화의 순서도를 나타낸다.

<그림 1> ATM에서 깊이영상 부호화 순서도

(출처: ITU-T/ISO/IEC JCT3V-C1003)

HEVC-기반 3차원 비디오 부호화 (3D-HEVC)

3D-HEVC는 HEVC의 참조 소프트웨어인 HM을 바탕으로 만들어진 3DV-HTM을 사용한다. 부호화 순서는 3D-AVC와는 다르게 T0-D0-T1-D1-T2-D2로 이루어져 있다. 이는 색상 우선 부호화(texture first coding)라고도 한다. <그림 2>는 3DV-HTM에서의 부호화 및 예측 구조를 나타낸다. <그림 2>에서 파란색으로 표시된 기준 시점의 색상영상은 HEVC와 동일하게 부호화되지만, 나머지 영상들은 시점간, 색상-깊이 정보를 이용한 예측 기술이 추가된 부호화 모델을 이용하게 된다. 3D-AVC와 구조상 또다른 차이점은 색상영상과 같은 해상도의 깊이영상을 부호화하는 것이다. 이 구조는 2011년 11월 회의 때 진행되었던 테스트 모델 종합 평가에서 채택된 이후 유지되었고 많은 기술이 이를 바탕으로 설계되었다.

<그림 2> 3DV-HTM에서의 부호화 및 예측 구조

(출처: ITU-T/ISO/IEC JCT3V-C1005)

색상영상 부호화를 위한 기술로는 변위 보상 예측(disparity-compensated prediction, DCP), 시점간 움직임 예측(inter-view motion prediction) 등이 있다. 변위 보상 예측은 시점간 변위값을 이용해 예측한 정보를 기존의 움직임 보상 예측(motion compensated prediction, MCP)과 비교하여 둘 중에 더 좋은 모드를 사용한다. 시점간 움직임 예측은 이미 부호화된 시점의 변위 벡터를 이용하여 참조 블록을 찾아 움직임 정보를 예측한다.

깊이영상 부호화를 위한 기술로는 깊이 모델링 모드(depth modeling modes, DMM), 깊이 쿼드트리 예측(depth quadtree prediction) 등이 있다. 깊이 모델링 모드는 기존 인트라 예측 모드에 추가하여 깊이영상에서의 영역간 경계를 정확히 부호화한다. 깊이 쿼드트리 예측은 깊이영상은 색상영상보다 단순함을 고려하여 깊이영상의 쿼드트리를 색상영상의 쿼드트리보다 제한시키는 것이다.

<그림 3> 깊이 쿼드트리 예측

(출처: ITU-T/ISO/IEC JCT3V-C1005)

현재 JCT-3V에서 작업하고 있는 3차원 비디오 부호화 표준은 방송과 비디오 서비스에 널리 사용될 것으로 예상되며, 국내외 기업 및 학계에서의 적극적인 참여가 지속적으로 이루어지고 있다.