1. 개요

차세대 비디오 부호화(Future Video Coding) 표준을 위하여 구성된 ITU-T VCEG(Q6/SG16)와 ISO/IEC MPEG(JTC 1/SC 29/WG 11)의 협력팀인 JVET(Joint Video Exports Team)에서는 기존의 최신 비디오 압축 표준인 HEVC(High Efficiency Video Coding)/H.265 보다 2배 이상의 부호화 성능을 목표로 한 VVC표준화를 시작하였다. JVET은 제10차 샌디에고 회의에서 기술제안요청(CfP: Call for Proposal)에 응답한 23개 제안 기술의 검토 및 객관적 성능/주관적 화질 평가를 진행하였으며, 그 결과를 바탕으로 VVC의 WD와 시험모델(VTM: Test Model of VVC)을 발간하였다. WD와 VTM은 다수의 기관에서 제안한 기존 JEM(Joint Exploration Model)의 QTBT(Quadtree and Binary Tree)에 TT(Ternary Tree) 구조를 추가한 블록구조를 HEVC에 추가하고, HEVC의 일부 툴을 제거한 형태로 구성되었다. 또한, CfP 제안 기술들의 개별 부호화 툴 평가를 위해 13개의 CE(Core Experiment) 및 13개의 애드혹 그룹이 결성되었다. 이로써 2015년 10월 JVET를 구성하고 약 2년 6개월간의 새로운 부호화 툴의 기술 탐색을 거친 후 2020년 완료를 목표로 한 새로운 비디오 압축 표준인 VVC의 표준화가 본격 시작되었다. VVC는 UHD(Ultra HD)의 고화질뿐만 아니라 360도의 전방위 몰입형 및 HDR(High Dynamic Range) 비디오 서비스를 보편화할 수 있는 표준 비디오 코덱으로 기대되고 있다.

2. 주요 표준화 이슈 및 진행 결과

2.1 CfP 응답 제안서 현황

CfP에 대한 응답으로 32개 기관에서 23개의 제안서가 제출되었으며, SDR(HD/UHD), HDR, 360 비디오 전 분야를 포함한 제안서를 포함하여 분야별로 SDR에 22개, HDR에 12개, 360 비디오에 12개 기술이 제안되어 분야별로는 총 46개의 제안서가 접수되었다. 주요 제안 기관은 미디어텍, HHI, 삼성/화웨이, 퀄컴/테크니컬러 등이며 국내 기관으로는 삼성전자, LG전자, ETRI/세종대가 참여하였다.

2.2 CfP 응답 제안 기술 현황

제안서들의 SW 코덱은 주로(15개 제안서) JEM7에 기반하고 있으며, 1개의 제안서가 HM에 기반하고 JEM을 수정/간략화 한 제안서가 3개, HHI에서 제공한 NextSoftware에 기반한 제안서가 3개, 새로운 SW 코덱을 사용한 제안서가 2개 있었다.

제안 기술들은 코덱의 큰 구조 측면에서 대부분 유사하며, 아래와 같은 기술을 포함하고 있다.

또한, 인공 신경망(NN) 기반의 예측 및 Loop Filtering, 비선형/클러스터 기반 Loop Filter, 선형/비선형 결합 예측 등 새로운 기법도 제시되었으며 이들 기술은 대부분 높은 복잡도를 야기한다.

2.3 제안기술 평가결과

객관적 성능평가에서 우수한 기고들은 SDR에서 HEVC 대비 40%, JEM 대비 10% 이상의 비트 절감의 성능 향상을 보였고, HDR 및 360 비디오에서도 비슷한 성능을 보였다. 보다 많은 기술 요소를 포함한 제안서의 성능이 보다 우수한 성능을 보였으며, 일부 제안서는 JEM 대비 상당한 복잡도/수행시간 단축을 했음에도 JEM와 유사한 성능을 제시하였다.

주관적 화질평가에서는 전반적으로 제안서간 유사한 성능의 경향을 보였으며, HEVC 보다는 명백히 우수한 성능을 확인하였고, JEM 대비 대부분의 포인트(비트율, 시퀀스)에서 우수함을 확인할 수 있었다. [그림1]은 특정 시퀀스에서 4개의 비트율에 대한 각 제안서의 MOS 성능을 나타낸 것으로, 제안서 간 유사한 성능을 보이지만 HM 대비 성능 개선이 확실하며 JEM 대비 다수의 포인트에서 우수한 성능을 보임을 알 수 있다.

 

[그림1] CfP 응답 제안서들의 주관적 화질성능 평가결과

2.4 VVC의 WD 및 VTM/BMS

평가결과 및 제안서 검토를 바탕으로 논의를 통하여 HEVC의 일부 툴을 제거하고(복잡도 대비 성능 고려) 블록구조를 QT+TT로 한 형태로 WD와 테스트 모델 VTM을 결정하였다. 또한, VTM과 함께 추가로 CE에서 제안된 툴의 성능 비교를 위한 보다 나은 성능을 가지는 테스트 모델로 JEM 기반의 BMS(Benchmark Set)을 두기로 했고, CE를 진행하는 동안 제안된 툴의 성능을 BMS에서 tool on/off 테스트를 통하여 확인하도록 하였다.

2.5 향후 개별 툴 평가를 위한 CE 설정

CfP 제안 기술들의 개별 부호화 툴 평가를 위해 13개의 CE(Core Experiment)(CE1: Partitioning, CE2: In-loop filters 등) 및 13개의 애드혹 그룹이 결성되었고, 다음 회의에서 CE 결과를 바탕으로 VVC의 WD 및 VTM이 진행될 예정이다.

 

3. 향후 전망

차세대 비디오 부호화 표준 기술을 탐색하던 JVET에서 CfP 응답 기술들의 평가를 바탕으로 기존 HEVC 대비 2배의 성능을 갖는 새로운 비디오 압축 표준을 VVC로 명명하고 2020년을 목표로 그 표준화를 시작하였다. 그 첫 회의의 주요 결과로 QTBT+TT 구조를 HEVC에 추가하고 복잡도 대비 성능이 낮은 일부 툴을 제거한 형태의 WD와 테스트 모델 VTM을 발간하고, 개별 제안 기술들을 평가하기 위한 13개의 CE를 설정하였다.

현재 제안기술들의 성능을 볼 때 VVC의 표준화는 목표로 한 일정과 성능을 순조롭게 달성할 수 있을 것으로 보이며, 세계 유수 기관들간의 표준 기술/지적권 선점을 위한 치열한 경쟁이 진행될 것으로 예견된다. 국내에서도 기업, 연구소, 대학 등에서 JVET 표준화에 적극 대응하고 있으며, HEVC에서의 경험과 성과를 바탕으로 VVC에서도 표준 기술과 지적권 확보에 연구력을 집중할 것으로 예상된다.