1. Royalty-Free 비디오 부호화 표준화 개요

Royalty-Free 비디오 코덱 및 표준화의 필요성

새로운 국제표준 비디오 코덱인 HEVC(High Efficiency Video Coding)는 UHD(Ultra HD) 비디오의 확산과 함께 UHDTV, 스마트폰, 카메라 등에 광범위하게 채택될 것으로 예상되며, H.264/AVC 보다 훨씬 많은 막대한 로열티가 발생할 것으로 예상된다. 한편, 비디오 스트리밍 등 인터넷 환경에서 비디오 소비가 급격히 증가하고 있으며 여기에는 로열티가 면제(Royalty-Free)된 비표준 또는 사실상 표준(De facto standard) 코덱이 주로 사용되고 있다. MPEG에서는 이러한 인터넷 환경에서의 비디오 서비스를 위하여 특허 권리기간 만료가 임박한 MPEG-1/-2 등 공지 기술을 활용한 Royalty-Free(무료 라이선스, Type-1 라이선싱 조건) 비디오 코덱에 대한 표준화 필요성이 제기되었다.

MPEG Type-1 비디오 코덱 표준 개요

이러한 배경에 따라 2011년 7월 97차 토리노 회의에서 IVC(Internet Video Coding)라는 이름으로 기술제안요청서(CfP: Call for Proposal)가 발간되어 인터넷 및 웹 환경에서의 다양한 비디오 응용 서비스를 위한 Royalty-Free 비디오 코덱 표준화가 본격화 되었다.

현재, Royalty-Free 비디오 코덱인 Type-1 표준은 IVC, WVC(Web Video Coding), VCB(Video Coding for Browser)의 3가지 표준화가 진행 중이다. CfP의 응답으로 중국 대학들(HKUST, Peking 대학, Tsinghua 대학, Zhejiang 대학)은 특허권이 소멸된 MPEG-1/-2에 기반한 기술을 제안하였고, H.264/AVC의 특허권을 소유한 일부 기관들(Apple, Cisco, Fraunhofer HHI, Magnum Semiconductor, Polycom, RIM)은 H.264/AVC의 Constrained 베이스라인 프로파일을 기술을 제안하였다. 이를 바탕으로 전자는 IVC로, 후자는 WVC라는 이름으로 두 트랙의 Type-1 코덱 표준화가 진행되었다. WVC는 기존의 표준을 재활용하는 것으로 작업초안(WD: Working Draft)을 시작으로 표준화가 빠르게 진행되었고, IVC는 테스트 모델인 ITM(IVC Test Model)을 개선하면서 표준기술 개발이 진행되었다. 2013년 1월 제네바 회의에서 Google은 자사의 VP8 비디오 코덱을 기존에 진행 중이던 ITM을 대체할 새로운 IVC의 표준으로 제안하였다. 이러한 표준화 절차 상의 문제와 VP8이 Royalty-Free임을 보장하기 어렵다는 쟁점에 대한 논쟁 끝에 2013년 4월 인천 회의에서 새로운 기술을 수용하기 위한 추가적인 CfP를 발간하였고, 그 다음 회의인 비엔나 회의에서 이에 대한 제안기술로 VP8을 기반으로 한 VCB 표준화가 추가적으로 시작되었다.

2. 최근 표준화 현황 및 쟁점사항

지난 2014년 3월 108차 발렌시아 회의 결과를 중심으로 Royalty-Free 비디오 코덱으로 표준화 중인 WVC, IVC, VCB에 대한 최근 표준화 현황과 쟁점사항들을 살펴보도록 하겠다.

WVC, FDIS 완료

WVC(ISO/IEC 14496-29)는 새로운 표준을 만들지 않고 기존의 H.264/AVC Constrained 베이스라인 프로파일을 무료 표준으로 사용하고자 하는 것으로 특허권자들이 해당 표준의 특허를 무료로 허여하겠다는 특허선언(Patent Declaration)이 무엇보다 중요하다. 하지만 이러한 특허권 선언이 완료되지 않아 최종표준초안(FDIS: Final Draft IS)이 지난 두 번의 회의 동안 지연되었다. 즉, 일부 특허권자는 Royalty-Free인 Type-1 라이선싱을 선언하였고 일부 특허권자는 표준특허를 RAND(Reasonable And Non-Discriminatory) 조건으로 사용할 수 있다는 Type-2 라이선싱을 선언하였다. 또한 일부 특허권자는 특허선언 요청에 응답이 없는 상태이다. 따라서 현재 상태에서 표준초안(DIS)에 대한 NB(National Body)의 코멘트를 반영을 완료하여 FDIS를 진행하고 WVC가 Type-1 표준이 되지 않을 수 있음을 명시하기로 하였다. 이번 회의의 WVC의 기술기고로는 Cisco에서 실시간용 WVC의 무료버전을 구현해서 공개(www.OpenH264.org)했으며 WVC의 지지와 함께 빠른 특허선언을 촉구하였다.

VCB, CD 진행

VCB는 이번 회의에서 위원회초안(CD: Committee Draft)(ISO/IEC CD 14496-31)을 완료하였다. 주된 진행내용은 한양대의 VCB WD 3.0의 문서서술에 대한 코멘트를 반영하는 등 VP8을 기반으로 한 VCB의 WD를 MPEG 표준의 양식에 맞추어 표준문서의 서술과 신택스(syntax) 서술 등을 보완하였다. 또한 VCB를 확장하거나 부호화 성능 및 복잡도 측면에서 기존의 VCB 신택스의 개선이 필요하다는 한양대에서는 기고를 바탕으로 VCB의 확장에 대한 논의가 있었으나 Google에서는 부정적인 입장이었으며 결국 VP8의 확장은 어려운 것으로 결정되었다. CD에 대해서는 NB의 투표가 진행될 예정이며, 또한 VCB의 적합성시험(Conformance Testing)을 위한 Conformance WD를 진행하였다.

IVC 지속적인 성능 개선 진행

이번 회의에서 ITM 8.0의 부호화 성능을 개선하기 위한 기술기고를 바탕으로 성능개선을 위한 표준화 작업이 진행되어 그 결과 ITM 9.0과 WD 2.0을 완료하였다. 기술기고로는 새로운 부호화 툴로 칼라보간 필터(Peking 대학), 인루프 디블록킹 필터(한양대), 계층적 부호화 구조(한국항공대)가 제안되었다. 제안된 툴들에 대한 성능과 제안된 기술이 로열티가 없는 Type-1 기술인지에 대한 검토 논의를 통하여 칼라보간 필터와 비참조 P 프레임을 이용한 계층적 부호화 구조는 ITM 9.0과 WD 2.0에 채택이 되었다. 인루프 디블록킹 필터의 경우 복잡도 개선과 추가적인 성능개선이 요구되어 추가 진행하기로 결정되었다.

중국측을 중심으로 한 IVC 그룹에서는 ITM 7.0 대비 ITM 8.0이 저지연(LD: Low-Delay)과 임의접근(RA: Random-Access) 부호화 모드에서 각각 3.3%와 3.4%의 비트절감의 성능개선이 있었고, 이는 IVC 기준(Anchor) 대비 LR와 RA에서 각각 8.6%와 17.9%의 비트절감이 있음을 보고하였다. 이를 바탕으로 이번 회의에서 CD로의 진행을 추진하였으나 LD에서의 추가적인 성능 개선의 필요성 등으로 이번 회의에서 CD 진행은 보류되었다. 

복수의 Type-1 비디오 표준에 대한 우려

지난 106차 회의에 이어서 이번 회의에도 일본 NB에서는 복수의 Type-1 비디오 표준에 대한 우려를 표명하였다. 즉, VCB와 WVC의 차이는 10% 정도의 부호화 효율의 차이만 있는 것으로 두 표준 중 하나만 진행할 것을 제시하였다. 이에 대해서 WG11은 VCB와 WVC는 모두 Type-1 비디오 표준을 목표로 하고 있지만 현재 두 기술이 SW 및 HW 구현, 부호화 성능, 시장에서의 적용 측면에서 각각의 장점을 가지고 있으므로 어느 하나로 결정하기는 불명확하다는 답을 도출하였다. 결론적으로 복수의 Type-1 이슈에 대한 명확한 정리가 되지 못한 상황이며 현재 상황에서는 Type-1 라이선싱이 불명확한 WVC 보다는 VCB가 유리한 위치에 있는 것으로 판단된다. IVC의 경우 지속적인 성능개선으로 오는 7월 109차 삿포로 회의에서 CD가 진행될 것으로 예상되며 이 경우 최종 Type-1 표준으로 완료될 가능성이 높을 것으로 보인다.

3. 향후 전망 및 국내 기관의 표준화 활동에의 제언

가장 좋은 부호화 성능을 갖는 HEVC가 방송 등의 고품질 비디오 응용에 사용되는 핵심 표준으로 잡을 것으로 예상되지만 H.264/AVC의 예에서 보듯이 H.264/AVC를 뛰어넘는 막대한 로열티가 부과될 것으로 예상된다. 인터넷 환경의 경우 고품질의 비디오를 제공하는 로열티 코덱보다는 인터넷 환경에 대응할 수 있는 적절한 성능의 Royalty-Free 코덱이 활용되는 추세이며 향후 이러한 추세는 더 확산될 것으로 예상된다. 따라서 현재 MPEG에서 표준화 중인 IVC, WVC 및 VCB 등의 Type-1 표준이 향후 인터넷 환경에서 그 활용도가 클 것으로 전망되며, 현재 국내 대학을 중심으로 진행 중인 표준화 활동의 지속적인 진행이 요구된다. 또한 인터넷 비디오 서비스가 확산되는 추세인 만큼 관련 산업계에서도 Type-1 비디오 표준에 대한 적절한 대응이 필요한 시점이다.