끊임없이 변화하는 미디어 환경에서 요구되는 다채로운 사항들을 만족할 수 있는 새로운 개념의 미디어 부호화 기술의 중요성이 높아짐에 따라, 멀티미디어 분야의 국제 표준화 단체인 MPEG에서는 여러 다양한 표준들을 처리할 수 있는 재구성 가능한 영상 부호화(Reconfigurable video coding, RVC) 기술 프레임워크의 표준 활동을 개시하였다. RVC의 목적은 현존하는 MPEG 부호화 표준들로부터 도출된 디코딩 기능들을 모듈화하여 포함하는 ‘툴박스(Tool-box)’를 가지고 있는 프레임워크를 제공하는 것이고, 또한 향후 새로운 디코딩 기능 모듈들을 툴박스에 추가하여 다양한 코덱을 지원할 수 있는 환경을 제공해 주는 것이다. 이러한 인코딩/디코딩기능을 사용하여 RVC 프레임워크는 여러 오디오/비디오 코덱을 구성할 수 있다.

RVC 프레임워크의 구조

그림 1은 송신/수신단의 개념을 적용하여 RVC 프레임워크의 가장 기본적인 구성 예를 나타내고 있다. 이 그림에서는 RVC 디코더가 수행되기 위해 필요로 하는 두 종류의 정보가 나타나 있다. 디코딩을 수행하기 위해서, RVC 프레임워크로 구성된 디코더는 인코딩된 영상 데이터(Encoded Video Data)에 더해 추가적인 정보를 필요로 한다. 이 추가적인 정보는 해당 데이터의 부호화 방식에 관한 정보인 디코더 디스크립션(Decoder Description, DD)으로, 인코딩된 데이터의 비트스트림 구문 처리 과정과 디코딩 과정에서 사용되는 각종 디코딩 기능들의 순서와 상호관계에 대해 설명하고 있는 데이터이다.

<그림 1> RVC 프레임워크

그림 2는 위 그림에서 수신단(Receiver)의 내부구조를 나타내고 있는 그림이다. 그림 1과 같이, 수신단으로는 인코딩된 영상과 함께 디코더 디스크립션이 전달되고 있음을 볼 수 있다. 그러나 RVC 디코더로 전달된 디코더 디스크립션은 비트스트림과 함께 전송된다는 특성상, 보다 작은 용량으로 압축되는 것이 바람직하다. 따라서, RVC 디코더가 이 같은 압축된 디코더 디스크립션을 바탕으로 디코더를 구성하기 위해서는 디코더 디스크립션을 사용하기 전에 압축을 해제할 필요가 있다. 그 결과로 얻어진 디코더 디스크립션은 앞서 언급하였듯 비트스트림에 대한 정보와 디코딩 과정에서 사용되는 기능들에 대한 정보를 포함하게 되며, 이는 각각 비트스트림의 파싱(Parsing) 방법을 설정하고 사전에 디코더의 ‘툴박스’에 내장된 여러 가지 디코딩 기능 모듈들을 선택 및 배치하여 완성된 디코더를 제작하는 데에 사용된다.

<그림 2> 디코더 디스크립션을 바탕으로 디코더를 구성하는 과정

위에서 언급한 ‘툴박스’란, 이름 그대로 ‘공구함’의 개념으로 볼 수 있다. 툴박스는 디코더에서 사용될 가능성이 있는 여러 가지 디코딩 기능 모듈들을 모아 놓은 저장 공간 또는 하드웨어 리소스라고 간주할 수 있으며, 이 툴박스에 내장되는 각각의 디코딩 기능 모듈들은 FU(Functional Unit, 기능 유닛)이라고 부른다. 그림 3에서 보여지듯, 툴박스에는 다양한 종류의 디코딩 기능들이 내재되어 있고, 실제 디코딩 수행 시에는 디코더 디스크립션을 참조하여 그 중 일부 FU가 선택되어 사용되게 된다. 이와 같이 툴박스에서 선택된 FU들과 각 FU간의 순서 및 데이터 처리 흐름에 대한 정보를 기록한 디코더 디스크립션, 그리고 디코더 디스크립션을 참조하여 만들어진 비트스트림 파서 FU를 조합함으로써 하나의 디코더가 완성될 수 있다.

<그림 3> 툴박스에 내장된 FU

RVC 표준화 기술

위와 같은 기술적 내용들은 현재 국제표준화단체인 MPEG(ISO/IEC JTC1/SC29/WG11)의 비디오 그룹 산하 RVC 임시그룹(Ad Hoc Group)에서 지속적으로 논의되고 있으며, 현재 RVC 임시그룹의 의장직은 한양대학교 장의선 교수가 표준화 초기 단계부터 임하고 있다. 이러한 표준화 기구의 틀 안에서, RVC 기술은 현재 다음과 같은 세 가지 국제 표준안의 관점에서 논의되고 있다.

Ÿ ISO/IEC 23001-4 MPEG-B Part 4. Codec Configuration Representation(CCR)
CCR 표준은 주로 디코더 디스크립션을 기술하기 위한 언어(Decoder Description Language, DDL)과 그것을 이용한 RVC 프레임워크의 구성 방식을 다루기 위한 표준이다. DDL은 디코더 디스크립션을 기술하기 위한 언어 체계로, 현재 한양대학교가 제안한 CDDL(Compact Decoder Description Language)과 스위스 EPFL이 제시한 XML-based DD 등 2종류의 후보 기술이 표준화 선 상에 놓여 있다.
2007년 10월 Committee Draft(CD) 단계에 진입하였다.

Ÿ ISO/IEC 23002-4 MPEG-C Part 4. Video Tool Library(VTL)
VTL 본 국제 표준은 영상의 인코딩, 디코딩에 사용되는 다양한 툴들을 정의하는 표준으로, RVC 프레임워크 내 tool-box에 포함된 툴들을 기술하는 표준이다. 상기 표준 또한 2007년 79차 MPEG 회합에서 working draft 3.0이 작성되었다. 현존하는 MPEG 표준들에서 사용중인 툴들을 functional unit(FU) 단위로 모듈화하여, EFPL에서 제안한 프로세스 설계 언어인 caltrop actor language(CAL)를 기반으로 각 FU의 입력/출력 데이터와 수행을 제어하는 입력/출력 신호, 수행 알고리즘을 정의한다.
이 또한 CCR과 마찬가지로 2007년 10월 CD 단계에 진입하였다.

Ÿ RVC FU Conformance Testing(표준번호 미정)
그 외에도 MPEG-C VTL 표준에 따라 개발된 FU의 표준 적합성 여부를 검증하기 위한 FU Conformance Testing 관련 표준 기술 또한 개발이 진행되고 있다. 이 표준안은 현재 ISO 국제표준 번호를 받지 않은 채 Working Draft(WD) 단계에 있으며, 향후 독자적인 표준안으로 진행될지 또는 VTL의 일부로 통합될지에 대해서는 지속적인 논의가 이어질 예정이다.

위의 여러 가지 기술들 가운데, DDL을 표현하는 방식(언어 시스템)에 대해서는 현재 MPEG 내에서 두 가지 기술이 경합 중이다. 한양대학교에서는 디코더 디스크립션을 효율적으로 표현하기 위한 언어로서 Compact Decoder Description Language(CDDL) 언어 시스템과 이에 대응하는 RVC 프레임워크 구성 기술을 제안하고 있으며, 스위스의 로잔연방공과대학(EPFL)에서는 프로그래밍 언어의 일종인 Caltrop Actor Language(CAL)와 XML 기반 DD를 중점으로 하는 RVC 프레임워크를 제안하고 있다.

최근 쟁점 기술

VTL 표준은 대체적으로 기존에 존재하는 MPEG(또는 비 MPEG) 코덱으로부터 디코딩 기능을 추출하여 FU로 만드는 작업을 중심으로 한 표준화가 진행되고 있다. 이에 비해, CCR 표준의 경우 프레임워크 구성 기술에 있어 현재 두 가지 기술이 경쟁하고 있다. 보다 구체적으로, 최근 경쟁이 일어나고 있는 분야는 디코더 디스크립션을 기술하는 방법에 대한 부분이다. 이 분야에서 앞서 CCR 표준화 함께 간략히 설명한 CDDL 기술 및 XML-based DD 기술이 경합 중이다.

CDDL 기술의 경우 크게 비트스트림 구문 파싱 과정의 구축과 FU 간 연결 구조 구축이라는 두 가지 관점에서 기술이 구성되어 있다.

CDDL 기반 프레임워크에서 비트스트림 구문 파서의 구성은 툴박스에 내장되어 있는 범용 구문 파서(Generic Syntax Parser FU)를 이용하여 이루어진다. 범용 구문 파서는 유한상태기계(Finite State Machine, FSM)를 응용한 구조로 설계되어 있으며, 디코더 디스크립션으로부터 읽어들인 정보에 따라 전체 비트스트림을 해석하기 위한 가상 FSM(Virtual FSM)을 구성하게 된다. 그림 4는 범용 구문 파서의 구조와 디코더 디스크립션 테이블들의 적용지점을 보여준다. CDDL 디코더 디스크립션은 복수의 테이블에 정보를 나누어 저장, 활용하는데, 그림 4에서는 SET, SRT, CSCIT, DVT 등의 테이블이 FSM 구성을 위해 사용되고 있음을 볼 수 있다.

<그림 4> 가상 FSM 구조

FU의 연결 구조는 데이터 흐름을 중심으로 구성된다. 한 FU의 출력으로부터 다른 FU의 입력으로는 연결 관계가 형성될 수 있으며, 이러한 연결 관계가 존재하는 FU 간에는 포트(Port)를 통하여 데이터를 주고받을 수 있다.

그림 5는 FU 연결 구조의 구성을 나타낸다. 여기에서도 CDDL 디코더 디스크립션의 테이블 4종류가 사용되어 전체 FU 연결 구조를 형성하는 과정을 볼 수 있다. 예를 들어, FT는 어떠한 FU가 Toolbox로부터 로드되어야 하는지를 지정한다. 그 밖에도 로드된 FU를 가동하기 위한 일부 사전 지정 파라미터는 PT로부터 로드되며, 하나의 FU로부터 다른 FU로의 연결 관계는 FLT에 의해 설정되고, 설정된 연결을 통해 오가게 될 정보의 포트 구성은 FU-CSCIT에 지정된 바에 따라 이루어진다.

<그림 5> FU Network의 구성

향후 표준화 전망

MPEG은 표준화를 위해 검증되어야 할 기술들에 대한 실험을 Core Experiment(CE)라고 하여, 이에 대한 결과를 매회 회합 때마다 보고하고 있다. 차기 MPEG 회합 때까지 한양대학교/Humax가 제안한 기술은 계속 CE의 주제로서 진행될 예정이고, 또한 한양대학교/Humax가 제안한 CDDL 기술이 관련된 디코더 디스크립션의 압축 관련 기술 부문은 다음 회합까지로 최종 결정이 미루어져 있는 상황이며, EPFL 측이 제기하여 온 MPEG BiM 기술과의 비교실험을 통해 내년 1월 표준에 채택할 기술을 최종 결정할 예정이다.

디코더 디스크립션의 압축을 위해 한양대학교에서는 앞서 설명한 CDDL 기반 디코더 디스크립션을 이진 표현(Binary Representation)을 통한 압축 기술을 제안하였으며, 그 외에 XML 전용 압축 방법인 MPEG BiM이 표준화 기술로 제안되어 있다. 이번 CE는 차기 MPEG 미팅까지 이 두 가지 기술의 압축 효율과 압축된 디코더 디스크립션의 부분전송 등 효율적 활용 가능성에 대한 내용을 포함하고 있다.

그 밖에도 향후 RVC에는 DD의 전송 방식에 대한 연구 및 기능 개선 작업, 비 MPEG 동영상 부호화 표준들에 대한 프레임워크의 호환성 확보, 그리고 FU들의 정상적 구현 여부를 검증하는 데 필수적인 Conformance Testing 관련 기술의 표준화 등 다양한 부문에서 신규 기술 개발 및 표준화가 이루어질 가능성이 남아 있다.

장래 비전

지금까지의 비디오 표준화 기술들은 자신들의 고유 영역에서 활용되었다. 그러나, 앞으로는 데이터 형식이나 활용분야에 국한되지 않고 하나의 디지털 미디어 기기에서 다양한 형식의 콘텐츠를 재생 가능한 환경이 도래할 것이다.

또한 대외적으로 중국 자체의 동영상 압축 표준인 AVS(Audio Video Standard) 측이 RVC 표준화 미팅에 적극적으로 참여하고 있으며, 이에 자극을 받은 MPEG은 AVS 외에도 VC-1을 표준화한 SMPTE 등 외부 동영상 표준 기술들에도 연대 가능성을 타진하고 있다.