CDVS(compact descriptor visual search) 진행사항

CDVS는 모바일 환경에서 영상검색(visual search)을 하기 위해 간략(compact)하면서도 확장성(scalability) 있는 강인한(robust) 서술자의 표준화를 목표로 하고 있다. 91차 MPEG Kyoto 회의에서 처음 제안된 이후 수차례의 회의를 거쳐 지난 7월에 있었던 97차 MPEG Torino 회의에서 CDVS 표준에 대한 요구조건이 담긴 Call for Proposal과 경쟁을 위한 실험을 위해 필요한 Evaluation Framework가 정식으로 발표되었다. 또한 지난 11월과 12월에 걸쳐 실시되었던 98차 MPEG Geneva 회의에서 각 기관들의 경쟁을 통하여 최종적으로 가장 좋은 성능을 나타낸 Telecom Italia의 기술이 TM(Test model)로 선정되었다. 99차 MPEG San Jose 회의에서는 CEs(Core Experiments)에 대한 논의가 이루어졌고 각 CEs에 대한 설명은 <표 1>과 같다. 현재 시점에서의 표준화 일정은 아래 <표 2>와 같지만 일부 지연될 가능성은 존재한다.

<표 1> Core Experiment

(출처: Video Subgroup, 'Description of Core Experiments on Compact descriptors for Visual Search', ISO/IEC JTC1/SC29/WG11 N12551, 2012/02.)

<표 2> CDVS 표준화 일정

(출처: Video, 'Request for Subdivision of ISO/IEC 15938: Part 13 - Compact Descriptors for Visual Search', ISO/IEC JTC1/SC29/WG11 N12549, 2012/02.)

CDVS 표준화 경쟁 참여국가 및 기관

현재 제안국가인 미국에서 스탠포드대의 Girod 교수팀을 비롯해 Qualcomm, Nokia, Aptina, Huawei 등이 참여하고 있고 영국의 미쯔비시, 이태리의 STM 반도체, Telecom Italia 그리고 중국의 북경대, 일본의 NEC 등이 참여하고 있으며 한국에서는 ETRI를 중심으로 해서 인하대와 세종대 연합팀과 삼성이 참여하고 있다. 주제가 매우 실용적이고 산업적 응용이 다양하여 앞으로도 국내외의 다양한 연구기관이나 통신서비스 회사 등이 추가로 참여할 것으로 예상된다.

CDVS 의 기본개념

<그림 1> CDVS 개념도

(출처: Bernd Girod, Vijay Chandrasekhar, Radek Grzeszczuk, Yuriy A. Reznik, “Mobile Visual Search: Architectures, Technologies, and the Emerging MPEG Standard,” IEEE Multimedia, vol. 18, no. 3, pp. 86-94, July-September 2011.)

<그림 1>은 CDVS의 개념도이다. (a)는 모바일 장치에서 질의 영상을 서버로 전송해서 영상 검색에 관한 모든 작업을 서버단에서 처리하는 방법을 나타낸다. (b)는 영상에 대한 서술자를 모바일 장치에서 추출 후 서술자만을 서버로 전송하여 영상 검색을 하는 시스템이다. 마지막으로 (c)는 모바일 장치가 로컬 데이터베이스를 가지고 있어서 모바일 장치 내에서 추출된 서술자를 로컬에서 처리하여 영상 검색을 하고 만약 결과를 찾지 못하였다면 서술자를 서버로 전송하여 최종 결과를 얻는 시스템을 나타낸다.

CDVS 의 CfP주요내용

CDVS 표준을 위해서는 다음과 같은 사항이 보장되어야 한다.

- 영상 검색 응용 프로그램과 데이터베이스의 상호운용성

- 높은 수준의 구현 성능

- 영상 검색 응용 프로그램을 위한 추출과 정합의 간결한 설계

- 모바일 장치에서의 서술자의 추출과 정합의 하드웨어 구현 용이성

- 영상 검색을 위한 무선 네트워크 사용 부하 축소

또한 <표 3>과 같은 요구조건을 만족해야 한다.

<표 3> CDVS 요구조건

CDVS 의 활용 방안

1. Mobile visual search

모바일 기기로 사진을 찍었을 때 사진 속의 내용을 CDVS로 전환하여 관련 정보를 서버로부터 제공받는다.

<그림 2> MVS: 책의 내용을 사진기로 찍으면 관련 비디오를 찾아서 보여준다.

2. Mobile augmented reality applications

이 경우는 실제 사진을 찍을 필요가 없이 모바일 기기를 관심 있는 장소로 향하기만 하면 주요 대상물에 대한 CDVS를 추출하여 관련정보를 화면 상에 부가정보로서 보여준다.

<그림 3> Mobile Augmented Reality의 예

3. TV, IPTV–related applications

TV에 보여지는 장면에서 궁금한 영역을 선택하면 해당 건축물이나 대상물에 대한 CDVS를 추출하여 관련정보를 화면에 보여주는 경우이다.

<그림 4> IPTV 관련 응용의 예

4. Web–related applications

Web content에 visual search 기술을 적용하는 경우이다. 서버에는 많은 영상과 각 영상에서 추출한 CDVS 데이터가 저장되어 있다고 가정한다. Query는 client device에 저장돼 있거나 web 상에서 찾아낸 정지 영상으로부터 추출한 CDVS 정보를 가지고 한다.

<그림 5> Web과 연관된 응용의 예

결 언

2012년 3월 현재 CDVS는 Test Model을 선정하고 6개 분야의 Core Experiment를 개설한 단계에 있다. 이것을 기반으로 다음 회기 때 각 Core Experiment 분야의 우수한 알고리즘들이 선정되어 Test Model이 업그레이드 될 예정이다. 국내의 관련 전문가들이 좀 더 관심을 가지고 CDVS 표준화 활동에 적극 참여하여 우리 기술을 국제표준에 많이 반영할 수 있기를 기대해 본다.