CDVS(Compact Descriptors for Visual Search) 진행사항

CDVS란 서술자(descriptor)를 최대한 간략하게(compact) 만들어서 영상검색(visual search)에 효율적으로 이용할 수 있도록 하는 기술을 말한다. 이러한 CDVS 기술에 대한 국제 표준을 제정하기 위한 작업이 MPEG-7 Video Subgroup에 의해 진행되고 있다. 지난 1월의 91차 MPEG 교토 회의에서 스탠포드대와 퀄컴 그리고 인텔 연합팀에 의해 처음 제안된 MVS(Mobile Visual Search)를 mobile 단말기뿐만 아니라 보다 다양한 기기에서 사용할 수 있게 한다는 의미에서 개념을 확대하고 제목도 CDVS로 바꾸었다. 관련 요구 조건 등에 대한 토론을 거쳐서 4월 92차 MPEG 드레스덴 회의와 이번 7월 93차 제네바 회의 동안 MPEG Requirements 그룹과의 합동 회의와 수 차례의 MPEG-7 Visual 전체회의를 거쳐서 MPEG 정식 의제로 채택이 되었다. 따라서 10월에 있을 94차 광저우 회의에서는 정식 CE 문서가 채택될 것으로 예상되고 있다. 아울러 CE에 사용될 DB 구성도 광저우 회의에서 마무리 짓기 위해 여러 나라 대표들이 분주히 움직이고 있다.

CDVS 표준화 경쟁 참여국가

현재 제안국가인 미국에서 스탠포드대의 Girod 교수팀을 비롯해 인텔, 퀄컴, Texas Instrument, Ricoh(USA) 등이 참여하고 있고 일본의 캐논, 영국의 미쯔비시 유럽, 프랑스의 TechniColor와 INRIA, 스위스의 ETH Zurich, 이태리의 STM 반도체, 그리고 독일과 중국 북경대 등이 참여하고 있으며 한국에서는 ETRI를 중심으로 해서 인하대와 연세대 연합팀이 참여하고 있다. 주제가 매우 실용적이고 산업적 응용이 다양하여 앞으로도 국내외의 다양한 연구기관이나 통신서비스 회사 등이 추가로 참여할 것으로 예상된다.

CDVS의 개념도

<그림 1> CDVS 개념도-1

<그림 1>은 CDVS의 개념도이다. CDVS에서는 Descriptor 추출을 Client 단에서 하는 것을 목표로 한다. <그림 2>는 같은 내용을 client와 server로 나누어서 기능을 설명해주고 있다.

<그림 2> CDVS 개념도-2

CDVS의 응용 시나리오

1. Mobile visual search

모바일 기기로 사진을 찍었을 때 사진 속의 내용을 인식하여 관련 정보를 서버로부터 제공받는다. <그림 3>은 운전면허 학습 책자에 있는 문자열을 찍으면 이를 인식해서 관련 비디오 정보를 서버로부터 제공 받는 것을 보여주고 있다.

<그림 3> MVS: 책의 내용을 사진기로 찍으면 관련 비디오를 찾아서 보여준다.

2. Mobile augmented reality applications

이 경우는 실제 사진을 찍을 필요가 없이 모바일 기기를 관심있는 장소로 향하기만 하면 화면 상에 부가 정보를 보여준다. <그림 4>는 모바일기기 화면으로 특정 건물을 나타내기만 해도 이를 인식해서 건물과 관련된 정보를 화면에 보여주는 예이다.

<그림 4> Mobile augmented reality의 예

3. TV, IPTV–related applications

TV에 보여지는 장면에서 궁금한 영역을 선택하면 해당 건축물이나 대상물에 대한 정보를 화면에 보여주는 경우이다. <그림 5>에서 보듯이 IPTV 화면에서 일부 영역을 설정하여 건물에 관한 부가 정보를 셋탑 박스를 통해 제공받는다.

<그림 5> IPTV 관련 응용의 예

4. Web–related applications

Web content에 visual search 기술을 적용하는 경우이다. 많은 영상이 분산된 서버에 저장되어 있다고 가정한다. Query는 client device에 저장돼 있거나 web 상에서 찾아낸 정지 영상을 가지고 한다. <그림 6>은 실제 영상과 가상 지도의 연동을 나타내고 있다.

<그림 6> Web과 연관된 응용의 예

결언

2010년 9월 현재 CDVS는 아직 시작 단계에 있다. 구체적인 실험 조건은 10월 광저우 회의에서CE문서 작성시 확정이 되겠지만 확실한 것은 a. 적은 서술자(메타데이터) 사이즈, b .간편한 서술자 추출, c. 빠른 매칭, 그리고 d. 높은 정확도 등의 조건을 담게 될 것이다. 국내의 관련 전문가들이 좀 더 관심을 가지고 CDVS 표준화 활동에 적극 참여하여 우리 기술을 국제표준에 많이 반영할 수 있기를 기대해 본다.

참고문헌

1. N11529, Compact Descriptors for Visual Search: Applications and Use Scenarios, MPEG output document, July 2010, Geneva, CH.