Signature란?

Signature란 주어진 디지털 object를 그 내용에 기반하여 unique하게 서술해주는 것으로서 사람으로 치면 지문이나 서명에 해당된다고 할 수 있다. Signature는 identifier라고도 불리는데 MPEG-7 visual 그룹에서도 처음에는 identifier라는 용어를 사용하다가 2007년 4월 San Jose 회의에서부터 signature라는 용어로 바꿔서 사용하고 있다.

Identifier를 간단히 설명하면 A₁이라는 오리지널 영상과 A₁영상에 대한 다양한 변형들, 예를 들어 영상의 중요한 부분만을 잘라내는 cropping이라든지 서브 샘플링을 통하여 사이즈를 줄인다든지 하는 변형을 통하여 나온 A₁영상의 아류들, 즉 A₁₁, A_12, A_13… 등이 통합적으로 ground truth가 되어서 거대한 데이터베이스 내에서 A₁을 질의영상으로 했을 때 A₁₁, A_12, A_13… 등을 찾아내게 해준다는 개념이다. 혹은 그 반대로 A₁₁ 등을 질의영상으로 해서 A₁을 찾아낼 수도 있다. 기존의 MPEG-7 descriptor가 질의영상을 넣어서 자기와 비슷한 영상을 점수 별로 찾아내는 것과는 완전히 다른 개념인 것이다.

<그림 1>은 image identifier(signature)의 의미를 간략하게 설명해 주는 것으로서 기존의 MPEG-7 descriptor와의 차이를 명확하게 보여준다.  

<그림 1> Descriptor vs identifier

Video Signature란?

Video signature란 image signature를 비디오로 확장시키는 것으로서 기존에 MPEG-7이 가지고 있던 descriptor나 descriptor scheme의 개념으로서는 도저히 할 수 없는 다양한 응용분야를 염두에 두고 개발하는 것이다. 비디오로부터 추출한 signature를 video signature라고 한다. Signature의 대상이 image인지 혹은 video인지에 따라 image signature 혹은 video signature라고 불리지만 signature의 의미는 같은 것이라고 할 수 있다. 그렇지만 비디오에는 이미지와는 성격이 많이 다른 변형들이 존재하기 때문에 image signature와는 완전히 다른 접근 방법이 요구된다. 예를 들어 frame rate가 바뀔 수도 있고 text/logo 등이 화면에 뿌려지기도 하고 혹은 비디오 화면을 다른 카메라로 찍어서 유통시킨다든지 혹은 analog video를 digitize해서 유통시킬 수도 있기 때문에 정지 영상에서의 공격과는 많이 다른 변형들이 존재한다. 그 외에도 시간 개념이 추가로 요구되기 때문에 여러 가지로 고려해야 할 사항이 image signature 보다는 많아지고 난이도가 높아지게 된다.

Video Signature의 응용 시나리오

Signature라는 것이 디지털 object의 내용에 기반하여 추출되는 것이기 때문에 signature 추출기술은 디지털 저작권 보호의 도구로서 이용될 수 있다. 즉, 원본을 그대로 복사해서 유통하는 경우는 물론이고 원본에 적당한 조작을 가하여 유통시키는 경우에도 이를 적발해낼 수가 있기 때문에 기존의 워터마킹이나 암호화에 기반한 DRM과는 다른 응용 분야에서 저작권 보호에 이용될 수 있는 것이다. 예를 들어 모나리자 원화를 디지털 카메라로 찍어서 가로 대 세로 비를 다르게 해서 인터넷에 유포하더라도 signature 도구를 이용하여 찾아낼 수가 있는 것이다.

Ÿ Media usage monitoring

광고 회사 혹은 광고의뢰 회사 입장에서는 자기들의 광고가 방송사에 의해서 정확히 방송되고 있는지 감시 또는 확인하고자 할 것인데 이럴 때에 비디오 signature의 사용이 가능하다. 그 외에 경쟁사 입장에서는 자기들의 경쟁사가 얼마나 많은 광고 활동을 하는지 감시할 수 있는 도구로 사용될 수도 있을 것이다.

Ÿ Copyright management

저작권을 소유하고 있는 자 입장에서는 자기가 권리를 소유하고 있는 미디어가 언제 어떻게 사용되고 있는지 알 수 있다는 것이 중요한 의미를 갖는다. 따라서 저작권자는 저작권료 징수나 불법 유통의 감시 등에 video signature를 응용할 수 있으며 반대로 출판사와 같이 어떤 미디어물을 획득해서 사용해야 하는 입장에서는 저작권의 출처가 어딘지 확인할 수 있는 도구로 사용 가능하다.

Ÿ Content linking

인터넷 상에서 같은 내용을 갖는 비디오이면서 서로 다른 사이트에 여러 군데 존재하고 있는 것을 자동으로 찾아서 확인해 줄 수 있다면 search engine에서 단어를 이용해서 사이트 들을 연결시켜 주듯이 유용하게 이용될 수 있을 것이다. 

Ÿ Unknown content identification

어렵게 구한 미디어물이 아무런 제목이나 저자 등의 정보가 없이 전달되었을 때 비디오 시그니처를 통하여 미디어물과 관련된 정보를 얻어낼 수 있는데 이는 자료 관리에 매우 유용하게 사용될 수 있을 것이다.

Video signature 의 표준화 현황

2006년 1월 Bangkok 회의에서 image identifier가 VCE(Visual Core Experiment)로 정식 채택된 뒤 수많은 알고리즘이 제안되고 평가되어 괄목할 만한 성과를 나타내고 있으나 보다 많은 국가에서 더 많은 연구 인력이 참석해 달라는 의미로 2007년 7월 MPEG 81차 Lausanne 회의에서는 CfP(Call for Proposal)을 전체회의에서 공표하고 전세계 관련분야 연구자에게 전달하기로 하였다(Output 문서번호: N 9216). 이후 video signature만을 대상으로 Updated call for proposal 이 2008년 10월 부산회의에서 작성되어 MPEG output 공식문서(N 10155)로 발표되었고 그 다음 로잔회의에서 N10345로 수정되었다.

Video signature는 2007년 1월의 Marrakech 회의에서 표준화 작업이 정식으로 채택되면서 VCE-7의 초안을 만들었고 그 후 계속해서 실험조건을 수정하고 실험 DB를 보완하는 작업을 진행하여 2009년 2월에 처음으로 실험 결과를 가져와 경쟁하기로 하였으나 아무도 실험 조건을 만족시키지 못했다. 현재 VCE-7 에서는 8개국이 경쟁하고 있다. 한국을 비롯하여 영국, 일본, 미국, 독일, 이태리, 싱가폴, 중국 등이 참가하고 있다.

최근 2009년 4월 마우이 회의에서는 우리 한국 팀만이 CfP에서 요구하는 최소 조건을 만족시키는 video signature를 발표한 바 있다. 비록 영국/일본 연합 팀의 late submission을 합쳐서 3개국 2개 팀이 처음으로 실험 최소 요건을 만족시키긴 했지만 아직도 현실 세계에서 응용될 수 있는 수준에서는 많이 모자란 것이 사실이다.

Video signature 의 실험 환경^[1]

Video signature는 image signature와 개념은 같지만 비디오이기 때문에 시간 개념과 프레임의 개념이 추가 되어서 실험 조건이나 성능 평가 과정이 훨씬 복잡해진다.

그림 2에서 보듯이 original clip은 최소 3분 이상을 요구하고 있고 이러한 original로부터 query clip을 잘라내고 또 임의로 다른 내용을 추가하기도 하여 6가지의 query clip을 생성한다. 1 ppm false positive rate를 가지고 필요한 threshold를 얻으며 이를 이용하여 SR(success ratio)를 계산한다는 것이 기본 아이디어이다. 변형의 조건과 단계는 text/logo overlay, resolution reduction, frame rate reduction 등 총 9종 22단계이다.

<그림 2> Different Query Scenarios (The 6 different query types are shown)

Video signature 기술의 평가도 image signature의 경우와 동일하게 4가지의 factor를 고려하여 이루어진다. 4가지 factor는 SR(success ratio)로 나타내지는 검색의 정확도, 1 ppm의 false positive rate를 확보하기 위한 independence test와 threshold 값, 추출된 signature meta data의 size(30K bit/sec Max), extraction/matching speed 등이다.

결 언

2009년 6월 현재 video signature는 아직 경쟁 단계에 있다. 국내의 관련 전문가들이 좀 더 관심을 가지고 지금부터라도 표준화 활동에 적극 참여하여 우리 기술을 국제표준에 많이 반영할 수 있기를 기대해 본다.

참고문헌

[1] MPEG Video Sub-Group, “Description of Core Experiments in Video Signature Description development”, ISO/IEC JTC1/SC29/WG11 N10345, Lausanne, Feb 2009