웨어러블 기기에서 제스처 명령어 체계를 정하는 것은 매우 중요하다. 특히 스마트글래스인 경우 두 손이 자유로운 상태에서 글래스 화면에 나오는 영상이나 콘텐츠를 제어하기 위해 제스처나 음성 명령어를 사용하게 되는데, 이에 대한 표준화된 양식이나 기준이 없어서 제조사별로 자기 나름대로 구현하게 되면 서버나 상호 호환성이 보장되지 않아서 혼란이 있게 되고, 관련 제품시장 확대에도 걸림돌이 되기 때문이다.

2015년 6월 112차 MPEG 회의에서 인시그널과 항공대는 웨어러블 디바이스(스마트글래스)에서 제스처 명령어 체계에 대한 부분과, 웨어러블 디바이스에서 제스처를 이용한 멀티미디어 콘텐츠 제어하기 위한 구성방법을 제안하였다. 2015년 10월 113차 MPEG 회의에서 인시그널과 항공대는 핸드 제스처의 구체적인 메타데이터의 정의와 구성방법, 그리고 메타데이터가 만들어지는 과정에 대하여 제안을 하였다. 국제회의 결과문서(N15728)에 채택되었다.

<그림 1>은 스테레오 카메라를 통해서 얻어진 스테레오영상을 가지고 스테레오 매칭 알고리즘을 이용하여 깊이맵(Depth Map)을 만들어내고 이를 통하여 손동작의 윤곽선정보를 메타데이터로 구성하는 과정을 나타내고 있다. 이러한 손동작의 윤곽선정보를 서버로 전송하여 서버에 있는 제스처 엔진을 통해서 제스처 명령어를 결정하고 다시 웨어러블 기기를 전달하여 멀티미디어 콘텐츠를 제어하게 된다.

<그림 1> 손동작을 검출하고 인식하는 순서

113차 스위스 MPEG 국제회의에 “M-IoTW”라는 국제표준을 시작하기로 결정하였다. IoT와 웨어러블(Wearable) 2개 분야에서 멀티미디어를 중심으로 본격적인 국제표준 문서에 필요한 내용을 결과문서로 작성하기로 하였다. 

<그림 2>에서는 손동작 검출하는 순서를 보여주고 있다.

(a) 스테레오영상을 가지고 스테레오 매칭을 통해 만들어 낸 깊이맵 영상이다.

(b) 깊이맵의 히스토그램을 분석하여 손영역과 배경영역이 분리되는 경계값을 판정한다.

(c) 최적의 분리 가능한 점을 기준으로 배경영역에 해당하는 깊이맵 의 화소값을 모두 ‘0’ 값으로 처리함으로써 손 영역에 대한 부분만 추출이 가능하다.

(d) 손동작의 윤곽선을 필터링 함으로써 윤곽선정보를 메타데이터화 할 수 있다.

<그림 2> 손동작 검출 순서