증강현실 시대

다양한 센서를 내장한 스마트폰의 대중화와 함께 GPS 수신기와 자이로센서와 같은 센서들이 모든 사람들의 손안에 들어오게 되었다. 이러한 센서로부터의 위치정보와 방향정보에 기반한 간단한 POI(Point of Interest) 정보의 제공은 어렵지 않은 일이 되었고, 내장된 카메라와 디스플레이를 이용하여 제작된 간단한 증강현실 응용들이 다양한 모습으로 제공되게 되었다. 실제로 그간 개발된 다양한 증강현실 응용 시스템들은 카메라와 디스플레이, 기타 추가 센서들의 필요로 인하여 군용 헬멧이나 훈련시스템과 같은 특수한 용도에서만 활용되어 왔으나, 이러한 환경의 변화는 증강현실 시스템이 더 이상 접근하기 어려운 특수목적의 응용분야가 아니게 만들었으며, 증강현실 시스템의 상업적 중요성을 많은 사람들이 인식하게 만들었다.

ISO 내의 표준화 진행 현황

이러한 인식의 공유는 증강현실 분야의 표준의 필요성을 부각시켰고, 일찌감치 이러한 필요성을 인식한 많은 사람들이 표준 시장을 선점하기 위하여 노력하기 시작했다. 그 대표적인 예가 Christine Perey라는 컨설턴트가 관련 업계 사람들을 모아 운영하고 있는 AR Standards Community라고 하는 모임이다. 이 모임은 특별한 주제 없이 자발적으로 관련 전문가들이 모여 관련 표준들의 진행을 점검하고, 의견을 교환하며, 그들의 의견을 다양한 표준에 반영하고자 노력한다.

실질적인 표준화는 ISO 산하에서 활발히 진행되고 있는데, 가장 앞서 나가고 있는 것은 ISO/IEC JTC1 산하의 SC29 WG11(MPEG 이라 일반적으로 알려져 있음)으로 해마다 4회 모여 표준화를 진행하고 있다. ISO/IEC 23000-13 Information technology-Multimedia application format (MPEG-A)-Part 13: Augmented Reality Application Format이라는 증강현실 응용을 위한 포맷의 표준을 2014년 5월에 발표하였으며, 현재 2nd Edition을 위한 작업을 진행하고 있다.

SC24는 WG9을 만들어 Augmented Reality Continuum Reference Model이라 하는 증강현실의 표준 참조모델을 만드는 작업을 진행하여 왔다. 그러나 MPEG에서도 ISO/IEC 23000-14 Augmented Reality Reference Model이라는 표준화를 진행하여 양자 간에 갈등의 원인이 되었고, 결국 Joint Ad-hoc Group을 구성하여 함께 진행하는 것으로 협의가 되었으며, Mixed Augmented Reality Reference Model(MAR-RM)이라는 이름으로 SC24와 SC29가 공동 진행하고 있다.

JPEG의 증강현실 표준화 참여

SC29 WG1(JPEG이라고 일반적으로 알려져 있음)에서는 초기에 WG11에서 진행하고 있는 증강현실 관련 표준화를 지켜보는 입장이었으나, 관점 등에서 많은 차이가 발생하여 정지영상을 중심으로 증강현실 관련 표준화를 진행하자는 목소리가 2012년부터 한국 대표단을 중심으로 높아지기 시작하였고 타당성을 검토하기 시작하였다. 2014년 1월 New Work Item Proposal(NWIP)를 제출하였고, 현재 SC29 내의 투표를 통과하였고 JTC1의 투표를 기다리고 있다. JTC1 멤버들의 승인이 나는 경우 ISO에서 진행하는 관련 표준에, SC24와 SC29가 공동으로 진행하고 있는 MAR-RM, MPEG에서 진행하고 있는 MPEG-A ARAF에 추가로 JPEG-AR이 추가될 전망이다.

JPEG-AR과 MPEG-A ARAF와의 차이점

이러한 표준의 추가 진행의 이면에는 기본적인 접근 방식의 차이가 존재한다.

MPEG ARAF는 기본적으로 ARAF 브라우저가 존재한다고 가정한다. 즉 HTML은 인터넷 브라우저를 사용하듯이 ARAF 포맷의 파일은 ARAF 브라우저를 통하여 증강현실 애플리케이션을 사용할 수 있다고 가정한다. 따라서 ARAF 브라우저를 위하여 ARAF 파일은 사용할 리소스들과 그들 간의 상호작용, 그리고 presentation 레이아웃까지 증강현실 애플리케이션을 완전하게 정의하고 있어야 한다. 이를 ARAF 브라우저가 읽어 들여 예정된 대로 동작하도록 하는 것이다.

반면에 JPEG-AR은 그러한 표준 브라우저가 존재한다고 가정하지 않는다. JPEG에서 보는 관점에서는 표준을 사용하더라도, 기본적인 환경은 마치 표준이 존재하지 않는 현재 상황에서 증강현실 애플리케이션들이 존재하는 것과 마찬가지일 것이라고 가정한다. 단, 표준은 증강현실 애플리케이션을 개발하는 과정에서 필요로 하는 여러 모듈들이 표준화된 인터페이스를 통하여 서로 상호작용할 수 있도록 하여 기술이 없더라도 표준 인터페이스를 통하여 제공되는 다양한 서비스들을 통하여 쉽게 증강현실 애플리케이션을 개발할 수 있도록 해 주는 것을 목적으로 한다.

JPEG-AR 구조

이러한 JPEG-AR의 접근 방식은 <그림 1>의 JPEG-AR 아키텍처를 통해 쉽게 이해할 수 있다. JPEG-AR에서는 증강현실 애플리케이션의 주요 기능 모듈로 센서, AR Recognizer, AR 트랙커, 이벤트 핸들러, 렌더러, 디스플레이/UI의 여섯 개가 존재한다고 본다. 각각의 기능을 보면 다음과 같다. 먼저 센서는 실세계로부터 영상을 입력 받는 역할을 한다. 즉 일반적인 시스템의 경우 카메라를 뜻한다(때로는 GPS 센서를 포함하기도 한다). AR Recognizer는 카메라로 입력받은 영상에서 증강이 필요한 객체를 인식하는 역할을 한다. 과거에는 특정한 모양으로 된 마커를 인식하기도 하였지만 최근에는 대부분 Markerless 시스템을 사용하므로 데이터베이스에 등록되어 있는 많은 객체들 중 어느 객체인지 인식하는 역할을 하게 된다. AR 트랙커는 인식한 객체가 센서입력, 즉 카메라 입력 영상 안에서 움직이는 경우 객체의 위치를 지속적으로 인식하는 역할을 한다. 이는 증강효과를 나타내기 위하여 인식한 객체 또는 마커가 어느 위치에 있는 지 확인하고, 그 객체에 상대적으로 지정된 위치에 증강 효과를 나타내는 경우가 많기 때문에 대부분의 증강현실 시스템에서 매우 중요한 역할을 한다. 이벤트 핸들러는 실질적으로 증강 효과를 나타내기 위하여 실사 영상 또는 실사 객체와, 증강 효과를 위한 가상 객체 또는 증강 콘텐츠와 합성 정보를 생성하는 모듈이다. 이벤트 핸들러의 합성 정보 생성은, 합성을 위하여 필요한 콘텐츠의 선정과 이에 필요한 판단들을 포함한 중요한 역할들을 포함하게 되며, 일반적인 경우 증강현실 애플리케이션의 핵심이 되는 부분이다. 렌더러는 이벤트 핸들러에서 결정된 Registration 정보를 포함한 합성 정보를 이용하여 실질적인 영상 합성을 수행하는 모듈이다.

<그림 1> JPEG-AR 아키텍처

디스플레이/UI는 합성된 영상을 사용자에게 보여주는 부분으로, 일반적인 디스플레이에 해당한다. 이러한 정보의 흐름은 <그림 2>의 메시지 시퀀스로 잘 나타나 있다.

<그림 2> JPEG-AR의 메시지 시퀀스

JPEG-AR의 표준화 범위

이때, JPEG-AR에서 표준화의 범위로 보는 것은 크게 두 가지가 있다.

첫 번째는 위에서 살펴본 각 모듈들 간의 인터페이스 이다. 이는 증강현실 애플리케이션들이 현재와 유사한 형식을 갖는다고 보면서도 동시에 제3의 서비스 제공자들이 각 모듈의 기능을 자신들의 비즈니스 영역으로 정의하여 서비스를 제공할 수 있다고 보기 때문이다. 예를 들어 AR Recognizer나 AR 트래커의 경우 인터페이스가 명확히 정의된다면, 제3자가 충분히 서비스를 제공할 수 있으며, 애플리케이션 개발자는 자신이 이러한 영역에 기술을 가지고 있지 않더라도 서비스 제공자를 선택하여, 외부 서비스를 이용하여 애플리케이션을 개발할 수 있을 것이다. 따라서 JPEG-AR에 의하여 이러한 인터페이스가 표준화 된다면, 새로운 비즈니스 모델이 개발되고, 생태계가 형성될 수 있을 것이라 예상된다.

두 번째는 AR 응용을 위한 정보를 포함하는 부분이다. 상기한 아키텍처에는 애플리케이션 디스크립션이라 표현되어 있는 부분으로 마커나 특정 객체를 인식하였을 때, 이를 이용하여 발현되어야 하는 증강현실 효과를 정의하는 부분이다. 간단히 생각한다면 인식된 객체에 대하여 등록된 애플리케이션이 어떠한 것들이 있는 지 확인하고, 또 현재 사용하고 있는 애플리케이션의 경우 필요로 하는 부가 정보가 어떠한 것이 있는지 정리되어 있는 메타데이터 정도가 될 수 있으며, 이를 어떻게 활용할 지는 애플리케이션에 포함된 이벤트 핸들러의 역할에 맡길 수 있다. 좀 더 복잡한 경우를 생각한다면, MPEG ARAF와 같은 정보가 될 수도 있다.

JPEG-AR 표준의 의미

이러한 JPEG-AR 표준은 현재 시장의 상황을 가장 잘 반영하고 있는 표준이라 할 수 있다. 즉 스마트폰과 같은 기기에서 사용자들이 애플리케이션을 다운 받아 설치하여 사용하고 있는 생태계를 그대로 반영하여, 증강현실 서비스를 위한 애플리케이션들이 어떤 식으로 동작하고 어떠한 서비스를 제공하게 되는지는 각 애플리케이션이 만들어진 목적에 따라 달라진다는 것이다. 즉 동일한 객체를 인식하더라도 각 애플리케이션은 자신이 만들어진 목적에 맞는 행위를 취하게 되며, 이는 애플리케이션이 이미 알고 있는 일이라는 것이며 표준화의 대상이 아니다. 이때 필요한 인식, 트래킹, 합성 등과 같은 기술적인 부분들은 표준 인터페이스를 따르는 제3의 서비스를 이용하여 구현 될 수 있으므로 애플리케이션의 개발이 더 쉬워지며, 증강현실 시장의 활성화를 가져올 수 있을 것이다. 또한 이러한 제3의 서비스 사업자들의 역할이 중요해지고, 관련 시장이 활성화 될 수 있을 것이다.

JPEG-AR은 이렇게 기존의 MPEG-AR과는 전혀 다른 접근을 하고 있으므로, 표준 시장에서 경쟁이 될 가능성이 높으며, 시장에서의 선택을 기다리게 될 것이다.