혼합증강현실(MAR: mixed and augmented reality) 참조 모델 표준이 ISO/IEC JTC1 표준화 그룹에서 표준안으로 제정되었다. MAR 참조모델 표준은 <라이브 비디오(live video)와 같은 “All Physical, No Virtual”과 컴퓨터 그래픽스 장면과 같은 “All Virtual, No Physical”사이에 존재하는 세계에서 행해지는 기술을 다룬다. 혼합증강현실에서 다루는 대표적인 기술은 현실세계에서 가상정보가 증강되는 증강현실(Augmented Reality) 기술과 가상공간에 현실세계의 정보가 증강되는 증강가상(Augmented Virtuality) 기술이 있다.

증강가상 기술에서 증강되는 현실정보를 무엇으로 정할 것인가가 매우 의미가 있는데, 만약 현실세계에 존재하는 사람, 동물, 자동차 혹은 비행기 등과 같이 생동감 있게 움직이는 객체를 가상세계에 증강할 수 있다면 이들 증강객체와 가상세계간의 다양한 상호작용이 가능함을 할 있다. 최근 들어 HMD(Head Mounted Display) 기술의 발전으로 가상공간에 사람이 증강되어 가상공간에서 사람이 활을 쏘거나 게임을 하는 서비스가 등장하고 있다. 이러한 과정에서 생동감 넘치는 현실 객체를 정의하는 것이 무엇보다 중요하며, 이를 라이브 행동자와 실체(LAE: live actor and entity)라 정의하였다. 이러한 서비스에서 가장 중요한 사항이 현실세계에 존재하는 LAE와 가상공간을 어떻게 통합할 것인지, 그리고 LAE와 가상 공간사이에 어떻게 상호작용할 것인지에 관한 것이다.

MAR 환경에서 LAE 관련 다양한 서비스에서 발생되는 이들 공통적인 문제를 접근하기 위하여 ISO/IEC JTC1 SC24 WG9에서 충북대학교 류관희 교수에 의해 2013년부터 표준안이 제안되었으며, “ISO/IEC 18040:Live Actor and Entity Representation in Mixed and Augmented Reality”이라는 제목으로 2016년 1월에 NP(New Proposal)로 채택되었다.

현재 이 표준에서 다루는 사항으로는 아래 <그림 1>과 같다. 그림에서 보는 바와 같이 이 표준은 현실 세계에 존재는 LAE를 센싱하는 부분(LAE real world capturer and sensor), LAE를 추적하고 인식하는 부분(LAE tracker and recognizer), 가상공간에 원하는 위치에 자연스럽게 매핑하는 부분(LAE spatial mapper), LAE가 가상 공간의 객체와 상호작용할 수 있도록 하는 부분 (LAE event mapper), 그 결과를 통합하여 시뮬레이션하여 렌더링하는 부분(Simulator/Renderer) 그리고 이를 다양한 디스플레이 장치에 출력하는 부분을 포함한다.

그림 1: 혼합증강현실에서 라이브 행동자와 실체의 표현 모델

현재 ISO/IEC 18040 표준은 WD(Working Draft)를 작성 중에 있으며, 2017년 2월 CD(Committee Draft)로 제출될 예정이고, 2019년 1월에 DIS(Draft International Standard), 2019년 7월에 FDIS (Final Draft International Standard), 2020년 1월에 IS(International Standard)를 목표로 작업을 진행하고 있다.

ISO/IEC 18040 표준에서 다루는 센싱 부분의 주요 이슈는 LAE를 포함하는 영상을 센싱하여 LAE를 추출하는 기능과 LAE와 관련된 센싱기기를 어떻게 정의하고 얻은 기능에 관한 것이며, 이들 기능의 결과가 LAE 추적기와 인식기의 입력으로 작용하기 때문이다.

LAE 트래킹과 인식 모듈의 핵심 논의 사항은 각각 현실 환경에서 연속적으로 센싱되는 입력 정보에 대해 LAE의 움직임과 센싱 인터페이스 정보를 지속적으로 어떻게 얻어내거나 인식하여 이를 저장할 것인지에 관한 것이다. 특히 현실세계에서 LAE의 움직임 정보는 3차원 공간 위치좌표와 방향벡터의 연속값으로 표현된다. 상호작용을 위한 센싱 인터페이스 정보는 목적에 따라 달리 표현된다. 예를 들어 위치정보를 사용하는 장치의 센싱 결과는 연속된 GPS 정보이며, 다른 예로 LAE의 손 끝을 센싱하고자 하는 장치의 센싱 정보는 연속된 손 끝의 3차원 위치 정보이다.

LAE 공간 매퍼(LAE spatial mapper) 모듈에서 다루는 핵심 논의사항은 현실 환경에서 얻어진 LAE의 트래킹 결과인 현실 3차원 정보를 가상 공간의 3차원 정보로 어떻게 매핑해야 할 것인지를 다루는 부분이다. 다시 말해 현실좌표계를 가상 좌표계로 자연스럽게 매핑하는 기법이며, 이러한 표준화된 창구를 잘 표현하면 LAE의 움직임이 현실세계처럼 가상공간에서도 아주 자연스럽게 재현될 수 있다. 이를 위해 움직이는 LAE의 위치(position) 및 방향 (direction) 정보를 3차원 가상공간에 배치하여 가상공간에서도 LAE의 움직임이 자연스럽게 재현되어야 한다.

가장 핵심 논의사항 중에 하나로 현실 환경에서 얻어진 LAE와 센싱 인터페이스 장치 정보의 인식 결과가 3D 가상 공간에 존재하는 가상 카메라, 가상 객체와 증강 현실 콘텐츠와 어떻게 상호작용할지를 결정하여 실행하는 부분이다. 이 부분에서 핵심적으로 처리해야 하는 기능으로는 먼저 LAE의 행동과 센싱 인터페이스 장치의 동작 인식 기능, 인식된 동작에 따른 해당 상호작용 동작과 이를 실행하는 것이다. 본 표준에서는 LAE를 이용한 모든 MAR 응용 서비스에서 이들 기능을 일관되게 지원할 수 있도록 하는 것이다.

LAE와 가상공간간의 통합 렌더링을 위한 논의사항은 공간 매핑 모듈과 이벤트 매핑 모듈의 결과를 받아 주어진 3D 가상 공간과 통합하여 렌더링을 어떻게 할 것인지에 관한 것이다. 특히, 이들 통합 결과를 다양한 디스플레이 장치(PC 모니터, 3D 모니터, HMD(Head Mounted Display) 등)에 어떻게 표시할 것인지에 대한 부분도 본 표준에서 다루고 있다.

앞에서도 논의한 바와 같이 가상공간에 LAE를 증강하는 응용서비스로는 가상 역사 드라마 콘텐츠, 가상 체험교육 콘텐츠, 가상 체험 게임 콘텐츠 등이 있다. 특히 이들 서비스는 GearVR, Hololens 등과 같은 HMD 장치의 출현으로 더욱 가속화되고 있다. 따라서 다양한 가상 체험 서비스의 개발이 가능한 본 표준에 대한 지속적인 관심과 더불어 많은 의견 제시가 필요하다.