현실과 가상을 넘나들다
현실 세계에 가상 공간의 모니터를 띄워놓고 업무하는 장면을 수많은 영화에서 접해봤을 테다. 이는 더 이상 영화 속에서만 벌어지는 일이 아니다. 애플이 현실 세계와 가상 세계를 연결하는 기기인 ‘비전 프로(Vision Pro)’를 지난 2월 미국에서 처음 출시했기 때문이다. 현실과 가상공간을 마치 한 공간처럼 연결시켰다는 점에서 비전 프로는 그 자체로 혁신이라 불리고 있다. 현실과 가상을 연결시키기 위해 어떤 기술을 사용한 것인지, 향후 비전 프로가 우리에게 어떤 변화를 가져다 줄 수 있는 지 알아보자.
비전 프로는 ‘증강현실’, ‘가상현실’과 ‘혼합현실’을 활용해 ‘확장현실’을 구현해 내는 기기다. 증강현실이란 현실 세계에 컴퓨터가 만든 가상의 이미지를 덧씌우는 기술이다. 현실 세계를 배경에 두고, 포켓몬을 시각적으로 구현하는 게임 ‘포켓몬 고’가 증강현실의 대표적인 예시다. 가상현실이란 말 그대로 가상 공간에 현실을 구현한 것으로, VR기기를 쓰면 현실과 전혀 다른 또 다른 세계가 펼쳐지는 것 또한 가상현실을 이용한 기술이다. 여기에 애플은 상술한 두 기술의 장점을 결합한 혼합현실까지 더해 확장현실을 구현함으로써 현실 공간에서 가상의 이미지를 보기만 하는 것을 넘어, 만지는 등의 상호작용 또한 가능하게 했다.
애플은 확장현실을 구현하는 자사만의 기술을 ‘공간 컴퓨팅(Spatial Computing)’이라 명명했다. 공간 컴퓨팅 기술을 구현하기 위해서는 ▲위치 추적 시스템 ▲센서 ▲입력 장치 ▲공간 매핑 ▲컴퓨터 비전 ▲공간 사운드 등의 기술이 서로 상호작용해야 한다.
비전 프로는 ‘위치 추적 시스템’을 통해 사용자의 현 위치를 파악하고, 해당 공간에 어울리는 적절한 이미지와 소리 등을 사용자에게 제시한다. 때문에 현실 세계와 가상 세계를 매끄럽게 연결하기 위해서는 위치 추적 시스템이 반드시 필요하다. 송현철(남서울대학교 가상현실학과) 교수는 “비전 프로 속 위치 추적 시스템은 디지털 콘텐츠와 현실 세계가 자연스럽게 어우러지는 것을 가능케 한 애플의 혁신적인 기술”이라고 전했다.
사용자의 위치를 추적하는 데에는 ▲GPS(Global Positioning System) ▲가속도계 ▲자이로스코프* ▲자력계 ▲적외선** 카메라 등이 이용된다. 인공위성을 활용함으로써 널리 쓰이고 있는 GPS 기술을 통해 사용자의 위치를 추적한다. 비전 프로를 착용하고 있는 사용자가 움직일 때는 가속도계를 통해 가속도를 측정하고, 자이로스코프로는 사용자 신체의 기울어진 정도를 측정한다. 자기장의 세기와 방향을 재는 자력계는 사용자의 동작과 방향 등을 추적하는 데 이용된다. 또한 적외선 카메라를 통해 물체로부터 나오는 적외선을 감지해, 물체와 기기 간의 거리를 측정한다.
비전 프로는 ‘센서’를 통해 사용자의 말을 듣고, 얼굴을 인식하고, 행동을 파악하기도 하는 등 사용자와 상호작용하는 데 있어 센서를 이용한다. 또한 사용자에게 더욱 적절하고 알맞은 확장현실과 디지털 콘텐츠를 제공하기 위해 센서를 통해 현실 세계의 이미지나 소리 등 수많은 정보를 수집한다.
▲내장 카메라 ▲마이크 ▲제스처 인식 시스템 ▲버튼 등이 비전 프로의 대표적인 센서들이다. 내장 카메라는 사용자의 얼굴과 동작 등을 인식하고, 마이크는 비전 프로가 사용자의 음성과 현실 세계의 소리를 듣는 역할을 한다. 제스처 인식 시스템은 내장 카메라와 더불어 사용자의 동작을 인식하는 데 쓰인다. 버튼은 흔히 알려져 있듯 버튼을 누르는 동작을 감지함으로써 전원을 켜고 끄거나 화면을 전환하는 등의 상호작용을 진행한다. 이외에도 탑재된 여러 카메라 등을 통해 현실세계의 이미지 정보 등을 수집한다.
‘입력 장치’는 말 그대로 사용자가 비전 프로에게 내린 명령을 입력해, 비전 프로가 명령에 따라 작동하도록 하는 기술이다. 사용자가 마이크나 버튼 등의 센서를 통해 비전 프로에게 명령을 전달하면, 입력 장치를 통해 비전 프로가 그 명령대로 움직일 수 있게 되는 것이다.
‘공간 매핑’ 기술은 사용자가 처해 있는 현실 세계를 디지털 환경으로 변환시키는 기술의 총체를 일컫는다. 비전 프로에 장착된 여러 카메라 센서를 통해 수집된 이미지나 영상 등을 분석해 현실 세계의 입체적 특징을 파악한다. 이후 현실 세계의 이미지를 디지털 공간에서도 입체적으로 표현할 수 있도록 이미지에 점을 찍는데, 이 점의 군집을 ‘포인트 클라우드’라고 부른다. 현실 공간의 표면과 물체, 장애물 등의 외형을 일일이 점으로 구현해 그 형태를 나타내는 것이다. 이후 생성된 포인트 클라우드에 평면 이미지를 삽입하는 ‘텍스처 매핑’을 통해 현실 세계를 디지털 공간에도 입체적으로 구현한다. 그 다음 조명과 그림자 등을 적용시켜 현실적인 느낌을 부여한다. 임양규(덕성여자대학교 가상현실융합학과) 교수는 “공간 매핑은 3D, 조명, 특수 효과 등을 사용해 현실 세계의 객체에 디지털 이미지를 삽입하는 과정을 거친다”며 “이러한 기술은 공간 컴퓨팅 분야에서 중요한 역할”이라고 말했다.
‘컴퓨터 비전’은 공간 매핑을 통해 구현된 디지털 세계가 사용자의 움직임에 맞춰 보여질 수 있도록 만드는 기술이다. 센서를 통해 얻어진 현실 세계의 이미지나 동영상을 데이터로 변환하고, 이미지나 동영상에 포함돼 있는 물체의 종류, 색상, 질감 등 여러 정보를 분석한다. 분석한 정보를 바탕으로, 사용자의 움직임에 맞춰 디지털 세계를 보여줄 수 있도록 한다. 예를 들어 사용자가 나무 앞에 서 있다가 뒤로 이동해도, 비전 프로 또한 사용자의 움직임에 맞춰 나무의 뒷부분을 보여주는 것이다.
‘공간사운드’는 사용자의 몰입감을 향상시키기 위해 사용자의 위치와 방향에 기반해 소리를 제공하는 기술이다. 음원과 사용자 간의 거리나 방향 등에 따라 소리가 다르게 들리는 원리를 디지털 세계에도 구현함으로써, 사용자가 디지털 세계에 더욱 빠져들 수 있도록 하는 것이다.
공간사운드가 실현되는 데에는 ▲바이노럴 오디오(Binaural Audio) ▲앰비소닉스 오디오(Ambisonics Audio) ▲헤드 트래킹(Head Tracking)의 기술이 쓰인다. 먼저 바이노럴 오디오는 인간이 소리를 감지하는 방식과 동일하게 헤드셋을 통해 사용자에게 소리를 제공한다. 헤드셋을 끼면 사용자가 디지털 공간에 들어가 그 공간 속 소리를 직접 듣는 듯한 느낌을 사용자에게 제공하는 것이다. 앰비소닉스 오디오는 비전 프로를 착용한 사용자를 중심에 두고 주변의 소리 정보를 360도로 저장해 사용자에게 들려준다. 이는 사용자에게 360도 각각 회전율에 맞는 소리를 제공한다. 헤드 트랙킹은 헤드폰에 내장된 모션 센서로 사용자의 머리 움직임을 감지한다. 사용자의 움직임에 따라 소리도 같이 움직이게 돼 결국 사용자에게 동일한 소리를 들려주게 된다.
이처럼 수많은 기술을 통해 구현된 확장현실을 직접 보고 느끼는 데에는 비전 프로의 화면 또한 중요한 역할을 수행한다. 비전 프로의 화면은 ‘마이크로LED***(Light-Emitting Diode, 발광 다이오드)’와 ‘마이크로OLED(Organic Light-Emitting Diode, 유기 발광 다이오드)’라는 2개의 LED로 이뤄져 있다. 초소형 LED와 OLED는 화면의 화소 수를 늘림으로써 이미지를 보다 선명하게 구현할 수 있다. 또한 밝은 빛을 자아내는 마이크로LED와 선명한 색상을 보여줄 수 있는 마이크로OLED가 상호보완하면서, 선명한 색상과 밝은 빛을 동시에 보여줄 수 있다.
비전 프로는 컴퓨터 기술의 무한한 확장 가능성을 보여주고 있다. 확장현실이라는 공간상에서 사용자와 기기, 현실 세계와 가상 세계의 상호작용을 보여주며 비전 프로를 사용해 새로운 디지털 세계의 탐색을 가능하게 만들기도 했다. 최승호(한성대학교 기초교양학부) 교수는 “가상 세계 속 캐릭터와 이야기하며 생활할 수 있는 현실이 빠른 시일 내에 다가올 것”이라며 “비전 프로를 시작으로 인공지능, 혼합현실 등이 융합된 분야가 성장할 것”이라고 전했다.
*자이로스코프 : 가로, 세로, 높이의 3개 축을 기준으로 움직임을 인식하는 센서 장치
**적외선 : 인간의 눈에 보이는 빛보다 파장이 긴 빛으로, 인간의 눈으로 볼 수 없음
***LED : 전류를 흐르게 하면 빛을 발하는 전자기기 부품
황서연 기자
이예지 기자
