VR과 인간의 연결, 인터페이스와 어포던스

---

 

 

1. 개요

VR에 대한 이해와 효과적인 VR의 사용법을 논하기 위해서는 먼저 VR이라는 매체가 무엇인지를 이해하고, 그 매체를 구성하는 관련 기술이 무엇인지를 이해해야 한다.

VR 기술을 구성하는 요소들은 사용자 경험을 만드는 데 필요한 HW와 SW 시스템을 통합하는 중앙 컴퓨팅 시스템이 부담하고 있다.

이 중앙 컴퓨팅 시스템은 사용자에게 보여주는 가상 현실을 기술적으로 구현할 때 필요한 요소들을 연산하는 작업, 사용자의 입력을 읽어서 적절한 자극을 생성하는 작업, 물리적인 법칙과 네트워크로 연결된 타 사용자와의 상호작용을 구현하는 작업 등 다양한 작업들을 수행한다.

이는 컴퓨팅 시스템을 사용하던 기존의 매체들보다 훨씬 더 큰 부담을 지니고 있다는 특징이 있기 때문에 이는 곧 고사양/고비용 디바이스를 요구한다는 것을 의미한다.

이러한 부담을 줄이기 위해 단일 디바이스에서 모든 연산을 처리하는 것을 넘어 클라우드 컴퓨팅 솔루션을 적용할 수도 있다.

기술적인 측면에서 VR시스템의 가장 중요한 구성 요소들을 살펴보자면 다음과 같다.

- 연산

- 출력

- 사용자 상호작용

- 입력

- 세계 프레젠테이션

가상 세계라는 것은 디스플레이 장치를 통해서 사용자에게 렌더링, 전달되는 표현으로 매핑된다.

렌더링 프로세스는 사용자의 움직임, 행동에 따라 가상 세계를 연산하여 표현하며, 사용자는 인터페이스를 통해 가상 세계 속에 진입하게 된다.

사용자의 움직임과 행동에 따라 렌더링 처리가 완료된 가상 세계의 모습은 다시 디스플레이를 통해서 사용자에게 돌아온다.

인터페이스를 사용하는 것은 신체의 움직임을 활용하므로, 사용자의 신체가 곧 '컨트롤러'가 된다.

또한 여기서 말하는 '디스플레이'는 일반적으로 의미하는 '시각적 디스플레이'만이 아니라 청각, 시각, 촉각 등 사용자가 지닌 다양한 감각 기관들에게 피드백을 제공하는, 더 넓은 의미로써의 디스플레이이다.

 

---

 

2. 인간과 시뮬레이션의 연결

VR을 논할 때 자주 등장하는 디스플레이의 배열과 무관하게 VR 체험으로 무언가를 만들기 위해서는 사용자의 위치를 연결하는 것에 대해 집중하는 것이 매우 중요하다.

가상 현실은 무엇보다도 사용자(체험자)를 중심으로 존재하기 때문에 체험자가 기대하는 요소와 체험자의 능력이 부합하도록 가상 현실 경험을 제작, 구성해야 한다.

여기서 주의할 점은 체험자들은 모두 다른 신체 특성을 지니고 있을 뿐만 아니라, 살아오면서 발전시켜 온 자신만의 사고방식을 가지고 있다는 것이다.

이 때문에 애플리케이션 개발자는 체험자를 마치 시스템의 일부인 것처럼 대하고, 그들이 환경에 적응할 수 있도록 고려해야 한다는 것은 이치에 맞는 말이 된다.

이를 달성하기 위해서는 가상 현실 경험을 디자인할 때, 심리학과 인간의 감각, 지각의 생리, 인간과 컴퓨터 인터페이스 디자인 분야에 대한 지식이 필요할 것이다.

 

2.2. 디스플레이를 인간의 요구에 맞게 조정하기

전기 공학 분야에서 사용하는 용어를 잠깐 살펴보자.

'임피던스 불일치(Impedance Mismatch)'라는 용어는 각 끝단의 흐름 용량이 달라 에너지 흐름이 방해를 받을 때 사용하는 용어이다.

VR 분야에서도 이 용어가 사용될 수 있다.

가상 현실 체험을 디자인할 때, 디자이너는 기술 시스템을 체험자의 신체적, 정신적 한계에 맞추기 위해 노력할 필요가 있다.

이를 넘어서거나 너무 부족할 때는 가상 현실 체험에 대한 만족도가 떨어지거나, 다양한 신체적, 정신적 부작용이 발생함에 따라 체험자가 그 체험을 포기하거나 거부할 수도 있다.

급속도로 빠르게 움직이는 가상 현실 체험을 한다고 가정해 보자.

이때 디자이너는 체험자가 과하게 빠른 움직임의 부담을 견딜 수 있도록 렌더링 된 시야를 줄이는 것처럼 필요에 따라 제공하는 정보의 출력을 감소시키기도 한다.

모든 매체는 수신자가 경험을 어떻게 접하는지를 고려해야 한다.

그러한 고려가 적절한 인터페이스를 완성시키는 계기가 되어주는 것이다.

예를 들어 책은 예상 독자층을 바탕으로 모양과 크기가 만들어진다고 볼 수 있다.

페이지가 짧고 매우 두꺼운 종이를 사용한 유아용 동화책이 대표적인 사례이며, 그 외에도 언제 어디서나 간단하게 꺼내서 읽을 수 있도록 만든 수첩 형태의 책도 있고, 다양한 크기와 색감의 그림들을 잘 보여줄 수 있도록 코딩된 종이를 사용해 큰 사이즈로 만들어진 책도 있다.

여기서 우리는 인간이 인터페이스에 적응하도록 만드는 것보다 인터페이스가 인간에 따라가도록 만드는 것이 훨씬 효율적이고 쉽다는 점을 명심해야 한다.

이는 효과적인 인터페이스 시스템을 디자인하기 위해서는 인간의 속성을 이해할 필요가 있다는 것을 말한다.

즉, 인간 인터페이스의 능력을 탐구하는 것이 인간과 컴퓨터, 인간과 가상 세계의 상호작용을 탐구하는 것으로 이어진다는 것이다.

 

---

 

2. 인간 - 컴퓨터 인터페이스

인간 - 컴퓨터 상호작용(HCI)은 인간과 컴퓨터 사이의 상호작용을 효과적으로 하기 위한 인터페이스 방법과 정보를 표시하는 방법을 연구하는 분야이다.

이 분야는 개인용 컴퓨터(PC)가 보급되기 시작한 1970년대부터 지금까지 오랜 세월에 걸쳐 성장해 왔으며, 게임, 교육, 웹, 사무 등 다양한 분야를 가리지 않고 적용되었다.

이는 가상 현실이라는 단어가 등장하기도 전부터 시작되었으며, 가상 현실이 기존의 컴퓨터를 다루는 방법과는 많이 다른만큼, 가상 현실의 특성에 맞게 인터페이스도 또 한 번 진화를 이어가고 있다.

인간 - 컴퓨터 인터페이스의 초창기 연구자들은 대화형 시스템 디자인을 위한 핵심 원칙을 아래와 같이 소개했다.

- 사용자 파악

- 암기 최소화

- 운영 최적화

- 오류 엔지니어

여기서 가장 중요한 것은 사용자들은 생각보다 굉장히 다양한, 많은 것들을 암기할 수 있다는 것이다.

또한 목표를 달성하기 위한 가장 쉬운 방법을 탐색하고자 사용자들을 다양한 실수를 경험할 것이다.

사용자를 이해한다는 것은 아래의 요소들을 이해한다는 것과 마찬가지의 의미이다.

- 사용자가 성취하고 싶은 것이 무엇인가?

- 사용자는 자신이 다루는 시스템에 얼마나 익숙한가?

- 사용자가 새로운 인터페이스를 받아들이고 적응하는데 걸리는 속도는 어느 정도인가?

컴퓨터 그래픽 아티스트를 예로 들어보자.

이들 중 대다수는 Maya 또는 3Ds Max와 같은 소프트웨어를 다루는 것에 익숙할 것이다.

이러한 그래픽 소프트웨어를 익숙하게 다루는 컴퓨터 그래픽 아티스트들이 새로 출시한 Blender 3D 소프트웨어를 익히고 능숙하게 다루게 되기까지 어떠한 경험을 하게 될까?

또한 새로운 소프트웨어로 넘어가기 위해서는 얼마나 많은 시간과 비용이 요구될까?

Maya, 3Ds Max와 같은 기존의 소프트웨어에 익숙하지 않았던 사람과 익숙했던 사람들 사이에는 어떤 차이가 있을까?

만약 차이가 존재한다면 그 이유는 무엇이고, 어느 분야의 사람이 더 유리한 것일까?

이처럼 우리는 새로운 사용자 인터페이스를 제작할 때, 사용자가 가지고 있는 일종의 '배경 지식'의 수준을 예상할 수 있다면, 이를 적극적으로 활용함과 동시에 몰입형 인터페이스가 제공하는 기능들을 이용할 수도 있다.

 

---

 

3. 어포던스 (Affordance)

어포던스(Affordance)는 인간 - 컴퓨터 인터페이스의 핵심적인 개념으로, 사용자가 세계의 오브젝트를 다룰 수 있는 방법을 의미한다.

즉, 이 어포던스 능력은 가상 환경 속에 존재하는 다양한 오브젝트들을 사용자가 사용하는 방법을 의미하며, 여기서 말하는 사용 방법은 현실 세계에서의 사용 방법과 최대한 밀접하게 연관 짓는다.

또한 사용자가 다루려고 하는 오브젝트의 외관은 그 오브젝트를 어떻게 다루어야 하는지를 다양한 단서들을 통해 구체적으로 언급해야 한다.

어포던스는 다양한 특징들을 기준으로 하여 여러 범주로 분류하는데, 이는 다음과 같다.

- 지각 가능한 어포던스 (Perceptible Affordance)

- 숨겨진 어포던스 (Hidden Affordance)

- 잘못된 어포던스 (False Affordance)

- 선택 거부 어포던스 (Correct Rejection Affordance)

여기서 어포던스를 연구한 두 명의 연구자, 노먼과 깁슨이 등장한다.

이 두 연구자의 이름을 따서 '노먼식 어포던스'와 '깁슨식 어포던스'를 정의하는데, 이는 위의 네 가지 분류의 어포던스를 어떻게 묶었는가에 따라서 달라진다.

단, 여기서 '지각 가능한 어포던스'는 어포던스라는 용어를 노먼식, 깁슨식 어포던스 모두에 포함되는 어포던스이다.

이를 그림으로 표현하면 다음과 같다.

위 도표에 담긴 네 가지 카테고리는 간단한 2D 컴퓨터 인터페이스로 설명할 수 있다.

우리는 컴퓨터를 다루면서 '버튼'이라는 개념을 쉽게 접한다.

마우스 포인터를 움직여서 버튼을 '클릭'하면 실제 세계에서 물리적으로 버튼을 클릭한 것처럼 마우스로 클릭한 가상의 버튼이 '눌리는' 느낌을 제공한다.

또한 버튼을 클릭하지 않았을 때는 버튼 주변에 그림자 효과를 주어서 입체적으로 튀어나온 듯한, 누를 수 있는 듯한 느낌을 주도록 버튼의 디자인을 설계한다.

이 버튼의 예시로 위에서 언급한 네 가지 어포던스를 다시 정리해 보자.

- 지각된 어포던스: 버튼을 지각한 것만으로 어떤 동작이 수행될 수 있는지를 알아챌 수 있음.

- 지각할 수 있는 어포던스: 사용자가 버튼을 지각하여 예측한 동작이 정말로 나타났음.

- 잘못된 어포던스: 사용자가 버튼을 지각하여 예측한 동작이 나타나지 않았음.

- 숨겨진 어포던스: 어떠한 시각적 표현 없이 이벤트가 활성화되는 화면 영역.

- 선택 거부 어포던스: 마치 '정상'으로 보이며, 어떠한 액션도 없는 모든 화면 영역.

이를 바탕으로 깁슨식 어포던스와 노먼식 어포던스를 다시 정리해 보자.

- 깁슨식 어포던스: 사용자가 오브젝트를 사용할 수 있는 방법, 어떠한 아이템이 할 수 있는 것.
(실제적인 물리적 속성에 기초, 문화적 영향이 없음)

- 노먼식 어포던스: 사용자가 오브젝트를 지각하는 방법, 아이템이 어떠한 것을 할 수 있다고 사용자가 지각하는 것.
(인지된 속성에 기초, 문화적 영향이 있음)

이처럼 어포던스를 지각할 수 있게 한다는 것은 사용자가 쉽게 다룰 수 있는 시스템을 디자인하는 접근 방식 중 하나라고 말할 수 있다.

 

3.1. 가상 현실에서의 어포던스

가상 현실을 처음 접하는 사용자는 펼쳐진 가상 세계 속에서 어떻게 행동해야 할까?

또한 사용자는 가상 세계 속에서 무엇을 할 수 있으며, 무엇을 느낄 수 있을까?

아이러니하게도 이 사용자는 무엇이든지 할 수 있으며, 그 '무엇이든지'가 매우 난감한 문제를 야기한다.

무엇이든지 할 수 있다고 말하지만, 어찌 되었든 간에 일단은 제약이 있어야 한다.

<GTA>나 <젤다의 전설: 야생의 숨결>처럼 아무리 자유도가 높은 게임이라고 할지라도, 제약 그 자체는 존재한다는 걸 떠올려보자.

또한 전통도 필요하며, 언어도 필요하고, 사용자가 그 가상 세계 속에서 '무엇이든지' 할 수 있다는 점을 파악할 수 있게 유도하는 것도 필요하다.

물론, 그러한 유도를 위해 사용자에게 전달할 정보도 필요하다.

누구든지 간에 사람이라면 호기심과 흥미는 가지고 있을 것이다.

가상 세계라는 새로운 공간에 처음으로 놓였다면 무엇이든지 흥미롭고 신기할 것이다.

주변을 둘러보고, 손에 집히는 것을 만져보고, 돌아다니기도 하다가 누를 수 있는 버튼을 지각했다면 무작위로 눌러보기도 할 것이다.
(여기서 눌러본 버튼이 자신의 예측에 맞게 동작했다면 앞에서 언급한 지각할 수 있는 어포던스가 성립한다)

이는 사용자가 스스로 가상 세계를 탐구하면서 오로지 '우연'에 따라서만 새로운 정보를 학습하게 만들기 때문에 매우 비효율적이다.

가상 현실은 다른 컴퓨터 기반의 인터페이스와 비교해 보면 가상 세계와 현실 세계 사이에 여유가 확장된다.

즉, 가상 현실의 체험자들은 그 공간 내에서 내가 어떠한 능력을 지니고 무엇을 할 수 있는지를 판단할 수 있다는 것이다.

이들은 벽을 통과할 수 있는지 실험해 볼 것이며, 물 위를 걸을 수 있는지 실험해 볼 것이다.

그러한 실험들이 이루어질 때 사용자는 이 가상 세계가 어디까지를 허용하며, 어디까지를 금지하는지 어떻게 배워나갈 것인가?

어떠한 행동 기회가 명백하게 나타나며, 사용자를 위해 가상 세계에서 실행 가능한 작업들은 무엇이 있는가?

플래치와 홀든은 '허용성의 구성은 행위자와 환경 사이의 관계에서 이러한 새로운, 기본적인 현실의 기초를 반영한다'라고 말한다.

여기서 경험의 현실은 사용자에 의해 지각된 거리를 의미하며, 사물의 절대 크기 또는 사건의 실체를 규정하는 절대 거리를 말하는 것이 아니다.

이 때문에 사용자가 수행할 수 있는 행동이 적을수록, 경험이 더 실제 한다고 지각할 수 있게 된다.

하지만 VR의 경우에는 다른 미디어보다 실제의 제공에서 인지된 여건을 분리할 수 있다는 특징이 있다.

 

3.2. 가상 현실의 잘못된 어포던스

잘못된 어포던스를 가진 인터페이스는 어딘가 결함이 있다는 것을 의미한다.

사용자의 예상이 빗나갔다면, 새로운 우연의 기회를 노리며 다시 반복적인 탐색 과정을 거쳐야 하기 때문에 비효율적인 결과를 가져온다.

하지만 종종 체험자의 지각을 속이는 가상 현실에서는 이를 좀 더 또는 좀 덜 현실처럼 보이게 만들기 위해서 의도적으로 잘못된 어포던스를 만들어내는 경우도 존재한다.

우리가 생각하는 벽은 통과할 수 없는 벽이다.

하지만 이러한 생각이 정말 가상 세계에서도 통할까? 또는 통해야 할까?

누군가 앞에 나타난 벽을 보고, 저 벽을 통과할 수 있을까라는 호기심으로 대뜸 팔을 뻗었다면?

가상 세계 속 낭떠러지 앞에 선 사람이 그 아래를 내려다보고 있다면, 자신이 떨어질지도 모른다는 생각에 압박감을 느낄 수 있다.

그런 공포감을 느끼고 있는 와중에 누군가 체험자를 밀었다면 어떤 일이 벌어지는가?

체험자는 비명을 지르겠지만, 자신이 낭떠러지에 떨어진 것이 아니라 허공에 떠 있다는 것을 곧 깨닫게 된다.

일반적인 가상 현실 시스템에서 체험자가 가상의 벽을 통과하지 못하게 막을 방법은 존재하지 않는다.

가상 세계 속의 낭떠러지에서 떨어졌다고 체험자를 죽일 수도 없는 법이다.

이러한 것들이 전형적인 거짓된 어포던스의 예시이며, 그중에서도 후자(낭떠러지 예시)는 긍정적인 효과를 낳는다.

하지만 거짓된 어포던스를 마주한 순간부터 그 세계를 믿지 못하게 된다는 단점도 존재하므로 활용 시에는 주의해야 한다.
(환상적인 경험을 목표로 했을 경우는 제외)

 

3.3. 지각된 어포던스 강화: 피드백

실제 세계에서는 어떠한 오브젝트와 상호작용을 하고 인지된 여유가 존재할 때, 체험자의 행동은 그 어포던스가 진짜인지를 구분하게 해 준다.

실제 세계에서 우리는 우리의 행동에 대한 피드백을 즉각적으로 받을 수 있다.

이 때문에 가상 현실이나 컴퓨터의 인터페이스에서도 사용자에게 돌아오는 피드백을 통해 그들의 행동이 지각되었음을 알려주는 것이 필요하다.

- 인지된 여유: 어떠한 오브젝트와 상호작용을 할 때, 오브젝트가 제공하는 가능성, 기능을 얼마나 쉽게 이해할 수 있는지에 대한 것

- 피드백: 사용자가 취하는 행동(작업)에 따라 시스템이 제공하는 응답

피드백의 가장 쉽고 이해하기 좋은 예시가 바로 버튼이다.

우리가 가상 세계에서 버튼을 누른다면 무슨 일이 벌어질까?

버튼을 눌렀을 때, 말 그대로 버튼이 '눌리는' 듯한 피드백은 버튼의 크기와 스타일에 맞게 조정될 것이다.

버튼을 누르는 소리가 날 수도 있고, 버튼이 움푹 눌렸다가 다시 튀어 오르는 애니메이션이 쓰일 수도 있다.

이러한 피드백들은 현실 세계에서 우리가 버튼을 눌렀을 때 경험하게 되는 피드백들을 모방하고 있다.

이처럼 촉각과 신체 움직임(진동)의 느낌은 작용의 피드백에 더 큰 사실성을 보장해 주지만, 이를 개발할 때의 비용과 복잡성도 함께 커질 수밖에 없다.

아이들이 세상을 배우기 위해 온갖 시행착오를 경험하는 것처럼, VR을 처음 접하는 체험자들의 경험은 온갖 시행착오와 호기심으로 가득 찰 것이다.

하지만 여기서 우리는 이 체험자들은 VR을 접하기 전에 현실 세계를 체험했다는 것을 잊지 말아야 한다.

즉, 현실에서 배운 다양한 요소들이 VR을 접했다고 해서 말끔히 머릿속에서 사라지는 것이 아니라는 것이다.

가상 세계 속에서 스마트폰을 접했다면 체험자들은 당연히 현실 세계 속에서 접했던 스마트폰의 사용법을 그대로 적용하고자 시도할 것이다.

하지만 그렇다고 해서 가상 세계와 현실 세계가 완벽하게 똑같을 수는 없으므로, 새로운 VR 경험을 접할 때마다 어느 수준까지는 어떠한 시나리오에서 어떠한 사건이 벌어질지 모르는 상황에 놓인, 현실 세계의 아이들과 유사한 자리에 놓이게 될 것이다.

 

---

 

---

수고하셨습니다!

---