크로스 모달 효과

---

 

 

1. 크로스 모달 지각, 크로스 센서리 효과 & 가상 현실

앞서 우리는 '크로스 모달 지각'에 대해서 살펴보았다.

이제부터는 다감각적 지각 효과를 가상 현실 경험과 어떻게 연관 지을 수 있는지를 살펴볼 것이다.

시작하기에 앞서 크로스 모달 지각, 크로스 센서리 효과에 대해 다시 정리해 본다.

- 크로스 모달 지각: 하나의 감각에서 얻은 정보가 다른 감각의 정보와 통합되는 방식의 지각. 다양한 감각 정보들이 서로 결합되어 통합적인 경험을 만든다.

- 크로스 센서리 효과: 하나의 감각이 다른 감각에 영향을 미치는 현상. 특정한 소리를 들었을 때, 그 소리와 연관이 있는 색상과 맛을 함께 떠올리게 만든다. 즉, 하나의 감각에 대한 자극이 다른 감각의 경험을 유도하거나 강화할 수 있다.

 

---

 

2. 감각우선순위

인간이 지니고 있는 감각들은 세상을 지각하는 방법을 정의하며, 이 세상이 어떤 법칙과 원리로 동작하는지를 이해할 수 있게 해 준다.

여러 감각 중에서 우리는 어떠한 사물을 찾을 수 있도록 해주는 시각에 가장 크게 의존하고 있다.

그 외에도 청각과 촉각을 통해서 어떠한 사건이 일어났을 때, 그 순간을 정확하게 파악하기도 한다.

여기서 인간의 시각이 다른 지각에 영향을 미치는 방법들을 한꺼번에 다시 나열해 보자면 다음과 같다.

- 복화술 효과: 시각 정보에 의해 청각 정보를 잘못 인식하는 현상. 실제로는 인형이 아니라 복화술사가 말을 하고 있지만, 우리는 인형의 입이 움직이는 것을 목격함으로써 인형이 말을 하고 있다고 판단한다.

- 맥거크 효과: 청각 정보와 시각 정보가 서로 충돌하면서 왜곡된 지각이 발생하는 현상. 누군가 "바"라고 말하는 모습을 보았지만, 그와 동시에 "가"라고 말하는 소리가 들렸다면 두 정보가 섞이면서 "다"라는 정보로 이해한다.

- 리디렉티드 터칭: VR 사용자가 실제와 다른 어떤 물체를 만지는 것처럼 느끼게 만드는 것. 현실에서 VR 사용자는 허공에 손을 뻗어 움직이고 있지만, 가상 세계에서는 곰돌이를 쓰다듬고 있다고 느끼게 만든다.

- 리디렉티드 워킹: VR 사용자가 실제보다 더 큰 공간에서 움직이고 있다고 느끼게 만드는 것. 현실에서는 좁은 방 안에 있지만, 가상 세계에서는 그 방보다 수천 배는 더 넓은 평야를 돌아다닌다고 느끼게 만든다.

여기서 리디렉티드 효과의 경우에는 시각이 우리 몸의 위치, 움직임에 대한 감각보다 더 먼저라는 것을 기억해야 한다.

즉, 우리가 눈으로 보는 것이 실제 몸의 감각보다 더 과장되게 작용하며, 다른 감각들은 그 과장된 정보에 맞게 반응한다는 것이다.

만약 우리가 리디렉티드 워킹 효과에 의해서 자유롭게 가상 세계 속을 돌아다니다가 현실 세계에서 물리적인 벽에 부딪혔다면, 그때는 벽에 부딪힌 감각이 시각보다 우위에 있을 것이다.

이로 인해 우리는 순간 가상 세계 속에 보이지 않는 힘이 닿는 영역을 마주했다고 생각할 수도 있다.

 

---

 

3. 크로스 모달 효과의 장단점

3.1. 장점

크로스 모달 효과의 장점을 얻기 위해서는 시각적 효과 외에 추가적인 감각 디스플레이를 제공할 수 있어야 한다.

가장 쉬운 예시가 바로 앞에서 언급한 '복화술 효과'의 활용이다.

<VR Chat>처럼 아바타를 활용하여 다른 사용자들과 소통을 하는 플랫폼이 있다고 가정해 보자.

만약 우리가 그 플랫폼 내에서 음성으로 채팅을 할 수 있다면, 음성 채팅이 이루어지는 동안 아바타의 입술도 채팅 사운드에 맞게 움직일 수 있어야 더 나은 몰입감을 기대할 수 있을 것이다.

또한 이 방법이 공간화된 사운드를 만드는 것보다 비용도 더 저렴하다.

SONY 사의 PlayStation 5에 사용된 Dual Sense 게임 컨트롤러처럼 다양한 진동 피드백 기능을 활용하면 원시적이지만 리디렉티드 터칭과 유사한 효과도 기대해 볼 수 있다.

실제로 Dual Sense 게임 컨트롤러는 양 쪽에 달린 트리거 버튼의 저항을 조절하여 총기의 종류마다 트리거의 단단함을 조절한다거나, 게임 내에서 탄 걸림이 발생했을 때 트리거 버튼이 실제로 눌리지 않는 모습을 재현하는 등의 기능이 포함되어 있다.

다양한 감각들 중에서 청각(사운드)은 VR 경험의 몰입감을 향상하는 가장 일반적인 도구로 쓰인다.

공간감(3D 사운드), 현실감, 맥거크 효과 등 다양하고 유의미한 결과를 기대할 수 있기 때문에 비용이 저렴하면서도 효과가 확실하다.

이처럼 지각을 추가하는 것은 일반적으로 가상 세계의 현실성, 진실성을 향상할 수 있기 때문에 사용자의 몰입감을 끌어올리는 효과를 기대할 수 있다.

사용자의 시야에 들어오지 않은 오브젝트가 내는 소리를 들려준다거나, 멀리서 들리는 폭발음에 따른 진동이 전해지는 등의 피드백은 직관적이면서도 몰입감을 끌어올리기 쉽다.

지금의 이러한 수준을 넘어선, 그다음 단계의 차세대 모습은 사용자가 가상 표현에 대한 자기 소유권을 제공하는 것이 되겠다.

 

3.2. 단점

그렇다면 크로스 모달 효과의 단점은 무엇일까?

무엇보다도 지각의 불일치로 인한 괴리감이 가장 클 것이다.

또한 이러한 괴리감은 기술적 결함, 특정한 자극을 생산할 때 그 완성도가 부실하다는 점에서 발생할 것이다.

여기에는 비용 문제와 현실적인 한계도 포함된다.

복잡하게 생각할 필요도 없이, 우리가 머리를 움직이는 순간을 떠올려보자.

현실 세계에서 머리를 움직이는 것은 말 그대로, '즉각적이고 완벽한' 피드백을 선사해 준다.

인간의 오감 중 어느 하나도 부족하지 않은 정보를 받아들이며, 뇌로 전달되는 자극의 속도가 느리지도 않고, 감각 기관이 받아들이는 자극의 해상도가 떨어지지도 않는다.

하지만 가상 세계는 다르다.

체험자가 사용하는 VR 기기의 성능, 기술적인 발전 수준, 비용 문제 등에 따라서 모든 것이 제한되고 현실 세계보다 한참 뒤떨어지는 모습을 보여준다.

아무리 가상 세계 속에서 피드백을 빠르게 계산하고, 합리적인 씬을 렌더링 하여 보여줄 수 있다고 해도 그것이 현실만큼 빠를 수는 없다.

또한 인간의 모든 감각 기관을 현실 세계와 동일하게 다루는 것도 불가능하다.

당장 인간의 오감을 떠올려보아도 가상 세계 속에서 후각과 미각을 어떻게 다룰 것인지는 여전히 미지수이다.

이러한 괴리감의 크기가 점점 커질수록 인간의 뇌는 무언가 잘못되었다는 것을 감지하기 시작하고, 그것은 멀미나 비행착각과 같은 다양한 불쾌함으로 이어질 수 있다.

 

---

 

4. 크로스 모달 효과에 기반하여 가상 현실 디자인하기

크로스 모달 효과를 적절하게 활용할 수 있다면 VR 체험자의 몰입감을 끌어올리고 현실적인 한계를 극복하는 효과를 기대할 수 있다고 언급했다.

그렇다면 어떻게 가상 현실을 디자인해야 크로스 모달 효과의 장점을 극대화하고 단점을 최소화할 수 있을까?

- 복화술 효과를 적극적으로 활용하라. (아바타의 입술 움직임)

- 가능한 경우 수용기(패시브 또는 액티브)를 사용하라.
패시브 수용기: 별다른 조작 없이도 자동으로 정보를 읽어드릴 수 있는 수용기 (시각, 청각 정보)
액티브 수용기: 직접 조작을 해야 정보를 읽어드릴 수 있는 수용기 (햅틱 장치, 컨트롤러 조작)

- 비행 착각, 현기증, 멀미 등 부정적인 효과를 줄 수 있는 시각 정보를 제한하라. (FOV 조절 기능)

- 가상 세계 속에 있는 체험자가 움직이지 않아도 주변 환경은 실시간으로 움직이고 있음을 알려라. (낮과 밤의 변화)

- 현실 세계의 물리적 법칙을 준수하라. 단, 가상 세계만의 법칙이 있다면 그 법칙도 존중하라. (벽을 통과할 수 없는 체험자)

마지막 항목인 '현실 세계의 물리적 법칙을 준수하라'의 경우, 영화와 애니메이션을 다룰 때에도 유사한 개념이 등장한다.

영화는 현실 세계를 기반으로 만들어지기 때문에 애니메이션과 달리 현실 세계에서 일어날 수 있는 모습들만 다루어야 한다는 것이다.

즉, 영화에서는 <도라에몽>에 등장하는 '4차원 주머니'가 등장할 수 없다는 것이다.

단, 그 영화 속의 세계관이 현실 세계의 법칙을 깨는 그 세계관만의 새로운 법칙이 존재한다면 예외가 발생할 수 있다.

SF 판타지 장르의 대표주자인 <스타워즈> 시리즈, 또는 공포 영화 장르가 좋은 예시가 될 수 있다.

일부 사람들은 <스타워즈>를 언급하면서 '우주에서 소리가 들리는 것은 말이 안 된다'라고 주장했으나, 조지 루카스 감독은 '내 우주에서는 난다'라고 일축했다는 유머가 대표적이다.

다만 애니메이션이나 게임은 현실의 세계를 기반으로 한 것이 아니라 처음부터 완전히 가상의 세계를 기반으로 하고 있기 때문에 이러한 제한에서 좀 더 자유롭다.

애니메이션에서는 '4차원 주머니'가 받아들여질 수 있으며, 그보다 더한 요소들도 충분히 묘사될 수 있다.

게임의 경우 처음에는 애니메이션의 성격에 더 가까웠지만 컴퓨터 그래픽 기술이 현실과 가상을 구분하기 힘들 정도로 발전함에 따라 <Death Stranding>처럼 영화의 문법을 강조하는 게임이 등장하는 등 영화와 애니메이션의 경계를 넘나드는 모습을 보이고 있어 더더욱 자유롭다고 볼 수 있다.

---

 

1. 기호학과 영화 이미지의 역사

4. 프레임

---

 

---

 

---

수고하셨습니다!

---