회화 캔버스는 물론 고딕 성당의 스테인드글라스나 천장화가 그려진 돔, 파노라마 극장 등은 모두 과거의 스크린 미디어라고 할 수 있다. 많은 이들이 ‘스크린 경험’이라고 하면 영화 스크린, TV 스크린, 컴퓨터 스크린을 떠올리지만, 오늘날의 스크린 경험은 이보다 훨씬 다양한 미디어 경험과 깊이 연결되어 있다. 이제 거의 모든 미디어는 디지털 미디어로 통합되어 가고 있으며, 이러한 디지털 미디어는 대부분 컴퓨터를 통해 편집되고 재생된다. 그 결과, 예전처럼 영화관이나 거실에서 여럿이 함께 하나의 스크린을 바라보던 경험은 점차 줄어들고, 이제는 각자의 방에서 손안의 작은 스크린을 통해 혼자 감상하는 형태로 바뀌어 가고 있다. 이렇듯 ‘함께 보는 스크린’에서 ‘혼자 보는 스크린’으로의 전환은 우리 삶에 어떤 변화를 가져오고 있을까?
--- 「들어가는 글」 중에서

회화에서 창문은 오랫동안 세상을 재현하는 장치로서 은유되어 왔지만, 이는 거꾸로 창문을 재현에 대한 은유로 인식시켜 온 것이기도 하다. 우리는 재현된 대상이 비록 환영일지라도 그것이 실제 현실에 대한 반영이라고 믿어 왔다. 그런데 마그리트의 그림은 재현과 환영 사이를 불안정하게 오간다. 재현이 환영으로, 환영이 다시 재현으로 바뀌며 경계를 흐린다. 이러한 감각은 접근 망원경을 통해 멀어졌다 가까워지는, 즉 줌인과 줌 아웃을 반복하는 거리감의 변화처럼 느껴지기도 한다. 그 때문에 우리의 시선과 사고는 어느 한군데에 안온히 정착하지 못한 채 두 개체 사이에서 진동과 떨림을 반복한다. 마그리트는 보는 이가 이러한 환영과 재현 사이에서 실재에 대한 하나의 인식에 결코 머무르지 못하게 만든다. 그의 그림은 실재에 대한 인식에 안주하지 않도록 끊임없이 질문을 던진다.
--- 「2장 불투명한 창문과 왜곡된 거울」 중에서

벤야민은 아우라가 ‘상상의 영역 안에’ 있다고 했다. 서로 이질적인 것들이 중첩되는 영역을 상상의 영역이라 한다면, 스크린 역시 이러한 모순을 담고 있는 상상의 영역이라 말할 수 있지 않을까. 이는 앞서 이야기한 몰입하고 함께하는 경험과, 분리되고 소외되는 경험으로서의 스크린 경험과 연결지어 생각해 볼 수 있다. 스크린이라는 표면은 서로 다른 시선들, 비매개와 하이퍼매개적 경험, 투명하고 에워싸는 느낌과 불투명하게 반사되어 튀어 나가고 분리되는 느낌을 끊임없이 교차시킨다. 하나의 장이자 인터페이스적 경계 영역으로서 스크린은 서로 다른 이질적이고 이중적인 경험 사이에 놓인다. 그것은 세상과 나, 가상과 현실, 몰입과 소외, 충만함과 냉정함 사이에서 끊임없이 유동하고 진동한다. 스크린을 통해 우리는 세상을 바라보고, 또 나 자신을 성찰하며 그 안에서 끊임없이 떨리고 울리는 경험과 마주한다.
--- 「6장 스크린과 아우라」 중에서

‘고증考證’이란 어떤 대상이나 내용을 옛 물건이나 문헌에 기초해 증거를 세우고, 이를 통해 이론적으로 밝힌다는 뜻이다. 따라서 SF에서 다루는, 미래에 있을 법한 기술적 대상물에 기초해 이론을 세운다는 표현은 다소 어색하게 들릴 수 있다. 그러나 〈마이너리티 리포트〉에 등장한 위 장면은 당시 연구 중이던 다양한 멀티터치 기술을 상당히 정확하게 반영한 사례라고 볼 수 있다. 2007년경에 나는 TEI(Tangible, Embedded and Embodied Interaction) 학회 키노트 연설에서 〈마이너리티 리포트〉의 기술 자문을 맡았던 연구자로부터 인상적인 이야기를 들었다. 톰 크루즈가 허공에서 손을 움직이며 조작하던 동작이 오늘날 우리가 스마트폰 스크린 위에서 손가락을 움직이는 방식과 유사하게 느껴졌다면, 그것은 바로 그 장면이 당시 개발 중이던 멀티터치 스크린 인터랙션 기술을 잘 고증한 덕분이라는 이야기였다.

미술비평가 클레어 비숍은 디지털 디바이스가 밝고 선명한 디스플레이와 인터넷 네트워크, 그리고 높은 해상도의 카메라를 통해 이미지를 생생하고 직접적으로 전달하지만, 터치 스크린 위 우리의 손끝은 그 이미지가 보여 주는 현실에 한없이 무덤덤하다고 말한다. 우리는 이미지를 습관적으로 확대하고 축소하며, 일부를 자르고 변형시키는 데 익숙해졌다. 이는 신체 이미지를 다룰 때도 마찬가지다. 〈터칭 리얼리티〉에서처럼 시신 이미지조차, 사용자에 의해 무심하게 조작되거나 ‘참수’되기까지 한다. 비숍은 이러한 태도가 우리가 별다른 생각 없이 가족사진이나 친구 사진 같은 사적인 이미지를 공유하고 주고받는 방식에서 비롯되었다고 분석한다. 무의식적으로 이미지를 대하고 처리하는 태도가, 우리가 끔찍하게 느끼고 경각심을 가져야 할 대상에게도 그대로 적용된다는 것이다. 그녀는 또한 이러한 태도가 스크린 터치로도 자연스럽게 이어지며 이미지 다루기에 점점 더 익숙해지고 가까워지는 동시에, 고통스럽고 충격적인 이미지에도 감정적으로 충분한 거리를 둘 수 있는 모순된 심리적 경험을 익히게 된 것이라 말한다.
--- 「9장 터치 스크린」 중에서

홀로그램 시위가 있기 1년 전인 2014년 초에 나는 한국과학기술원(KIST) 실감교류로보틱스센터 연구팀과 함께 투명 스크린 연구 프로젝트에 외부 연구원으로 참여한 적이 있다. KIST 연구팀은 LG 디스플레이와 함께 투명 터치 디스플레이를 개발하고자 했다. 이는 대형 유리 스크린의 앞뒤에 프로젝터로 이미지를 구현하는 동시에 스크린을 직접 터치하여 상호작용할 수 있는 디스플레이였다. 나는 석사과정 연구원 두 명과 함께 투명 디스플레이 하드웨어와 이에 적용할 새로운 소프트웨어 콘텐츠를 제작하고 구현하는 역할을 맡았다. 당시 투명 디스플레이는 이미 MIT 미디어 랩이나 카이스트 등 여러 대학 연구실에서 제작되었고, 여기에 적용할 수 있는 애플리케이션도 몇몇 발표되던 상황이었다. 당시 다른 연구팀들은 투명 디스플레이를 매장에서 상품과 함께 관련 정보를 동시에 보여 주는 진열 디스플레이로 사용하거나, 여러 사용자가 마주보며 게임을 즐길 수 있는 형태로 활용하고자 했다. 반면 우리 팀은 기존 응용 사례들과는 다른 새로운 방식의 애플리케이션을 만들고자 했다.
--- 「11장 투명 스크린」 중에서

학생들을 가르치는 일을 하다 보니 자연스럽게 그들의 일상생활을 목격하게 된다. 과연 N-스크린 세대답게 그들은 책상 위에 여러 스크린을 진열해 놓고, 그 안에 수많은 창을 띄운 채 공부를 한다. 과제나 논문 작성을 위해 e-book이나 PDF 자료를 읽으면서 구글 번역기나 챗GPT를 돌리는 한편, 유튜브 창으로는 드라마나 스포츠 중계를 본다. 여러 개의 카카오톡 대화방을 수시로 들락거리며 친구들과의 대화도 이어 간다. 과연 디지털 네이티브답다. 그들의 멀티태스킹 능력이 부럽기도 하고 신기하기도 해서 한번은 어떻게 그런 능력을 갖게 되었는지 물어본 적이 있다. 그랬더니 전혀 예상치 못한 답이 돌아왔다. 자신들도 딱히 그런 능력이 있는 것은 아니라는 대답이었다. 물론 ‘디지털 낀 세대(디지털 이주민)’인 나와는 비교할 수 없겠지만, 그들도 멀티태스킹의 DNA를 갖고 태어난 건 아니라고 했다. 그렇다면 왜 이런 방식을 고수하는 걸까? 효율이 높아 보이지도 않는데 말이다. 돌아온 답은 이랬다. “뒤처질까 봐 두려워서요. 뒤처지기 싫거든요.” 젊은이나 나이 든 어른이나 빠르게 변화해 가는 현대사회에서 쏟아지는 정보와 지식들, 쌓여 가는 일들로 인해 무기력해지고 하루하루 고군분투해야 하는 것은 매한가지였다.