Virtual 환경에서의 뉴미디어아트 표현방법

인.터.페.이.스.영.상

1. 서론

초창기부터 지금까지 가장 대중화되어있고 또한 가장 경제적이며 가장 다루기 쉽고 효율적인 것이 바로 키보드였다. 그리고 컴퓨터를 다루는 운영체계가 기존의 텍스트 환경에서 GUI(Graphic User Interface)로 옮겨오면서 혁신적으로 등장했던 것이 바로 마우스다. 이 기계장치를 두드리고 휙휙 이동시키면서 클릭하는 행동과 그 기계는 의식하지 못하고 숨 쉬고 있는 공기의 존재만큼이나 당연해졌다. 이러한 것들은 컴퓨터 환경, 즉 디지털 세상에 접속하기 위해 이용하는 물리적 인터페이스의 형태다.

그 이후 좀 더 직접적으로, 좀 더 감각적으로 이 디지털 세상에 접속하고 이용하기 위한 인터페이스들에 대한 연구가 진행되고 그 모습들이 속속 사람들에게 보여 지게 된다. 지금 더 이상 단순한 실험이 아닌 생활 기기로서 많은 것들이 그 모습을 보여주고 있다. 대표적인 예로 직접적인 화면을 건드리는 터치스크린이다. 은행 입출금기에서 흔히 볼 수 있는 이 입력장치는 apple사의 ipod touch라는 기기에서 Multi-touch라는 모습으로 더욱 감각적인 모습을 우리에게 선보이고 있다. 모니터를 앞뒤로 꺾으며 직접 화면으로 입력하는 타블렛 노트북 역시 이제 넘볼 수 있는 가격대로 상품화되어 있다.

Nintendo의 Wii라는 게임 콘솔은 또 하나의 혁신이었다. 네러티브를 가지고 조이패드 혹은 조이스틱을 가지고 즐기는 기존 게임의 형태를 완전히 바꿨다. 기울임이나 움직임의 변화에 반응하는 자이로 모션 센서를 탑재한 Wii의 독특한 컨트롤러는 '몸으로 즐길 수 있는' 다양한 게임들을 내 놓으며 PlayStation 시리즈로 견고하게 그 위치를 쌓은 소니왕국의 아성을 무너뜨렸다.

이것 이외에도 몸이 불편한 사람들(전신장애자)들을 위한 입력기기들도 많이 연구되고 있다. 대표적인 예로 동공의 움직임을 읽어 마우스 커서를 움직이는 기기라든지, Ars Electronica에서 그 모습을 보였던 뇌파를 읽어 컴퓨터를 조작할 수 있게 하는 작업이라던지 하는 것들이다. 새로운 입력장치가 나올 때 그것을 현실화, 대중화하는데 가장 큰 문제점이라면 그 장치의 크기와 구성일 것이다. 너무 크거나 너무 다양한 장치가 필요하다면 가격도 물론이거니와 설치에서의 번거로움 등등이 따라와 생활화되기 힘들기 때문이다.

2. 인터페이스 소프트웨어

인터페이스는 하나의 시스템을 구성하는 2개의 구성 요소 또는 2개의 시스템이 상호 작용할 수 있도록 접속되는 경계를 가리키기도 하고, 이 경계에서 상호 접속하기 위한 하드웨어, 소프트웨어, 조건, 규약 등을 포괄적으로 가리키기도 한다. 인터페이스 구성 요소로는 신호의 전압, 주파수, 타이밍 등의 전기적 특성, 공통의 물리적 상호 접속 특성, 명령과 응답 등의 논리적 특성 등이 있으며 정상적인 상호 접속을 위해서는 이들 조건이 일치할 필요가 있다. 컴퓨터 처리와 컴퓨터 통신에서는 인간과 프로그램이 상호 작용할 수 있게 하는 사용자 인터페이스와 같은 소프트웨어 인터페이스와 하드웨어 장치 간에 상호 작용할 수 있게 하는 하드웨어 인터페이스가 여러 수준에서 일어난다. 가장 두드러지게 눈에 보이는 소프트웨어 인터페이스인 사용자 인터페이스는 기본적으로 ① 문자 방식 인터페이스, ② 메뉴 방식 인터페이스, ③ 도형 인터페이스의 3종류로 분류 된다. 사용자 인터페이스 이외의 소프트웨어 인터페이스로는 컴퓨터 내부에서 응용 프로그램이 운영 체제와 상호 작용할 수 있게 하는 인터페이스, 운영 체제가 컴퓨터의 하드웨어와 상호 작용할 수 있게 하는 인터페이스와 같이 눈에 보이지 않는 것이 있다. 하드웨어 인터페이스로는 컴퓨터 내부에서 장치나 구성 요소 간을 상호 접속하는 눈에 보이지 않은 인터페이스, 컴퓨터와 주변 장치간의 접속과 정보 전송을 가능하게 하는 플러그, 커넥터, 카드 등이 있다. 업체별 국가별로 개발한 다른 시스템간의 통신이 가능하게 하기 위해서는 인터페이스를 표준화한 것이 필요하다. 각국에서는 표준화 기관이나 업계 단체에서 표준화를 추진하고 국제적으로는 ITU나 ISO 등에서 표준화를 진행하고 있다. 예를 들면, RS 232는 미국의 전자 공업 단체인 EIA와 표준화 기관인 ANSI에서 작성한 컴퓨터와 주변 장치간 또는 DTE와 DCE간의 인터페이스 표준이고, V.24는 RS 232와 호환성이 있는 인터페이스 표준으로 ITU T에서 권고하는 국제 표준이다. ISO에서 표준화한 OSI 참조 모델에서는 다른 시스템 간의 통신을 위한 하드웨어와 소프트웨어 구성 요소간의 인터페이스 지침이 정의되어 있다.

1) 그래픽 라이브러리 Open GL

Open GL이란 그래픽스 하드웨어에 대한 독립적인 프로그래밍 소프트웨어 인터페이스로서 3D 그래픽 워크스테이션으로 유명한 SGI사가 만든 공개 3D 라이브러리로 DirectX내의 3D API set이다. 대화형 3차원 애플리케이션 제작에 필요한 오브젝트 연산을 구성하는데 사용할 수 있는 250여 개의 커맨드로 구성되어 있다. 이것은 다양한 하드웨어 플랫폼에서 구현될 수 있도록 간략하고 하드웨어 독립적인 형태로 설계 되었다. 이와 같은 하드웨어 독립성을 유지하기 위해 윈도우 관련 작업을 수행하거나 사용자 입력을 받아들이기 위한 추천서는 애초부터 Open GL에 포함되지 않았으며, 대신 윈도우 시스템에 구애받지 않고 하드웨어를 제어할 수 있게 되었다. 3D영상을 사용자가 인터렉티브하게 하기 위해 Visual C++등에 gult를 셋팅 하여 사용한다. Open GL을 이용하여 마야에서 모델링 된 값을 obj 파일로 저장한 후 모델링, 벌택스와 노말 정보를 받아들여 유저 인터페이스가 가능하게 프로그래밍 할 수 있다.

3. 인터페이스 영상

다음 작가와 작품 인터페이스 작품으로 현대 미디어 아트의 차세대 작가들이다.

작품과 관객 사이에서, 혹은 작품을 구성하는 미디어와 관객 사이에서 발생하는 상호작용과 그것을 가능하게 하는 다양한 인터페이스들을 펼쳐 보이고 있다. 특히 일상적으로 디지털 미디어를 사용할 때와는 다른 상호작용들을 유도하는 인터페이스들을 제시하면서, 최소한의 인터페이스, 즉, 주변 요소들을 제거한 인터페이스 자체에 주목하게 한다.

먼저 〈on the fly〉(도1)는 리딩엣지디자인(LEADING EDGE DESIGN-L.E.D)¹⁾의 전시 내비게이션 시스템이다. 손에 들고 있는 전시 안내문을 테이블 위에 올려놓으면, 시스템이 안내문을 인식하여 그 자체가 전시장을 안내하는 인터페이스가 된다. 안내문에는 16개의 구멍이 있는데, 손가락으로 구멍을 가리면 구멍으로부터 작품이 있는 방향으로 선이 뻗어 나오면서, 작품의 위치와 작품에 대한 설명이 나타난다. 같은 공간에 있는 작품을 선택하고, 구멍으로부터 나온 선이 가리키는 방향을 바라보면, 선택한 작품 옆에 세워져 있는 설명 판이 환하게 빛난다. 전시안내문 한 장과 손가락만으로 관객은 전시되어 있는 작품들에 대한 정보를 얻을 수도 있고, 안내문의 어느 면을 위로 놓느냐에 따라 같은 정보를 영어로 혹은 일어로 볼 수 있다. L.E.D는 소금쟁이 모양의 종이에 자성이 있는 바늘을 고정시켜 물에 띄워 놓은 떠다니는 나침반(Floating Compass)라는 작품은 떠다니는 나침반의 움직임으로 눈에 보이지 않는 주변의 자기장이 실체를 갖게 된다.

로즈가르데(Daan Roosegaarde)²⁾의 〈리퀴드 스페이스 6.0Liquid Space 6.0〉(도2)은 인터랙티브한 설치 작품으로, 근섬유 같은 튜브들로 만들어진 오브제가 관객의 움직임에 따라 색, 소리, 형태가 변화하는 작품이다. 건축가이기도 한 작가는 우리의 환경 속에서 건축, 사람 그리고 디지털 기술의 관계에 관심을 가지면서, 디지털 기술로 인해 건축과 사람의 관계가 변화하고 있음에 주목한다. 유동적으로 환경의 변화에 반응하는 작품을 통해 상호작용성이 도입되었을 때 기존의 구조는 어떻게 변화할 수 있는지, 또 상호작용성으로 인해 가능한 새로운 구조는 무엇인지에 대한 아이디어를 구체화하고 있다.

앨리스온의 칼럼에서도 소개된 바 있는 크리스 서그류(Chris Sugrue)³⁾의 미묘한 〈경계Delicate Boundaries〉(도3)는 벌레들이 살고 있는 스크린에 관객이 손을 대면, 스크린 속의 벌레들이 손을 따라 꼬물꼬물 기어 나오는 작품이다. 대부분의 스크린 기반 인터랙티브 작품들에서 관객이 스크린 안에 실루엣으로 반영되거나, 스크린 앞에서의 특정한 행동들이 작품에 반영되었던 것에 비해, 스크린 상의 벌레가 손을 따라 물리적인 세계로 한발 한발 나오는 모습은 관객이 스크린에 참여

1) L.E.D는 1994년 세워진 일본의 디자인 회사로 이름처럼 첨단의 디자인을 선 보여왔다. 이세이 미야케의 유명한 OVO시계로부터 도쿄 지하철의 수이카(Suica) 시스템(우리나라의 교통카드 시스템과 같다)과 치바공업대학 미래로봇기술 연구센터(fuRo)가 개발한 Halluc Ⅱ 로봇의 디자인에 이르기까지 L.E.D.의 디자인에는 경계가 없다. L.E.D.를 이끌고 있는 야마나카 순지는 미래의 기술을 제안할 수 있는 사람으로서의 디자이너를 실천하고 있다. 2) 로즈가르데는 건축가로, 네덜란드의 로테르담을 중심으로 활동하고 있는 작가이다. 건축과 사람, 미디어의 관계성을 탐구하여 기술과 신체의 상호작용에 의한, 관객과 공공 공간의 교차를 작품으로 표현하고 있다. V2(네덜란드), 마이크로웨이브(홍콩) 등 국제적인 아트 페스티벌에 작품을 선보였고, 현재 아트랩 '스튜디오 로즈가르데Studio Roosegaarde'를 이끌고 있다. 3) 크리스 서그류는 작가이자 프로그래머로, 국제적으로 유명한 작가와 함께 인터랙티브 설치 작품, 라이브 퍼포먼스 등의 소프트웨어 개발을 하고 있다. 린츠의 아르스 일렉트로니카 퓨처 랩future lab과 뉴욕 아이빔Eyebeam의 연구원을 지내고 현재는 'Casa de Velazquez' 아티스트인레지던스Artist in Residence에 소속되어 마드리드에서 활동하고 있다.

해야 했던 단계에서 나아가 스크린의 오브제들이 아날로그 세계로 나올 준비를 하고 있는 것처럼 보이기도 한다. 신치카(SHINCHIKA)⁴⁾의 작품, 〈H2Orz와 JSCO〉(도4)도 현실과 가상의 경계에 대해 고민하고 있다.

두 작품 모두, 실사 영상과 2D, 3D 애니메이션으로 구성되었는데, 애니메이션에 등장하는 가상의 사물들을 물리적인 형태로 제작하여 작품 주변에 설치해놓음으로써 작품을 스크린을 통해서뿐만 아니라, 실제적인 오브제로 경험할 수 있도록 하고 있다. 전철과 같은 일상 속의 사물은 애니메이션 속에서 과장되고 왜곡되어 새로운 모습의 사물로 태어나고, 여기에 물리적인 형태를 부여하여 전시장이라는 현실 속의 공간에 가져다 놓음으로써, 가상과 현실이라는 두 세계의 경계에 놓여 있는 새로운 무언가를 제시한다. 직접적으로 '인터페이스'를 전면에 내세우고 실험하고 있는 다른 작품들과는 다른 방향으로 '인터페이스'를 다루고 있는 이 작품에 대해 작가들은 '디지털 오브제의 존재를 전제로 하고, 그 이후의 감성, 그러니까 현실과 가상의 오브제들이 오버랩되는 순간의 감성이 무엇일지에 대해 고민하고 있다'고 설명한다.

4) YCAM Post#13에서도 소개했던 신치카는 그래픽, 영상, 작사, 작곡 등을 모두 제작하는 작가 그룹이다. 히사카도 츠요시(久門剛史), 후지노 요스케(藤野洋右), 후지키 린시로(藤木倫史郎), 요시카와 신페이(吉川辰平), 카츠무라 토키(勝村富貴)의 5명으로 구성되어 있고, 각 멤버의 기억이나 사는 곳 등 일상 속에서 찾게 되는 이미지들의 단편을 소재로 작품을 제작하고 있다.

관객이 예술작품에 참여하는 일은 결코 새로운 현상이 아니다. 오래 전부터 예술작품은 관람객이나 향유자가 예술작품을 탐닉하고 감상함으로써 완성된다고 생각해왔다. 반면에 오늘날 쌍방향이라 부르는 성질은 사람과 기계가 한 몸이 돼서 관객이 직접 작품을 작동시키고 활성화시킨다.

인간과 기계의 결합은 이제 작품이나 장치가 창조될 때만 이루어지는 게 아니라, 작품이 관객에게 제시될 때마다 이루어진다. 그러려면 사전에 작품이 하나의 프로그램이나 각본을 가지고 여러 방향으로 기능하도록 고안되어야 한다.

이런 논리로 볼 때 작품의 향유자가 작품의 메커니즘을 발동시키고 제어하고 따라가고 반응 시스템을 구동시키는 컴퓨터에 센서(음향이나 촉각, 전신감각적 자극 따위를 감지한다)를 부착함으로써 실시간⁵⁾으로 관객의 요구와 반응에 부응할 수 있다. 몇몇 쌍방향 설치 작품은 순전히 관객의 참여로 기능하도록 되어있다.⁶⁾

마리 엘렌 트라뷔(프: Marie-Helene Tramus)와 미셀 브레(Michel Bret)는 관람객의 직접적인 참여를 유도하는 공동작업 시리즈를 선보였는데, 이론가 에드몽 큐쇼(Edmond Couchot)의 협력을 얻은 〈나는 씨를 흩뿌린다 Je seme a tout vent〉(도5)는, 스크린 위에 관람객이 실제로 입김을 불면 모여 있던 민들레 꽃씨가 흩어지는 모습을 보여준다. 실제의 물리적인 체험이 가상의 현실로 전이되는 것이다.

이 작품을 만든 작가들은 자기네 작품의 진정한 의미가 바로 예술가뿐 아니라 관객이 정확히 현실과 가상현실 사이의 중간단계에 함몰하는 것이라고 말한다.

이러한 작품들은 테크놀로지가 때로는 단순한 커뮤니케이션이나 작품 보급의 수단을 넘어서 작품 창작의 일차적인 재료로 쓰일 수도 있음을 보여주는 것이다.

비요크(Bjork)의 볼타(Volta) 투어에 함께하면서 널리 알려진 〈리액테이블 혹은 리액터블 reacTable〉(도6)은 세르지 호르다(Sergi Jorda), 마르틴 칼텐브룬너(Martin Kaltenbrunner), 귄터 가이거(Gunter Geiger), 마르코스 알론소(Marcos Alonso)⁷⁾의 공동작업으로 제작되었다. 〈리액테이블〉은 신디사이저의 개념을 반투명한 원형 테이블탑 위에 적용한 것으로, 음원이나 이펙트의 역할을 하는 모듈들을 올려놓고 음악을 연주하는 작품이다. 음원 모듈들은 고유의 소리를 가지며, 원 중심으로부터의 위치, 주위의 다른 음원이나 이펙트에 따라 변화하고, 이펙트 모듈들은 음원으로부터의 소리를 변형시킨다. 여기에는 여러 사람들이 동시에 참여하여, 함께 음악을 만들 수도 있는데, 남녀노소할 것 없이 전시장을 찾는 모든 관객들을 매료시키고 있다. 관객들은 음악을 끊임없이 변화시키고, 누가 어떤 모듈로 음악을 만들더라도 제법 그럴

5) 컴퓨터나 장치가 지정된 지침에 따라 매우 짧은 시간 동안 행하는 작업의 시간을 일컫는다. 따라서 명령이 내려지고 이것이 실행되기까지의 시간은 최소로 축약돼 있다. 이 개념은 모든 행위예술과, 또한 예술가가 관객의 참여를 기대하는 작업을 벌일 때 대단히 중요한 역할을 하는 개념이다. 컴퓨터나 장치가 반응하는 시간이 거의 소요되지 않다시피 하기 때문에 시간의 경과가 거의 느껴지지 않고 ,바로'실행되는 듯한, 느낌을 준다. (이 개념은 '녹화'와 반대를 이룬다) 6) 플로랑스 드 메르디외, 정재곤 역, 예술과 뉴테크놀로지, 열화당, 2005, p.158. 7) 바르셀로나에 있는 폼페우 파브라 대학의 오디오비주얼 연구소 내에 있는 뮤직 테크놀로지 그룹의 구성원 세르지 호르다, 마르틴 칼텐브룬너, 귄터 가이거, 마르코스 알론소는 텐저블 악기나 모바일 디바이스를 위한 음악 어플리케이션과 같은 새로운 음악 인터페이스를 디자인하는데 연구의 초점을 맞추고 있다. 최근 아르스 일렉트로니카의 골든 니카를 수상하기도 했다.

싸한 음악이 나온다. 여기에서 리액테이블이 이러한 사운드 디바이스를 만들어보고자 하는 다른 시도들과 구별되지 않나 싶다.

〈피사계심도Depth of the Field - Processing Photography Blink Series〉(도7)에서 타카오 순스케(高尾俊介)⁸⁾는 눈 깜박임으로 눈앞의 사진이 전환되는 시스템을 보여준다. 시야를 모두 채우는 거대한 스크린에는 석회동굴의 사진이 펼쳐져 있고, 그 앞에 앉으면 눈을 깜빡일 때마다 새로운 풍경이 펼쳐진다. 작가는 눈과 카메라 셔터의 유사함으로부터 시작하여, 이러한 인터페이스를 고안했다고 한다. 보통 눈으로 어떤 상을 볼 때는 눈을 깜박이기 전과 후의 연속성을 전제로 지각하게 되는데, 눈을 깜박일 때마다 불연속적인 새로운 장면들이 나타나면서 지각에 있어서의 도전에 직면하게 된다. 바로 옆에는 같은 원리로 사진을 넘겨볼 수 있는 설치 작품이 있는 데, 영상의 크기가 컴퓨터 스크린 정도로 작다. 이미지의 사이즈가 줄어들면서, 시야를 채우는 스크린에서의 압도적인 느낌은 줄어들지만, 눈을 깜박이면서 접하게 되는 새로운 장면들은 생소하다.

쿠보타 아키히로(久保田晃弘)⁹⁾의 〈순수φ-추상회화적 인터페이스純粹φ- Abstract Painterly Interface〉(도8)는 인간의 시각 시스템이 두 가지로 구성되어 있다는 전제에서 출발한다. 하나는 시각을 통해 수용한 정보를 기억과 조합하여 정리, 기억하는 '지각시스템(vision for perception)'이고, 다른 하나는 실시간으로 신체의 움직임과 행위를 제어하는

8) 타카오 순스케는 사진, 디지털 이미지를 컴퓨터에서 생성, 편집, 감독하는 것이 일반화되어 있는 현시점에서 미디어 테크놀로지에 대한 고찰과 실험을 반복하면서, 다양한 형태로 작품을 발표하고 있다. 일출부터 일몰까지 일정한 규칙에 따라 촬영하고 편집한 사진영상작품 크롤(Crawl)시리즈, 블로그를 위한 소프트웨어 caplickr이 그런 작품들 중 하나이다. 현재는 감상하는 방법을 포함한 디지털 사진 시리즈 Processing Photography의 새로운 시리즈와 노트북에서 멀티 카메라로 촬영하는 소프트웨어를 구상하고 있다. 9) 쿠보타 아키히로는 사운드 아티스트이자 소프트웨어 아티스트로, 컴퓨터와 실제 악기 등으로 만들어지는 음향영상 작품이나 공연을 제작하고 있고, 디지털, 알고리즘, 네트워크, 즉흥, 인터페이스 등에 대한 고찰에 초점을 맞추고 있다. 특히 라이브 코딩과 자연어 컴퓨팅을 접목시킨 계산에 의해 가능해지는 인터랙션에 대해 탐구하고 있다. 최근, 인간의 지각과 신체를 배제한 인포메이션 아트(이산예술론)와 세포를 소재로 한 바이오 조형에 대한 프로젝트를 시작했다.

'시각운동시스템(vision for action)'이라고 한다. 이 작품에서 주목하고 있는 것은 후자로, 추상적인 시각 오브젝트가 유도하는 신체의 반응과 그 반응으로 인해 변화하는 시각 오브젝트 사이에 반복적인 피드백 루프가 형성되는 것을 보여준다. 중요한 것은, 구체적인 어떤 이미지를 이해하고, 기억하는 것이 아니라, 추상적인 이미지 앞에서 자연스럽게 나타나는 신체의 반응과 그 반응으로 인해 변화하는 이미지인 것이다.

〈카드 플레이Card Play〉(도9)는 재커리 리버만(Zachary Lieberman) 특유의 즐거움이 묻어나는 작품이다. 테오도어 왓슨(Theodore Watson)과의 협업으로 탄생한 이 작품은 52장의 트럼프 카드와 카드테이블 그리고 카드테이블의 모습과 가상의 오브제들이 만나게 되는 스크린으로 구성된다. 각 트럼프 카드에는 음이나 소리가 지정되어 있는데, 이를 카드 테이블에 놓으면 스크린에서는 테이블에 놓여 있는 카드들이 변하기도 하고, 빨간 고깔모자가 나타나 카드들을 징검다리 삼아 뛰어다니면서 음악을 만들어낸다. 예술 작품과 동시에 새로운 놀이를 끊임없이 제시하는 재커리 리버만의 성향이 묻어나는 작품이다.

미디어 아티스트, 프로그래머이면서 전시나 교육에서도 활발한 활동을 보이고 있는 재커리 리버만은 놀이, 커뮤니케이션의 본질, 눈에 보이는 세계와 보이지 않는 세계 사이의 미묘한 차이를 활용한 작품들을 선보이고 있다. 테오도어 왓슨은 작가이자 디자이너이다. 호기심과 두근거리는 경험을 디자인하고자 하여 관객들에게 놀이의 즐거움을 상기시키는 작품들을 제작하고 있다. 예술적인 표현을 위한 새로운 툴, 실험적인 암악 시스템, 신체를 활용한 몰입을 유도하는 인터랙티브 환경의 개발을 진행하고 있다.

4. 몸과 정체성(Identity)

1) 스콧 스니베(Scott Snibbe)

예로부터 아트의 커다란 영역을 차지하고 있었던 '인간의 신체와 아이덴티티'에 관한 이슈는 디지털 아트에서도 쉽게 찾아볼 수 있다. 가상공간 혹은 네트워크 속에서 우리는 어떻게 자신을 정의하고 자아를 발견하고, 또 어떻게 사회와 관계를 만들어 가는가? 이러한 질문을 토대로 표현한 작품들을 만나볼 수 있다.

몸과 정체성은 디지털 세계에서 지배적인 주제로, 가상공간에서 뿐만 아니라 네트워크된 물리적 공간에서 우리가 어떻게 우리 자신을 정의하는지에 대한 문제에 집중하고 있다. 우리의 몸은 여전히 개인적이고 물리적 대상이지만 또한 점점 투명하게 되고 있다. 정확한 감시와 신원 확인은 개인적인 자율성을 위협하는 것 같다. 곳곳에 편재해 있는 감시 카메라라는 우리의 움직임을 추적한다. 전자 지문, 얼굴 인식 소프트웨어, 홍채 스캔과 같은 바이오매트릭스 기술들이 신원 확인의 수단으로 시장에 편입된다. 우리의 가상적 존재는 일체화된 개인의 몸과 반대로 제시된다. 자아와 타자 사이의 경계는 스콧 스니베의 쌍방향 프로젝트 〈경계의 함수: Boundary Functions〉¹⁰⁾(도10)의 핵심으로 물리적 공간에서 개인 사이의 보이지 않는 관계를 시각화한다.

너무 단순한 인터페이스 (우리 눈에는 정사각형의 마룻바닥밖에 보이지 않는다)에서 '무슨 일이 일어날 것인가' 기대하고 올라서면, 아무 반응이 없었다. 하지만, 한 사람이 올라서자마자 두 명 사이에는 형광 파란색의 경계선이 만들어진다. 사람이 추가될수록 각 각의 공간을 줄어들며, 경계선은 아주 다이내믹하게 움직인다. 하나의 사회를 이루고 있지만, 각 개인이 그 속에서 결과적으로는 분리되어 있는 자아를 느끼게 해주는 작품이다.

〈경계의 함수〉는 자연과 수학적 문제를 이해하기 우해 적용된 분석적인 방법을 사용하면서 사적 공간을 사회적 관계 속에서 다른 사람들과 자신을 분리하는 보이지 않는 한계를 뚜렷이 한다. 견고한 도표 형식인 스니베의 작품은 우리의 이탈된 정보를 줌으로써 동적인 방식으로 추상적인 과정을 시각화하는 디지털 매체의 역량을 다루고 있다.

5. 데이터베이스

혹자는 우리가 정보의 시대를 살아간다고 말한다. 하지만, 이 정보가 단지 수집되고 보관만 된다면 이는 우리에게 가치 없는 데이터에 불과할 것이다. 데이터가 어떠한 의미를 가지려면, 어떠한 기준에 따라 필터링 되거나, 매핑이라는 방법에 따라 새로운 형태의 옷을 입어야 한다. 많은 아티스트들이 세상에 산재한 데이터를 작품에 응용하기 시작했는데, 과학, 통계, 건축, 디자인, 디지털 아트 등 광범위하게 데이터베이스 비주얼 라이제이션이라는 용어로 불리어 지고 있다. 특히 정보구조는 메모리의 구조에 비유된다. '정보 공간'이라는 용어는 지금은 폭넓게 디지털 세계나 인터넷과 연관되어 있다. 그러나 도서관, 빌딩 혹은 도시와 같은 모든 정보의 '용기'는 그것의 특성이 가상의 동적인 데이터베이스와는 완전히 다르다 할지라도 본질적으로 고유의 데이터 공간과 정보 구조를 구성하고 있다.

1) 마틴 워텐버그(Martin Wattenberg-1970)

마틴 워텐버그의 〈아파트〉(도11)는 '정보의 구조' 가 '아파트의 구조'라는 옷을 입고 있는 것이다. 텅 빈 스크린에 관객들은 그들이 선택한 텍스트와 단어를 입력하면, 입력된 것은 모니터 위에 청사진과 비슷한 2차원 평면도의 방 그림이 나타난다. 각 아파트의 구조는 관객들의 단어들에 대한 의미론적 분석에 기초하고 있으며 표현하고자 하는 주제에 따라 재조직된다. 가령 화면 하단에 사용자가 단어를 입력하면, 이는 단어 뜻에 가장 관련이 있는 아파트 공간으로 이동한다. 만약에 사용자가 'Wind 라고 입력하면, 이 단어는 Window 공간으로 이동한다. 단어와 공간은 사용자가 사용한 단어에 따라 기호학적으로 분류되어 역동적으로 움직이며, 모두 저장되어 거대한 데이터베이스를 이룬다. 마틴 워텐버그는 이 외에도 주식 정보, Rhizome.org 데이터베이스, 사운드 등을 이용한 작업들을 많이 하였다.

10) 스콧 스니베, 〈경계의 함수〉, 1998. 이 지역 분할 형식은 보로노이 도표로 알려진 것으로 고고학과 인류학에서는 인류의 정착 유형을 설명하기 위해서, 마케팅에서는 체인점의 효과적인 배치를 위해서, 컴퓨터 과학에서는 삼각법 문제를 해결하기 위해서 사용된다.

2) 브래드퍼드 팔레이(W. Bradford Paley)

데이터베이스 비주얼라이제이션의 정수가 아닌가 싶은 브래드퍼드 팔레이의 〈텍스트 아크〉(도12)는 2002년, 전세계 컴퓨터 그래픽 축제인 시그라프에 초대되었다. 사용자가 다양한 방식으로 텍스트를 선택하거나 컨텐츠의 패턴을 드러낼 수 있다. 〈텍스트 아크〉는 또한 오프셋 프린트와 같은 물리적 구현을 가지고 있다. 자바로 제작되었으며, 이상한 나라 엘리스, 햄릿 등의 작품을 한 화면에서 환상적인 그래픽 효과와 더불어 읽을 수 있다. 위 그림에서 테두리의 두 줄로 된 흰색 원은 이상한 나라의 엘리스의 전문이다. 사용자가 읽기 버튼을 누르면서부터 테두리에 있는 글을 읽기 시작하고, 중앙에 흩어져 있는 단어들은 빈도수에 따라 위치가 정해진다. 읽는 순서에 따라 베지어 곡선으로 따라 읽어가며, 단어 간의 연결 구조를 한눈에 볼 수 있다. 이런 시각화 프로젝트에 내재해 있는 개념과 구조는 아카이브와 데이터베이스로서, 우리의 디지털 문화에 대한 이해와 지도 그리기(mapping)의 주된 요소이다.

6. 인터페이스 아트의 전망

뉴미디어 아트의 열린 가능성을 위하여 디지털 시대에 미술에 대한 개념적 패러다임의 변화가 진정 행해질 것인가. 만일 그것이 가능한 방향으로 선회한다면, 무엇보다도 패러다임의 전환은 삶과 문화의 차원을 꿰뚫는 미술 개념에 힘입어 가능케 될 것이다. 왜냐하면 디지털 기술을 받아들이는 문제는 단순히 이전의 낡은 기술을 새로운 기술이 대체하리라는 기술주의적 믿음이나, 새로운 매체의 출현이 모든 변화를 가능케 하리라는 식의 매체 결정주의적 사고로 귀결되는 것이 아니기 때문이다. 오히려 중요한 것은 그러한 기술의 출현과 발전이 우리들 삶과 문화에 어떠한 영향을 미칠 것인지를 고민하고, 이를 통해 기술의 역사와 미술의 역사의 관계를 새롭게 조망하는 일이다. 따라서 문제의 초점을 '시각문화'와 '시각 커뮤니케이션'의 맥락을 수용하는 미술 개념의 설정에 두고자 한다. 너무도 당연한 이야기지만 미술의 역사는 이미지의 역사였고, 그 양상은 매체의 기술적 발달로 인해 사진 이미지에서 모든 동영상 이미지, 그리고 시청각 문화에 이르기까지의 역사적 과정을 포괄하고 있다. 게다가 기술매체는 곧바로 새로운 문화를 형성하는 주체로서 기능하여, 우리의 문화 환경을 변화시킬 뿐만 아니라 그 속에서의 새로운 감수성과 가치관의 형성, 미적 판단의 기준과 인식 구조의 새로운 틀을 만들어 가게 되는 것이다. 그렇게 본다면 사실 시각문화와 시각 커뮤니케이션이라는 맥락이 결코 새로울 것은 없다. 단지 모더니즘 시기에 미술이 미술 내적인 문제로 집중되고 제한되면서 이 같은 측면이 약화되었던 것이라고 볼 수 있다. 문제를 이미지와 텍스트의 관계로 보아도 좋을 것이다. 기본적으로 이미지란 문자의 발명 이전에 그 자체로 언어적 성격을 지녔으며, 실제로 언어적 기능을 지닌 것이었다. 문자사용 후 점차로 이미지와 텍스트가 분리되면서, 특히 미술 영역에서 이미지는 시각적인 문제로 완전히 분리되고 좁혀졌다고 볼 수 있다. 그런데 영상시대를 통해 이미지의 문제는 다시 텍스트와의 새로운 관계를 회복하면서 그 자체가 의미를 만들어내는 주체가 된 것이다. 엄청난 양의 이야기와 메타언어를 만들어내는 의미생성체로서 생존 변모하는 시각문화 현실 앞에 미술의 문제가 놓여있다는 것의 의미가 바로 그것이다. 이제 새로운 패러다임의 시작은 이미지와 텍스트의 새로운 관계를 고민하는 일, 우리를 에워싸고 있는 이미지 문화의 의미구조와 그것의 이데올로기적 맥락을 해체하는 일, 그리고 새로운 의미를 만들어내는 일에서 주어질 것이다.

미디어 매체가 변혁의 징후와 잠재력을 지니는 것은 무엇보다 다양한 매체가 편재된 오늘날의 시각문화 속에서 최적화된 인터페이스로 기능하기 때문이다. 컴퓨터는 사진과 영화와 비디오 등 전통매체의 기능을 확장하고 성격을 변화시킴으로써 이미지 프로세싱과 시뮬레이션, 그리고 상호작용적 작동에 완전히 새로운 양상을 제공한다. 그리고 인터넷으로 대표되는 네트워크는 기존하는 여러 미술 흐름들을 하나로 접속시키고 그 속도를 증폭시켜 다 방향으로 분열시키고 있다.

'뒤샹의 레디메이드' 이후 대량 생산된 기성품을 차용하는 방식이 현대미술에서 개념적 혁명을 주도했다면, 이러한 양상은 미술에서 나타날 질적 혁명의 또 다른 징후인지도 모른다. 보기에 따라서는 '레디메이드' 가 기계 테크놀로지의 산물이고 컴퓨터의 '알고리즘 절차' 가 전자 테크놀로지의 산물이라는 점에서, 정보사회의 리얼리티를 구현하기 위한 유력한 선택처럼 보인다.

그러나 여기에도 함정이 도사리고 있다. 컴퓨터와 같은 디지털 부호체계는 이진법적 형태를 취하기 때문에 '질문과 대답' 만을 강요할 뿐 개념이나 상상력이 개입될 여지가 적다. 또 수학적으로 정식화된 절차의 일방성은 사전에 예정된 결과만을 산출함으로써 의미의 희박화와 미적 체험의 단편화를 초래할 위험을 지닌다. 결국 컴퓨터를 이용한 이미지의 생산과 재생산은 우연성과 임의성의 개입을 극대화하는 측면과 대수학적 언어의 연산과정에서 나타나는 획일성과 표준화의 이중적 특성을 지니는 것이다. 가령, 동영상의 속도감이나 컴퓨터 그래픽의 현란함은, 역설적으로 패턴화된 변화의 압도적 효과 때문에 작품의 개념성이나 의미내용이 개입될 여지를 더욱 줄인다. 그것은 '현란한 변화 속에 나타나는 또 다른 정체' 이며, 반복되는 정체란 현대미술의 맥락에서 퇴행 쪽에 가깝다.

실제로 컴퓨터를 직접 매체로 도입한 미술은 국내외에서의 활발한 실험적 시도에도 불구하고 제도권에서 평가가 유보되거나 절하되고 있는 것이 현실이다. 이러한 상황이 급변하여 '비디오아트' 처럼 제도권의 중심부에 극적으로 진입할 가능성은 거의 없어 보인다. 그것은 그래픽 소프트웨어를 통해 무차별로 양산되는 '프랙탈 이미지' 들이 순수미술의 문맥에서 '테크노-키치' 라는 형편없는 평가를 받는 것처럼, 단지 효과만을 의도하여 하이 테크놀로지를 도입한 결과 작품 자체의 개념이 모호해졌다는 점 때문일 것이다. 아니면, 거대자본에 밀착하여 전시가 이벤트화하거나 공학적 프로젝트의 부대효과로 전시가 추진됨으로써 작업의 진정성이나 작품의 개념성을 확보할 겨를이 미처 없어질 수도 있다.

물론 이와 반대인 경우도 있어, 가상현실이라는 개념은 가상의 예술가이며, 경험하고 느껴 보지 못했던 가상의 세계라는 개념, 그리고 경험하지 못했던 세계를 통한 느낌을 예술로 표현해야 한다는 부담을 예술가들에게 준 것도 사실이다. 진정한 의미의 인터랙티브 아트 혹은 넓은 의미의 컴퓨터 아트라는 분야는 다른 어떤 분야보다 미디어 아트에 필요한 분야라고 생각한다. 진정한 창작은 사용하는 재료를 충분히 숙지했을 때만 나올 수 있고, 이것이 표현욕이 되었든 복잡한 하드웨어가 되었든 모두가 창작활동의 재료로서 익힘의 대상이 되어야 하는 데는 차이가 없다.

다만, 이 둘은 기존 교육 시스템이나 인식에서는 서로 다른 훈련(discipline)으로 인식되어 모두를 공부할 기회를 가진 사람이 많지 않다는 차이가 있을 뿐이다. 둘을 모두 익히는 것은 어려운 일이다. 하지만, 그 둘을 모두 공부함으로써 얻을 수 있는 표현 폭의 확장, 새로운 체험의 제시 등의 시너지 효과는 이 어려움을 극복하게 하는 매력적인 동기임에는 의심의 여지가 없다.

이제 서로의 분야에 대한 이해를 높이려는 부단한 노력, 마음자세, 더 나아가 이 둘을 아우르는 교육 프로그램의 개발 등의 일을 추진하는 것이 표현의 확장이라는 꿈을 지닌 우리가 해결해야 할 선수 과제로 남았다. 새로운 미학이 대두하고 있다. 예술작품은 점점 더 인터페이스 속에, 말하자면 예술작품과 관찰자가 만나는 공간을 분절화 하는 것 속에, 심지어 공예품으로서 예술작품이 모두 사라지고 오로지 관찰자들 사이의 소통만이 남는 그런 공간을 조직하는 것 속에서 구현된다.

인터페이스의 성공이 그저 결합 기제의 효율성에 의해서 구성되는 반면, 한 인터페이스의 예술적 질은 그 결합은 어느 정도로 문화적 가치를 구현하느냐에 달려 있다. 인터랙티브, 가상현실, 하이퍼미디어, 원격현전 및 네트워킹의 다듬어지지 않은 창조적 양상들에 모아지는 관심은 그것들이 구현하는 문화적 패러다임의 내포적 변동에 대한 인정에서 나오는 것이다. 하지만 우려스러운 일은 물론 그저 이 기술들의 은유적, 일화적 가치들을 분절하는 데에 그치는 열광이다. 이 상황 속에서 전통적 예술 실천의 시적, 개념적 엄격함이 미디어 영역에서 이루어지는 우리의 모든 노력의 모범으로 남을지도 모른다.

예술과 산업의 상이한 역사에서 비롯되는 기술적 차이, 사회경제적 변화의 결과에 대한 예술적 수용 차원을 고려해 볼 때, 현대의 예술가, 특히 멀티미디어 아트 작가들은 르네상스 시대의 천재작가 미켈란젤로나 다빈치로 대표되는 예술가의 이미지발명가 수준인 벤처리스트(venturist)가 되어야 하는 것이다.

특히 디지털 기술을 기반으로 한 뉴미디어아트 작품을 만들어 낼 때 그들의 의식과 예술적 영역을 확장해야 하는 상황에 와 있기도 하다. 물론 소프트웨어 개발자들이 원하는 기술적인 솔루션 수준은 아니라 할지라도 그런 의식의 방향으로 예술적 생산물과 작품의 의미를 생산해 내야 하는 것이다. 이것이 바로 뉴미디어아트의 대중성을 보장하는 수단이 될 수 있을 것이고, 창조성의 발견에 부여되는 사회적 책임일 것이다. 그러나 아직까지 기술매체 발전의 한계로 인해 새로운 매체를 통한 예술적 상상력의 표현이 자유롭지 못하기 때문에 새로운 기술 미디어의 사용에서 매체보다는 매체가 표현 할 수 있는 기술적 가능성에 미학적 인식의 초점을 맞출 수밖에 없는 경우가 많다.

물론 자유로운 상상력을 기반으로 기술적 상상력의 한계를 극복한 예술작품이 어떤 작가에 의해 만들어질 수도 있을 것이라는 뉴미디어 아트의 미학적 가능성은 언제나 열어 두어야 한다. 사회경제적 상황과 인간적 실존 방식은 상호 협조적이기도 하지만, 많은 경우 둘 사이의 경쟁적 구도에서 발생하는 어려운 상황을 극복한 개인들만이 그들의 존재론적 당위성을 개척해 나가고 또한 삶의 의미를 만들어 낼 수 있다. 이런 문화 사회 경제적 상황이 예술작품의 창조에서 수용될 수 있을 때 뉴미디어 아트는 예술의 확장 범위로써, 진정한 21세기 예술형식으로써, 새로운 시대의 패러다임을 수용하고 대표할 수 있는 새로운 예술형식의 아우라가 존재 할 수 있을 것이다.

새로운 매체나 기술개발은 미술계 전반에 걸쳐 제도적 변화를 가져왔다. 이제 우리가 관심을 갖고 지켜봐야 할 것은 '소프트웨어 아트' 또는 '넷아트'로 불리는 디지털 아트다. 시간이 흐르면 조만간 디지털 매체를 사용하는 미술과 그렇지 않은 미술로 나뉠 것이고 결국에는 디지털 아트가 주류를 이루게 될 것이다. 마치 유화가 템페라 화를 몰아낸 것처럼. 그리고 디지털 매체는 미술 전반에 걸쳐 유화물감의 발명이 가져온 것과는 비교가 되지 않을 만큼의 커다랗고 근본적인 제도적 변화를 가져올 것이 분명하다.

앞으로는 인간이 목소리로 명령을 하거나, 만지거나, 눈의 움직임 그리고 그와 비슷한 기계들이 작품과 결합되는 피지컬 컴퓨팅의 세계가 열릴 것으로 기대된다. 피지컬 컴퓨팅이란, 앞서 언급한 예처럼 컴퓨터의 일정 프로세서 혹은 일부 장치를 인간의 감각기관이 대신하는 것으로, 인간이 컴퓨터를 보다 적극적으로 조작하고 컴퓨터의 기능이 확대되는 것이다.

아마도 아티스트와 과학자들의 마지막 도전은 인간의 두뇌와 기계, 뇌와 뇌 사이의 인터렉션이 되지 않을까 싶다. 이미 세계 곳곳에서 그 시작을 알리는 연구와 작품이 나오고 있으니 말이다. 바이오테크놀로지, 신경과학, 나노기술 또한 앞으로 작품에 적용될 수 있는 좋은 소재가 될 것이다.

90년대부터 미디어아트에는 이른바 '후기생물학적 세계' 가 전개된다. 유전학, DNA, 자기증식 오토마톤, 신경망회로, 사이버네틱스, 형태발생의 수리, 발생분화의 알고리즘, 카오스이론, 유전적 알고리즘(Genetic Algorithm: GA) 와 같은 생물/생태학적 이론들과 컴퓨터의 연산능력이 융합되면서 인공생명(Artificial Life)과 같은 연구분야를 낳게 됐다. 여기에 생명공학, 나노테크놀러지(Nano-Technology)가 합세하면서 생명과 물질계에 대한 새로운 시야를 열고 예술과 철학, 우주관, 심지어는 종교를 위한 새로운 사색의 계기를 제공하고 있다.