メディウムとして自律したインターフェイスが顕わにする回路

水野 勝仁 / Masanori Mizuno

2015.10.21

重ね合わされたマウスとゆらゆら揺れるiPad

私は長らく、エキソニモの「ゴットは、存在する。」と、谷口暁彦の「思い過ごすものたち」という作品を一緒に考えたいと思っていました。このふたつはともにユーザインターフェイスを題材にした連作ですが、鑑賞者であるヒトとのインタラクションがない作品です。そして、どちらの作品もインターフェイスが自律している状態にあります。ヒトとコンピュータとのあいだにあるインターフェイスが、「単体」で自律しているのです。

エキソニモと谷口の作品を順番に見ていきましょう。まずはエキソニモによる自作の説明です。

標準的なインターフェイスやデバイス、インターネットの中に潜む神秘性をあぶり出すことをテーマにした一連のシリーズ。光学式マウスを2つ絶妙なポジションで合わせることでカーソルが動き出すことを発見し、その祈っているような形態と、祈ることで奇跡が起きている状況を作品化した「Pray」。日本語で神を意味する「ゴッド」と、一箇所だけ違うが意味を成さない単語「ゴット」をTwitterの検索結果の中で置き換え「ゴット」の存在する世界を表出させた「Rumor」など。用途をずらし、無効化されたインターフェイスの中に神秘性を見出していく試みでもある。

「インターフェイスの中に神秘性を見出していく試み」と言われても、あまりピンと来ない方が多いのではないでしょうか。でも、私はこのことがとても気になるのです。インターフェイスにヒトが介在しなくてもコンピュータが動き続けることには、ヒトとコンピュータとの関係を示唆する何かがある気がするからです。今回は、連作である「ゴットは、存在する。」で、最初に取り上げられている《祈(=Pray)》を見ていきたいと思います。

エキソニモ「祈(=Pray)」

以下は、私が《祈》を見たときに考えたことです。

《祈》では、ふたつの光学式マウスが手を合わせるように重ねられ、「祈り」がGoogle画像検索されたディスプレイ上で、カーソルが震えるように動いています。私はそれを見て、マウスという「モノ」が祈るという行為をしていると認識してしまいました。ふたつのマウスが手を合わせるように重ねられていることもありますが、ディスプレイ上でかすかに動くカーソルを見たとき、何かを切実に「祈る」行為がなされていると思ったのです。ヒトに特有な「祈る」という行為が、マウスという「モノ」とカーソルという「イメージ」の組合せによって、ヒトを介さず行われていました。イメージを介してモノが祈っている、と言ってもいいかもしれません。

次に、谷口の「思い過ごすものたち」を見ていきましょう。まずは谷口による自作の説明です。

「思い過ごすものたち」は、いくつかの日用品と、iPadやiPhoneを素材にした彫刻作品です。
“思い過ごす”とは、あれこれと考えすぎて、しばしば現実とはズレた認識や理解をしてしまうことです。
これは、作品を鑑賞する人や、作品に用いられているiPadやiPhoneたちが “思い過ごし” てしまうような、ズレた接続や配置を試みた作品です。
iPadとiPhoneを、日用品のひとつとして捉え、特別なアプリケーションは使用せず、標準でインストールされているアプリケーションを、そのまま使用しています。

エキソニモと同じく、「思い過ごすものたち」の説明にも「標準」という言葉が使われています。「標準」とは、デバイスを買ったときにそれがあるということです。誰もが一度は使うことになる「標準」装備のアプリやインターフェイスは、ひとつの「自然」のように、今やあって当たり前の存在になっています。特に意識することなく当たり前に使っているからこそ、谷口やエキソニモが説明するとおり、「ズレ」によって認識の変化が起こります。だから作品のタイトルも、「ゴッド」から「ゴット」へ、「現実」から「思い過ごし」へとズレているのです。

「思い過ごすものたち」も連作なので、エキソニモと同じように、谷口が最初に説明している作品《A.》を取り上げてみたいと思います。

谷口暁彦「A.」

《A.》について谷口は次のように説明しています。

A.
・天上から吊られたiPadが扇風機の風で揺れます。
・iPadの画面には、ティッシュペーパーが風でたなびいている映像が短いループで流れ続けます。

以下は、《A.》を見たときに私が考えたことです。

《A.》は天井から吊られたiPadに、箱に入ったティッシュペーパーのCGが映し出されていて、ゆらゆらとしています。「ゆらゆらしている」のは、扇風機の風によって揺れているiPadそのものですが、そこに映ったティッシュペーパーも揺れています。でも、風に揺らされているのはiPadだけで、そこに映されたティッシュペーパーは風と関係なく揺れています。映像はループしているだけで、風と映像のあいだに直接的なインタラクションはありません。物理レイヤーではしっかりと関係していますが、イメージレイヤーでは全く関係していないのです。しかし、その関係が「ある」にしろ「ない」にしろ、見る人のなかでiPadとティッシュペーパーと風はつながってしまいます。これはどうしても、なにがあってもつながってしまうのです。

メディウムとして自律するインターフェイス

エキソニモと谷口の自作説明と、私が作品を体験したときの考察を並べると、そこから「モノ」と「イメージ」との関係性が見えてきます。インターフェイスというのは、マウスなどのモノの部分とディスプレイに映るカーソルなどのイメージの部分が、ヒトの行為と連動して機能するものです。しかし、《祈》と《A.》にはヒトがいません。それでも、カーソルは勝手に動くし、iPadは勝手に揺れています。そのときヒトは、マウスとカーソルとの関係から「祈る」行為を想起してしまい、揺れているiPadとそのディスプレイに映るティッシュペーパーを結びつけてしまう。これらの作品が興味深いのは、インターフェイスからヒトを取り除きながら、ひとつの現象としてヒトに意味を示していることなのです。

エキソニモはマウスとカーソルといったデスクトップメタファに基づくインターフェイスを使い、谷口はタッチパネルをインターフェイスにしたデバイスを扱っているちがいはあります。しかし、ともに「インターフェイス」を作品の「メディウム」※1に選んでいることにはちがいはありません。唐突に「メディウム」という言葉を使いましたが、ここがとても重要なところです。エキソニモと谷口の作品は、ヒトとコンピュータのあいだの「インターフェイス」を扱いながら、それらが「ふたつの存在のあいだに生じる状態」ではなく、「メディウム」という作品の支持体として自律したモノになっています。それはもうインターフェイスではないだろうという声もあるでしょう。なにしろこれらの作品には、ヒトとのインタラクションがないのですから。

私は、かつて美術批評家のクレメント・グリーンバーグが「モダニズムの絵画」※2で、絵画におけるメディウムの「純粋さ」を指摘したことを思い出しました。グリーンバーグは絵画の特性を平面性=二次元性に求めました。そして絵画から、彫刻の本分である三次元性が連想される要素を取り除くことで、その「純粋さ」が得られると考えたのです。このグリーンバーグの考えを知ったとき、私はエキソニモと谷口の作品が「モダニズムのインターフェイス」と呼べるのではないかと思うようになりました。なぜなら、両者の作品を見ていると、マウスとカーソル、iPadといったインターフェイスを構成するモノの特性に意識が向かうからです。これはインターフェイスを考える際、あまり経験のなかったことです。

一方で、先ほども書いたとおり、インターフェイスは「ふたつの存在のあいだに生じる状態」のようなもので、モノが作品の支持体=メディウムとして「純粋さ」を追求できるわけではないとも考えていました。実際、インターフェイスをメディウムとして見ることはほとんどありません。アートとしてのインターフェイスでは、ヒトとコンピュータとのインタラクションが問題になることが多いからです。しかし、エキソニモと谷口の作品は、ヒトを取り除いたインターフェイスをモノとして提示することで、アートのメディウムとしてインターフェイスを追求しているように見えたのです。

インターフェイスのスイッチとなるヒト

エキソニモと谷口の作品は、私たちを日常からズラした状態を作り出しています。エキソニモはそれを「用途をずらし、無効化されたインターフェイスの中に神秘性を見出していく試み」と言い、「奇跡が起きている状況」を見せようとしました。谷口はそれを「作品に用いられているiPadが“思い過ごし”てしまうような、ズレた接続や配置を試みた」としました。ここでズラされているのは、もちろんヒトです。ヒトを除いてもコンピュータやiPadが動き続ける状態をつくること。それが「奇跡」であり、「思い過ごし」とされているのです。

つまり、ヒトを介さずに情報が流れる閉回路をつくることができれば、それはインターフェイスとして機能し続けるのです。エキソニモの《祈》は、重ねあわせたマウスで起こる光の干渉によって情報を生じさせ、ディスプレイ上のカーソルを動かします。もう一方の谷口の《A.》には、何ひとつ回路はありません。しかし、「画面の中のティッシュの映像は、風とは無関係にただループ再生されていることは見ればすぐわかる。iPadそのものを揺らすことは間違えた接続なのだけれど、それによって風が画面の中に入っていくように感じられてしまう」と谷口が言うように、それを見たヒトが画面の内と外をつなげる回路を勝手につくってしまいます。これはいわば、擬似的な閉回路と言えるでしょう。

ふたつの作品を見ていて、そこに「祈る」行為を想起し、風が画面の中に入っていくように感じたとき、ヒトはインターフェイスの閉回路から弾き出されています。いつも接続されているかのように感じているコンピュータの回路から追い出され、自分では何も情報を生みだすことができず、目の前の状況を勝手に想像することしかできません。このとき、「インターフェイス」が情報を生みだして流す回路のようなもので、その回路に組み込まれたヒトとモノは「スイッチ」のような役割を担っていることに気づかされます。つまり、ヒトはインターフェイスにおいて、情報を生み出すためにマウスボタンを「押す/押さない」、タッチパネルに「触れる/触れない」などの「オン/オフ」を繰り返す存在でしかありません。ヒトがいなくても、別のモノがスイッチになっていれば問題ないのです。

この意味で、エキソニモの《祈》は残酷かもしれません。完全にヒトを必要としていないからです。マウスとカーソルは通常の機能を果たしているにもかかわらず、ヒトは「祈る」行為を想起することしかできません。それに対して、谷口の《A.》では、ヒトがまだ「思い過ごすものたち」に含まれています。ヒトの思い過ごしによって、iPadと風を接続する回路は生成されています。

いや、もしかすると、より残酷なのは谷口の方かもしれません。谷口がつくる回路には、何ひとつ明示的なオン/オフがないからです。iPadには加速度センサーがついていますが、この作品では揺れを感知していません。ただ扇風機の風に吹かれて揺れているだけです。《A.》は情報の流れをつくらず、重ね合わされたマウスのようなヒトの行為に似た要素もなく、風に揺れるiPadという物理現象を頼りに、ヒトの想起を取り込もこうとしているのです。

より大きな回路のインターフェイス

「スイッチ」について、アメリカの哲学者グレゴリー・ベイトソンが興味深い指摘をしているので、引用してみます。

われわれは日常、“スイッチ”という概念が、“石”とか“テーブル”とかいう概念とは次元を異にしていることに気づかないでいる。ちょっと考えてみれば解ることだが、電気回路の一部分としてスイッチは、オンの位置にある時には存在していない。回路の視点に立てば、スイッチとその前後の導線の間には何ら違いはない。スイッチはただの“導線の延長”にすぎない。また、オフの時にも、スイッチは回路の視点から見てやはり存在してはいない。それは二個の導体(これ自体スイッチがオンの時しか導体としては存在しないが)の間の単なる切れ目 —— 無なるもの —— にすぎない。スイッチとは、切り換えの瞬間以外は存在しないものなのだ。“スイッチ”という概念は、時間に対し特別な関係を持つ。それは“物体”という概念よりも、“変化”という概念に関わるものである。(pp.147-148)グレゴリー・ベイトソン『精神と自然 — 生きた世界の認識論』

ベイトソンの「スイッチ」が、「物体」ではく「変化」という概念に関わるものであるという指摘は、エキソニモと谷口の作品、そしてインターフェイスの「純粋性」を考える上で、とても有効に思えます。私たちはインターフェイスをモノとして考えがちですが、そのとき機能しているマウス、カーソル、タッチパネル、そしてヒトも含めて、それらが情報を生み出すための「スイッチ」だとすれば、「変化」という概念で捉えることができます。インターフェイスは「ふたつの存在のあいだの状態」と言ってきましたが、その状態はふたつの存在のあいだで起こり続ける「変化」と言い換えることができます。インターフェイスでは、モノだけでなくヒトも含めたすべての存在が、情報を生み出すために「変化」を繰り返すスイッチとして、回路の導線に組み込まれているのです。

これまで、インターフェイスを扱ったほとんどの作品は、次々と「変化」していくインタラクションの様子を見せてきました。しかし、エキソニモと谷口の作品は、そのインタラクションからヒトを追い出して、回路そのものをモノ=メディウムとして提示しました。ヒトの視点が回路の外側にあるからこそ、重ねられたマウスが起こす「奇跡」や、iPadが「思い過ごす」様子を見て、インターフェイスをモノ=メディウムとして捉えられるのです。

インターフェイスを考えるには、インタラクションという「変化」の部分と、インタラクションを生じさせているモノ自体を見なければなりません。「変化」を意識しながら、そこにベイトソンが言う「無」となるモノ自体であるマウス、カーソル、タッチパネル、ヒトを見つめることで、はじめてインターフェイスを構成する回路の存在をメディウムとして捉えることができるようになります。それはとても注意深い作業と言えるでしょう。なぜなら、見ようとしているものは「無」ですから、ベイトソンが提示する「変化」への意識を経由して、「物体」を改めて見る必要があるのです。

デジタルの世界では、そこにヒトがいようがいまいが関係なく、プログラムによって再現可能な現象となり、条件さえ整えれば「奇跡」や「思い過ごし」がおこります。それは「無」を見つめて、そこにモノを見出すことであり、エキソニモの言葉にあった「インターフェイスの神秘性」なのかもしれません。エキソニモは「ゴットは、存在する。」に「Spiritual Computing」という英語タイトルをつけました。「スピリチュアル」という体験は、自分を含んだより大きな存在を認めることです。エキソニモと谷口は、インターフェイスにヒトとコンピュータとの関係だけではなく、それを取り巻くもっと大きな回路の存在を見ているのではないでしょうか。彼らの作品は、ヒトとコンピュータのあいだで変化し続けるインターフェイスに、ひとつのモノとして自律させる条件を見つけ出し、再現可能な現象として提示しました。そうすることで、インターフェイスがヒトとコンピュータを含んだ大きな回路であることを示したのだと思います。

自己帰属感と回路の視点

「インターフェイスの神秘性」をもう少し具体的に考えるために、インターフェイスデザインのひとつの原理を導入したいと思います。それはインターフェイス研究者の渡邉恵太が『融けるデザイン』で提案した「自己帰属感」です。

自己帰属感とは、ディスプレイに映るカーソルのような非物質的なものであっても、物質的な身体と連動していると認識される限り、自己に帰属していると感じられることです。渡邉は「カーソルはバーチャルな身体なのではなく、連動性という点においては実世界の自己の知覚原理と同じで「リアル」である」と言い切っています。「カーソルはバーチャルな分身」とよく言われてきましたが、ここでは「連動性」の名のもとに、リアルとバーチャルの境界がないかのようにつながっています。この考えは、コンピュータのインターフェイスのみならず、物質的存在と非物質的存在のあいだすべてに適応される射程の広いものではないでしょうか。渡邉はさらに次のように書きます。

私たちの身体の境界は、生物として手足を持つ人型としての骨格と皮膚までかもしれない。しかし、「生物としての身体」と「知覚原理としての身体」はおそらく少し分けて考えるべきである。そして後者はかなり柔軟にできており、帰属を通じて身体は「拡張可能」と言えるのだ。(p.125)

身体の一部になるということが、「持つこと」ではなく「連動すること」であるとすれば、それは物質から構成される身体ではなく、そこに物質と知覚的情報の設計の曖昧さ、入り混じりが発生する。したがって、自己に帰属した拡張した身体においては、身体の境界設計は物理的にも情報的にも行えるのだ。
私たちは、物理的であることが身体拡張のリアリティをもたらすと考えがちだが、物理的であることはたまたま身体との連動を作るのに都合が良いだけである。だから、物理的でないものであっても、たとえばカーソルであっても、連動すれば身体拡張と考えられる。むしろ、情報的に拡張する方が質量を伴わないため、柔軟な身体拡張が期待できるのだ。(p.128)渡邊恵太『融けるデザイン — ハード×ソフト×ネット時代の新たな設計論』

渡邉は気持ちいいくらいに、物質的であることに重きを置きません。これでいいのだと思います。これから私たちは、インターフェイスによって身体を柔軟に拡張していくのです。渡邉が「カーソル」を基点にして考察するように、既に私たちはカーソルを介して「知覚原理としての身体」を拡張しています。そして、おそらく身体だけでなく、身体が拡張した領域まで「自己」も拡張していくのだと思います。

「自己帰属感」という原理を導入した後で、改めて、エキソニモと谷口の作品を考えてみるとどうでしょうか。コンピュータと向き合いながら、インターフェイスの回路にまで拡張した私たちの身体=自己は、作品の回路に入り込むことができません。モノの回路として示されるインターフェイスの外側で、ただ見ているだけです。私たちの身体は、標準的なインターフェイスで得てきた拡張の感覚を十分すぎるほど蓄積しているにもかかわらず、彼らの作品では直接それが反映されない状態に置かれます。拡張して行き場がなくなった自己は、自律したインターフェイスへと勝手に入り込もうとします。身体はインタラクションできていなくても、意識だけが回路に接続されてインタラクションしてしまうのです。これは「解釈」と呼ばれるものとは少しちがいます。これはベイトソンが「回路の視点」と呼んだ、「スイッチもただの“導線の延長”にすぎない」感覚のように、鑑賞しているヒトの導線が、インターフェイスにまで伸びているのです。

理解の及ばない自分以外の何者か

自律しているインターフェイスへ勝手に入り込んでいってしまう意識はどこから、どのように生じるのでしょうか。もしかすると、これまでヒトの作用から語ってきたのがちがうのかもしれません。ヒトは自律したインターフェイスを見た瞬間に、もっと大きな存在である回路に取り込まれるといったほうが正確な気がします。このことを佐藤雅彦・齋藤達也による『指を置く』から考えてみましょう。

『指を置く』には、図版に指を置くシンプルなインタラクションを加えると、いつもとは全く異なる解釈が生まれてしまうという試みがまとめられています。これは、カーソルや指などで「指差す」ことを前提にした今のユーザインターフェイスの性質を知る上で、とても有益なものです。その研究のなかで得たことを、佐藤は次のように書いています。

この「指を置く」という研究に於いて、まず図版のように静的なメディアであっても、自分自身の行為と結び付いた動的な鑑賞が可能だということ自体がまず新しい発見であった。そればかりか、本書中の分類表に掲載しているように、図版中の出来事が自分事になることで生みだされる表象は非常に多様であった。空間性、エネルギー、生物の気配、道具の感触、概念や観念、また現実にはあり得ない因果性というように多岐にわたる。これは、私たちが実に様々な物事を自分事として認識できる能力を持っているということを意味する。一方で、私たちが自分事として捉えることのできる物事にも限界があることが分かる。「指を置く」の図版の中には、儀式性や呪術性というように自分以外の何らかの存在や摂理を想定せざるを得ない性質のものも見つかっている。指を置いている自分が関与しているのは確かだが、それと同時に理解の及ばない自分以外の何者かが立ち現れるという不可思議な事象や状況も存在するのである。(p.54)佐藤雅彦・齋藤達也『指を置く』

「自分事になる」という言葉は、多分に渡邉の「自己帰属感」と通じています。おそらくヒトは指や手を使うことで、意識の及ぶ範囲を拡大していきました。身体はそれによって、コンピュータのユーザインターフェイスという非物質的な領域にまで拡張されたと考えられます。ヒトがコンピュータとのインタラクションをここまで多様なものにできたのは、「空間性、エネルギー、生物の気配、道具の感触、概念や観念、また現実にはあり得ない因果性」によって動的な鑑賞が生み出され、それが知らず知らずのうちにインターフェイスで活用されたからでしょう。

ハリウッド映画のCGに見られるように、コンピュータは「現実にはあり得ない因果性」を表象することがヒトよりも得意です。だからヒトの「知覚原理の身体」は、コンピュータとのインタラクションで得られた表象をもとにして、さらに拡張していると言えます。しかし、ここで重要なのは「「指を置く」の図版の中には、儀式性や呪術性というように自分以外の何らかの存在や摂理を想定せざるを得ない性質のものも見つかっている」ことです。自分以外の何者かがインタラクションに入り込んでいるという視点は、渡邉になかったものです。しかもそれが、「指を置く」という原初的なインラクションに入り込んできているということは、インターフェイスにおいて立ち上がる自己帰属感に対しても、呪術的な力が働いていると考えられるでしょう。いや、呪術的な力がはたらいているからこそ、身体はいとも簡単に非物質的な存在とつながり、拡張できるといった方がいいかもしれません。自己帰属感とは、常に自己を起点した都合の良いものではないのです。

自己帰属感とともに立ち上がる「理解の及ばない自分以外の何者か」は、ヒトとコンピュータを含んだ回路のなかにあります。インターフェイスが自律する可能性は、この回路の存在を認識するときにこそ立ち上がります。この回路は、身体と自己が拡張される導線であり、自己帰属感をつくりだす基盤です。そしてここまで、その回路を認識することが奇跡であり、思い過ごしでズレた現実認識と考えてきました。けれど、エキソニモと谷口は、それぞれのインターフェイスからヒトを取り除き、インターフェイスをアートのメディウムとして自律させることによって、ヒトとコンピュータを取り巻くより大きな回路の存在を顕わにする方法を得ているのです。

この回路とそこに宿る「インターフェイスの神秘性」が、ヒトとコンピュータにとって何を示しているのかはわかりません。しかし、自律したインターフェイスから生じる現象を見つけて分析していけば、情報を生み出すスイッチとしてのヒトとコンピュータの在り方や関係性が見えてくるのではないかと考えています。