GUIが折り重ねる「イメージの操作／シンボルの生成」

ヒトはコンピュータに「手」を委譲して、自らの手の行為を「ボタンを押す」という行為に最小化した。ヒトの行為の最小化にともない、物理世界でヒトによって引き起こされてきた出来事は数値化され、コンピュータに格納されていった。ヒトは出来事をボタンで呼び出す。ヒトから「手」を委譲されたコンピュータは、数に神秘を感じることなく、かつてヒトの手が起こしていた出来事を処理し続ける。

アイヴァン・サザランドの「スケッチパッド」では、ヒトはボタンを押しながら、ライトペンで数学的に正しい図形を描く「合生的行為」を行うようになった。今回は、ダグラス・エンゲルバートとアラン・ケイがそれぞれ開発した、「マウス」というデバイスと「重なるウィンドウ」というシステムから、インターフェイスを起点に生じたヒトとコンピュータとの合生的行為と、そこから引き起こされる認識の変化を考えたい。

物理空間をディスプレイに写像するマウス

マウスやウィンドウといった技術を発明して、こういう「コンピュータ情報空間とヒトの物理的空間の相互浸透」をはじめて実現してみせたのがエンゲルバートだった。いまはどんなパソコン・ユーザでも、マウスでファイル・アイコンを引きずって屑箱アイコンに入れたり、マウスのクリックで複数のウィンドウをひらいたり、といった作業を日常的におこなっている。だが、それらがいかに本質的なマンマシン・インターフェース技術か、ということはいくら強調してもし過ぎることはない。西垣通「”思想”としてのパソコン」

ダグラス・エンゲルバートのチームは、ヒトの知能の補強増大を目指した「NLS（oN-Line System）」で用いるポインティングデバイスとして、マウスを開発した。マウスは現在、グラフィカル・ユーザ・インターフェイス（GUI）において欠かせないポインティングデバイスとなっている。しかし、エンゲルバートは、マウスは誰もが簡単に使えるような単純なデバイスだから、効率良く作業できる別の複雑なデバイスがマウスに取って代わると考えていた。しかし、その予想に反して、インターフェイスの歴史は誰でも使いやすいマウスを選択した。エンゲルバートにとって、未だにマウスが使いつづけられ、自身が「マウスの開発者」としてインターフェイスの歴史に名を残したことは誤算だっただろう。

ただし、マウスは単に使いやすいという理由だけで現在まで使われているわけではない。ライトペンやスタイラスペンのようなペン型のデバイスが、直感的に何かを指差したり描いたりする機能を連想させるのに対して、マウスはポインティングデバイスとしては全く直感的なかたちをしていない。西垣が指摘する「コンピュータ情報空間とヒトの物理的空間の相互浸透」というインターフェイスの本質的な状況を、ヒトとコンピュータとのあいだにつくりだしたという観点から、マウスのような直感的とは言い難いポインティングデバイスが、なぜこれほどまでに使われるようになったのかを考えてみる必要がある。

マウスを机の上に置いて動かすとディスプレイ上の「点」や「矢印」が動くが、NLSではこのポインティングする先を示す黒い点は、「バグ」と呼ばれていた。バグは現在のGUIでは「カーソル」と呼ばれ、矢印のイメージになっている。マウスとバグ＝カーソルとがセットになって、ディスプレイという一つの平面に物理空間と情報空間とを重ね合わせる。

ディスプレイはX軸とY軸に基づく二次元のグリッドに区切られている。マウスが置かれた面とディスプレイとは重なり合っているため、ディスプレイ上のカーソルと連動するマウスもまた物理空間をXYグリッドに区切っていくといえる。ライトペンはディスプレイのXYグリッドを直接指定し、スタイラスペンはあらかじめXYグリッドに区切られたタブレットの平面と対になって機能する。対して、マウスはタブレットのような特別な平面を必要とせずに、物理空間にある平面をXYグリッドに区切っていくデバイスである。

例えば、マウスとカーソルによって情報平面と接続された物理平面は、一つの平面でなくてもいい。机の上で動かしていたマウスを別の壁の上で動かしても、情報平面では「机」と「壁」という平面のちがいは問題にならずに、ディスプレイ上のカーソルが動きつづける。さらに言えば、マウスは平面すら必要としない。エンゲルバートが開発したマウスの場合はX軸とY軸の値をとる歯車が動けばいいので、NLSのデモのなかで、エンゲルバートのチームはマウスを裏返して指で歯車を動かし、バグを動かしている。そのとき、指はディスプレイのXYグリッドと重なり合った存在になっているといえる。

物理空間はXYグリッドで区切られているわけではないが、ヒトは物理空間を「机」や「壁」といったように言語で分割して理解している。マウスはヒトによる言語の分割に上書きするかたちで、コンピュータのために物理空間をXYグリッドで分割していく。それは、三次元の物理空間を二次元のディスプレイの平面に重ね合わせるためでしかない。しかも、そのディスプレイの平面はコンピュータが示す「部分像」でしかないのである。

ここで扱うフレームワークにおいて、所与の概念構造がコンピュータによるシンボル操作と完全に両立するシンボル構造で表現できることは述べておく価値がある。そのような構造は、個人が紙の上で実用的に作り上げて使用する構造に比べ、複雑な概念構造を正確に写像するという目的の上ではるかに大きな潜在力をもっている。コンピュータは、全構造のうちディスプレイ・スクリーン上に二次元画像で表された限られた部分像と、この「部分像」を表現するn次元内部イメージの特定の局面とのあいだを往来することができる。もしヒトがこの「部分像」に変更・付与をおこなえば、コンピュータはその変化を内部イメージのシンボル構造に組み込み（コンピュータ向きのシンボルと構造によって）、それによってもし概念上の矛盾部分があれば自動的に検知することができる。ヒトはもはや、ほとんど概念内容が間接的・分散的・非明示的にしか指定できないような、融通のきかない限られたシンボル構造の上で仕事をする必要はないのである。ダグラス・エンゲルバート「ヒトの知能を補強増大させるための概念フレームワーク」

エンゲルバートは、コンピュータ内部のn次元構造がディスプレイの二次元画像に写像されると考えていた。そして、マウスは物理空間のあらゆる平面を、n次元の情報が写像された二次元に重ねていく。そのとき、マウスが置かれた机の上などの物理平面の表側がそのままディスプレイの表面として重なり合うが、それは一対一に対応してはいない。コンピュータのn次元を介しているため、マウスが示す物理空間の一つの点は、情報空間の多数の次元に対応する。ディスプレイの平面のXYグリッドはコンピュータの全構造の「部分像」でしかなく、その奥にはXYグリッドで区切ることができないn次元がある。けれど、コンピュータのn次元の構造をヒトが理解するには、二次元のディスプレイで表示するのが最適とされてきた。ヒトは言語による物理空間の分割を無効化するかたちでグリッドシステムを重ね合わせ、コンピュータのn次元と行き来するようになる。

「鼻」としてのマウスとカーソル

デモの流れからは、エンゲルバートは、新しいコンピュータシステムを、聴衆が既に知っていることや行なっていることに関連づけるように留意しながらも、シミュレートされたメディアの全く新しい特徴に集中していたことが分かる。デモの最初はワードプロセッシングに割かれているが、彼はテキスト入力、カット、ペースト、挿入、ファイル名入力とファイル保存など、コンピュータをより多目的なタイプライターに変えてくれるツールの簡単なデモが終わると、続いて従来の記述メディアが持ち得なかった新しい機能である「ビューコントロール」のより詳細なデモに移っていく。エンゲルバートが強調するように、この新しいライティングメディアム上では、ユーザーは、同じ情報を複数の視点を切り替えながら扱うことができる。テキストファイルは違ったソートをすることが出来る。また、アウトライン・プロセッサやマイクロソフトワード等の現在のワープロのアウトラインモードのように、いくつかのレベルの階層に整理することもできる。例えばアイテムのリストはカテゴリ別に並べ替えることが出来るし、それぞれのカテゴリは展開したり、逆に格納することができる。レフ・マノヴィッチ「カルチュラル・ソフトウェアの発明 — アラン・ケイのユニバーサル・メディア・マシン」

ニューメディアの理論家であるレフ・マノヴィッチは、エンゲルバートのNLSの最も特徴的な機能として「ビューコントロール」をあげている。ビューコントロールはコンピュータのn次元構造に対応しているが、私が注目するのはビューコントロールにおけるマウスとカーソルの役割である。

マウスとカーソルは、ビューコントロールのなかでヒトが迷子にならないようにアンカーとして機能している。なぜなら、クリックするごとにテキストの構造が変化し、その見た目も次々に変わるディスプレイのXYグリッドにおいて、カーソルは常に最前面にあってクリックした座標にありつづけるからである。また、ライトペンやタブレットのスタイラスペンとは異なり、マウスは平面に置いて使うデバイスである。ペン型のデバイスは使い終わったあとでどこかに置くことになるが、それはヒトが最後に行った行為の状態を保持しない。しかし、マウスはもともと平面に置いて使うデバイスであるから、ヒトとコンピュータとの合生的行為の最後の状態をXYグリッドに基づいて保持する。それは、カーソルの位置座標としてディスプレイにも保持されている。マウスとカーソルはヒトの行為が終わったあとも、物理空間と情報空間とが重ね合わされた状態を保持するのである。マウスとカーソルの不動性が、ビューコントロールのような変化しつづける情報平面に、ヒトをつなぎとめる役目を担っている。

マウスはカーソルとともにn次元・二次元・三次元を行き来しながら、情報空間と物理空間とを重ね合わせる一つの起点となっている。マウスとカーソルとのつながりを一つのを起点にして、ヒトとコンピュータとのあいだに二つの空間を重ね合わせたディスプレイという一つの平面が生まれ、そこでXYグリッドに基づいた合生的行為が行われる。マウスとカーソルは物理空間と情報空間とのあいだで合生的行為を生成し続け、最後の行為の座標を残す。

二つの空間で起こる合生的行為とともに存在しつづけるマウスとカーソルは、ヒトとコンピュータにとっての「鼻」のような存在であると言えるだろう。カーソルはヒトの「鼻」のように情報空間にありつづけ、マウスはコンピュータの「鼻」のように物理空間にありつづける。カーソルとマウスは、ヒトとコンピュータとが起こす合生的行為を特定する「鼻」として機能している。生態心理学者のJ・J・ギブソンは、世界を認識する際の「鼻」の役割を次のように指摘している。

頭、胴、腕や手を含めて、自己を特定する光学的情報は、環境を特定する光学的情報に伴う（accompanies）。この二つの情報源は共在している。一方は他方なしには存在し得ない。人が世界を見るときには同時に自分の鼻を見る。というよりは、むしろ世界と自分の鼻が両方とも同時に特定されているが世界と鼻についての認識は両方の間で推移しうる。両者のどちらに注意がいくかは見る人の態度による。強調しておく必要があるのは、情報は両方に有効だということである。J・J・ギブソン『生態学的視覚論』

ギブソンが語る「鼻」は、自分のものにも世界のものにもなりえる対象であった。では、ヒトとコンピュータという、異なる二つの世界で行為をする主体において、「鼻」とはどんなものであろうか。

ヒトはコンピュータを操作する際に、情報空間のなかにカーソルという「鼻」を見ている。コンピュータはヒトとともに合生的行為を起こす際に、物理空間のなかにマウスという「鼻」を見ている。ここでは、二つの空間と二つの「鼻」という四つの情報源が共在している。これら四つの情報源が常に動くことで、物理空間と情報空間とが重なり合った環境と、行為を遂行するヒトとコンピュータという主体が特定されて、合生的行為が生じる。このときヒトは、マウスとカーソルという二つの「鼻」と物理空間と情報空間とを、同時に認識している。四つの情報源からのフィードバックを処理する必要があるがゆえに、ヒトはコンピュータの前では多動的にならざるを得ないのである。

「重なるウィンドウ」がもたらした変革

アラン・ケイが提唱したスローガン「Doing with Images makes Symbols（イメージを操作してシンボルをつくる）」は、現在のGUIにつながるアイデアを簡潔に表現し、GUIの開発に大きな影響を及ぼした。教育心理学者のジョン・ブルーナーによる三つのメンタリティのモデルに基づいてケイが示した以下の表にもあるように、ケイらのグループはマウスをポインティングデバイスとして採用した。

マウスによってディスプレイ上のイメージを動かしながら操作を行い、そこから得られる知見でプログラミングを行う。この連鎖によって、ヒトがコンピュータとともにあらたな思考法を身につけることを、ケイのスローガンは目指していた。

ジョン・ブルーナーがいっているように、じつは前述の三段階は同時に発生するもので、ピアジェが考えたような、ある段階からつぎの段階へと、順次進んでいくようなものではありません。これは支配的なものの移行なのです。幼児期には、肉体的なものが支配します。穴は「掘る」ものなわけです。やがて七歳から九歳あたりになると、こんどは視覚的な関係が支配的になります。そして最後に、現在の常識的な現実から自分を引き離す方法が支配的になるのです。これは、多くの事実を学び、それをシンボルによって操作することを意味します。アラン・ケイ「教育技術における学習と教育の対立」

「行為的／図像的／記号的」の三つの段階が同時に発生するというブルーナーの考えのもと、ケイは「Doing with Images makes Symbols」というスローガンを掲げた。しかし、GUIではその「シンボルの生成（makes Symbols）」の部分、つまり誰もがプログラミングができる状態は未だ実現されていない。GUIでは三つの段階が同時に発生しているのかもしれないが、現在のGUIにつながるアイデアをケイのチームが実装してから40年近くたった今も、GUIで支配的なのは「イメージの操作（Doing with Images）」であって「シンボルの生成」ではない。それはなぜだろうか。その答えは、ケイが「イメージの操作」をGUIで最も具現化し、マウスとともに現在のGUIに欠かせないシステムとなっている「重なるウィンドウ」にある。

しかし、「重なるウィンドウ」は、ディスプレイが「Doing with Images makes Symbols」の達成を妨げる理論に基づいて機能することを決定的にしたシステムでもある。ケイはこのシステムについて、こう書いている。

おそらく最も直感的だったのは、重複するウィンドウというアイデアだ……私が小さすぎると思っていたビットマップ・ディスプレイは個別のピクセルでできており、そこから画面を重ねて見せるというアイデアへ直ちにつながった。これに対してブルーナーのアイデアは、常に比較する方法がなければならないことを示唆していた。あちこち飛び回るという、図像的メンタリティの特徴から考えれば、できる限り多くのリソースをディスプレイ上に表示することは、障害物を取り除き、想像力と問題解決力を高めるために良い方法だった。マルチウィンドウを使う直感的な方法とは、マウスが指しているウィンドウを一番上に持ってくる、というやり方だった。アラン・ケイ「ユーザインターフェイスに関する個人的考察」

ここでまず注目したいのは、ディスプレイには「重なるウィンドウ」以前に、「重ならないウィンドウ」システムがあったということである。コンピュータのディスプレイ以前の映画やテレビでは、一つの画面に単一のイメージを表示していた。マノヴィッチは、映画やテレビの画面が「何であれそのフレームの外部にあるものをフィルターにかけ、遮蔽し（スクリーン・アウト）、接収し、存在しないもの」としてきたと指摘している。しかし、映画やテレビにおける鑑賞の体制が、コンピュータによって崩れてきたと、マノヴィッチは続ける。

この安定性は、コンピュータ画面の到来によって挑戦を受けてきた。まず一方では、コンピュータ画面は概して、単一の画像を見せるのではなく、いくつかの共存するウィンドウを表示する。実際、いくつかの重なり合うウィンドウの共存は、現代のGUIの根本的な原則だ。どの単一のウィンドウも、見る者の注意を完全に支配することはない。その意味で、一つの画面の中に共存するいくつかの画像を同時に観察できるということを、ザッピングという現象 —— 見る者が二つ以上の番組をたどることができるように、テレビのチャンネルをすばやく切り替えること —— と比べることもできるだろう。どちらの場合でも、見る者はもはや単一の画像に集中することがない。レフ・マノヴィッチ『ニューメディアの言語』

マノヴィッチが指摘するように、マルチウィンドウシステムは映画に代表される一つのスクリーンに単一の画像を表示するというルールを根本的に覆した。複数のウィンドウを同時に示すコンピュータのディスプレイによって生じた、画面と見る者とのあいだのルール変更は、「観客が画面に示される映像と同一化する」という前提を覆すことになった。この前提は、見る者の身体を不動な状態に置いてもいた。

身体の監禁は、概念的な水準でも、文字通りの水準でも生じる。その両方の種類の監禁が、すでに最初の画面装置、すなわちアルベルティの遠近法的な窓とともに登場する。線遠近法の多くの解釈者たちによれば、その窓は世界を単眼によって —— 静止し、まばたきもせず、固定させられた単眼によって —— 見られたものとして提示する。レフ・マノヴィッチ『ニューメディアの言語』

複数のウィンドウを示すディスプレイは、もともと「見る者」の身体を監禁することを前提としていない。ディスプレイもコンピュータのn次元と重ねられ、線遠近法を絶対的に扱うのではなく、複数のビューの一つとして扱うようになり、ヒトもマウスとカーソルを用いてその画面を動き続ける。コンピュータのディスプレイでは、ヒトとコンピュータによる合生的な「イメージの操作」が前提となっている。だからこそ、常に変化していくディスプレイにおいて、マウスとカーソルとがアンカーとなって、ヒトとコンピュータをつなぎ止めなければならないのである。GUIにおいては、ディスプレイを「見る」だけの者はいない。GUIとともにヒトは画面の監禁から解放され、イメージを用いてつねにコンピュータと合生的行為をする存在になっているのである。

モードレス化したインタラクション

さらに注目したいのは、ケイが身体を解放しただけでなく、複数のウィンドウに「重なり」を導入し、インタラクションをモードレスにしたことである。NLSでも、マウスとカーソルによって物理平面と情報平面とが重なり合っていたが、ケイはそれらの平面の重なりにウィンドウの重なりを導入した。重なり合うウィンドウはビューコントロールの一種だが、見える部分と見えない部分をつくり、見えている部分があれば、クリック一つで最前面に持ってくることができた。

このインタラクションは、いわゆる「モードレス」だった。アクティブなウィンドウは一つのモードを構成している —— あるウィンドウはペインティングキットを、別のウィンドウはテキストを担当する、という具合に。しかし、特に一つの機能を終了させなくても、次のウィンドウに移ることができる。これこそ、私にとってのモードレスの意義だ。モードレスの優れたインタラクションと、従来のシステムの煩わしいコマンドシンタックスを比較すれば、違いはすぐにわかる —— すべてはモードレスにしなければならないのだ。こうして、「モードを取り除こう」という運動が始まった。アラン・ケイ「ユーザインターフェイスに関する個人的考察」

重なり合ったウィンドウは最前面だけがアクティブになり特権的な平面となっているが、その他のウィンドウは少しでも見えていれば、クリック一つで重なり順を飛び越えるため、ディスプレイ上の階層はフラットに近い状態になっているといえる。コンピュータ内部のn次元がウィンドウの重なりにかたちを変えて、ディスプレイのXYグリッドという二次元で表示されているのである。ヒトは物理平面に置かれたマウスでウィンドウの重なり順を変えて、コンピュータのn次元を操作しつづけるのである。しかも、ウィンドウの重なりの切り替えはモードレスであり、特別なコマンドは必要としない。

重なるウィンドウは「シンボルの生成」の状態になることなく、XYグリッドのディスプレイにおいて、マウスとカーソルを使って「イメージの操作」という合生的行為を行いつづける。そこには一つの視点を持つのではなく、複数のウィンドウの重なりをクリックという行為で入れ替えつつ、コンピュータのn次元とともに思考するという、あらたなルールが設定されているのである。

ケイが導入した「重なるウィンドウ」は、マウスとカーソルとディスプレイとのあいだにあらたなルールを導入した。それは線遠近法の単眼がもつような一つの視点に縛られるのではなく、ウィンドウの重なりを入れ替えながら思考する「イメージの操作」の状態が前面に出たものであった。ディスプレイを見る状態のこのような変化によって、ヒトの思考のルールが変更されたのではないかということを、引き続き考えてみたい。

透視仮説が覆すヒトの認識のルール

思想家の東浩紀は、ポストモダンの主体は映画を見る単眼的な主体ではなく、GUIを見る主体として捉えるべきだとしている。マノヴィッチも指摘していたように、コンピュータのディスプレイが映画のルールを覆す存在だとすれば、GUIを見るヒトの認識や思考方法にも変化があるだろう。映画を見る近代の主体は、一つのスクリーンに映る単一の画像に同一化し、さらにはそこに見えていないカメラや監督の視線とも同一化していく。そして、スクリーンに見えているイメージよりも、見えていないシンボルを優位なものとみなしている。しかし、GUIの背後にはカメラがなく、しかもディスプレイには複数のウィンドウが表示された状態になっている。

映画のスクリーンとコンピュータのインターフェイスは、同じく映像を表示する平面でありながら、そのメディア的な性格がまったく異なっている。前者には映像を投影する映写機があり、またその映像を撮影したカメラもあるが、後者にはそれに相当するものは存在しない。そもそもコンピュータのインターフェイスは映像だけの平面ではない。スクリーンにはイメージしか投影されないが、インターフェイスには、イメージもシンボル（文字）も、あるいはさらにイメージや文字のさらに深層にあるコードさえ、すべて等価に表示することができる。あまりにあたりまえの話なのでピンとこないかもしれないが、Wordを立ち上げYouTubeを再生し、同時にターミナルで簡単なコマンドを打っているとき、ひとは三種類の記号を同時に表示している。東浩紀『ゲンロン0 観光客の哲学』

ウィンドウにはイメージも表示されていれば、テキストというかたちでシンボルも表示されている。ヒトはイメージとシンボルを同時に見て、モードレスにウィンドウの重なり順を入れ替える行為をしながら、コンピュータとともに思考していく。このとき、映画が前提としてきた遠近法的、立体視的なルールは崩れている。

理論神経生物学者のマーク・チャンギージーは『ひとの目、驚異の進化』において、ヒトの目が前向きについているのは立体視のためではなく、障害物を透視してより多くの情報を得るためという透視仮説を提示した。東はこの仮説が、GUIとともに行為や思考を行うヒトの認識を説明する理論となると考えている。まずは、チャンギージーが前向きの目を持つ動物の両眼視野の特徴を述べている箇所を引用したい。

横向きの目を持つ動物たちとは違って、私たちは両眼視野のおかげで、どちらを向いても不透明なものを二つまで見られる！ 前向きの目を持つ動物は、何かが見えなくなることはない。それどころか、見通しの悪い視野の中で、二つの層を見ることができる。まるで、横向きの目を持つ動物のパノラマ視覚が前へ引っ張り出されて重なり、層状の知覚、つまり、統合された知覚が可能になったかのようだ。この場合、視空間の前側の半球しかカバーできないかもしれないが、二つの層を見る能力があるので、実際にはその範囲の二倍が「見える」。障害物を透かして見るときに、両目が同じ方法を向いている強みは、まさにこの能力にある。マーク・チャンギージー『ひとの目、驚異の進化』

チャンギージーの透視仮説を受けて、東は次のように述べる。

もしチャンギージーの発見が、ぼくたちの社会が視覚について長いあいだ抱いてきた誤謬（立体視仮説）を取り除くものであり、そしてその誤謬こそが人文学において伝統的な主体理論の中核を占めていたのだとすれば、その中核は新しい発見（透視仮説）に置き換えられるべきだとは言えるだろう。そしてそうすればそこには必然的に、新しい主体理論が生まれることになる。東浩紀「観光客の哲学の余白に 第2回」

東の大胆な提案は、インターフェイスを考える上で非常にクリティカルなものだといえる。マノヴィッチが指摘したように、ディスプレイのルールはマルチウィンドウシステムで変更されている。ならば、コンピュータのディスプレイを見続けるヒトについて語る前提となる、生物学的特性も変更しなければならない。そうしなければ、映画やテレビといった、コンピュータ以前のヒトが「見る」ためのスクリーンとは異なり、ヒトが行為することを組み込んだインターフェイスのなかで、ディスプレイという平面がマウスを起点としてつくりだすヒトとコンピュータとの合生的認識を捉えることはできないだろう。

ケイの「Doing with Images makes Symbols」は、インターフェイスのためのスローガンでありながら、一つのテキストとして線形的に示されているという点で、線遠近法や立体視仮説に基づく「シンボルの生成（makes Symbols）」を重視しているように読める。実際にケイのゴールは、すべてのヒトがプログラミングできることであった。しかし、重なるウィンドウは単眼の線遠近法のルールを覆すものである。両眼でディスプレイを見る透視仮説に基づき、重なるウィンドウを改めて考えてみると、ケイのスローガンで重視されるのは「イメージの操作（Doing with Images）」の部分となるはずである。チャンギージーの透視仮説に従えば、ヒトの前向きの目は生い茂る葉や柵のような障害物と、その向こうの対象という二つの層を見ることができる。さらに「二層を見る」ということと、ケイのグループが実装した重なるウィンドウとを、合わせて考えてみたい。

イメージとシンボルが折り重なるGUI

ケイらはコンピュータというメタメディアをつかって、従来のメディアにあらたなプロパティを付加した。そのとき想定されるヒトのモデルも、ディスプレイを見るだけではなくディスプレイ内のイメージを操作するものに変化した。マウスやキーボードによる物理的な操作は、イメージの操作につながっている。

エンゲルバートのNLSではウィンドウが重なることはなかったが、マウスと連動するカーソルが、コンピュータの情報空間のなかでヒトとのつながりを示すように自在に動き回っていた。ケイは物理平面とディスプレイのXYグリッドとの重なりに、もう一つウィンドウの重なりを追加した。それはより多くの情報を提示するためであったが、ヒトの透視能力、二層を見る能力に基づいた視覚操作でもあったといえる。

チャンギージーは「コンピュータ画面のような平面ディスプレイには、向こう側が見えるような隙間はないので、どのみち向こう側を見ることはできない」と考えているため、ディスプレイに重なりを取り入れるというのは無理な話ともいえる。しかし、それはモノとしてのディスプレイの話である。ディスプレイはモノとしては平面ではあるが、ディスプレイが示す画像はコンピュータのn次元の部分像なのである。コンピュータのn次元を経由することで、重なるウィンドウという概念をディスプレイに導入することも可能になってくる。複数のウィンドウの重なりとして、コンピュータのn次元が示されるのである。

実際に世界がもっとよく見えるように、つまり今以上に多くものがみられるように、現代世界に障害物を加える方法はあるだろうか？ どちらの方向を向いても、二つの層を見る能力を十分に活用できるように世界を変える方法を見つけられるだろうか？ それには有益な障害物を加える方法を見つければいい。マーク・チャンギージー『ひとの目、驚異の進化』

ケイらはウィンドウを重ねて、ディスプレイに「有益な障害物」を加える方法をみつけた。重なり合うウィンドウは、かつてヒトの視界を覆った折り重なる木の葉なのである。ヒトはそれぞれのウィンドウに書かれたものを見透して全体を把握しながら、どれか一つのウィンドウに注意を集中させることができる。マウスとカーソルによる物理世界とディスプレイ平面との重ね合わせに、さらにウィンドウの重なりが導入されて、ディスプレイの見透しは悪くなるが、より多くの情報が提示される平面となった。

ヒトはそこで、かつて森のなかで手前と奥とを切り替えて世界を見ていたように、ウィンドウの重なりを見る。しかし、コンピュータのn次元は物理空間とは異なるので、そこでは奥を見透すのではなく、ウィンドウを次々に手前にもってきて、見る対象を入れ替えていくことになる。すべてを見透す必要はなく、一部だけでも見えれば、その平面を手前に持ってきて、よりよく情報を見ることができるのである。ディスプレイが情報をより多く提示するためには、ヒトの目の立体視能力に合わせて三次元化する必要はなく、透視能力に合わせて重なりをつくればよかったのである。

ここでは、ヒトの認識に重大な変化がおきている。ある固定の視点から見続けるのではなく、イメージを操作しながら見ることが前提となっているからである。ウィンドウの内容が重なりのなかでよく見えないのであれば、ウィンドウを最前面にもってきたり、ウィンドウの大きさを変更したりといった「イメージの操作」をする必要がある。そこでは、立体視仮説に基づいた遠近法などが持っていた、単眼で一つの点に収斂する世界の見方は破棄される。しかし、その行為がヒトの透視仮説に基づいているとすれば、重なりのなかにより多くの情報を見て、行為をしながら空間内の情報に対応していくことは、ごく自然な出来事だといえる。GUIを操作するヒトは、両眼でウィンドウの重なりを見ながら、「イメージの操作」を続けることを求められるのである。

ケイのスローガンには、透視仮説に基づく「イメージの操作」と、立体視仮説に基づく「シンボルの生成」という二つの要素が混ざっていた。ケイが最も願ったのは「シンボルの生成」の部分であったが、それは重なるウィンドウを中心としたデスクトップメタファーとともに発展していったGUIでは成功しなかった。なぜなら、そのGUIはシンボルの操作を特別視しない、透視仮説に基づくシステムだからである。GUIでは「シンボルの生成」は抜け落ちてしまった。

しかし、シンボルがGUIから消えたわけではない。東が指摘するように、GUIでは見ようと思えばいつでもシンボルをウィンドウに表示できるし、GUIのイメージと操作をかたちづくっているのは、まぎれもなく「シンボルの生成」によってつくられたプログラムである。だから、GUIではイメージとシンボルを同時に見ることができる。ケイのスローガンは、「Doing with Images / makes Symbols（イメージの操作／シンボルの生成）」というように真ん中で折り曲げられ、「Doing with Images（イメージの操作）」を前面として、その背面に「makes Symbols（シンボルの生成）」が重ね合わされているのである。だからこそ、GUIでは見ようと思えば、いつでも「イメージの操作」の隙間から「シンボルの生成」が見えるのである。

マウスは物理平面をXYグリッドに区切り、行為をディスプレイのXYのピクセルに重ね合わせた。行為がイメージとシンボルを折り重ねる。ウィンドウがモードレスに切り替わるのは、マウスの行為がイメージとシンボルをモードレスに切り替えるからである。物理世界をXYのグリッドに区切るマウスとともに起こる合生的行為から、ディスプレイ上でのイメージとシンボルの切り替えが生じて、同時にそれらを見る。より多く情報を見るために、重ねられたウィンドウはその重なり順を入れ替えられることで行為と同一化して、さらに多くの情報がディスプレイの平面に見えることになる。

ヒトとコンピュータは前面に「イメージの操作」、背面に「シンボルの生成」という二つの層からなる一つのGUI平面をディスプレイにつくり、そこでマウスを起点として合生的行為をしつづける。あらかじめヒトとコンピュータとの合生的行為が組み込まれているからこそ、ウィンドウは重なり合い、より多くの情報を示せるようになっている。GUIはイメージだけの場でもなく、シンボルだけの場でもなく、それらが重ね合わされるようにヒトとコンピュータとが合生的行為をする場であり、そのあらたな行為とともに、認識の根本的なルールも立体視仮説から透視仮説へと変化しているのである。

GUIの基本的なルールを形成するマウスとカーソルと「重なるウィンドウ」は、ともにコンピュータと向き合うヒトが行為し続けることを前提としている。ヒトはマウスとカーソルという「鼻」とともに、物理空間と情報空間という二つの空間を行き来できるようになり、さらに情報空間に「重なるウィンドウ」が導入されて、二つの目でウィンドウの隙間を透視しながら、より多くの情報を認識するようになった。ディスプレイのXYグリッドを多動的に動き続けるなかで、ヒトの身体はイメージに引き寄せられている。そして、GUIでイメージに対して行為することで、ヒトは身体のなかに未知のものがあることに気づき始めている。

GUIという合生的行為の場において、ヒトは「イメージを見る」という牢獄から解放され、イメージを操作することで、もう一つの身体を生成しつつある。だから、ケイの「Doing with Images makes Symbols」は、「Doing with Images makes Other Bodies（イメージを操作して別の身体をつくる）」とも言い換えることができるのである。