最小化した手と行為する手
1963年にアイヴァン・サザランドは、博士論文「Sketchpad：マン−マシン・グラフィカル・コミュニケーション・システム」を発表した。サザランドはそこで、「Sketchpadシステムは、線を描くことで（キャプション以外の）文章入力を不要にし、マン−マシン・コミュニケーションの新しい世界を切り開いた」と書いている。
スケッチパッドで特徴的なインターフェイスは、ディスプレイに線を描く「ライトペン」というペン型のデバイスである。ライトペンとディスプレイ外に設置されたボタンの操作により、スケッチパッドでは様々な図形を描くことができる。また、スケッチパッドが実装されたTX-2コンピュータには多くのボタンが備え付けられ、それぞれに「円を描く」「直線を描く」「消す」「コピー」「移動」などの機能が割り当てられていた。ユーザはそれらのボタンを押すことで、これから行う操作をあらかじめコンピュータに伝え、ライトペンを動かしながら、ディスプレイに図形を描いていく。サザランドはTX-2の入出力のコントロールの柔軟性と拡張性の高さによって、自らのアイディアをいろいろと試すことができ、最終的にコンピュータによる描画を実現できたと書いている。
スケッチパッドは、マサチューセッツ工科大学（MIT）のリンカーン研究所でカスタマイズされたTX-2でしか動かなかった。だからサザランドの博士論文の序文で、アラン・ブラックウェルとケリー・ローデンは、スケッチパッドがその論文と使用状況を撮影した記録映像によってのみ広まったと述べている。その記録映像には、ディスプレイ横にあるボタンを押す手とディスプレイにライトペンで線を描く手が映っていた。
Ivan E. Sutherland “Sketchpad: A Man Machine Graphical Communication System” (1963)
ここに映るヒトの二つの手のうち、片方はボタンを押すという最小化した行為のみに従事している。前回の記事で書いたことを踏まえて、この手を「最小化した手」と呼びたい。最小化した手は、あらかじめ描くことを選択し、行為をコンピュータに委譲する役割を担っている。その最小化した手と協働するのが、ライトペンを持ちディスプレイに図形を描き続ける手である。このヒトが古来から行ってきた「描く」という行為を続ける手を、「行為する手」と呼びたい。「最小化した手」と「行為する手」が組み合わされると、直線と曲線が摩擦や空気抵抗を感じないほどスムーズに描かれている。
ディスプレイが映し出す数学的世界
スケッチパッドから二年後の1965年にサザランドが発表した論文「究極のディスプレイ」は、コンピュータに接続されたディスプレイの可能性を提示することからはじまっている。そこでは「摩擦」という単語が二回使われていた。
私たちが住んでいるこの現実世界の特徴を、私たちは長く慣れ親しむことで熟知するようになった。この現実世界との関わりを実感しているからこそ、その特徴を予測できる。たとえば、モノの落ちる場所、よく知っているモノを別の角度から見たときの形、摩擦に抵抗しながらモノを動かすのに必要な力などを予測することができる。その一方で、私たちがよく知らないものとしては、荷電粒子にかかる力、不均一場の力、非射影的な幾何変換の影響、高慣性で低摩擦の運動などが挙げられるだろう。その点、デジタルコンピュータに接続されたディスプレイは、現実世界では実現できないコンセプトを知る機会を与えてくれる。それは、数学的な不思議な国を映し出す鏡である。アイヴァン・サザランド「究極のディスプレイ」
冒頭の段落に出てくる「摩擦」のうち、一つは「現実世界」の現象を指し、もう一つは物理的世界では難しく「数学的な不思議な国」でのみ実現が可能な現象を指している。スケッチパッドの記録映像が示す摩擦を感じさせない線の動きは、数学的世界を示していると言える。サザランドはコンピュータと接続したディスプレイを介して、ヒトが属する物理的世界とコンピュータがつくる数学的世界とをつないでいる。
物理的世界と数学的世界という二つの世界を結ぶときに、問題となるのが「ノイズ」である。1960年代のコンピュータ科学周辺では、ノーバート・ウィーナーの『サイバネティクス』と、サザランドの指導教官でもあったクロード・シャノンの「コミュニケーションの数学的理論」とが強い影響力を持っていた。そして、ウィーナーとシャノンはともに、二つの対象のあいだの情報経路にノイズが満ちていることを問題視していた。彼らはそれぞれ、数学的方法を用いてそのノイズを処理した。ウィーナーはノイズを除去して、ヒトと機械という二つの異なるシステムのコミュニケーションの可能性を開き、シャノンは符号化によってノイズの影響を調整し、コミュニケーションの効率の最大化を求めた。
サザランドのスケッチパッドは、物理的世界と数学的世界とを「正確な図形を描く」ということでつなげている。ヒトとコンピュータのコミュニケーションにおいて生じる「ノイズ」からスケッチパッドを見てみると、このシステムはヒトが図形を描くときに生じる不正確さやブレを低減して、ディスプレイを介することで図形によるコミュニケーションを最大化していると言える。さらに、ヒトがこれまで行ってきた描く行為をペン型のデバイスを用いて保存してもいる。それはボタン操作という最小化した行為とペンによる複雑な行為が組み合わされて、ヒトと物理的世界との接触から生じるノイズが整えられ、ヒトとコンピュータのあいだで描く行為と描かれる図形が効率よくやり取りされていることを示している。スケッチパッドの操作によって、ヒトは特に意識することなく、熟知する物理的世界から未知の数学的世界に引き込まれているのである。
もう一つの手となるアルゴリズム
「最小化した手」と「行為する手」の関係を考察するために、製図用具の歴史に位置づけた展覧会「想像力の道具：18世紀から現在までの製図用具と技術」のカタログに収められたW.J.ミッチェルによるテキスト「結論：即興、道具、アルゴリズム」を参照したい。
ミッチェルは、フリーハンドで描くことは「パフォーマンス」であり、その技法はパフォーマーの技量に依存するのに対して、製図道具を用いて描くことは「規律正しくモジュール化された複製可能な行為」であり、より複雑な図形を描くことを可能にしたと指摘する。さらに、製図道具によって記された図形は「ひとりの芸術家の手の動きの記録ではなく、時間を超越したプラトン的な抽象を表しているシンボルとして読まれるものだ」と書く。そして、1960年代にコンピュータグラフィックスが登場し、すべての図形が「空間や表面を横切る点の軌跡」として描かれるようになった結果、多くの製図用具は点の位置を算出するアルゴリズムに置き換わり、ヒトの代わりにコンピュータが図形を描くようになっていったと述べている。
ミッチェルのテキストには、道具との関わりの中で、図形を描くという行為から手がなくなっていく過程が示されていた。それは道具と手の結合を意味している。それゆえに、製図道具の導入以後は、図形を描くヒトの手の役割は述べられていない。製図道具を使えば、誰もが自らの手で正確に特定の図形を描けるようになるのであり、手は独自に図形を描く立場から、アルゴリズムを具現化した道具に従う立場になる。
製図道具は、図形を描く行為からヒトの手による図形の不正確さや線のブレなど、「ノイズ」と見なされるものを減らすものであった。しかし、手そのものが描く行為を担っていることに変わりはない。むしろ、ペンと製図道具を両手で同時に使うようになったので、ヒトの手の役割は増えたといえる。誰もが図形を正確に描くために、製図道具はヒトに二つの手を同時に使うことを要求したのである。
図形を数学的な正しさで描くことができるスケッチパッドもまた、ヒトに二つの手を要求しているが、その役割は違っている。製図道具を持っていた手は、ボタンを押すという最小化した行為を行うようになり、ペンを持つ手もライトペンを持つときは線を描かなくなっている。ライトペンはディスプレイから放射される光をセンシングして、ヒトがディスプレイのどこを選択しているのかをコンピュータに伝えるポインティングデバイスであって、線を描くための道具ではない。ヒトが選択した点のあいだに直線や曲線を描くのは、スケッチパッドに組み込まれたアルゴリズムである。これまでは製図道具が体現するアルゴリズムに従ってヒトの手が正確な図形を描いていた。それに対してスケッチパッドでは、久保田晃弘が「アルゴリズムは、いわば人間の〈手〉に代わるもの」と指摘するように、ヒトの手に代わってアルゴリズムそのものが線を描いているのである。
スケッチパッドを使うヒトの二つの手は、片方がボタンを押してアルゴリズムを選択する最小化した手となり、もう片方がアルゴリズムとともに図形を描くためにライトペンを持つ行為する手となった。そして、最小化した手と行為する手とを組み合わせるようになったヒトから描く行為を委譲されたアルゴリズムが、もう一つの手として提供されている。こうして、ヒトの描く行為が二つの手を組み合わせて、その行為の意図を常にコンピュータに示して委譲することで、ヒトとコンピュータのあいだに生じるノイズは低減され、アルゴリズムが滑らかに線を描いていく。スケッチパッドのディスプレイには、ヒトの最小化した手と行為する手、そしてアルゴリズムという、三つの手が絡み合っているのである。
制約が生むあたらしい体験
ヒトの代わりにアルゴリズムが描くスケッチパッドは、「描く」という行為を再発明している。メディア理論家のレフ・マノヴィッチは、コンピュータを計算機から表現のメディアにつくりあげていったコンピュータ科学者たちについて、「コンピュータをたんに古いメディアを新しい方法で〈再媒介マシン〉にするつもりはそもそもなかった」と指摘している。彼らはコンピュータをよく知っていたからこそ、その表現メディアとしての可能性にいち早く気づいていた。マノヴィッチはサザランドのスケッチパッドもその一つだとして、次のように書く。
スケッチパッドも最も分かりやすい例だろう。コンピュータに可能なのが問題解決であると理解していたサザランドは、グラフィックなメディアの中には存在したことのない制約充足というプロパティを組み込んだ。より一般的な用語によって繰り返すと、コンピュータメディアは古いメディアの模倣から始めて次第に独自の言語を探すのではなく、その端緒から新しい言語を話したのだ。レフ・マノヴィッチ「カルチュラル・ソフトウェアの発明」
マノヴィッチが「制約充足」と呼ぶのは、たとえば、スケッチパッドにおいて円を描く際に、その中心をライトペンで選択して「円を描く」ボタンを押してからライトペンで大まかな円を描くと、選択した中心に基づいて正確な円が描かれるといったものである。製図道具のコンパスと異なるのは、ヒトの手が正確な円を描く必要はない点である。中心を選択してボタンを押すという手順さえ踏めば、あとはアルゴリズムが正確な円を描いてくれる。直線を描くときも、ライトペンで描いた線をアルゴリズムが補正してくれたり、描いた直線にあとから水平／垂直の属性を与えて変更したりできる。マノヴィッチが書くように、これは製図道具の模倣ではなく、あたらしい体験をつくりだすものである。
しかし、サザランドはスケッチパッドの体験を、メディアのあたらしさだけにとどまらず、私たちが属する自然界のルールの束縛から逃れるという、より大きな観点から捉えている。スケッチパッドがあたらしい言語を話すことには変わりないが、それは物理的世界とは異なる数学的世界の現象を記述するための言語なのである。
コンピュータの画面上に映っているオブジェクトは、私たちが通常慣れ親しんでいる自然界のルールに縛られなくてもいいはずだ。運動感覚的なディスプレイは、負の質量の動きをシミュレートするために使われるかもしれない。今日の視覚的ディスプレイを使えば、固体を簡単に透明化して「物質を透かして見る」ことができるスケッチパッドの「制約」のように、これまでは視覚的に表現できなかったコンセプトを実現できる。このようなディスプレイを使うことで、私たちは自然界を知っているのと同程度に、数学的現象を知ることができる。こうした知識を得られることを、コンピュータ・ディスプレイは約束してくれる。アイヴァン・サザランド「究極のディスプレイ」
アルゴリズムに組み込まれるヒトの行為
サザランドはコンピュータを利用して物理的世界と数学的世界を行き来しながら、ヒトに未知の体験を知ってもらおうとしている。だから、スケッチパッドのアルゴリズムは物理的世界の法則に縛られることなく、ヒトとコンピュータのあいだで「描く」行為を再発明できている。しかし、スケッチパッドはペン型デバイスを採用して、ヒトが慣れ親しんだ複雑な行為を物理的世界のレガシーとして引き継いだ。そして、物理的世界での複雑なインタラクションを得意とする、ヒトの身体を最大限活かすように設計されている。複雑なペンで描くという行為と、単純なボタン操作とが組み合わされて、ディスプレイ上に図形を描くという出来事が容易に生じる環境が構築されるのである。
スケッチパッドがレガシーな行為を用いているのは、コンピュータで「描く」ことが物理的世界で「描く」ことと異なっているのを、ヒトに気づかせないためである。コンピュータを使って図形を描くとき、ヒトは過去の描く行為を参照して描いているのではなく、数学的世界でアルゴリズム化された描く出来事とともに描くことになる。ヒトの描く行為は複雑であるが、その結果として現れる出来事としての丸や四角といった図形は分析可能でアルゴリズム化できる。
サザランドは描く行為を「描く−丸」や「描く−四角」といった出来事の集積と捉え、「制約」というプロパティとしてスケッチパッドのアルゴリズムに導入した。つまり、サザランドは物理的世界において行為の前提となっている出来事を、アルゴリズムとして数学的世界にストックしたと言える。スケッチパッドでは描く行為から丸や四角といった図形が生じるのではなく、描く出来事が一つのアルゴリズムとして選択され、制約が遂行されて図形が描かれるのである。
スケッチパッドはライトペンとディスプレイというインターフェイスを用いて「描く行為」を模倣するのではなく、先に「描く出来事」を複製して、その後、描くためのアルゴリズムのなかでヒトの行為を変数として扱い、図形を表示する。ディスプレイに表示される円を、ヒトの行為ではなく「円−描く」という出来事の結果だとすると、スケッチパッドのプログラムが設定するパラメータによって、ヒトの行為の範囲が調整可能なものと考えられるのである。すると、スケッチパッドが表示している円は、ヒトの行為を複製して作成したものではなくなる。それは、最小化した手によって「円−描く」というアルゴリズムがアドホックに呼び出され、行為する手がそのパラメータの範囲内でライトペンを動かした結果、ヒトとアルゴリズムが協働してつくる個別の出来事としてディスプレイに表示されることになる。
スケッチパッドで円を描くことは普通のことのように見えるけれど、プログラムのパラメータで自由を限定される一つの変数として、ヒトの行為が認識されている点が重要なのである。サザランドはスケッチパッドでヒトの行為をアルゴリズムに組み込み、最小化した手と行為する手、そして線を描くアルゴリズムというもう一つの手によって、これまでにない「描く」体験を実現しているのである。
物理的世界のルールからの解放
サザランドは「描く」という出来事が次々に連鎖していくプログラムをつくり、ライトペンとボタンとディスプレイというインターフェイスに実装した。このインターフェイスのもと、ヒトはスケッチパッドに制約されつつも最適な行為を行い、図形を描く。スケッチパッドは、あらたな「描く」体験をコンピュータで実現しているだけでなく、ヒトの行為そのものを制御している。
究極のディスプレイは、コンピュータが物質の存在そのものを制御することができる空間である。そのような空間に表示された椅子には、実際に腰かけることができるだろう。手錠は拘束力を持ち、銃弾は殺傷力を持つだろう。適切にプログラミングすれば、こうしたディスプレイは文字通り、アリスが入り込んだような不思議な国となるのだ。アイヴァン・サザランド「究極のディスプレイ」
サザランドの「究極のディスプレイ」は、ディスプレイを物理的世界にまで拡張する可能性を示していた。ここで重要なのは、「適切にプログラミング」さえすれば、物理的世界もコンピュータで記述可能だと考えていることである。
メディアアーティストであり、研究者でもある落合陽一は、「サザランドには、適切なプログラミングを用いて〈魔法を実現する〉だけの自由な発想力があった」と指摘している。さらに、「サザランドは、人間の価値観をアップデートしうる技術がコンピュータによって可能になることを示した、最初の人物だと解釈できます」とも書いている。さらには、サザランドが「Mathematical（数学的）」と書くものは「Computational（コンピュータによる）」に書き換え可能であるとも指摘している。
サザランドが考えたバーチャルリアリティも、単に仮想世界を覗くことではありませんでした。彼はバーチャルリアリティを、現実と見分けのつかない何かを作ることだと構想したのです。それはむしろ、現実自体を物理的にハックし、現実を上書きしていくような、情報だけでなく物象化も目指すものだと言えます。落合陽一『魔法の世紀』
「究極のディスプレイ」で物理的世界のルールからの解放を示したサザランドは、コンピュータによって物理的世界を制御することによって、ヒトをアップデートしようとしていたと考えられる。サザランドがあたらしくしたのは、スケッチパッドでディスプレイに表示される情報だけでなく、それを操作するヒトの行為そのものにまで及んだ。
サザランドは、コンピュータを用いてヒトの身体も物理的に制御可能なモノとしてハックし、アップデートをしかけている。コンピュータはあらたな情報を生み出すために、まずはヒトをハックして行為を「出来事の連鎖」に変更して、数学的世界に取り込み、情報を生み出しやすくした。この変更をコンピュータの初期段階で最も鮮やかに見せたのが、サザランドのスケッチパッドであったと言える。だからこそ、スケッチパッドは現在のグラフィカルユーザインターフェイス（GUI）の源流とみなされている。
スケッチパッドから連なるGUIの流れは、ヒトから見ればコンピュータが使いやすくなったことを意味する。しかし、コンピュータに最適化した「出来事の連鎖」に基づく行為は、スケッチパッドが導入した「制約」というプロパティが示すように、ヒトの行為を制約するものである。さらにコンピュータからヒトに課せられた制約は、自然界のルールからヒトを解放することも意味している。
インターフェイスで「合生」する
インターフェイスという場において、ヒトとコンピュータとが出来事を介して結びつき、行為の制約と解放とが同時に起こる。しかし、ヒトとコンピュータが先にあって、そのあいだにインターフェイスができるのではない。適切にプログラミングされたインターフェイスが先にあり、そこに起こる出来事とともにヒトとコンピュータが結びつくのである。ヒトとコンピュータとは必ずしも向かい合う必要さえなく、重なり合った状態であっても、どこかに適切にプログラミングされたインターフェイスが発生すれば、あらたな出来事が生まれ、ヒトとアルゴリズムの協働が生まれる。そこには同時に、あらたな行為が派生する。
ヒトとアルゴリズムのあいだに生まれるあらたな出来事に名前を与えるために、芸術論・知覚論を専門にする平倉圭のテキストにおける「合生的形象」という言葉を参照したい。このテキストは、映画『ミステリアス・ピカソ — 天才の秘密』に記録された「ラ・ガループの海水浴場」という作品の制作プロセスを、生物学的身体の外に物体化された思考過程として、またピカソを一要素とした作者群による集団制作として分析したものである。平倉は、撮影のために強烈な照明のもとで断続的に描くピカソ、描かれる絵画、描かれる絵画の映像、その撮影及び編集技術、映像につけられた音楽を次々に分析し、複数の人間による思考を言語に解きほぐし、次のように要約する。
映画内で成長するG1-MPの「思考」は、複数の人間と非人間的技術装置が絡み合い、互いに梯子を掛け合うようにして実現された。新しい共在性（togetherness）の産出を指すホワイトヘッドの用語である「合生（concrescence）」を借りて、「合生的形象」と呼ぶことにしたい。G1-MPの247ショットに渡る音−映像が示すのは、「ピカソ他」による合生的形象の産出である。平倉圭「合生的形象」
ここで平倉が書く「複数の人間と非人間的技術装置が絡み合い」という部分は、スケッチパッドにおいてヒトとアルゴリズムが入り交じって生まれるあらたな出来事をそのまま示していると言えるだろう。平倉がホワイトヘッドの用語からつくった「合生的形象」という言葉を借りて、インターフェイスでヒトとアルゴリズムを絡み合わせる出来事を、「合生的出来事」と呼びたい。またそこから派生する行為を、「合生的行為」と呼んでみたい。
ピカソが「ピカソ他」という作者群の一要素となり「体外を取り囲む諸装置群と絡まりながら押し流されていく」ように、スケッチパッドにおけるヒトの手とアルゴリズム、さらに、ライトペン、ディスプレイといったデバイス群とは絡み合って、図形を描き、拡大縮小し、コピー＆ペーストし、消去していく。ここでは、ヒトとアルゴリズム、デバイス群のどれかが主ということではなく、それぞれが一つの要素となり、互いに行為を委譲している。インターフェイスという場において、ヒトとアルゴリズムとデバイス群とが絡み合う合生的出来事が生まれ、それぞれが一つの要素として図形を描くための合生的行為が遂行される。そこで、ヒトの行為は合生的出来事から派生する合生的行為に最適なものへと調整されていく。
ここで改めて指摘したいのは、合生的出来事は物理的世界と数学的世界とを跨ぐということである。コンピュータ登場以前は、「ピカソ他」のように、合生的出来事は物理的世界でのみ起こることであった。しかし、サザランドはスケッチパッドで二つの世界を含んだ合生的出来事を生みだし、「究極のディスプレイ」でその可能性を示している。異なる原理原則で駆動している数学的世界との接触のなかで、インターフェイスは物理的世界のなかにありながら、従来の制約から解放されていく。
ダグラス・エンゲルバートらによって、ペン型のライトペンは「マウス」という一見すると何をするものなのかが分からない形になり、アラン・ケイらがメタファーに基づいたリアルな造形を採用したアイコンなどの画像は、ディスプレイの特性を活かしたフラットな形状になりつつある。インターフェイスはヒトとコンピュータとを一つの要素として扱いながら、ディスプレイとマウスやタッチパネルというデバイス群を用いて、物理的世界と数学的世界とを跨いだ合生的出来事を生み出し、ヒト他による合生的行為を二つの世界に適したものへとアップデートし続けている。
さらに、「究極のディスプレイ」を高く評価する落合は、「コンピュテーショナル・フィールド」という情報とモノとを一元的に扱える場を提案している。コンピュテーショナル・フィールドにおけるすべての出来事は，絡み合った二つの世界から生じる合生的出来事となり、ヒト他によるあらたな合生的行為が次々と生まれていくだろう。
次回は、なぜインターフェイスでは二つの世界が絡み合い、合生的出来事が生じるのかということを、ダグラス・エンゲルバートとアラン・ケイの思想と実装とともに考えていきたい。
