最小化された行為の先にある合生的認知

常に一本指ですべてを操作する

［図1］　「Sketchpad」のスクリーンショット

「インターフェイスを読む」の初回「最小化するヒトの行為とあらたな手^※1」で、私はアイヴァン・サザランドが開発した「スケッチパッド」を論じて、次のように書いている。

ヴァーチャルであろうとリアルであろうと、手は物理世界とのあいだでこれまで蓄積してきた行為をコンピュータに委譲し、一度履歴を消去して、「あらたな手」になった。その「あらたな手」が、ヒトの最小化した行為を遂行しながら、コンピュータとともにあらたな行為をつくりだしていく。
水野勝仁「インターフェイスを読む #1 最小化するヒトの行為とあらたな手」

ここで「ヒトの最小化した行為」と呼んでいるのは「ボタンを押す」という行為である。スケッチパッドの動画の左側に現れているボタンを押し続ける手が「あらたな手」である^※2。スケッチパッドでは、あらたな手が遂行する最小化された行為と「ライトペン」をもつ右手が遂行する「線を描く」というヒトが古くから行ってきた行為とが組み合わされて、さまざまな図形が描かれる。

「ボタンを押す／押さない」というかたちでバイナリー化した最小化された行為は、ヒトがコンピュータ、スマートフォンを使う際に基本の行為となっている。ヒトの手はさまざまなモノに合わせて、かたちを変えつつ複雑な行為を行ってきたが、コンピュータを操作するときは最小化された行為を基本として、複雑な行為そのものはコンピュータのアルゴリズムに委譲されるようになっている。スケッチパッドで言えば、左手で「円を描く」のボタンを押せば、ライトペンを持った右手は正確に円を描かなくても、コンピュータが数学的に正しい円をディスプレイに表示できるようになっている。ここで注意したいのは、「円を描く」という複雑な行為をコンピュータに委譲しているため、右手で行なっている行為が「描く」ではなく、ディスプレイの座標の「選択」になっている点である。サザランドは右手が持っているライトペンの役割を次のように書いている^※3。

多くの場合、コンピュータのプログラムは、人間が画像のどの部分を指し示しているかを知らなければならない。しかし二次元の画像は、画像のパーツを隣接関係から順序付けることは不可能である。したがって、ディスプレイの座標を変換して、指示されたオブジェクトを見つけるのは、時間のかかるプロセスとなる。しかしライトペンは、ディスプレイ回路が指示されたアイテムを転送する時間に割り込んで、自動的にそのアイテムのアドレスと座標を指示することができる。ランド・タブレットやその他の特殊な位置入力装置の回路も、同様の機能を発揮する。
アイヴァン・サザランド「究極のディスプレイ」

つまり、スケッチパッドを操作するヒトは、左手でコンピュータに委譲する行為を選択肢し、右手でディスプレイの座標をそれぞれ選択し続けていることになる。連載2回目「スケッチパッドで「合生」される世界」で、私はヒトとコンピュータとが絡み合いながら、画面上で生成される出来事を「合生的出来事」と呼び、合生的出来事のためにヒトとコンピュータとがともに遂行していく行為を「合生的行為」と呼んだ。スケッチパッドにおける合生的出来事は、円などの図形が描かれ、拡大縮小、コピーが行われることであり、合生的行為は右手でディスプレイ外のボタンを押しながら、左手のライトペンでディスプレイのXY座標を選択していくことになる^※4。

スケッチパッド以後、コンピュータでできる合生的出来事がメニューやアイコンとして画面上に予め配置されるようになった。そのため、ディスプレイのXY座標を素早く、疲れることなく選択し続けることが合生的行為に求められた。合生的行為に最適化したデバイスとして、マウスが誕生した。マウスは机だろうが、壁だろうが、ヒトの太ももだろうが、ある程度の広さの平面であれば機能して、あらゆる平面をXYグリッドに変換していった。ヒトは言語によって「机」「壁」「太もも」と意味的に物理空間を占めるものを認識するが、マウスは平面であればXYグリッドとして認識して、ディスプレイのXYグリッドと重ね合わせた。その結果、合生的行為は、マウスでカーソルを希望の座標に移動させて、クリックするという行為になった。それは、最終的には一本の指がボタンを押すということで遂行される行為であった。

［図2］　”iPhone 1 – Steve Jobs MacWorld keynote in 2007 – Full Presentation, 80 mins”のスクリーンショット

ポインティングデバイスで行える入力行為は、トラックパッド、そして、タッチパネルが一般化するまでは、マウスを用いたクリック、右クリックといった最小化された行為とマウスホイールの回転といった一本指での行為が当たり前であった。インターフェイスに関する多くの研究を行う暦本純一は、2001年にピンチイン・アウトのジェスチャーを実装したスマートスキンを開発した。暦本は将来的にスマートフォンなどで使われると予測して、スマートスキンを開発したわけではないと以下のように述べている^※5。

でも私は、何にどう使うかは、あまり具体的にイメージできていなかった。しかし、指先でコンピュータの画面を拡大できたら、そのほうがマウスよりも自然だろうという感覚は持っていた。いや、現実世界ではものを一本指で操作することのほうがめずらしいのに、なぜマウスでは常に一本指ですべてを操作するような「不自然さ」を当たり前に受け入れているのだろうか。そういう自分自身の素朴な疑問から始まったのが、スマートスキンの開発だったのである。
暦本純一『妄想する頭 思考する手』

マウスによって、ヒトは一本指での最小化した行為をしているが、それはヒトにとって「不自然」なものであったという、暦本の指摘は重要である。マウスとビットマップディスプレイとの組み合わせがヒトにもたらした最小化された行為は「人間が画像のどの部分を指し示しているか」をコンピュータに明確に示すものであり、それはコンピュータのための行為と言える。ヒトはこのコンピュータのために最小化された一本指で可能な行為を今も行っているが、暦本がスマートスキンで試みたように徐々に行為は複数の指を使う方向で複雑化している。

複数化する指と数値情報

［図3］　Macbook Proのトラックパッドの環境設定のスクリーンショット

Appleは2005年に二本の指でスクロールができる「スクロールトラックパッド」をPowerBookやiBookに導入した。PowerBookのプレスリリースには次のように書かれている^※6。

クリエイティブ分野とビジネス分野のプロフェッショナルユーザを念頭に設計された新しいPowerBookは、すべてのアプリケーションや書類で使えるスクロールトラックパッド（特許出願中）を採用しているため、長いウェブページのスクロールや大きな写真の横方向の移動を簡単に行なうことができます。トラックパッドをこれまでのように1本の指ではなく2本の指でなぞることにより、ウィンドウ内をより素早くスクロールしたり、水平移動することができます。
Apple「アップル、さらに高速で、よりお求めやすくなったPowerBookを発表」

スクロールトラックパッドによって、ウィンドウの端に表示されていたスクロールバーを選択して、ドラッグする必要がなくなった。代わりに、ウィンドウ内にカーソルを移動させておけば、トラックパッドを二本の指でなぞれば、ウェブページがスクロールし、画像が左右に移動するようになった。このとき、カーソルはスクロールするウィンドウ内のどこかにあればよい。そして、二本の指によるジェスチャーによって、一本指に常に連動していたカーソルは動かずに、ウィンドウ内のコンテンツが動くようになっている。ウェブページのスクロールといった合生的出来事は変化しないが、スクロールを行う合生的行為は一本指でスクロールバーをクリック・ドラックしてXY座標を選択しつづけるという最小化された行為だけでなく、二本指を用いたジェスチャーでもコンテンツそのものの移動もできるようになり、行為が複雑化したと言える。

［図4］　”iPhone 1 – Steve Jobs MacWorld keynote in 2007 – Full Presentation, 80 mins” のスクリーンショット

2007年に最小化された行為を複雑化していく、最も大きな変化が起きた。タッチパネルでの操作を基本としたiPhoneの登場である。スティーブ・ジョブズは、マウスとビットマップで実現していた機能をスマートフォンに導入するために、iPhone以前のスマートフォンの下半分を占めていたボタンをとってしまい、スマートフォンの前面を「ジャイアントスクリーン」にして、最高のポインティングデバイスである「指」で操作することにした。ジョブズは、二本指を用いたピンチイン・アウトのジェスチャーで画像や地図を拡大縮小するデモを行い、会場を沸かした^※7。さらに、2008年には、AppleはiPhoneで導入されたマルチタッチをMacBook Airに採用し、「大きなトラックパッドは、ピンチ、回転、スワイプすることができるマルチタッチジェスチャーをサポートしているため、写真をブラウズしたり回転させたり、あるいはSafari™の中でウェブページを拡大表示させたり、といったことがこれまで以上に直感的に行なえます」としている^※8。

iPhoneが一般化させた二本指を使ったピンチイン・アウトのジェスチャーでの回転・拡大縮小の操作は、二本指によるスクロールよりも複雑な合生的出来事を生じさせていると言える。インタラクティブメディアの研究を行う福地健太郎は「これからの「直感的」インタラクション」で、この操作について説明している^※9。

今ではすっかりお馴染みになった、二本指による回転・拡大縮小の操作。これは力学的にはたいへん合理的な操作手法だ。先に進む前に、ピンチイン/アウトを含んだこの二本指操作の力学的な捉え方をちょっとおさらいしておこう。一本指なら上下左右の並進移動ができるが、こうした操作を「2自由度」と表わす。簡単に言えば、自由に操作できる度合いを示す概念で、タッチパネル上での一本指での操作は、「上下」の操作と「左右」の操作の二つの操作を同時にできるので「2自由度」となる。これが二本指になれば、2+2 = 4 自由度と数える。二本指で行える操作は、したがって最大で4自由度の操作まで同時に行うことができる。
ある図形を移動させ、回転し、さらに拡大または縮小する操作は、縦横の並進で2自由度、回転で1自由度、拡大/縮小で1自由度の、合計4自由度となる。ということは、これらの操作は、二本指でちょうど過不足なく行える操作であることがわかる。
福地健太郎「これからの「直感的」インタラクション」

iPhoneでのピンチイン・アウトのジェスチャーは、二本指で触れることができる十分な広さを持った「ジャイアントスクリーン」を用いて、二本指が可能にする4自由度を持った合生的行為をつくり、縦横の並進＋回転＋拡大／縮小＝4自由度の合生的出来事とを組み合わせたものと言える。2005年にAppleがノートパソコンに搭載したスクロールトラックパッドは小さかったこともあって、二本指の合生的行為は4自由度を持っているが、対応する合生的出来事は上下左右のスクロールという一本指で対応できる2自由度にしか対応していなかった。それゆえに、二本指の上下左右の動きとウェブページや画像のスクロールの対応づけは、一本指の動きとカーソルとの連動と同じになり、わかりやすいものになっている。上下左右のスクロールに比較すると、ピンチイン・アウトのジェスチャーは現実世界でもディスプレイ上でもこれまでにない指の動きで回転と拡大／縮小を行なっていると言えるだろう。しかし、Appleのプレスリリースには「これまで以上に直感的に行なえます」と書かれている。この「直感的」ということに関して、福地は非常に重要な指摘をおこなっている。

さて、あらためて二点タッチ操作について考えてみよう。二点タッチは日常的感覚から見れば明らかにいびつな操作だ。これをもって直感的と言うのは、本来から見ればおかしな話だが、論理的に考えれば4自由度の操作を4自由度のインタラクションで実現しており、その関係性はとてもストレートで、これ以上はもはや削れないほどにまで直接的に構築されている。言い方を変えれば、論理的に素直に導きだせるという合理性に支えられた、論理的「直感」性を持った操作を提供していると言えるのだ。
私はこの、論理的な直接さこそが、デジタル世界における「直感」を定義する一つの因子になると思っている。日常世界における直感とは、この物理世界に慣れた身体による、相手の振舞の予測であり、予測が当たることを「直感的」と言っていることに他ならない。しかしデジタル世界での出来事は、日常生活でつちかった経験だけでは予測できない。そこでは、デジタル世界特有の、余分を持たない数値情報で表現された振舞がある。その論理的な構成を見抜いた者にだけ、直感は訪れるのである。
福地健太郎「これからの「直感的」インタラクション」

福地が日常的直感とは異なる論理的直感を示していることは、インターフェイスにおける合生的行為と合生的出来事を考える上で、とても重要な示唆を与えてくれる。ディスプレイで生じる合生的出来事においては、日常的直感よりも「デジタル世界特有の、余分を持たない数値情報で表現された振舞」を見抜く論理的直感が必要となってくる^※10。そして、インターフェイスにおける「直感」の基本になっているのは「余分を持たない数値情報」としての「座標データ」だと言えるだろう。エキソニモの千房けん輔はマウスとカーソルとの関係を扱った作品《断末魔ウス》に関して、情報学者のドミニク・チェンとの対談で次のように述べている^※11。

カーソルの存在の根拠は「しょせん座標データだ」っていうことなんですけど。逆に座標を記録してあれば、完全にリアルな存在が再現できる。オンラインゲームでの行動だって「いつどこで誰がどうした」という座標軸の数値さえあれば、それが人間なのかロボットなのか判別できないレベルで完全に再現可能ですよね。
エキソニモ、ドミニク・チェン「仮想空間のリアリティとは」

コンピュータはディスプレイ上に表示しているすべてのオブジェクトの位置や役割を把握しているので、カーソルや指が選択する座標データさえあれば、ヒトの行為を再現できてしまうということになる。マルチタッチジェスチャーになったとしても、コンピュータからしてみれば、XY座標の選択が複数になるだけであって、ヒトの行為はXY座標を選択するかしないかというかたちで最小化されたままなのである。ヒトの行為はコンピュータとともに座標の選択とボタンを「押す／押さない」というかたちで最小化し、行為の先はアルゴリズムに移譲されていたけれど、操作がジェスチャーメインになったとき、ヒトの行為がボタンを「押す／押さない」という分かりやすいかたちで最小化された行為が背後に退き、行為が座標データとしてビット化されて、情報の流れをつくるようになっていることが前面に出てくる。コンピュータはヒトの行為をディスプレイのXY座標で記述していく。コンピュータはヒトがディスプレイのXY座標のどこを何本の指で選択しているのか、そして、どのような速度・加速度で選択されているのかをマウスやトラックパッド、タッチパネルといったデバイスから得られた情報から処理していく。ヒトとコンピュータとを組み合わせて、いかに滑らかにビットの流れをつくる行為を形成できるのか、ということがインターフェイスという場では重要なのである。

コンピュータとともに行うヒトの合生的行為がXY座標のソリッドな数値情報に変換され続け、数値情報の流れが合生的出来事をディスプレイに表示していく。タッチパネルではディスプレイのどこに触れようが、指は情報生成の始点となる。タッチする場合もあれば、スワイプする場合もあるだろう。コンピュータはヒトの行為をXY座標の情報の流れに変換して、数値の変化から計算・推論して、行為をリアルタイムで予測していく。ヒトがホーム画面でアプリのアイコンを触れて、画面からすぐに離さずに、指を横に滑らせたとき、コンピュータがその指のXY座標の軌跡を「スワイプ」と判断すれば、スワイプに応じたアニメーションが開始される。

ProMotionがもたらす合生的行為の可能性

［図5］　Designing Fluid Interfacesのスライド

このことを明示的に示したのが、Appleが2018年に発表したジェスチャー操作を基本に据えたFluid Interfaceである。アップルのインターフェイスデザインチームが発表した「Designing Fluid Interfaces」は、最小化された行為の象徴でもあったホームボタンをなくしたiPhoneXの登場を機に改めて、インターフェイスデザインを言語化したものである。そのなかで、アップルのデザインチームは、ジェスチャーを基本とするタッチパネルのインターフェイスが私たちの行為と連動するだけでなく、「あなたのマインドの延長のように感じられる道具」という視点を示している^※12。マインドの延長としての道具ということを考えるために、アップルが提示した「ジェスチャーは思考とともに並行して起こる」と書かれたスライドを見て、私は次のように書いた^※13。

ボタンのオンオフから引き伸ばされた行為は、思考の流れとパラレルになっていく。思考の延長としてアニメーションがあり、アニメーションの延長として思考があり、そこにさらに行為の流れが重なる。そして、ディスプレイ上のイメージの動きに伴って、思考とジェスチャーとのあいだに微細なインタラクションが生じる。
水野勝仁「思考とジェスチャーとのあいだの微細なインタラクションがマインドをつくる」

ここでの「思考」は、ヒト単体のものではなく、ヒトとコンピュータとの「思考」が重なり合ったものになっている。「Designing Fluid Interfaces」の時点で、私はディスプレイを介しての行為と知覚との循環をより滑らかにしていくなかで、ヒトとコンピュータとが重なり合ったあたらしいマインドが形成されていくものだと考えていた。それは、ヒトの認識能力を超える精細さのレティナディスプレイのもとで、合生的行為と合生的出来事とはより滑らかにつながっていくことを意味した。この合生的行為と合生的出来事の滑らかなつながりはそのままに、行為と思考とを結びつける重要な要素であるアニメーションの現れを変化させる技術を2021年に発表したiPhone13 Proに実装してきた。それが、ProMotionである。ProMotionは、2017年のiPad Proに搭載された、ディスプレイのリフレッシュレートをコンテンツ内容に合わせて、24Hzから最大120Hzまで動的に変更できる機能である。そのProMotionが2021年のiPhone13 Proに搭載された際に、コンテンツ内容ではなく、ヒトの指の動きに動的に対応するようになった。この機能は「思考とジェスチャーとのあいだに微細なインタラクション」をあらたな領域に拡張し、ヒトとコンピュータとが重なり合うマインドを次のレベルに引き上げる可能性を持っている、と私は考えている。

AppleのiPhone 13 ProのページでProMotionは次のように紹介されている^※14。

ProMotionを採用した新しいSuper Retina XDRディスプレイは、1秒間に10回から120回の頻度で画面を更新。もちろん、その間のすべてのフレームレートにも対応します。圧倒的なグラフィックス性能が必要な時は賢くリフレッシュレートを上げ、必要ない時はリフレッシュレートを下げてバッテリーを節約。あなたがスクロールする時でさえ、指の速度に合わせて自然にスピードを上げたり下げることで調整します。こんな使い心地、初めてかもしれません。
Apple「iPhone 13 Pro とiPhone 13 Pro Max」

コンテンツやアプリによってリフレッシュレートを変更するのであれば、ヒトとコンピュータとの合生的行為に対して、ディスプレイ上の合生的出来事の現れは、物理世界のように一定になる。このコンテンツであれば60Hz、あのアプリでApple Pencilを使っていれば120Hzという感じである。iPhone13 ProとiOS 15が実装したProMotionは、ヒトの行為に応じて、リフレッシュレートを上げ下げする。このことは、合生的行為と合生的出来事の組み合わせはこれまでと同じであっても、ProMotionによってディスプレイ上の合生的出来事の現れのリズムを変化させられることを意味している。リフレッシュレートの動的な変更を通して、行為と知覚との循環における変数を増やし、インタラクションを複雑化する。それは、XY座標の選択という「デジタル世界特有の、余分を持たない数値情報で表現された振舞」は変えることなく、ヒトにとっての前提である一定のリズムでの世界の現れを変えてしまうことを意味する。このことを活かすと、ProMotionで、光の現れのリズムを行為に合わせて動的に変えながら、モノの現れのリズムが一定の物理世界とは異なる情報の流れをつくることができると考えられる。

［図6］　Apple Event 2021年9月15日の映像のスクリーンショット^※15

コンピュータは、XY座標の変化から指の動きを計算・推論し、合生的出来事の現れのリズムを変化させる。そして、ヒトはリフレッシュレートの変化を明確に認識はできはしないが、使い心地のレベルで確実に影響を受けている。ProMotionは、XY座標に基づく行為に連動するかたちで、認知を支えるレベルの情報の流れに変化を与えていると言えるだろう。意識にあがることがない情報の流れと認知との関係を考えるために、ヒトとコンピュータとの関係を論じる文学研究者のキャサリン・N・ヘイルズの『Unthought: The Power of the Cognitive Nonconscious^※16』を参照したい。ヘイルズはヒトやコンピュータを含めたすべての存在の認知プロセスを「意識のモード」、「非意識的認知」、「物質的プロセス」の3つの部分に分かれたピラミッド型の「認知のフレームワーク」で考えている。そして、コンピュータはヒトと同じように意識にのぼる前の選択肢が多すぎる情報を処理しつつ、予測に基づいた推論を行う「非意識的認知」をしていると主張する。このことから、彼女はコンピュータをすべての生物とともに世界を解釈してあらたな意味を生み出していく「認知者（Cognizers）」という存在として、物質や無生物の「非認知者（Noncognizers）」と区別している^※17。さらに、コンピュータという「計算メディアは単なるもうひとつのテクノロジーではない。それらは本質的に認知的なテクノロジーであり、それゆえに、本質的に認知的な種であるホモ・サピエンスと特別な関係を持っている^※18」と、ヘイルズは書いている^※19。

ヘイルズの考えを受けて、ヒトとコンピュータとがともに認知者として特別な関係を持っているとすると、インターフェイスというのは、二つの認知者が互いの認知を接続する場として考えられるだろう。だとすれば、Fluid Interfaceまでのインターフェイスデザインがヒトが明確に認識可能な意識のモードの領域で、ヒトとコンピュータとの合生的行為と合生的出来事との循環をつくり出したと言える。対して、ProMotionはコンピュータが得意とする意識以前の非意識的認知の領域で、ヒトとコンピュータをリンクさせて、あらたなインタラクションをつくる試みだと考えられるのではないだろうか。なぜなら、パソコンやスマートフォンでディスプレイに現れる合生的出来事は、XY座標の情報の変化に基づいて表示されるアニメーションが前提となっているが、ProMotionでは、アニメーションが前提としているXY座標で制御されるピクセルの光の明滅の変化のリズム自体が、ヒトの行為に連動して変化していくからである。ProMotionは、XY座標に基づくデータの流れになったヒトの行為と連動して、ディスプレイ上の合生的出来事の現れのリズムをつくるリフレッシュレートを変化させることで、アニメーションによってこれまでと変わらない合生的出来事を客観的に提示しつつ、リズムの変化による気持ちよさという主観的な現れも同時に提示している。つまり、コンピュータがヒトの操作に連動して、明確なかたちでのインタラクションではなく、意識で捉えられない微細な部分でも連動するようになっているのである。この意味で、ProMotionは「あなたのマインド＝主観の延長のように感じられる道具＝客観」を実現している機能だと言えよう。ProMotionのような非意識的認知のレベルでの微細なインタラクションは、ヒトとコンピュータという異なる認知者の行為や出来事だけではなく、認知プロセスも合生していき、最終的には、両者を非意識領域で結びつけ、合生的認知をつくり出していくと考えられる。

合生的行為はXY座標に基づいて情報を生み出すために形成される振る舞いであり、その行為から生じるビットの流れが合生的出来事を生成していく。ヒトとコンピュータとのインターフェイスはXY座標から得られるソリッドな数値情報に基づいて合生的行為と合生的出来事との循環をつくってきたが、これまでは意識的なレベルでのインタラクションがメインだったと言える。しかし、ProMotionはヒトが意識的には捉えらないリフレッシュレートを合生的行為に連動する変数とすることで、主観と客観とが未分化な非意識的領域をインタラクションに取り込んで、合生的出来事の現れのリズムを変化させる。ヒトとコンピュータとのインターフェイスは、コンピュータの情報処理能力が向上するにつれて、非意識的認知に関する情報を変数として扱えるようになってきたと言える。その一つの例がProMotionであり、この技術が操作対象としたリフレッシュレートのようにこれまで一定の値として処理されていた要素を行為と連動する変数として扱うようになるにつれて、インターフェイスは意識的に明確な情報を扱ってコンピュータの操作を効率的に行うものから、認知を成立させている非意識的認知にアプローチし、合生的認知をつくろうとするものに変化しつつある。それは、非意識的な情報処理と意識的な情報処理のインターフェイスとして、ヒトとコンピュータという認知者のあいだであらたな質感をつくっている実験の場となっていくと考えられる。

最後にProMotionを例にして、一つの実験を提示してみたい。現在のProMotionは、ディスプレイ上の合生的出来事が可能な限り「Fluid（滑らか）」になるように使われている。ここでの参照の基準は物理世界の滑らかさである。しかし、合生的出来事の基準が物理世界である必要はないのである。そもそもProMotion自体が、行為に応じて出来事の現れ方のリズムを変えるという物理世界ではあり得ないことを行なっている。だからこそ、物理世界を基準にした滑らかさではなく、逆に、合生的行為に連動しつつも非意識的認知の領域でギクシャクするように意図的に選んだリフレッシュレートで合生的出来事を生じさせることによって、独自の質感をつくることもできるはずである。ProMotionに限らずこれからのインターフェイスは、ヒトとコンピュータとがディスプレイのXY座標に基づくソリッドな情報を用いた意識的認知に基づく行為と知覚とを循環させながら、ヒトの非意識的認知にアプローチ可能なあらたな変数を合生的行為に連動させて、論理的直感と日常的直感と組み合わせたディスプレイ独自の合生的出来事をつくっていくだろう。そして、ヒトとコンピュータとは非意識的認知の領域でリンクされた合生的認知のもとで生じるあらたな質感とともに世界を認識していくのである。