現実空間とは異なる独自の認知と行為が行われる場
このテキストはヨフの《Layered Depths※1》の考察を通して、「マルチレイヤードなメディア体験」に基づく映像体験を分析したテキスト「《LayeredDepths》が示す「マルチレイヤードなメディア体験」に基づく映像体験※2」の続編にあたるものである。ヨフは大原崇嘉、古澤龍、柳川智之による視覚表現の現在性を捉え直す実践を行うグループであり、「マルチレイヤードなメディア体験」とは、彼らが2023年3月に開催した個展「流れる窓、追い越す目」で発表した 6つのディスプレイから構成される作品《Layered Depths》の説明に出てくる言葉である※3。
イメージに内在する空間、それらが配置される擬似空間、鑑賞空間など様々な異なる奥行きが交差し合う。19世紀の鉄道や写真技術の発達から生じた風景の異化／同化の感覚を、現代のマルチレイヤードなメディア体験に重ね展開している。
「流れる窓、追い越す目」リーフレット
このヨフの言葉を手掛かりにして、前編では映像体験が「イメージ空間／イメージに内在する空間」、「現実空間／鑑賞空間」、「仮想空間／（主観的な）擬似空間」の3つの空間で行われるようになっていることを分析した。そして、分析対象である《Layered Depths》とは次のような作品である。
《Layered Depths》は 6つのディスプレイから構成される作品であり、4つのディスプレイが前面、それらによって一部が隠されている2つのディスプレイが背面を形成しているのがわかるように配置されている。それぞれのディスプレイに表示される映像もフレームに区切られているため、鑑賞者は複数の映像を見ることになる。さらに、複数の映像が6つのディスプレイの数台に跨って、同期して表示されているが、前面と背面の位置関係によって、ディスプレイに同期を乱すような映像が表示されることもある。
この作品を考察するために、映像体験が物理的差異と認知的差異という2つの差異から構成されている仮定した。物理的差異は、鑑賞空間に存在する個々の物質を分ける差異であり、ディスプレイにおいてはベゼルがその役割を担う。例えば、並んだディスプレイの双方のベゼルは物理的差異として、個々のディスプレイを独立した存在にする境界線となる。認知的差異は、網膜に届く光をディスプレイから放たれる光と他の物質から反射される光とに分ける差異である。認知プロセスで生じる認知的差異で網膜に入力された光の情報を分けてはじめて、ディスプレイのから放たれる光の集合は「映像」として認知されるようになる。通常、私たちはベゼルなどの物理的差異によって、ディスプレイを空間の他の存在から切り出し、その後、ディスプレイが放つ光を空間を満たす他の光と分ける認知的差異によって分けて、映像を「「物質」ではなく「映像」として認知している。
しかし、《Layered Depths》では6台のディスプレイの巧みな配置と複数のレイヤーが重なった映像との組みわせによって、鑑賞者は物理的差異と認知的差異を順番に処理できずに、物理的差異と認知的差異とが表裏一体で処理しないといけない状況に置かれる。そこでは、ディスプレイの物理的重なりと映像におけるレイヤーとが重なり合っていき、物理的にも映像的にも存在しない「レイヤー」が鑑賞者の主観的な擬似空間に現れ、映像とディスプレイとの位置関係の辻褄合わせが行われるのである。仮想空間に現れる透明な作業平面であるレイヤーは、仮想空間が現実空間とは異なるルールで認知と行為を行う場であることを示す具体的な存在である。レイヤーなどの具体的な操作対象を認知し、その対象に対しての何かしらの行為がディスプレイが表示する映像に対して行われるとき、ディスプレイは現実空間を切り取った景色を示すものではなく、仮想空間の情報が充填されるフレームとして機能している。私たちはディスプレイを仮想空間のフレームとして体験し続けてきた。《Layered Depths》を体験する鑑賞者の主観的な擬似空間に現れる「レイヤー」は、擬似空間が仮想空間と一体化していることを示し、現実空間とは異なる独自の認知と行為がある程度の具体的な存在とともに行われる場になっていることを教えてくれるのである。以上が、「《LayeredDepths》が示す「マルチレイヤードなメディア体験」に基づく映像体験」で考察したことになる。
前編の考察を踏まえ、このテキストでは《Layered Depths》から想起される「スワイプ」という行為に焦点を当てて議論を進めていく。自己移動感覚に関する錯覚である「ベクション」を参照しながら、現代のメディア環境において、映像が単なる視覚的な情報伝達の手段から、ヒトの認知と行為、コンピュータの計測と表示が相互に作用する情報交換の場へと変容していることを示した上で、ヨフの作品が提示するあらたな映像体験の特質を深く掘り下げていく。
ベクションと主観的な擬似空間に包摂される3つの空間
上の画像が示す映像の一連の流れで、ディスプレイ2、3、6が示す「重なり」という物理的差異を無効化する平面が構成されている。その平面を電車が右から左へと動いていく。そして、電車はベゼルの向こう側に動いていき、その先にあるディスプレイに表示されるようになる。電車がディスプレイを跨いで移動する様子を普通に認知している。同時に、右から左にベゼルを超えて動く電車の映像はスワイプされたように、ディスプレイから消えていく。電車がベゼルを超えていくのではなく、誰かの手が「電車の映像」自体をベゼルの外へ押し出したように見える。
《Layered Depths》はスマートフォンでのスワイプ体験を活かして、スワイプを想起させる映像を複数のディスプレイで表示している。そこでは、実際にスワイプは行われていないが、映像が示す電車などの対象がベゼルの外に移動していくのではなく、画面に表示されている映像そのものが1つのオブジェクトとして、ベゼルの外に押し出されて、隣のディスプレイに移動していく様子がスワイプを想起させるようになっている。このとき、認知のフォーカスがイメージ空間に配置されている個々の対象からスワイプという行為に移り、イメージ空間そのものが操作対象になっていると考えられる。ここでスワイプを想起させる映像の効果について考えるために、映画研究者のトム・ガニングを引用したい※5。
映画観客としての私たちは、想像の風景のなかへと進入したいという欲望を実際に満たすためにそこにいるように見える。空間は私たちへと向かって真っ直ぐに流れてくるのだが、しかし、それは私たちの眼だけを進入させ、身体の方はスクリーンの反対側に残されたままなのである。私たちは、見せかけの参入の周囲で彷徨っている幽霊のように、この表象された空間からの追放を経験することになる。こうした映画において、観客の身体は消滅し、そこには移動のエネルギー、すなわち風景を通り抜ける運動の感覚だけが残される。しかし、この全てを見通している眼は生理学的な眼でもある。だからそれは。たとえその媒体［メディウム］自体によって物理的接触から保護されているとしても、衝突の可能性を警戒して危険な感覚に今にもたじろぎそうな状態にあるのだ。
トム・ガニング『映像が動きだすとき — 写真・映画・アニメーションのアルケオロジー』
映画におけるスクリーンはイメージ空間と現実空間とを分つ絶対的な境目であったが、現代のディスプレイはフレームで囲まれた現実空間を仮想空間に置き換える装置になっている点を踏まえて、ガニングの考察を読むと、現在の映像環境においても、ヒトは映像との物理的接触は変わらず保護されているが、情報的接触が可能なものになっていると言えるのではないか。なぜなら、仮想空間として提示されている画面は、生理学的な眼に入力される情報を表示する面であるとともに、眼に入力された情報から引き起こされる行為が遂行される面として、認知と行為の双方から2つの空間の情報を循環させる機能を持っていると考えられるからである。映像がコンピュータと結びつくことで、映像においてもミシェル・セールが「最近まではまだわれわれの目にはエネルギーの交換としか見えなかったものの中に、われわれは情報の移動を探り当てたのである※6」と書く変化が起こったと言える。
ガニングが書く「移動のエネルギー」は、熱エネルギーが温度が高い方から低い方へと一方的に流れていくように、映像からヒトに伝わるだけである。しかし、映像とヒトとのあいだに「情報の移動」を認めると、そこには情報の正誤に関する処理も入ってくる。それゆえに、情報が間違っているとすれば、その状態を正すための行為が求められるようになったのである。ヒトが映像から入力された情報を認知処理して、行為という形式で出力するようになったところに「タッチパネル」という文字通り触れることで機能するガラス面が現れ、ヒトと映像とのあいだに情報的接触が起こるようになった。映画においては、観客の身体は一方的に映像からのエネルギーを受け取り続ける生理学的な眼だけになってしまうが、コンピュータに接続されたディスプレイにおいては、その眼が認知プロセスの一部として機能し続ける限り、映像を体験するヒトは眼から入力された情報を処理し、交換していく情報的身体として存在し続ける。観客がユーザとなったのである。
情報的身体はコンピュータの登場を待つことなく現れている。例えば、電車に乗っているときに、窓から見える電車が動いているだけなのに、自分が乗っている電車も動いていると感じることがある。このとき、移動に関する情報が私に伝わってきて、実際に自分が動いているような自己移動感覚に関する錯覚をつくりだす「ベクション」という現象が生じている。ベクションが起きているとき、移動しているのは物理的身体ではなく、生理学的な眼から入力された情報から「移動している」という情報を生成する情報的身体だと言えるだろう。ベクションを研究する妹尾武治によると「ベクションはVR作品や映画などを中心に頻繁に用いられる映像効果のひとつである」とされる※7。そして、ガニングはベクションには直接言及していないがファントム・ライドのような映像を用いたアトラクションはその最たる例であろう。スクリーンに映っている映像がこちらに向かってきて、スクリーンをはみ出してくるように感じるとき、身体は消滅するのではなく、映像から与えられる情報をもとに「動いている」状況に自分の身体があるという推論が行われる場として機能している。そして、身体が確かにそこにあるという認知から映像と身体との「衝突」が予期される。
ベクションが起こっているとき、映像と鑑賞者との関係は物理的なものから情報的なものに変わっている。それは、ヒトと映像とが情報交換の場に情報を生成する存在として配置されることを意味する。そのとき「映像がイメージ空間にあり、身体が現実空間にある」と明確に言えなくなり、映像と身体はそれらの空間に属しつつも、ディスプレイによって現実空間を置き換えた仮想空間とともにある主観的な擬似空間にも属して、情報交換を行うようになっている。主観的な擬似空間が映像と身体を取り込んで包摂していき、イメージ空間と現実空間とを曖昧にではあるがつなげて、連続的なものにしてしまうのである。この連続性のもとで主観的な擬似空間で生成された「移動に関する情報」が現実空間にある動いていない身体に作用して、身体はよろけてしまう※8。
身体は「移動に関する情報」を無視できないのはなぜだろうか。主観的な擬似空間で生成された情報よりも現実空間からの情報を重視すれば、身体はよろけないはずである。ここには情報の正しさに関する処理が関与している。妹尾は「ベクションは持続的に入ってくる世界が動くという視覚情報のつじつまを合わせるための錯覚」として、次のように書いている※9。
視覚情報として入ってくるが、現実には起こりえない「世界が動いている」という情報のつじつまを合わせるには、「自分が動いている」という感覚を生起させるのが最も効率がよい。つまり「世界が動いている」という情報が間違っていないという状況を作るために、自分自身を動かしてしまうのである。
妹尾武治『ベクションとは何だ!?』
私たちの身体は映像がコンピュータに接続される前から、いや、映像が登場する前から、眼が受け取る視覚情報と現実空間に配置された身体の在り方にズレが生じることがあると、私たちは世界からの視覚情報を正しい状態にするために物理的状況とは異なる感覚を生み出し、自らの身体を騙してきたのだ。妹尾のベクションに関する記述とここまでの私の考察を合わせて考えると、イメージ空間が構成する「世界が動く」という視覚情報のつじつまを合わすために、鑑賞者の身体は映像から与えられる情報を介して、主観的な擬似空間において自らを動かして、情報の辻褄合わせをしてしまうと言える。この辻褄合わせは、世界と自分との関係を大きく変えてしまう。妹尾は次のように書く※10。
自分が動いているのか？ それとも世界が動いているのか？ この両義的な刺激状況がベクションである。これを敷衍すれば、自分が自分の行動を選択しているのか？ それともそれを世界に選択させられているのか？ という状況に行き着く。
妹尾武治『未来は決まっており、自分の意志など存在しない。— 心理学的決定論』
妹尾の主張を映像とヒトとの関係に当てはめると、映像はただ見られる対象ではなく、ヒトの行為を条件づける作用を持つと言えるだろう。特に、コンピュータ・ディスプレイを挟んで向かい合っている映像から鑑賞者へと向かうピクセルが示す色情報の集合は、主観的な擬似空間での行為の起点が私なのか、映像なのかがを曖昧にする「両義的な刺激状況」をつくっていると考えられる。コンピュータ・デイスプレイでは、映像によって条件づけられて遂行された私の行為が映像を変化させ、その映像の変化がさらに行為を私に遂行させるというサイクルが延々と続くようなかたちで「両義的な刺激状況」が発生しつづけている。そもそも「両義的な刺激状況」は仮想空間の基本状況となのではないだろうか。ヒトに行為の選択をさせ、その行為の情報が映像を構成する情報を動かさない限り、仮想空間では何も差異が生じない。何も差異が生じないと体験が生じない空間と認知され、仮想空間、イメージ空間、現実空間を包摂し、情報交換の場となる主観的な擬似空間が生まれない。擬似空間に包摂されない仮想空間は放棄される。だから、タッチパネルなどインターフェイスとして機能するディスプレイが示す映像は、スワイプなどの行為に関連した視覚情報を提示して、何かしらの行為を誘発をしなければならない存在として設定されている。コンピュータによる情報で構成された映像を含んだディスプレイと向かい合う私たちは眼だけ残して身体を消滅させて、映像に没入していくことは許されず、主体的に行為をするか、映像に行為を誘発されるかにかかわらず、情報を発生させる物理的差異を発生させる物体として存在しなければならないのである。
仮想空間からインターフェイス空間への変容
ヒトがコンピュータ・ディスプレイと向かい合うときに現れる主観的な擬似空間では、情報を循環させるために主体的な行為の選択だけではなく、映像によって行為が選択されるということが起こっている。主観的な擬似空間の主導権はヒトにあるだけでなく、映像を含んだディスプレイが置かれた環境にもあり、そこで求められているのは差異をつくり、情報を生み出し、擬似空間を存続させることになる。このような状況をショシャナ・ズボフは『監視資本主義』で次のように書いている※11。
変換された各ビットは、社会での生活から切り離され、もはや道徳的思考や政治、社会規範、権利、価値観、人間関係、感情、状況、場面などに拘束されない。この平坦な流れにおいて、データはデータであり、行動は行動だ。そして体は、感覚や行動がデータとして変換される時間と空間を示す座標にすぎない。生物も無生物もすべて、この混ぜ合わされた糖蜜の中では同等の存在であり、それぞれが計測、インデックス化、閲覧、検索が可能な客観的存在「 it（モノ）」に生まれ変わる。
ショシャナ・ズボフ『監視資本主義: 人類の未来を賭けた闘い』
ズボフの指摘は情報化による「監視」というネガティブな方向ではあるが、すべてがデータ化されていく状況でのヒトの身体の状況を明快に指摘してる。作品を構成するディスプレイとその前に位置するヒトの身体、そして、それらが表示している映像はすべて「it」として存在するようになっている。鑑賞者／ユーザの身体は現実空間内の座標を占める情報処理装置となり、ディスプレイも身体とは別の現実空間内の座標を占めて、映像を示す仮想空間の座標に基づいて光の情報の集まりを提示する装置になっている。
私はズボフの指摘を作品体験における身体の情報化に伴うヒトと映像との関係の変化を示すものとしてポジティブな方向性で捉えてみたいと考えている。批評家の北出栞はデジタルで作品制作する時の変化に基づいた別の評価軸をつくらなければならないと主張している※12。
コンピュータと協働する中で、「ヒト／モノ」の境界は溶けていく。誰かのデジタル制作環境の中で、私たちの身体や視点もまた、コンピュータに取り込まれて「素材」になりうるのだ。「装置」を介して、すべてをバラバラの素材に還すこと。そこから再構築を始めること。
北出栞『「世界の終わり」を紡ぐあなたへ — デジタルテクノロジーと「切なさ」の編集術』
すべてがデータ化した情報的存在として一元的に扱われるような監視資本主義では、私たちも「it」としてコンピュータに取り込まれていく。しかし、北出が主張するに「it」をあらたな表現のための「素材」として捉え、表現の再構築を目指していくことは可能だと思われる。私たちは自分を含めたすべての存在が情報として扱われる状況にいるという認識から、映像や映像体験を考えなければならないのである。
映像作家の高嶋晋一＋中川周は「計算機械が組み込まれたデジタル以降の映像メディア」が示す映像の変化をズボフも使う「計測」という言葉を中心に据えて、次のように書く※13※14。
おそらく映像はかつてのような、外観の純粋な現われを本質とするものではなくなった。むしろ目に見えない、何らかの対象からその部分的属性に関する内在的なデータを、概念的表象によって抽出する計測装置としての側面をもつようになり、その側面が次第に強化されてきている。私たちは普通、重量計の「何キログラム」という表示を映像だとは考えないが、にもかかわらず映像は、なかばそれと似たようなものへと変貌しつつあるということだ。
高嶋晋一＋中川周「経験不問 — デジタル時代の映像メディアをめぐる試論」
映像を含むディスプレイが「外観の純粋な現われ」を示す装置ではなく「何らかの対象からその部分的属性に関する内在的なデータを、概念的表象によって抽出する計測装置」と変化するという高嶋と中川の指摘は、ディスプレイはその枠に仮想空間のデータを充填して示す映像で、現実空間の一部を仮想空間と置き換える装置になったとする私の考えに近い。ディスプレイが現実世界を切り抜くカメラとセットではなく、データを生成し続けるコンピュータとセットとなる装置となった状況において、映像は行為に内在する情報を計測して、情報に合わせた表示することで行為やその感覚を誘発するようになっていると言える。
身体だけが外界を変更できる特別な存在ではなくなり、ディスプレイが示す光の情報もまた行為やその感覚を情報化したものであって、それらは同等のものであり、相互に変換可能になっている。映像を構成する光の情報は視覚情報に変換され、視覚情報は運動情報へと変換され、運動情報に基づく行為が生まれ、そこから行為を計測したデータに基づいてディスプレイの表象が変化して、視覚情報に変換されて認知されていく。絶えず続く情報の変換のなかでディスプレイに映るイメージを介してヒトによる認知と行為とコンピュータによる計測と表示とを接合したサイクルが回り続け、情報が交換され続けていく。私が映像を見るように、映像が私を見ているし、私が映像に触れるように、映像が私に触れてくるのだ。
ヨフの《Layered Depths》はすべてが情報として処理可能な「素材」となっている状況だからこそできる表現であり、鑑賞者と作品、環境との境界が曖昧になり、鑑賞者も作品も「it」として処理される情報の集合体となっていることから生まれる映像や映像体験のリアリティの変化を示している。そのリアリティの変化は、「現代のマルチレイヤードなメディア体験」に基づいてヨフが設定した主観的な擬似空間で「素材」がまとまっていくプロセスに現れている。作品体験に即して言えば、物理的にも映像的にも存在しないにもかかわらず、鑑賞者が主観的に「レイヤー」や「スワイプ」の現れを感じてしまうことにリアリティの変化が示されている※15。
映像や映像体験におけるリアリティの変化は映像が単なる表象を示す平面ではなくなり、ヒトの認知と行為、コンピュータの計算と表示とを情報を介して循環させるための平面となったことを起点にして起こっている。映像とヒトとのあいだの情報交換とともに認知と行為、計算と表示が循環していく環境を考えるために、Appleが「Designing Fluid Interfaces」で行為と同調した空間的一貫性が重要だと主張している点に注目したい
※16。
インターフェイスの配置について紹介します。動作を通して、空間的一貫性を保つことが重要です。その意味は？実世界での物体の動作をまねることで、スムーズに出入りするように見せるのです。何かが消えたら消えた場所から現れますよね。もし私があっちに消えたのに逆から現れたら、驚くでしょう。道理に合いません。そこで人間が持つ一貫した空間感覚に合わせようとしました。つまり、何かが視界から消えてまた現れる場合、画面外への出入りは同じ経路をたどるべきです。iOSの画面遷移が良い例です。項目をタップするとページは右から現れ、戻る時は同じ経路を辿り右に戻ります。項目ごとに場所が決まっているのです。場所を把握していれば、自分でスライドして、戻すこともできます。この機能がなかったら？ スライドインしてきたものが、下に行ったら一貫性がなく混乱しますよね。送るような感覚です。どこかに送るような動作に見えてしまいます。空間的一貫性を保つことで、ジェスチャと同調するように感じるのです。
Apple「Designing Fluid Interfaces」
仮想空間はイメージ空間とは異なり見るだけの空間でいることはできない。情報を抽出するためには身体という物体を動かし物理的差異をつくなければならないので、仮想空間はヒトの行為を誘発し、受け入れるように設計される必要がある。そして、現時点で一番信頼できる空間の一貫性は、人類がこれまで行為をしてきた現実空間に基づくルールということになる。現実空間を模倣した一貫性を仮想空間に与えることによって、仮想空間は継続して行為可能な空間となる。仮想空間を映像とともに切り出すディスプレイと向かい合うヒトは、仮想空間と現実空間とをリンクして包摂する擬似空間の中心に自らを定位させ、仮想空間の作業平面としてヒトの行為を計測し、その表示を担う映像に向けて、何かしらの行為をするようになるのである。
では、仮想空間にわざわざ空間としての一貫性を与えないといけないのはなぜなのだろうか。それは仮想空間がとても単調な空間だからである。仮想空間を構成する情報となる差異はディスプレイやマウスなどのインターフェイスがなければ、ヒトにとって物理的差異でも認知的差異とも言えない微小な差異の連続でしかない単調さを示す。だが、単調な空間であるがゆえに他の空間からの干渉で差異が生じやすく、ヒトが行う認知と行為、ディスプレイなどのインターフェイスを介してコンピュータが行う計測と表示を組み合わせることで、差異が差異を次々に発生させていく状況が生まれる。この状況はいわばなんでもできる状況であるが、私たちは現実空間の物理法則に慣れているがゆえに「なんでもできる状況」には戸惑ってしまい、次に何をしたらいいのかがわからずにフリーズしてしまう。情報を生成するための差異をつくり続ける存在として設定したヒトにフリーズされると、仮想空間は存在を維持できずに消滅してしまう。そこで、ヒトが仮想空間である程度の行為が継続してできるような一貫性が設計される必要が出てくる。そして、ヒトの認知と行為とコンピュータの計測と計算が継続的にシンクロできるようになると、仮想空間が現実空間のようにヒトの行為と密接に結びついていき、ヒトの行為を包摂した「インターフェイス空間」に変容するのである。
インターフェイス空間は仮想空間と同様に主観的な擬似空間とともにあり、現実空間から独立した空間である。行為を可能にする一貫性を持ったインターフェイス空間は、仮想空間よりもヒトの行為を積極的に誘発する空間となっている。それは、映像による計測と表示がヒトの認知と行為に対して優位な状態になっていることを意味する。その結果、インターフェイス空間と向かい合うヒトは次々に情報的接触を受け、そこから感覚情報が発生し、主観的な擬似空間で何かしらの感じが起こり続けるようになる。インターフェイス空間では、ヒトの認知と行為がコンピュータに計測され、イメージに作用するように表示されるため、イメージは見る対象ではなく、見て行為をする対象である「デジタルオブジェクト」になっている。インターフェイス空間はインターフェイスを介して計測された情報で構成された複数のデジタルオブジェクトが表示された空間であり、デジタルオブジェクトに対する行為とともにその空間構成を確認していく空間である。そこでは、ただ見ているのでは何も起きない。ヒトの行為が空間を変え、その変化をヒトが認知し、また行為を行うというサイクルから生じ続ける情報を、コンピュータが計測し、表示することで空間の行為可能性が探索されていくなかで、ヒトの主観的な擬似空間で生じる認知と行為に関わる感覚が変化していくのである。
インターフェイス空間での体験から発生する強いリアリティ
インターフェイス空間では映像を介して、ヒトの認知と行為とコンピュータの計測と表示を組み合わせて、デジタルオブジェクトに対して様々な行為が生まれている。ここでは《Layered Depths》でも複数のディスプレイを跨ぐ映像の切り替えに効果的に使われている「スワイプ」という行為の特異性を考えてみたい。
スワイプで興味深いのは、画面上の図として認知されていた対象がスワイプされると、画面上の他のデジタルオブジェクトと一体化したかたちでディスプレイの外へと押し出されていくことが多い点である。つまり、スワイプは指で触れるデジタルオブジェクトが示していた画面における図と地という認知的差異を無効にして、画面全体を1つのデジタルオブジェクトとしてスライドさせる行為として機能していると言える。スワイプを可能にしているのは、コンピュータがデジタルオブジェクトを介してヒトの行為を計測し、画面に表示されているものの図と地を無効化し、画面全体を行為対象にしてしまうということである。そして、ヒトは画面内の図と地の無効化に伴って、行為対象が個々のデジタルオブジェクトから画面全体となることを自らの行為とともに認知する。
スワイプ体験は私の意識にとても奇妙な認知体験をもたらした。画面上の1点の操作が画面全体に作用する意味がわからなさすぎて、スワイプという行為に対して不安を抱いたこともあった※17。私がかつて抱いたスワイプに対する不安は、ここではベクションとインターネット空間を使って説明できるだろう。まずは妹尾の言葉※18を引用する。
刺激を物体として認識するのではなく、むしろ世界、つまり「その他大勢」として解釈できれば、ベクションは効果的に駆動できるのだ。いかにして、視野内の運動を物体のものと思わせず、「外界・世界」のものと思わせることができるのかが重要なのである。この世界らしさの査定こそが、脳が行う無意識的推論なのである。
妹尾武治『ベクションとは何だ!?』
妹尾の指摘が示す「物体」と「外界・世界」という区分けは、私がスワイプに感じた個々のデジタルオブジェクトと画面全体とに割り当てられるだろう。スワイプはデジタルオブジェクトを「物体」として認知させながら、それに対して行為した瞬間に「物体」が「外界・世界」となってしまう特異な行為なのではないだろうか。ヒトの認知と行為のサイクルにコンピュータによる計測と表示が接合されて、認知と行為のあいだでデジタルオブジェクトのあり方が変更されて、画面全体、つまり、デジタルオブジェクトが含まれるインターフェイス空間全体が行為対象となってしまう。その結果、スワイプをするとき、デジタルオブジェクトはヒトに「視野内の運動を物体のものとは思わせず、「外界・世界」のもの」と感じさせ、ヒトは画面上の全てのデジタルオブジェクトを一体化したインターフェイス空間そのものをスライドしていると感じるようになる。木の壁や電車などの対象をスライドさせる行為がスワイプなのではなく、それらを含んだ画面そのものがつくるインターフェイス空間そのものをスライドしていく状況をつくる行為がスワイプなのである。インターフェイス空間全体が動くことで自分が世界そのものを動かしているという奇妙な感じが生まれる。しかし、この奇妙さは私たちが日頃のスマートフォンとのインタラクションを通じて、画面という「外界・世界」そのものを動かす体験に慣れていくともに、当たり前の感覚となっていく。インターフェイス空間で起こる私たちの認知と行為がコンピュータの計算と表示と組み合わされて、現実空間では起こらない状態を体験すればするほど、私たちはインターフェイス空間とデジタルオブジェクトの特性を「脳が行う無意識的推論」に組み込んでいき、主観的な擬似空間に反映させていくのである。このようにして無意識的推論をアップデートした主観的な擬似空間がイメージ空間と現実空間、そして、インターフェイス空間を包摂していき、私たちはこれらの空間を連続的なものとするあらたな感覚を蓄積していくのである。
ヨフはスワイプによってもたらされるあらたな感覚を作品として次のようなかたちで表している。
ディスプレイ1、2、5が示す電車、ディスプレイ2、3、4、6が示す森がそれぞれ1つの平面を構成する「外界・世界」となっている。2つの「外界・世界」はディスプレイに区切られているが、ディスプレイを跨いで表示されていることから、そこからはみ出して続いている存在として認知される。このとき、2つの「外界・世界」がディスプレイの外に広がっていく主観的な擬似空間が生まれる。左から右へにスライドしていく映像とともに、誰かの指が、もしかしたら自分の指が2つの「外界・世界」をディスプレイのベゼルの外側に押し出していくように感じる。このとき、見る人にスワイプを喚起させる映像が示すイメージ空間を介して、鑑賞者が立つ現実空間とインターフェイス空間とが主観的な擬似空間に包摂される。この包摂によってイメージ空間、現実空間、インターフェイス空間とが連続的に重なり合い、鑑賞者は「パララックス」と似た状況を体験するようになる。この体験がスワイプを実際にはしていない鑑賞者に行為の感覚を誘発し、スワイプを強く感じさせる。
ヨフが採用された「文化庁メディア芸術クリエイター育成支援事業」での面談で、メンバーの大原と柳川が「パララックス」について次のように言及している。
大原：今回初めて映像を取り入れてみると、自分たちが扱っている視覚表現には同時代性もはらんでいるという自覚が出てきました。持ち運べるデバイスの存在、動画のスワイプやスクロール動作、ウェブサイトのパララックス（視差）効果など、現代のメディア環境ではかなり複雑な空間認識を要求されています。それが自分たちの制作の動機にも影響を与えているのではないかと思います。
文化庁メディア芸術クリエイター育成支援事業「初回面談レポート#7：ヨフ※19」
柳川：奥行きの認識を曖昧にする二次元表現には、『ルビンの壺』のような多義図形、境界線の処理、モニターの重なり、鏡の反射、コラージュや視点の変化、透明、大きさの恒常性、スキューモーフィズム、画像のピクセルへの還元、パララックス（オブジェクトの重なるイメージを動かすと奥行きによって移動速度が異なる）、ドリーズーム（カメラを引きながら拡大する）など多岐にわたります。
大原：特にピクセルへの還元や、パララックスのようなものは、現代だからこそ共有可能な、同時代的な空間感覚だと思います。
文化庁メディア芸術クリエイター育成支援事業「中間面談レポート#7：ヨフ※20」
ヨフは映像内の重なりに加えて、ディスプレイの物理的な重なりをつくることで、「パララックス」という映像表現を「現代だからこそ共有可能な、同時代的な空間感覚」として現実空間に持ち込んでいると言えるだろう。柳川が言うように「パララックス」はスワイプやスクロールなどの行為に連動して、前景と後景のスクロールの速さの違いを表示し、奥行きの認識が曖昧になる状況をつくっていく表現であり、大原はパララックスを「現代のメディア環境ではかなり複雑な空間認識」のもとで生じる現象と捉えている。そのパララックスを使うことで、ディスプレイという二次元での表現が三次元的な空間感覚に近いものになり、ユーザの行為とその対象であるデジタルオブジェクトとの連動がより確かなものになっていく。この行為と連動したあらたな映像表現は、インターフェイス空間における認知と行為、計測と表示のサイクルから生まれている点が重要である。そして、そのサイクルを可能にするのが、ディスプレイに表示されている電車などを示す「画像のピクセルへの還元」である。この還元は電車を電車として扱うのではなく、スワイプという行為可能領域にあるピクセルの集合としてしまうことを意味する。行為可能領域にあるピクセルへの接触が画面全体のピクセルと連動することで、現実空間では起きない指一本で「外界・世界」を動かすスワイプが生じる。スワイプという現実空間ではあり得ない行為がパパラックスというイメージ空間における視覚表現と組み合わされると、インターフェイス空間での体験に強いリアリティが発生するのである。
ヨフは複数のディスプレイの巧みな配置に映像が示す複雑なイメージ空間を組み合わせて、インターフェイス空間で生じる認知と行為の感覚をコンピュータで普段行う作業よりも強く現実空間にシンクロさせることで、二次元的表現であるパララックスを三次元空間に引っ張り出すような「物理的パララックス」が鑑賞者の主観的な擬似空間で生じる状況を設定する。三次元空間に対するリアリティを二次元で表現しようとしたパララックスが三次元空間に引っ張り出されると、スワイプされて複数のディスプレイを跨いで左から右、右から左へと仮想的な平面を移動していくデジタルオブジェクトによって、ディスプレイ同士がつくる「隙間」や「重なり」といった物理的差異が無効化されていく。ヨフが仕組んだ「物理的パララックス」は、鑑賞者の主観的空間に現実空間ではあり得ない「物理的差異の無効化」という事象を強いリアリティを持って出現させる。このとき、鑑賞者は作品体験から生じる「強いリアリティを伴った『物理的差異の無効化』」とともに《Layered Depths》を見るという再帰的な体験をすることになり、映像の動きによって、ディスプレイのフレームを無効化して広がるインターフェイス空間にデジタルオブジェクトを押し出していく「スワイプ」という行為を意識せざるを得なくなるのだ。ヨフの試みは、映像が単なる表象の平面ではなく、私たちの認知と行為を深く関わらせるインターフェイスとして機能し始めている現代において、「行為を誘発する映像」という映像表現のあらたな地平を切り開くものなのである。
