タイトル
脳内映像の再構築 科学は心の中の映像を見ることができるのか
著者 / 話者
『恋する芸術と科学』編集部

Chapter 1

「視覚する」ということは、眼前に広がる映像という膨大な「情報」を瞬時に認知・処理し、それを伝達するという一連の脳内の運動だ。視覚した情報を源泉として「想像力」が立ち上がる時、その受け手は、映画という表象で、ビジュアルアートという表象で、あるいは、アニメ、マンガ、写真、あるいは言葉による形容といった表象で放出されるだろう。それは、つまり「彼が世界をどう見ているか」という問いへの分かりやすい解答でもある。ただ、その作品を分析することはできても、その想起自体のメカニズム、つまり「脳がどういうアルゴリズムに基づいて世界を見て、認識しているのか」は、21世紀を迎え10年以上が経った今も神聖不可侵のままだ。

脳は人間におけるブラックボックスである。我々は脳のことを「ほとんどわかっていない」。それゆえに生命の神秘さを容易にまかされやすい、ある意味で都合の良い器官だ。そして、その脳の一機能である視覚もまた同じである。誤解をおそれずに言うなら、それは長いこと、芸術の領分だった。

カリフォルニア大学の研究チームが、ある実験に成功したことが2011年に報道された。その実験とは、「自然な視覚体験下における人の脳の活動は、数理的なモデルで記述可能か」を検証したものだった。さらに、「それが可能であれば、脳の活動から逆算して見ていた“映像のイメージ”を再構成することができるはずだ」という仮説に基づき、脳活動を元に視覚体験の再構成を試みた。再構成したイメージ映像のキャプチャ例が冒頭の画像である。芸術の領分であるビジュアルアートの分野に、科学からのメスが入ったと言うこともできるだろう。わたしたちの脳は果たしてどんな映像を見ているのか。

Chapter 2

以下は、カリフォルニア大学バークレー校で前述の研究を主導した西本伸志研究員に取材した記録である。この実験では、主に医療現場で使われる、アナトミカルな構造を診断するためのMRIをベースに、血流の変化を通じて脳活動を非侵襲的(ひしんしゅうてき)に診断できるfMRI(functional magnetic resonance imaging)と呼ばれる機器を用いている。

被験者(西本さんら研究チーム)にfMRIに入ってもらい、映画の予告編など数十種類で構築された「自然動画」と呼ぶ映像群を、プロジェクターで投影したディスプレイで見てもらいながら、その際の脳活動を時系列で記録していく。

まず、映像Aを見せているときの脳活動を記録。そして、映像を入力、その時の脳の活動を出力とした時、あらゆる映像に対する脳の活動を予測することが出来るモデルとして、「脳活動=f(映像)」という形の関数(エンコーディングモデル)を求める(下図を参照)。同じ被験者に、映像Aとは異なる映像Bを見せて脳活動を記録する。被験者を要する実験はここまでで、1人当たり3時間を要する。そして最終的に、映像Bを見せた際の脳活動の値と関数fを用いて、映像Bの再構成(デコーディング)を試みる。

再構成にあたっては、YouTubeからランダムにダウンロードした1800万秒(約5000時間)分の映像Cを用意し、仮にそれらの映像を被験者に見せたとしたらどのような脳活動が生じうるかについて、関数fをもとに予測を行う。映像Cについて予測した脳活動と映像Bを見ていた時の脳活動を照合し、映像Bで記録した脳活動と近い脳活動を生じると予測される映像トップ100を映像Cの中から選ぶ。そして、その100個の映像を平均化したものを再構成映像とする。

なお、映像A・B・Cは、それぞれ全く重複のない映像の断片で構成されている。

要するに、映像Aとそれを見ている時の脳活動から映像と脳活動の関係を記述する関数を求めた上で、映像Bを見せた時の脳活動を記録。そして、その脳活動と近い数値を出すであろう映像B’を映像Cから再構築する、というのが一連の実験のフローである。

2011年、3名の被験者で実験して分析した結果をCurrent Biology誌に論文としてまとめ、実際に見せた映像と再構築された映像を比較する動画を発表した。なお、当該の実験は、アメリカ国立衛生研究所(National Institutes of Health)および同国立眼病研究所(National Eye Institute)からの援助を受けて行っている。

Chapter 3

「人がなにかを知覚している時、脳活動にどのような情報が含まれているのかを定量的に記述する数理的モデル(関数)を算出することができたら、逆に脳活動から知覚体験を再構成することができる」と証明してみせた今回の実験は、いくつかの示唆をわたしたちに提供してくれる。

まず、「映像を見ずに想像したイメージを映像化することもできるのではないか?」という疑問が存在する。そして研究チームは現在、小説を読む、あるいは映像を空想している際の脳活動を計測するという実験を行っている。まだ発表できる段階ではないものの、「想像しているときの脳活動を調べて、その映像を再構成しようとした時、再構成できる人とできない人とで激しく個体差がある」そうだ。右脳・左脳という単純すぎるカテゴリは非科学的だとしながらも、「個人的には、映像化して考える人と、そうではない人が恐らくいるのではないかと思っている」と西本氏が語る通り、実験を進めていけば、イメージを思い描く能力には個体差が存在することが科学的に証明されるかもしれない。

また、今回の実験では、脳の活動を記録して抽出した関数は、被験者一人一人にしか適用していない。ただしこちらも現在実験中で、ある人の脳活動から抽出した関数を別の人に当てはめることができれば実験の簡略化になる。そもそも、「脳にとっても、膨大な情報を処理する視覚はコストがかかる」ため、それをつかさどる部位が一番大きな領域を占めている。その中で、例えばある人は、他人の顔を認識する脳の部位がほかの人より大きいといった違いがある。実際、活動を計測しやすい脳としにくい脳というものが存在するそうだ。やはりfMRIの計測上、脳の大きさや対称性といった物理的な違いによっても個体差が生じてしまうのだろう。あるいは、個別の関数を比較する過程で、もしも脳活動自体の個体差を観測することができたなら、それこそが「私の見ている映像と他人の見ている映像との差分」と考えることもできるかもしれない。

それらの示唆的な可能性は、今後の実験でさらに解明されていくことだろう。例えば閉じ込め症候群の患者や植物状態に陥った患者との対話を試みるなど、医療技術への応用をまずは想定しているそうだ。そういった技術が臨床的に可能となったときには、当然、映像表現の世界にも、なんらかの応用的刺激が流れ込むと考えられる。

「発表した映像は、現時点での脳神経科学およびfMRI技術の限界ゆえに、どうしてもぼやけて解像度の低いものでした。しかし、その技術の未熟さゆえの映像自体が、ビジュアルアーティストの人たちからある種の“想像的な映像表現”として好意的な反応をいただいたことが意外でした」

西本氏はそう語った。想定していなかったビジュアルが描画されたという点において、かの映像は、「科学と芸術との偶発的接触」のようだものだと言える。両分野をまたいで話題となったカリフォルニア大学の西本氏の実験は、これからも科学的な検証を進めていく上で、どんどん意外性を持った偶然を誘発していくだろう。もちろん、そうでなくてはおもしろくない。いつの時代も、あたらしい価値は、科学と芸術がひょんなことからぶつかる事件から生まれているのだから。

ⓒShinji Nishimoto, 2011 University of California, Berkeley