新しい知能の定義〜ジェフ・ホーキンス『考える脳考えるコンピューター』を紐解く その１
お久しぶりのポンダッドです。
ブログを更新していなかった間もAI技術の進展は目覚ましく、画像認識や音声認識に続いて、言語処理でも人間の能力を超えたと話題になりました※1。 それだけでなく、今後はさらなる性能向上のため、AIによる「意味理解と想像」が必要になるといわれています※2。
では「機械が意味を理解する」とはどういうことなのでしょうか？今まで人工知能の仕組みについて自分なりに考え、さまざまなAIフレームワークを試したが、この素朴な疑問に対して明確な答えがでることはありませんでした。
そんな時、ふと1冊の本を思い出し、あらためて読んでみたところ、新たな気づきにあふれていました。同じような疑問を持つ方には、疑問を解決する糸口になると思いましたので、紹介したいと思います。
『考える脳考えるコンピューター』
著者のジェフ・ホーキンスは元インテルの技術者で、現在のスマートフォンやタブレットPCの原型となるパームを設計した人物です。著書の日本語翻訳版『考える脳考えるコンピューター』は2005年に出版されていますが、現在は残念ながら絶版となっています。
人間の脳が知能を得る方法を解明し、機械を使ってそれを再現する。言い換えれば「脳のリバース・エンジニアリング」です。そんな大胆な研究を、一般人に向けて分かりやすく解説しているのが特徴です。
とくに印象に残ったのが「知能（Intelligence）」を以下のように定義していることです。
知能とは、記憶に基づく階層的なモデルを使って、予測することである。
「知能」という抽象的なものを、はっきりと定義できることに驚くとともに、記憶とは？予測するとは？さまざまな疑問がわいてきます。そんな疑問に対し、ホーキンスは具体的な事例や、研究結果などをあげながら解説していき、いつの間にか読者はその結論へと導かれていきます。
ホーキンスは執筆当時、論文や技術書ではなく一般向けに執筆した理由を以下のように述べています。
「知能を持った機械の実現は、ともに理解し行動する人々が増えることで実現する。あなたが仲間に加わり、すでに挑戦をはじめたほかの人々とともに、歴史上でもっとも偉大な技術のひとつを生み出すことを願っている。」
ここからは章ごとの要点をまとめながら、ホーキンスの理論をひとつひとつ紐解いていきます。ぜひ一緒に考えてみましょう。
中国語の部屋
2004年時点のホーキンスは、重要な考えを述べています。
そもそも「理解」とはなんなのか。それを定義しなければシステムが知能を備えているかいないかの基準は、あきらかにならないだろう。これらの違いは、行動からは分からない。
初期の人工知能研究では、「人間のように振る舞うことができれば、それは知能をもっている」とする考え方がありました。これはチューリング・テスト※3 として広く知られています。
図1: 中国語の部屋（引用: wikimedia）
それに対し、哲学者ジョン・サールは「中国語の部屋※4 」という思考実験をおこない、機能主義（行動によって知能を定義すること）では、知能を持つ機械の製作は不可能であると論じました。
ホーキンスは、サールの意見に同意します。「物事を理解したかどうかは、外側から判断できるものではなく、内側の活動が基準になる。」と考えました。
そのことから、外側の行動をともなう旧脳や脳幹ではなく、内側の活動をおこなう新皮質の研究が知能を持った機械の実現に不可欠である、と結論づけました。
自己連想記憶
研究結果から、ホーキンスは新皮質が3つの要素を持つことを発見します。
- 時間の概念
- 感覚の入力とは逆に流れる情報の重要性
- 理論は生体としての新皮質の構造を説明する必要がある
新皮質は何段もの層になっており、感覚器からの情報に対し逆方法に多くの情報を返し、流動的な情報をリアルタイムで処理しています。
もし機械でそれらの処理を再現するならば、新皮質が持つこれらの要素を理解した上で設計しなければなりません。
当時、脳神経をもとにしたニューラル・ネットワークが盛んに研究されていましたが、その目的は、入力に対して期待する出力を得ることでした。
これは言い換えれば「人間のように振る舞うこと」を学習させている、といえます。ホーキンスはこのシステムでは、内側の活動を再現することはできないと結論づけ、独自のシステムを模索します。
その中で、あるアルゴリズムに着目します。それが「自己連想記憶」です。
図2: 自己連想記憶
「自己連想記憶」とは、入力パターンそのものを記憶し、入力と同じパターンを出力するアルゴリズムであり、2つの重要な特徴を持ちます。
- 与えるパターンが一部欠けていても、記憶した正しいパターンが思い出される
- 時間的なパターンを設計できる
童謡「キラキラ星」を一度覚えると、最初の音をいくつか聴くだけで、歌全体を頭の中で再生できます。これは新皮質が「自己連想記憶」をしていることのひとつの事例です。
ホーキンスは、新皮質には「自己連想記憶」と類似した回路があるに違いないという確信をもち、そのアルゴリズムを再現しようと試みます。
マウントキャッスルの発見
図3: 新皮質の階層構造
新皮質は、厚さ2mmの食事用ナプキンをクシャクシャに丸めたようなもの、という表現がよく使われます。2mmの厚さの中は6層に分かれており、300億個のニューロンが中に詰まっています。
ニューロンのうち80％が錐体細胞（Cone cells／円すい形のように尖った細胞）であり、錐体細胞は数千個のシナプスを持っています。よって新皮質全体では30兆個を超えるシナプスが存在するといわれています。
図3は新皮質の概略を示したものです。入力部分は機能によって領域に別れており、全体としては枝分かれした階層構造をしています。階層は文字通り上位、下位の関係にあり、情報のやり取りがおこなわれます。また、領域の中では横の情報のやりとりもおこなわれています。
その仕組は柔軟性に富んでおり、ホーキンスは以下のように結論づけました。
新皮質への入力はすべて等価である。
この考えに至る手がかりとなったのは、「ヴァーノン・マウントキャッスルの発見※5 」です。
1978年にマウントキャッスルは、新皮質のすべての部分が共通の原理で機能することを提案しました。（目が不自由な方の舌に電気信号を与えることで、視神経の感覚代行をする事例を思い出すと分かりやすいでしょう）
この発見から着想を得て、ホーキンスは新皮質の普遍的な処理は、あらゆる種類の感覚系や運動系に適応できると気づきました。
たとえば、リアルタイムで画像を処理する視野覚は、時間的要素を処理しているといえます。
音楽を聞き分け、音のする方向がわかる聴覚は、音の時間的・空間的な変化を処理しているといえます。
手探りでその物体が何であるか理解できる触覚は、時間的・空間的な処理をしているといえます。つまり、
新皮質は同じアルゴリズムを使って、時間的・空間的なあらゆる情報を均一に処理できる
と考えられます。
100ステップの法則
新皮質の処理能力で、もうひとつ考えなければならないことがあります。それは処理速度です。
新皮質を通しておこなわれる人間の動作は、ニューロンを通じた電気信号によっておこなわれます。この処理は、1回につきおおよそ5ミリ秒ほど掛かるといわれています。つまり1秒間に約200回の処理です。
実験の結果、人間は約0.5秒で認識から行動までおこなえることがわかっており、新皮質は100ステップで意味のある処理をおこなえると考えられます。
それと比較し、コンピューターは高速で演算できますが、人間と同じような処理をおこなうことができません。たとえば、フライで上がったボールの落下地点へ移動しキャッチする。といったことを、コンピューターが100回の演算でおこなうことは不可能です。
逆に考えると、新皮質は演算ではなく、別の処理方法をつかっていることが分かります。
ホーキンスは新皮質の「記憶」の仕組みがそれに当たると考えました。問題の答えは、計算しているのではなく、記憶された答えを引き出しているのです。それならば、数ステップの処理で実行できます。
さまざまな研究から、新皮質は以下のように記憶を処理していることがわかっています。
- 新皮質はパターンのシーケンスを記憶する
- 新皮質はパターンを自己連想的に呼び戻す
- 新皮質はパターンを普遍の表現で記憶する
- 新皮質はパターンを階層的に記憶する
図4: 100ステップの法則
パターンを「シーケンスで記憶する」「自己連想的に呼び戻す」に関しては、ここまでの事例で説明できます。パターンの時間的な変化を記憶することで、部分から全体を想起できるはずです。
たとえば、物陰にかくれた子供の一部を見るだけで全体が一瞬で理解できたり、外出先でも自宅の入り口から今まで移動する光景を頭の中で再現できたりということが、これにあてはまります。
パターンを「普遍の表現で記憶する」「階層的に記憶する」とはどのようなものでしょうか？これは、「キラキラ星」の事例が参考になります。自己連想的に呼び戻された記憶は、単純に音の周波数をそのまま保存しているわけではありません。
成人男性の低い声で歌う「キラキラ星」も、子供の甲高い声で歌う「キラキラ星」も、キーは異なっても同じ歌であると判断できます。この事例は新皮質が普遍の表現で記憶していることの証拠になります。
パターンを「階層的に記憶する」ことは、パターンの記憶は階層が上がるごとにより抽象度が増すことから説明できます。
これらの「記憶」は新皮質内のシナプスによって形成されます。
新しい知能の定義
そして、何かを「理解」することの発見は、突然訪れました。ホーキンスは以下のような思考実験のなかで、突然ひらめいたといいます。
図5: 新しい知能の定義
部屋で読書をしていると仮定します。周りから見れば大した「行動」をしている訳ではありません。では、この瞬間、内側ではなにが起きているのでしょうか。
本を読むと同時に、椅子の位置、テーブルの位置、ドアの位置、窓の位置自分の部屋の配置を理解しています。音楽を聴き、昼ごはんをつくるにおいを感じています。
テーブルにいきなり青いカップが現れたとしたら、と仮定します。答えは単純で、なにかが違うと感じ、それが自分の部屋のものではないとすぐに気づくでしょう。
なにかが違うということに気づくということは、新皮質のニューロンはそれまで興奮していなかった部分が興奮しているということです。
部屋の中には何百もの物体があるなかで、青いコーヒーカップだけが新しいことをなぜ知るのか。そこから導かれた答えは、
人間の脳は蓄積した記憶を使って、見たり、聞いたり、触れたりするものすべてを絶えず予測してる
というものでした。
新皮質がおこなう予測はひとつひとつ順番に処理がおこなわれる訳ではありませんので、新皮質は人間が暮らす「世界の構造そのもの」について、並列に予測をたてているといえます。
このことは、さらに多くのことを示唆しています。
「マウントキャッスルの発見」を思い出してみましょう。新皮質はどの領域でも均質に情報を処理します。そのため、見たり聞いたりといった低レベルの階層だけでなく、より抽象的で長いシーケンスの情報も同じように処理がおこなわれるはずです。
「100ステップの法則」を思い出してみましょう。新皮質はパターンの「シーケンスを記憶」し、「自己連想的に呼び戻し」、「普遍の表現で記憶」し、「階層的に記憶」します。これらの記憶の処理も新皮質の中では、均質に、そして並列におこなわれるはずです。
このことから「知能」を新しく定義できます。
知能とは、記憶に基づく階層的なモデルを使って、予測することである。
まとめ
最初にこの本を読んだのは人工知能に興味をもった2017年のことでした。その時は「汎用人工知能（AGI）の実現」といわれても正直ピンとこなかったのですが、近年の急激なAI技術の進歩をみると、その一歩手前まできているように感じます。
そんなことを思いながら、書籍の前半部をまとめてみました。次回は後半部、「新皮質の解明」についてまとめます。おたのしみに！
引用
※1: Googleの検索エンジンに「過去5年で最大の飛躍」。新たな言語処理モデル「BERT」の秘密 - Wired
※2: 松尾豊「意味理解と想像」ー深層学習の先にあるもの – 記号推論との融合を目指して（2）- YouTube
※3: チューリング・テスト - Wikipedia
※4: 中国語の部屋 - Wikipedia
※5: Vernon Benjamin Mountcastle - WikipediaをGoogle日本語翻訳