Associatron(アソシアトロン）とは何か？ その3

 Transformerは「次に来そうな単語」を当てるのが得意で、世界の知識を統計的に圧縮したような巨大モデルです。これによって、文章生成や会話は信じられないレベルに到達しました。ここだけ見れば、たしかに「もうアソシアトロンなんて古典だ」と言いたくなる気持ちも分かります。

でも私は、アソシアトロンにはTransformerとは違う意味があると思っています。Transformerは賢くなるほど巨大化し、学習データが増え、GPUが必要になり、クラウドに依存しやすくなりました。言い換えると、Transformerは「世界をまるごと飲み込む方向」のAIです。だから、何でもできるように見える。しかしその一方で、私たちが日常で求めている知能は、必ずしも“世界中の知識”ではありません。

たとえば、目から見る映像はカメラのように数百万画素を動画で記憶しているわけではありません。もしそれが可能だとしたら、何処に何という虫が何匹居て、鳥が何羽空に飛んでいて映し出す山の木々の本数も後で数えることが出来るということです。そんなことは人間の脳でもTransformerでも量子コンピューターでも不可能です。たぶん、一枚の静止画がやっとではないでしょうか。人間の脳は蓄積型ではありません。どこかで記憶が曖昧になったり忘れたり、何かの拍子で思い出したりします。

人間の脳は「記録装置」ではなく「意味の圧縮装置」

たとえば、目から入ってくる映像はカメラのように数百万画素の動画として保存されているわけではありません。もし本当に動画を画素単位で保存できるなら、

• どこに何という虫が何匹いたか

• 空に鳥が何羽飛んでいたか

• 山に木が何本立っていたか

まで、あとから「数え直す」ことが出来るはずです。しかし実際の人間はそうではありません。私たちは「映像の記録」をしているのではなく、もっと違うことをしています。

脳は映像を 丸ごと保存する代わりに、

• 重要な特徴だけを抜き出し

• 自分の過去の経験と結びつけ

• “意味の形” に圧縮して覚える

つまり脳は蓄積型（ストレージ）ではなく、圧縮型の連想装置です。

だから記憶は、

• どこかで曖昧になったり

• 忘れたり

• 何かの拍子で復元されたり

する。

ここが「記録メディア」と決定的に違う点です。

圧縮の本質：「全部を覚えない」ことが賢さ

記憶の圧縮とは、単にデータ量を小さくすることではありません。

ポイントは、

“重要なものだけ残して、残りは捨てる”

という設計思想です。

数百万画素の中の画像の中の虫や飛ぶ鳥、行き交う人々を全て記憶しているわけではないのです。

そしてその「重要なもの」とは多くの場合、

• 形（輪郭）

• 配置（関係）

• 動きのクセ

• 自分の感情・痛み・匂い・経験

などであり、
画素そのものではありません。

アソシアトロンは「画像」を保存しない。「結びつき」を保存する？

アソシアトロンがやっていることは、写真の保存ではありません。

アソシアトロンが保存するのは

記憶パターン（刺激）から
結びつきの行列T を作り、
それを蓄えることです。

データではなく谷＝アトラクタのような地形に記憶させる

つまり、

• 入力パターン v（例：顔の25×25の点）

• それを何枚も見せる（学習）

• すると T が更新されていく

この T は、記録画像ではなく

「こういう特徴が来たら、こういう特徴が続いて出やすい」

という 脳内の配線図（クセ） です。

人間の生活に必要な記憶は、もっと局所的で自分の過去、経験、顔、匂い、思い出、土地の空気、店の常連の癖、そういうものです。そして、それらは膨大なデータとして学習した結果ではなく、「ある刺激で勝手に立ち上がる」ことが多いのです。つまり、人生の記憶は“検索”より“想起”に近い。私はここに、アソシアトロンの未来があると思っています。

Transformerに

「そういえばさ、この前話したコーヒー豆の件だけどさ」

というと、この前までの膨大なログから探さなくてはいけなくなります。

そう、彼の最も苦手な分野です。

しかし、AssociatronはLLMと連携することにより

「あぁ、成城石井のフレンチローストが特売になってたって話でしょ」

と答えれるようになる可能性を秘めているという事です。

この前の話を最初から説明する必要がなくなる。

「奥さんの話に賛同するけどね・・・」

アソシアトロンは知識を増やす装置ではなく、記憶を持ち、少しの入力から元の状態に戻す装置です。ハードディスクも必要ない。作り方によってはGPUに極端な付加をかけずにつくれる。データベースのように取り出すのではなく、谷に落ちるように戻ってくる。だから、学習や分類や生成とは別の領域を担える。たとえば、ローカルで動作する小さな記憶装置、個人の経験を蓄積して思い出す装置、身体感覚に近い想起装置。そういう方向です。

そして、この発想が50年以上前にすでにあったという事実が重要です。中野馨先生が見ていたのは、流行ではありません。脳がやっていることの本質です。「思い出す」を装置にする。この一点に集中した結果として、アソシアトロンは今でも新しい扉を開く可能性を持っています。

Associatron(アソシアトロン）とは何か？ その２

 その１を読むと、
なんだ、「Transformerのほうが強いじゃん」と思うかもしれません。

たしかに、知識をたくさん持ち、文章をそれらしく生成し、画像を分類し、会話までできる。現代のAIの主役がTransformerになったのは当然です。けれど、それでもアソシアトロンには別の価値があります。なぜなら、アソシアトロンは“知識を増やす装置”ではなく、“記憶を思い出す装置”だからです。

たとえば、

体育館とエアーサロンパスの匂いを嗅いで

40数年前の記憶がよみがえる。

１，バスケットの試合中に相手の肘が顔面にあたる

２，気絶

３，ふと気づくと体育館の隅で知らない女性が手当をしてくれている

４，気になる女性

普通、人間の脳でも思い出そうと思って数十年前の人物というのは簡単に思い出せません。しかし、あるヒントやきっかけで姿や表情、声までも思い出すことがあります。

それを連想記憶といい、まさにアソシアトロンはそういう思い出す装置ということです。

人間の脳も、世界中の百科事典を丸暗記して賢くなっているわけではありません。むしろ、人は限られた経験の中で生きています。それなのに、ある匂いを嗅いだ瞬間、ある景色を見た瞬間、ある曲を聴いた瞬間に、信じられないほど鮮明に過去が立ち上がる。しかもそれは、「検索」した結果ではなく、「勝手に戻ってきた」感覚です。思い出すというのは、そういう現象です。

中野馨先生が凄かったのは、脳を「神秘」として扱わなかったことです。記憶という現象を、根性論や精神論ではなく、「装置」として設計しようとした。記憶パターンを入れれば、結合の行列（T行列）として記憶が固定され、入力を与えれば想起のダイナミクスが走り、どこかの“谷”へ落ち着いていく。記憶・装置・挙動を分けて考える。これがアソシアトロンの骨格です。

世の中のAIが巨大化し、「正しい答えを返す」方向に進化していく一方で、中野先生は「似たものを思い出す」「壊れた入力から回復する」という、人間の記憶そのものに近い現象を追い続けた。その結果として生まれたのが、アソシアトロンという連想記憶モデルです。

そして私は、今の時代だからこそ、この方向に意味があると思っています。AIが巨大化し、クラウドとGPUとデータに依存するほど、「小さな装置」「ローカルで動く記憶」「説明できる記憶」には価値が出ます。アソシアトロンは古典ではなく、むしろ“未来の小さな知能”の原型です。

50年前の研究の可能性が今まさに新しい扉を開こうとしています。

Associatron(アソシアトロン）とは何か？

1972年に東大の中野馨先生が、脳のように「記憶が引き出される仕組み」を発表しました。（連想記憶ニューラルネット）
（ 中野博士は1969年、人工知能の国際会議（初期のIJCAI系）でP.B.P（Pattern-by-Pattern）という連想記憶モデルを発表しています。）

ニューロン（神経細胞）を真似てプログラムを開発するという試みです。


 人間の脳は140億個の神経細胞(ニューロン）があります。この神経細胞をさらに細かくみていくと、神経は核から軸索(axon)がいくつものびており、これがほかの神経細胞と結合してネットワークを形成するのですが、神経細胞へ入力刺激が入ってきた場合に、活動電位を発生させ、他の細胞に変化する情報を伝達させて記憶させています。

人の神経細胞は主に3つの部分に区分けされ、細胞核のある細胞体、他の細胞からの入力を受ける樹状突起、他の細胞に出力する軸索に分けられます。
細胞の軸索終末と後ろの細胞の樹状突起の間の情報を伝達する部分には、微小な間隙を持つシナプスと呼ばれる化学物質による伝達構造が形成されています。

このシナプス結合が面白いのは、脳の記憶が「細胞の中にしまってあるデータ」みたいなものではなく、ニューロン同士の“つながり方”そのものとして成立している点です。つまり、脳の中のどこかに「記憶ファイル」が置かれているというより、ニューロンとニューロンを結ぶ無数の道の強さが変化して、その結果として「思い出せる」状態になる。そう考える方が正確に近いのだと思います。

そして、ここがプログラム開発の入口は・・・

ニューロンそのものの構造を完全に真似するのは無理だとしても、「つながりが変化すると記憶が変化する」という仕組みなら、コンピュータ上で再現できる可能性がある。たとえば、ニューロンiとニューロンjの結合が強いなら大きな数値、弱いなら小さな数値、興奮させる結合ならプラス、抑制する結合ならマイナス……というように、結合の性質を数字で表現するわけです。

こうして無数の結合を全部まとめると、ニューロン同士の関係は「数字の表」になります。数学的には行列です。ここで初めて、脳の話がプログラムに降りてきます。つまり、脳の連想記憶の本体は、ニューロンという粒を作ることではなく、ニューロン同士の結びつきを数値化した“装置”として表現することになる。そして実は、この装置を一度作ってしまうと、次の現象が起きます。

９５年「Cで作る脳の情報システム」をJavaScriptにアレンジしたもの

中野博士の神がかってると思ったのは、ヒント（cue）。ヘッブの法則に

なかったスプリアス・アトラクタが前提でそれを排除しようとしなか

　った事。　　　既に連想記憶の中にエピソード記憶という一文もあった。

入力が少し欠けていたり曖昧だったりしても、ネットワーク全体が勝手に計算を進めて、ある状態に落ち着いていく。

ニューロンと軸索(axon)が、いや、黒い●達が

「こうだった筈だよ」
「いや、違うべ」
「みんな、どう思うよ」

と云って多数決で決めた結果、復元されたということです。

2014年に僕はそういう表現を使いました。

まるで「思い出す」みたいに。人間も、記憶を呼び出すときに完全な情報を持っていないことが多いのに、匂いや音や手触りのような断片をきっかけに、全体が急に戻ってくることがあります。あれとよく似たことを、数学とプログラムの中で起こせる可能性があるわけです。

この「記憶パターンを入れる → つながりの装置を作る → 少しの入力から思い出す」という方向を、かなり早い時代から真正面に考えていた研究者がいます。
中野馨博士です。
中野博士は、学習して当てる機械ではなく、記憶を持ち、思い出す機械を作ろうとした。そしてその発想を、神経細胞の結合のモデルとして組み立てたものが、アソシアトロン（Associatron）という連想記憶モデルです。

Associatronというと今や古典的な研究かと思われがちです。現に皆からはそう言われていますが、実は多くの可能性を秘めています。

AI（人工知能）と聞くと、多くの人はこう思うはずです。
ChatGPTみたいに文章を書く。画像を見て猫か犬か当てる。先生（正解データ）を大量に食べて賢くなる。こういうAIは、ここ十数年で爆発的に伸びた「学習型AI」であり、現在の主役はTransformer（トランスフォーマー）と呼ばれる仕組みによって支えられています。

Transformerは一言で言えば、「たくさんの文章や画像を読んで、次に来そうな単語や答えを予測する装置」です。文章なら、前後関係から次の単語を確率的に選ぶ。画像なら、学習したパターンと照らし合わせて分類する。つまり、Transformer系AIは徹底して“予測”の機械です。しかも賢さの多くは、大量のデータと巨大な計算資源（GPU）に依存しています。とにかく膨大な知識を取り込み、「統計的に最もそれらしい答え」を出す方向に進化しました。

ところが、アソシアトロンが狙ったものは、そこではありません。アソシアトロンは「正解を当てる」ことよりも、「思い出す」ことに焦点を当てています。人間の脳は、何かを思い出すときに、必ずしも正解データを参照しているわけではありません。むしろ、断片や曖昧な刺激（匂い・音・手触り・風景など）から、過去の記憶が勝手に立ち上がってくる。この現象を、数学とプログラムで再現しようとしたのが連想記憶であり、その代表例がアソシアトロンです。

Transformerが得意なのは「文章を続きを書く」「それっぽい答えを生成する」「分類する」ことです。一方、アソシアトロンが得意なのは「壊れた情報から元を復元する」「ノイズがある入力でも、記憶のどれかに吸い込まれて落ち着く」という、いわば“想起”です。Transformerが“図書館”だとすれば、アソシアトロンは“記憶の谷”です。少し似た刺激が入ると、谷に転がり落ちるように、過去の記憶へ戻っていく。

もう少しだけ言い方を変えると、Transformerは学習した世界の中で「推測して答える」AIですが、アソシアトロンは記憶した世界の中で「回復して思い出す」AIです。目指している方向が違うのです。だから、必要なものも違います。Transformerはデータと計算量をどこまで増やせるかの競争になりました。しかしアソシアトロンは、巨大化して何でも知る装置というよりも、限られた記憶を“思い出す”ための機械として、別の美しさを持っています。

そして何より面白いのは、アソシアトロンの発想がかなり古い時代にすでに存在していたことです。世の中がAIを「正解を当てる機械」として発展させるずっと前に、中野馨博士は「思い出す機械」を作ろうとしていた。現代のAIブームの外側に、もう一本の太い流れがあります。その入口に、アソシアトロンというモデルが存在しています。