Hopfieldの記憶容量 𝑃 max ⁡ ≈ 0.138 𝑁 Associatronの𝑃 max ⁡ ≈ 0.14 𝑁

 1982年のHopfieldの論文の10年前、実はほぼ原形を作ったといわれる中野博士のAssociatronが世に出ていました。正確に言うと1969年だったのかもしれません。ここでその話をすると、それだけで終わってしまうので、後日、歴史を含めながら詳しくお話します。

その同じような論文の中に

Nakano, K. (1972). Associatron — A Model of Associative Memory.
IEEE Transactions on Systems, Man, and Cybernetics

Simulation Results (p. 386)

“It is seen that the maximum number of storable patterns Pmax is approximately proportional to N, and Pmax ≈ 0.14 N is obtained as an average.”

という項目があり、0.002の誤差はあれど、記憶容量という項目まで同じだったんです。

ここで論文じみた話を持ち出すつもりはないので、僕風に喩えますね。

脳を畑に喩えます。

以前作ったデモソフトのような 25×25 の入力や出力がそれにあたります。

●ニューロンの数 N = 畑の広さ　N=25×25=625

　　　　　　　　　　　　　　　625次元ベクトル（N=625）

●記憶パターン = 植える作物

●結合の強さ = 畑についた踏み跡

と考えます。

1つの記憶を覚えるとは→ ある方向に踏み跡（谷）を作ること

大根を植えると、その僕の足跡も残る。

👉谷が出来る。（アトラクタ）

何処に植えたか思い出しやすくなりますよね？

でも…

- あっちも踏む

- こっちも踏む

- さらに別方向も踏む

    

とやるうちに

👉 畑は踏み荒らされてグチャグチャになります

同じ畑に人参を植えてみる。

気が付くと、あれ？何処に大根植えたっけ？と迷う。

𝑃 max ⁡ ≈ 0.14 𝑁

これが記憶容量を超えた状態です。

ではなぜ「14%」なの？

結論だけ超シンプルに言うと

> 畑がグチャグチャになる直前の“踏み跡の密度”を  

> 物理学の方法で計算すると  

> だいたい 14% になる

という意味です。

- ニューロン1000個 → 約140個の記憶で崩壊

- ニューロン10万個 → 約1.4万個で崩壊

    

数学は分からなくても感覚は分かってもらえればいいです

✔ 本物の道 → ちゃんとした谷

    

✔ 似た記憶の混合物 → ニセの谷

    

✔ 途中の低い場所 → どうでもいい谷

がどんどん増えて臨界点ができる。

臨界点 αc ≈ 0.138


論文後、ひどく誤解する方が多かったのは「その畑、臨界点来てるから使えないじゃん」
という疑問を放置したからだと言われています。

別に海水入ったわけじゃあるまいし、畑が壊滅する話じゃないんです。



では、喩えを1畑を部屋と仮定して25×25＝625個の正方形の畳だったとします。

一つの部屋、畳625枚分

N＝畳の枚数（床の広さ）
$P$＝その部屋に置いた「家具の種類」（記憶パターン数）

0.138Nを超え始めると、

家具が増えてくる。

• 置ける（＝記憶できる）

• でも「動線」が狭くなる

• ちょっと歩くとぶつかる

だけの話です。

86個までOK、87個目から全部ダメではないんです。

 0.138N以下

家具が置ける。しかも動線がちゃんと通る。

• 思い出したい家具にちゃんと行ける

• 「谷」が深く、入口も広い（想起が安定）

• ノイズに強い

Hopfieldの世界では

「家具が増える＝性能悪化＝悪」になりがち。

でも、人間の脳は実際には

• 家具が少ないから正確、ではない

• そもそも 混ざる

• 勘違いや連想が起きる

だから畳で言うなら、

家具が増えて動線が複雑になること自体が
「生活のリアル」なわけです。

 

アソシアトロンの方向性＝「畳が荒れてきた世界」も使う

スプリアスを否定しないは、まさに

「畳が荒れたら終わり」じゃなくて
「荒れた畳にも意味がある」って思想です。

 ここで注意したいのは、

$\mathrm{<br>}$ は「86個しか覚えられない」という意味ではないことです。
これは“快適に思い出せる品質の目安”であり、そこを超えても記憶が消えるわけではありません。ただしパターン数が増えるほど谷が混み合い、スプリアス・アトラクタ（混ざり記憶）が増え、想起の成功率が下がっていきます。
つまり 容量とは「ゼロか100か」ではなく、「どれだけ確率的にうまく戻れるか」 の問題です。

一旦、目の前のPCやMACなどHD的な装置を忘れてもらって、畳（マス）を巨大化する発想ではなく、畳（マス）を増やすというのが連想記憶の世界で正しい発想です。

畳を大きくする（1枚を巨大化）って、これは脳で言うと、1個のニューロンを超高性能にするみたいな話になってしまいます。でも実際の脳ってそうじゃないですよね。
ただ、25×25を64×64の部屋にする。もっと、もっと・・・ということでもありません。
その時は部屋自体を増やします。部屋と部屋の間には廊下で繋がったモジュールに分ける方が脳っぽいのです。

人物の部屋
場所の部屋
音の部屋
匂いの部屋
仕事の部屋
みたいな・・・

今回のパターンは中野アソシアトロン、 0, 1, −1 の3値で表現しているが、実際には絵を描いた部分だけが ±1 になり、ほとんどのセルは0になる。このようなデータはスパース（疎）であり、0成分は保存しなくてよいので圧縮が効く。つまり「畳625枚の部屋」に見えても、実際に情報が入っているのはその一部であり、記憶はかなり効率よく持てる。　「Hopfieldは二値、アソシアトロンデモは三値、0は“空白”を意味し、圧縮とスパース性に繋がる」

• 部屋S（短期）：今の会話・直近数日

• 部屋L（長期）：固定化された人生記憶

Impact Learnを「部屋L側だけに強くかける」などもできます。

ここから

• 混ざり記憶

• エピソード記憶

• 非単調ダイナミクス（寄り道）

へ発展できる。