ホップフィールドとは、一体何だったのか・・・

ノーベル賞がまともなものではないということは周知なことだが、
いったいなぜ　J.J. Hopfield が Hopfield networkなんてものがNNの火付け役としてノーベル賞を受賞したのか、理由が本当によく分からない。


しかも、Wikipediaは、どれだけ頭が悪いのか知らないけど、NNの歴史も説明も支離滅裂で、組み立ても異常。意図的なのか知らないけど重要な違いをぼかしている。そもそもWikipediaという3品粗悪辞書は科学にとってもマイナスにしかならないので別途、説明する。

1982年のホップフィールド型ネットワークの構造自体が、1969年、1972年の中野博士のアソシアトロンと近いことを中野博士自身が明記している。

脳の情報システム（1998）

各ユニットは、他のユニットからの入力を受け、その総入力に応じて出力を 

$1$または $0$にする。

総入力の式（4）

$$u_i(t) = w_{i1}x_1(t)+w_{i2}x_2(t)+\cdots+w_{iN}x_N(t)+h_i$$

意味は

• $x_i(t)$：時刻 $t$ におけるユニット $i$ の出力
• $u_i(t)$：ユニット $i$ に入る総入力
• $w_{ij}$：ユニット $j$ からユニット $i$ への結合強度
• $-h_i$：ユニット $i$ の閾値
• $N$：ユニット総数

出力の更新則は式（5）

$$x_i(t+1)= \begin{cases} 1 & u_i(t)>0\\ x_i(t) & u_i(t)=0\\ 0 & u_i(t)<0 \end{cases}$$

つまり、

• 入力が正なら $1$
  
• 入力が負なら $0$
  
• ちょうどゼロなら以前の状態を保持

という規則。

非同期更新

このモデルでは、同じ時刻に全ユニットを一斉更新するのではなく、同じ時刻には一つのユニットしか動作させず、他のユニットは前の出力を保つとしている。これが非同期更新。

さらに結合には、

$$w_{ij}=w_{ji}$$

という対称性があり、自己結合は禁止されている。

$$w_{ii}=0$$

ページ末では、

「その構造そのものには、なんら目新しいところはない」

とかなりはっきり書かれている。

つまりだ、このページで中野博士は、ホップフィールドの新規性はネットワーク構造ではなく、後から導入される「エネルギーによる説明」にあると整理しているわけ。

ユニットは、

$$1,2,3,\ldots,N$$

と並び、それぞれが出力

$$x_1,x_2,x_3,\ldots,x_N$$

を持つ。

各ユニットの出力が他のユニットへ戻されるので、図には「フィードバック結合」と書かれている。これは入力から出力へ一方向に進む通常の階層型ネットワークではなく、出力が再びネットワーク内部へ戻る再帰型・相互結合型の構造。

エネルギー関数

ホップフィールドは、ネットワーク全体の状態に対し、式（6）のエネルギーを定義する。

$$E = -\frac12 \sum_{i=1}^{N} \sum_{j=1}^{N} w_{ij}x_ix_j - \sum_{i=1}^{N}h_ix_i$$

第一項はユニット間の結合によるエネルギー、第二項は各ユニットの閾値・バイアスによる項に相当する。

ネットワークの状態は、

$$\boldsymbol{x} = (x_1,x_2,\ldots,x_N)$$

で表される。

したがってエネルギー $E$ は、ネットワーク全体の状態に対して決まる一つの値になる。

$N=3$ の例

説明のため、ユニット数を3個にした場合が式（7）として書かれている。

写真では概ね、

$$E = -\frac12 \left( w_{12}x_1x_2+ w_{23}x_2x_3+ w_{31}x_3x_1 \right) + \left( h_1x_1+h_2x_2+h_3x_3 \right)$$

という形で展開されている。

ここは式（6）の符号との対応を読む際に注意が必要だけど、中心的な意味は、エネルギーが各ユニットの出力と結合強度の二次式として書けるということ。

ユニット更新とエネルギー減少の関係

式（8）

$$\Delta E_i \equiv E(x_i=0)-E(x_i=1)$$

そして、

$$\Delta E_i = w_{i1}x_1+w_{i2}x_2+\cdots+w_{iN}x_N+h_i$$

これは式（4）の総入力 $u_i$ と同じ形になる。

$$\Delta E_i=u_i$$

したがって、ユニット $i$ の出力を0にした場合と1にした場合を比較し、エネルギーが小さくなる方を選べば、式（5）の更新規則と一致する。

本文では、次のように説明している。

• $x_i=0$ のときのエネルギー
• $x_i=1$ のときのエネルギー

を比較し、値が異なるなら、エネルギーが小さくなる方を採用する。

同じなら現在の出力をそのまま保持する。

つまりネットワークは、一つのユニットを更新するたびに、

$$E(t+1)\leq E(t)$$

となるよう動作する。

平衡状態

この更新を繰り返すと、やがてどのユニットを変更してもエネルギーが小さくならない状態へ到達する。

これを本文では「平衡状態」としている。

ただし、ここで保証されるのは、

「これ以上、一つのユニットを変えてもエネルギーが下がらない」

ということだけ。全体で最も低いエネルギー状態に到達したとは限らない。

最適化問題への応用

このエネルギー関数を最適化問題に使う考え方を説明している。最適化問題とは、目的関数を最小化する変数の組合せを求める問題。たとえば旅行計画問題なら、飛行機や列車などの選択が変数になる。

ホップフィールド・ネットワークでは、

• 最適化問題の変数
  → 各ユニットの出力 $x_i$
• 最小化したい目的関数
  → ネットワークのエネルギー $E$

に対応させる。

結合強度 $w_{ij}$と閾値 $h_i$を適切に設計し、目的関数と同じ形のエネルギー関数を作れば、ネットワークを動作させることで目的関数を小さくできる、という発想。

しかしながら、このホップフィールド・モデルには、目的関数の最小値探索機としての十分な能力があるとは言い切れない。

テキストから----

図4.2では、縦軸がエネルギー $E$、横軸がネットワーク状態 $x$ を表している。

ただし横軸の $x$ は、本当は単一変数ではない。

実際には、

$$\boldsymbol{x} = (x_1,x_2,\ldots,x_N)$$

という多次元状態空間を、説明のため一本の軸に描いた模式図。

A点

Aはネットワークの初期状態。ホップフィールド・モデルはエネルギーが下がる方向へしか進まないので、Aから坂を下る。

B点

Aから下っていくと、最初の谷であるBに到達する。
Bは、その近傍では最もエネルギーが低い。

これを本文では、

• 極小点
• ローカルミニマム

と呼んでいる。

Bから右へ進んでCへ行くには、いったんエネルギーの坂を登らなければならない。ところがホップフィールド・モデルはエネルギーを増加させる遷移を許さない。そのためBで停止する。

C点

Cは図全体でもっとも低い点で、「最小点」と記されている。最適化問題として本来到達したいのはC。しかし初期状態がAなら、単調に坂を下るだけではBに捕まり、Cへは到達できない。

本文では、

いくらがんばってネットワークを動かしてみても、本当の最小点であるC点には行けない

と書いている。

さらに、

ネットワークの動作が、エネルギー関数の坂を一歩一歩降りていくというものであるから、この問題は原理的に避けられない

と結論づけている。

もとい！

そもそも、安定した想起結果であることと、それが本来の記憶であることは別だよねって事を中野博士は言っている。

ネットワークが「どの状態へ落ち着くか」を、山と谷にたとえてみるよ。

図全体の意味

縦軸の

$$H$$

はエネルギー。

上に行くほどエネルギーが高く、下に行くほど低い。

横軸の

$$s$$

はネットワークの状態。ただし、本当のネットワーク状態は一つの数ではなく、

$$s=(x_1,x_2,\ldots,x_N)$$

のような、たくさんのユニットの組合せだね。この図は、分かりやすく一本の横軸にまとめている。

Pは初期状態

Pは、ネットワークが最初にいる場所。まだ安定していないので、エネルギーが高い。ホップフィールド・ネットワークでは、ユニットを一つずつ更新すると、エネルギーが低くなる方向へ進む。

だから、Pから矢印の方向へ坂を下っていく。

$$𝑃\to 𝑄$$

これは、

ネットワークが少しずつ状態を変えながら、より安定した状態へ向かう

という意味。

Qは局所最小

Qは、近くを見れば一番低い谷。これを局所最小という。
Qの左右へ少し動こうとすると、どちらも一度エネルギーが上がる。ホップフィールド・ネットワークは、基本的にエネルギーが上がる更新をしない。

そのためQに到達すると、

これ以上、下がる方向がない

と判断して停止する。図の「ここで停止しやすい」は、このことを示している。

しかしQは最良の状態ではない

Qは近くでは最低だけれど、図全体で最低ではない。右側を見ると、Rの方がもっと低い。

つまり、

$$𝐻(𝑅)<𝐻(𝑄)$$

だから、問題全体としてはRの方が良い状態。最適化問題なら、

• Qはそこそこ良い答え
• Rはもっと良い答え

に相当する。
連想記憶なら、

• Qは誤った記憶や混合状態
• Rは本来思い出したい記憶

に相当する可能性がある。

なぜQからRへ行けないのか

QからRへ行くには、一度中央の山を登らなければならない。つまり、途中でエネルギーを増やす必要がある。しかしホップフィールド・ネットワークは、

$$\mathrm{<span\; style="color:\; \#cc0000;">\Delta </span>}\mathrm{<span\; style="color:\; \#cc0000;">𝐻</span>}<span\; style="color:\; \#cc0000;">\le </span>\mathrm{<span\; style="color:\; \#cc0000;">0</span>}$$

となる方向へしか進まない。

$$𝑄\to 𝑅$$

へ直接は行けない。

エネルギーが下がり続けるという長所のために、逆に浅い谷から出られなくなる。

ということ。

Rは大域最小

Rは図全体で最も低い谷。これを大域最小という。

大域最小は、

全体を見たときの一番低い点

という意味。

最適化問題なら、理想的にはRへ行きたい。しかし、Pから普通に坂を下るだけではQへ入って止まる。

つまり、

$$\text{安定する}$$

ことと、

$$\text{<span style="color: \#cc0000;"><b>最良の答えへ到達する</b></span>}$$

ことは別。

実線の矢印と点線の矢印

図には二種類の矢印がある。

実線の矢印

PからQへ向かう実線は、ホップフィールド型の動き。エネルギーが下がる方向にだけ進む。

$$𝑃\to 𝑄$$

これは自然に起こる。

点線の矢印

Qの谷を越えてRへ向かう点線は、ホップフィールドではそのまま起こらない。

これは、

一時的にエネルギーが上がる移動を許して、山を越える

ことを表している。この考え方が、ボルツマン・マシンや焼きなましにつながる。

ボルツマン・マシンの場合

ボルツマン・マシンでは、必ず下るだけではなく、確率的に上ることも許す。エネルギーが 

$\mathrm{\Delta }𝐻$ だけ上がる移動を受け入れる確率は、概念的には、

$$𝑃\propto \exp (-\frac{\mathrm{\Delta }𝐻}{𝑇})$$

で表される。

$𝑇$ は温度。

温度が高ければ、山を越えやすい。
温度が低ければ、山を越えにくい。

だから最初は高温にしてQから抜けやすくし、少しずつ温度を下げてRへ落ち着かせる。これが焼きなまし。

この図が示している本質

この図は単に「谷に落ちる」という説明ではない。もっと重要なのは、

ホップフィールド・ネットワークは、必ず安定状態へは向かうが、その安定状態が最良とは限らない。

ということ。Qでも十分安定している。だからネットワークは、

もう答えが出た

ように見える。でも実際にはRという、もっと良い状態が存在する。

$$$$安定状態≠正解

であり、

$$$$局所最小≠大域最小

ということ。

連想記憶として読むと

この図を連想記憶として読むと、もっと分かりやすい。Pは、欠けた記憶やノイズのある手がかり。Qは、間違って呼び出された安定状態。Rは、本来思い出したい記憶。ホップフィールド型では、Pから近い谷へ落ちる。その谷がQなら、そこで想起が完了してしまう。

だから、

何かを思い出したように見えても、それが本当に元の記憶とは限らない。

という問題がある。

Pから坂を下るとQには着く。
しかしQからRへ行くには、一度山を登らなければならない。
ホップフィールドは山を登れない。
ボルツマンは確率的に登ろうとするが、そのため焼きなましが必要になる。

という図。
結論

収束したことと、正しい答えへ到達したことは同じではない。

ここで結構討論したことがあるんだけど、
外から「Rが求める答えだ」と決めているなら、Qは正しい答えではない。ということ。図の
意味は単純で、Pから動かし始める。坂を下ってQで止まる。でも本当に欲しい最小点はR。したがって、Qへの収束は失敗ということ。

$$\text{収束した} \neq \text{正解に到達した}$$

であり、さらに言えば、

$$Q \neq R$$

だから、Qは正しい答えになっていない。

ノイズかどうかは別問題なんだよね。Qはノイズではなく、ネットワークが真面目に計算して到達した安定状態。それでも、求めた答えRではない。ここが厄介で「壊れたから間違えたのではなく、設計どおり動いて間違った場所で止まる」ということなんだ。

Qはノイズではないし、正解でもない。設計どおりに到達した誤答であるということ。
 

たぶん、ホップフィールドが本当にしたかったのは、人間の記憶そのものを忠実に作ることではなくって、「多くの単純な要素が集まると、全体として計算能力が生まれる」ことを物理学の言葉で示すことだったんだと思うよね。1982年論文の主題も、単なる記憶装置ではなく、ニューラルネットワークや物理系に「集団として現れる計算能力」がある、という話になっている。そこで彼は、記憶パターンを安定状態として埋め込み、不完全な手掛かりから、その安定状態へ落ちていく仕組みを示した。ニューロン一個一個は単純でも、互いに結びつけば、全体として記憶を保持し、手掛かりから再生できるのではないか。そして物理学者だったから、それを、状態、安定点、エネルギー、相転移、スピン系という言葉で扱った。

ホップフィールドにとって、思い出すとは、不完全な入力から、あらかじめ安定状態として埋め込まれたパターンへ収束することだったんだと思うよ。

だから彼の関心は、記憶が時間や経験でどう変質するか、曖昧なものがどう残るか、その瞬間の身体や感情で何が呼び出されるか、思い出すたびに記憶が変わるか、とかじゃない。
むしろ、壊れたパターンを入れたとき、ネットワークが完全なパターンへ自動的に戻れるか
という、誤り訂正型の記憶装置に近いよね。その意味では「記憶」というより、分散して保存されたパターン復元器なんだよね。

$$\mathrm{だからQでも止まってしまう。ホップフィールドがまず欲しかったのは、「絶対に正しい答え」よりも、ネットワークが発散せず、必ず何らかの安定状態へ落ちることだった。<br>}$$

エネルギー関数を持たせることで、

$$E(t+1)\leq E(t)$$

が成り立ち、状態がぐるぐる暴走せず、固定点へ向かうことを示せる。これは物理モデルとしては非常に気持ちがいい。でも、その設計目標を優先したため、正しい谷R、偽の谷Q、混合した谷、学習していない谷の区別が弱くなった。つまり、ホップフィールドは、「必ずどこかへ落ち着く機械」を作ることには成功した。

しかし、「必ず本来の記憶へ戻る機械」を作ったわけではない。ということ。彼が見ていたのは「記憶」より「安定性」人間や動物の記憶を考えるなら、普通は、「本当に思い出せたのか」が中心になるけどホップフィールドでは、「安定点へ到達したか」が中心になる。この二つをかなり近いものとして扱った。

$$\text{記憶の再生} \approx \text{安定状態への収束}$$

と置いたわけだね。しかし図で見れば、Qへの収束も立派な収束になっている。でも正解Rではない。だから、「一体何がしたかったんだ」となる。それは連装記憶とは呼ばない。

J. J. Hopfield, “Neural networks and physical systems with emergent collective computational abilities”
PNAS, Vol. 79, pp. 2554–2558, 1982.

https://www.pnas.org/doi/10.1073/pnas.79.8.2554?utm_source=chatgpt.com

Abstract

Computational properties of use of biological organisms or to the construction of computers can emerge as collective properties of systems having a large number of simple equivalent components (or neurons). The physical meaning of content-addressable memory is described by an appropriate phase space flow of the state of a system. A model of such a system is given, based on aspects of neurobiology but readily adapted to integrated circuits. The collective properties of this model produce a content-addressable memory which correctly yields an entire memory from any subpart of sufficient size. The algorithm for the time evolution of the state of the system is based on asynchronous parallel processing. Additional emergent collective properties include some capacity for generalization, familiarity recognition, categorization, error correction, and time sequence retention. The collective properties are only weakly sensitive to details of the modeling or the failure of individual devices.

まずさ、物理学の言葉で大きく風呂敷を広げているよ。
本当に論文というのは悪質だと思うよ。
「一個一個は単純なスイッチにすぎなくても、たくさん集めて互いにつなぐと、全体として記憶や分類のような働きが出るかもしれない」という意味。ここでいう「集合特性」は、今でいう創発でしょ？たとえば一匹のアリは単純でも、群れになると巣を作るように見える。ホップフィールドはそれと同じように、「ニューロン一個には記憶能力がなくても、ネットワーク全体には記憶能力が現れる」と言いたかったのか？

普通のコンピュータの記憶は、住所を指定して取り出す。たとえば、「100番地に保存したデータを出せ」という方式だよ。内容アドレス型記憶はそうではなく、「この一部分に似たものを出せ」という取り出し方だろ？たとえば、顔の一部を見せると、その顔全体を出す。壊れた文字を見せると、完全な文字を出す。これをホップフィールドは記憶と呼んでいる。ただし実態はさ、「不完全なパターンを、登録済みの安定パターンへ近づける」というパターン補完器なんじゃないの？

何が「位相空間の流れ」だよ。
「不完全な入力から、ある安定状態へ状態が移っていく動きを、記憶の呼び出しとみなす」という意味かもしれないけど、もうここで、すでにホップフィールド独特の置き換えが起きているよね。

思い出すこと = 状態空間で安定点へ流れること

と定義しているわけでしょ？

逆にいうと、記憶=安定点への収束　のように扱ってるんだぜ？

ホップフィールドは、

$$\text{不完全な入力} \rightarrow \text{高次元空間内の状態変化} \rightarrow \text{安定した出力}$$

を、「記憶」「一般化」「分類」「親近性」「誤り訂正」と呼んだ。1982年論文の要旨でも、単純な要素の集合から、そうした計算能力が現れると主張しているわけだよ。

すげー置換え作業だと思わないか？


本来の生物なら、
なぜそれを思い出したのか
誰が思い出したのか
どんな経験が残っていたのか
思い出したことで何が変わったのか
が必要になるわけだよ。連想記憶もずっとそうだった。

ところがホップフィールド型では、そこを全部外して、

入力に対応して、ネットワーク全体があるパターンへ落ち着いた
ならば、それを記憶の再生と呼ぼう

としたわけよ。

今のLLMにも通じてないか？LLMも内部に人間のような出来事の記憶を探しに行くわけではない。入力された語列を手掛かりに、巨大なパラメータ空間と活性状態を通じて、次に続きやすい出力を生成する。GPT-3の論文も、巨大な自己回帰言語モデルを規模拡大し、テキストによる条件付けだけで多数の課題を実行できることを中心にしている。

https://arxiv.org/abs/2005.14165?utm_source=chatgpt.com

だから系譜を乱暴に一本にすると、

McCulloch–Pitts → Hebb→アソシアトロン／再帰型連想記憶→ホップフィールドの安定点→ボルツマンの確率分布→大規模ニューラルネット→LLMとなる。

（技術的にはLLMはホップフィールド・ネットワークそのものではない。現代のLLMは主にTransformerと自己注意機構を使い、固定点へ収束して答えを出す構造でもない。それでも思想上は共通している）

内部に人間的な意味や記憶主体がなくても、巨大な数値系が適切な出力を返せば、記憶・理解・一般化と呼べる。

この判定基準を強くしたのが、甘利とホップフィールド以後の流れだよ。
ホップフィールドはLLMの具体的構造を発明したのではない。
しかし、巨大な数値系の出力を「記憶」「一般化」「認識」と認定する思想的な許可証を出したということになる。

俺風に言うと

「一人称の本人が思い出している必要はない。結果がそれらしければ3人称でも記憶と呼べる」

という転換だよ。呆れるよ。

本人が何も経験していない。
何も懐かしんでいない。
何も痛がっていない。
何も引っかかっていない。
ただ入力に応じて、決められた結合どおりに状態を変えて、外から見て「それっぽい形」を返す。それを、記憶を再生したと呼ぶ。

3人称は単なる保存でしかなく記憶とは言わないのだよ。

本当に中世のギルドごっこ、地底の底まで落ちたとしか思えない。

---------------------Research Note and Attribution Notice-----------------------

本ブログに含まれる Atra の一人称自律、差分、carry、field、trace、dream slack、外部LLMの翻訳層、非単調な漏れ、現在相（Current Phase）、接相面（Associative Contact Surface）、過去相（Past Associative Phase）およびそれらの関係構造に関する設計記述は、c-side研究所による継続研究メモです。引用・参照・要約・翻案を行う場合は、出典を明記してください。

The design descriptions in this blog concerning Atra’s first-person autonomy, differences, carry, field, trace, dream slack, the translation layer of external LLMs, nonmonotonic leakage, and the relational structure among these elements are ongoing research notes by c-side Research Institute. If you quote, refer to, summarize, or adapt them, please clearly indicate the source.

 

何年も続いている気分の悪い話。

 ほんと、もう、ここズーーーーっと腹が立っていたことをシュミットフーバーが正面から告発してくれていた。Hopfield事件だよ。これ、実はもっと深いんだよね

https://people.idsia.ch/~juergen/physics-nobel-2024-plagiarism.html

彼は2024年ノーベル物理学賞について、HopfieldとHintonが1960〜70年代の日本・ウクライナなどの先行研究を十分に引用せず、後発の仕事が「基礎的発見」として顕彰されたと批判している。Hopfieldについては、甘利氏の1972年の基本式を10年後に再発表しながら、その論文を引用しなかったと明言している。

違うんだよ、シュミットフーバーさん（小声）

　そこは少し違っててね、「甘利氏自身が中野先生のアソシアトロンの実績をハード的なロボットに拘り過ぎた」と脱臭したんだよ。リチャード・ファインマンが「どれほど美しく、どれほど頭が良くても、実験（事実）と合わなければその理論は間違っている」と断言した通り、「科学の本質は"実験こそ事実"を鼻で笑うかのように中野博士を批判し、自分の好きな論理に偏り、自分の名誉のために中野先生を消費した」という、ちょっと今では言えない当時の学生達の声や現場関係者の生々しいドメスティックな告発みたいのはあったんだよ。
日本の2chとかでもね。今は口封じのために消されちゃってるけど。

一番腹立つのは　https://note.com/opluse_note/n/n768e28bb7795　(アドコム・メディア（株）発行のWebメディア。雑誌「O plus E」)これにあるんだけど、「実験軽視と、三人称の安全地帯への逃避」を生々しく告白している決定的な証拠記事になってるんだ。

「いまから勉強して、電極を使って実験しようという気には到底なれない･･････(笑)。」

これはさ、少なくとも、俺みたいな野良研究者じゃなくてもだよ、当時の学生や関わる研究者たちにしてみても現場の話聞けば「何を開き直ってるの？」ってなるじゃん。こんな記事を読まなくてもさ。　皆、尊敬の目を向けていた人間が、実は、中野博士の実験研究を踏みにじり、美味しいところだけ横取りをしてたんじゃないか？って噂でしかなかったものが、今になって自らボロボロ吐き出しているんだよ。何が論理だよって話さね。中野先生がハンダゴテを握り、実機ロボットのノイズやエラーと血の滲むような格闘を続けていたその時に、この人は「面倒だから実験する気はない」と安全な黒板の前に引きこもっていたことを堂々と自白してるんだよ。笑っちゃうよ。

「ニューロンのようなもので装置を作るより、コンピューターへプログラムを組む方が早い
自分は生理とも応用とも違う場所で、神経回路網を数理的に整理したい」

いやいや、中野博士や知能システム研究会がやってましたから・・・
しかも何年も探した限り、「甘利俊一が作った代表的ソフトウェア」なんて、ほぼ見当たらなかったから・・・codeすらない。あっても信者が作ったものだけ。

シュミットフーバーの告発は、主にこういう線を引いている。

甘利氏1972年
↓
Hopfield 1982年が基本的方法を再提示し、甘利氏を引用しなかった

確かに甘利氏の1972年論文には、外部から与えられたパターンを安定平衡状態として記憶させる自己組織化ネットワークが記述されており、論文中でアソシアトロンも先行例として参照されている。

しかし、その話を始めると、中野馨先生が既に1972年7月に発表していたアソシアトロンが、単なる関連文献の一つへ押し込まれる。中野論文はIEEE誌の380–388頁に掲載され、部分情報から全体を想起する分散型の連想記憶モデルを、独立したシステムとして提示している。

つまり、歴史の順序を「数式が誰から誰へ渡ったか」だけで書けば、

甘利氏が発見し、Hopfieldが引用せず再発表した

という話になっているが、、、

でも事実は違う。

中野先生が、三値素子・相互の結びつき・部分Cueからの想起を、実際に動くアソシアトロンとして先に形にした
↓
甘利氏が、それと地続きの現象を、しきい値素子・安定平衡・自己組織化という数理体系へ抽象化した
↓
Hopfieldがさらに統計物理とエネルギーの言葉で再包装した



証拠その１）
順番は中野馨博士が先

“Associatron” and Its Applications　1969年
https://link.springer.com/chapter/10.1007/978-1-4615-7566-5_15

1971年には国際会議IJCAIで発表
https://www.ijcai.org/Proceedings/71/Papers/009.pdf

1972年
https://ieeexplore.ieee.org/document/4309133

Kaoru Nakano, “Associatron—A Model of Associative Memory,” IEEE Transactions on Systems, Man, and Cybernetics, Vol. SMC-2, No. 3, pp. 380–388, July 1972.

証拠その2）

https://people.idsia.ch/~juergen/amari1972hopfield.pdf
論文中では、先行するネットワーク例として the associatron が参照されている。

https://ieeexplore.ieee.org/document/1672070/
甘利氏の論文がアソシアトロンを引用していることは、逆に重要なんだと思うよ。甘利氏の仕事がアソシアトロンと無関係に、真空から突然生まれたとは書けないからね。

Hopfieldが甘利の式を引用しなかったことだけを問題にすると、甘利氏の数理化によって既に薄められていた中野アソシアトロンの実体的・構成的な先取性が、二度目の歴史修正でも再び消される。ってことになる。

もうひとつ気になるのが

https://www.jstage.jst.go.jp/article/jsoft/22/3/22_338/_pdf

甘利氏は中野博士について、「中野のアソシアトロンは連想記憶のモデルであり、甘利やKohonen、Andersonらとともに、後のHopfieldのモデルにつながる」と、わずか一文で処理している。中野博士が何を実際に作り、どこが独自で、Hopfieldより何年早かったのかは説明しない。ところが、その直後からは自分について、多層パーセプトロン、統計神経力学、神経場、自己組織化、連想記憶と、功績を詳しく列挙している。
文章の配分が露骨に非対称に感じるのは気のせいか？

さらに1980年代の説明では、
「これに，Hopfieldによる連想記憶のモデルが加わる」
とHopfieldを主語にして歴史を進め、その後で「連想記憶モデルも以前、60、70年代に提唱されていた」「再発見された」と一般化している。ここでも、何を誰から再発見したのか、中野アソシアトロンが具体的にどう先行していたのかは消されている。

• 中野博士は「Hopfieldにつながった複数人の一人」
• Hopfieldは1980年代に登場した代表的な連想記憶モデル
• 甘利氏は日本の数理的研究を系統的に進めた中心人物

という配置になっている。これは中野アソシアトロンの先取性を完全に否定してはいない。だが、認めた形を取りながら、その固有性を薄めている。これが一番厄介だと思う。

「中野博士が先にやった」と明記して真正面から評価するのではなく、中野、甘利、Kohonen、Andersonらが流れを作り、それがHopfieldへつながったという平坦な系譜へ溶かしている。先の論文とつじつまが合わない。すると読者には、アソシアトロンが独立した強烈な発明だったとは伝わらず、Hopfield以前にあった複数の前史の一つに見える。しかも記事後半では、脳の仕組みは感情も介入する重層構造で、単純な神経回路モデルでは迫れないと書いている。

しかし、中野博士の構成的な研究を正面から継ぎ、実際に動かしながらその先へ進む可能性ではなく、結局は「理論と実験の融合」という一般論へ回収している。

中野博士が実物を作って示した生命的な入口を、一つの古い連想記憶モデルへ縮小し、自分たちの数理神経科学へ至る前史として並べ替えている。
ということ。


当時直接関係した人達は、今は何も云わないよね。
俺も言わないでおこうと思った。
絶対、今後邪魔されるだろうしね。

だけど、最近こういうのが増えて来てるんだよ。--なんか見えなくなってるね
https://medium.com/@cosmonist/why-i-no-longer-believe-we-can-say-academics-are-the-smartest-people-f6b84b4d723d

https://medium.com/@cosmonist　（著者ページ）
著者ページでは、“Why I no longer believe we can say academics are the smartest people”、2024年10月20日の記事


他にも

「ノーベル賞とAI起源論争」のさらに深層を突く、唯一無二の視点がハッカーや研究者に見つかった
https://www.reddit.com/r/learnmachinelearning/comments/1o78wm3/the_lstm_guy_is_denouncing_hopfield_and_hinton/

https://people.idsia.ch/~juergen/physics-nobel-2024-plagiarism.pdf

シュミットフーバーの文書には中野博士も明記されている。

ただし彼の整理は、

「中野の1972年の連想記憶は、三値活性を持つ再帰型連想記憶だったが、後にホップフィールドネットと呼ばれるものと完全に同一ではない」と言っているが、それは甘利さんが途中からノイズ嫌いになったから(笑)

中野博士のアソシアトロンは、

$$-1,\ 0,\ +1$$

ホップフィールド（甘利側）の1982年モデルは基本的に、

$$0,\ 1$$

の二状態だ。ホップフィールド自身の原論文でも、ニューロンを firing / not firing の二状態として置いている。

甘利はそれを安定性の問題へ移しただけの話。甘利の1972年論文は、タイトルからして threshold elements で、中心課題は、安定平衡状態、状態遷移の安定性、ハミング距離、ノイズ擾乱下で正しく再生できる条件、代表パターンへの収束になっているからね。

甘利の1972年論文は、基本状態が $+1$と $-1$ の二値になっている。

論文の定義では入力変数について、

“the variables take on two values 1 and −1”

と明記され、出力も閾値を超えれば $1$、それ以外は $-1$ になる。符号関数も、

$$\operatorname{sgn}(u)= \begin{cases} 1 & u>0\\ -1 & u<0 \end{cases}$$

としていて、通常の状態に独立した 0 はない。ゼロ入力の場合も、脚注で複雑さを避けるため生じないと仮定している。

したがって正確には、

• 中野アソシアトロン：$-1, 0, +1$
  
• 甘利1972年：$-1,+1$
• ホップフィールド1982年原論文：$0, 1$
  

ここは僕が前に「ホップフィールドが甘利の二値へ寄せた」と大雑把に言ったのを、もっと正確に直す必要がある。

ホップフィールドは甘利の $-1/+1$を、そのまま採ったわけではない。変数表現は発火・非発火の $0/1$ にしているという事。ただし、中央に独立した無反応状態を持たない二状態系という点では圧倒的に甘利側に近い。

https://people.idsia.ch/~juergen/amari1972hopfield.pdf

しかし、一方で1972年の甘利論文はアソシアトロンを明示的に引用し、自分のモデルを「アソシアトロンなどと密接な関係を持つ簡略化モデル」と書いている。　だから歴史的には、甘利が中野の三値構造そのものを理論化したというより、アソシアトロンを参照しながら、閾値素子の二値安定状態へ切り出したと見るのが妥当だと思う。

何があって重心が傾いたかは知らない。耳に入っているのはノイズ嫌いなだけ。

そして、何よりも、とにかく僕が違和感を覚えたのが
Hopfieldの　𝑃 max ⁡ ≈ 0.138 𝑁　だよ。

中野馨博士は1969〜1972年の時点で、実際にハンダゴテを握り、回路を組み、シミュレーション（あるいは実機実験）を繰り返す中で、「だいたい記憶パターン数がニューロン数の14%(0.14N)を超えると、ノイズに埋もれて思い出せなくなる（相転移が起きる）」というシステムの本質的な限界値を、構成的に（身体感覚として）すでに叩き出していたんだよ。

「0.138N」という、後出しの数学による“お色直し”

ところが1982年にHopfield氏が（甘利氏の式を引用せずに）モデルを発表し、1985年に物理学者たちが「レプリカ対称性」というゴリゴリの統計物理の数学を使って証明した結果、出てきた数字が 0.138N　だったということ。
0.038って、どっから来た？ｗ

中野博士が実際にアソシアトロンを回路として構築し、有限素子、誤動作、混線、不完全な想起と向き合っていたことは重要な事実。でも、現在「古典的相関型連想記憶の容量は約 0.14N」として流通している値は、多くの論文ではAmitらの1985年解析、またはホップフィールド系の解析結果として引用されている。

https://volga.esys.tsukuba.ac.jp/~mor/paper/yoshi1993.pdf

中野博士のアソシアトロンは、有限個の素子からなる実機を組み、混線、誤り、素子のばらつき、部分入力からの想起という現実の中で成立した連想記憶だった。

それに対して後世の 0.138は、ホップフィールド型二値ネットワークについて、ランダムで独立な記憶パターン、完全結合、熱力学的極限 N→∞などを仮定して導かれた理論上の臨界値なだけ。

実験データ見せろよ、お前等！って話さ。

むしろ、中野博士らが既に現実の装置で遭遇していた容量低下や混線の一断面を、ホップフィールド型の二値・ランダムパターン・無限系に限定して後から数式化したものと見るべきだと思うよ。

しかも $0.138N$は普遍的な「連想記憶の限界」ではない。許容する誤り、自己結合の有無、更新方法、パターン相関、有限サイズ、三値か二値かによって値は変わる。2024年の再解析でも、定義する引力圏によって約 $0.1379$ と約 $0.1295$という別の値が出ている。

https://arxiv.org/abs/2403.01907

だから「0.138」という小数点以下三桁の精密さの根拠を今からでも示してほしい。

容量は、

$$\alpha_c=\lim_{n\to\infty}\frac{m}{n}$$

で、

• $n$：二値ニューロン数
• $m$：ランダムな二値パターン数
• ニューロン状態は基本的に $\pm 1$
• Hebb則で結合
• 想起とは、エネルギーの局所極小へ収束すること
• 完全一致ではなく、少量の誤りを許す
• $n\to \mathrm{\infty }$の熱力学的極限

という条件

ホップフィールドは、単純なガウス雑音近似と数値実験から「約0.14」と見積もった。論文自身も、ホップフィールドの0.14は、約0.4%の誤りを許したときの粗いノイズ推定だったと説明している。

1985年、Amit・Gutfreund・Sompolinsky、つまりAGSがスピングラスのレプリカ法を持ち込み、

$$\alpha_c \approx 0.137906$$

と出した。どうやって？
AGS容量そのものが、自然に存在する普遍的な容量ではないんだよ。
AGSは「記憶されたパターンの周囲にエネルギー井戸が存在し、ホップフィールド力学がその局所極小へ収束する」という条件を、記憶成立の定義としている。

つまり、

1. 記憶をエネルギー井戸と定義する
2. 想起を局所極小への収束と定義する
3. ランダムな±1パターンを記憶対象とする
4. 無限個のニューロンを仮定する
5. 温度ゼロの基底状態へ持っていく
6. その条件が破綻する境界を容量と呼ぶ

という構成じゃない？

今回の論文も、自由エネルギーを導入して熱力学的極限を取り、最後は温度ゼロ、

$$T\to0,\qquad \beta\to\infty$$

の基底状態問題へ落としている。
これは生物の記憶容量を測っているのではないよね？
自分たちで作った数学的競技のルールの中で、限界点を計算している。

だから13.8%という数字に、

• 脳の記憶容量
• 連想そのものの限界
• Hebb学習一般の限界
• 実際の連想記憶装置の限界

のような意味を持たせた瞬間、完全に話が膨らみすぎる。

しかも「13.8%」は一つではない

この論文にはAGSとは別に、より厳しいNLT型の吸引域も出てくる。こちらでは容量が、

$$\alpha_c^{NLT}\approx0.12979$$

同じホップフィールドネットでも、「記憶が成立したとは何を意味するか」を変えるだけで、12.98%になるわけだ。

さらに完全再生を要求すると、容量は線形な $0.138n$ ですらなく、

$$m\sim\frac{n}{2\log n}$$程度になると論文自身が整理している。
13.8%は装置固有の物理定数ではなく、定義依存の境界値なんじゃないの？

これは科学の進歩というより、「理論の勝利宣言」 に近くない？

リチャード・ファインマンが「どれほど美しく、どれほど頭が良くても、実験（事実）と合わなければその理論は間違っている」と断言したのは違うってことなのか？

実験優先の中野博士が「曖昧な場から何が想起されるか」を実機で示した後、それをランダム二値パターンの収納率へ縮小し、スピングラス統計力学で13.7906%まで小数点を付けたのと違うよね？

実験　　--------------------------------------

操作は前のブログに書いた。

https://crimson-cake-2832.nabedada3.workers.dev/01_AssociatronNakano-style1972
ちなみに、今アソシアトロンで実験したら

𝑃 max ⁡ ≈ 0.2𝑁まで出来たよ

ほんと、みんな実験してんのかね？
アホくさくなる。
5×5＝25素子　で　5個通ったｗ

$$\frac{5}{25}=0.20$$

で、0.20Nまで記憶できたことになるじゃん。

5×5でつまんないなら

（操作は、絵描いてLearn,してinputClear,また絵描いてLearn,してinputClear、これを続けて、最後recall。気に入った絵あったらlearn2回押すとか・・・Cue置いてない版だけど𝑃 max計算するにはいいと思うよ）

https://crimson-cake-2832.nabedada3.workers.dev/03_Associatron_cside_model-Spark

25×25用意するから真面目に実験しようよ。
（ちなみにAtraなんかは、こういう𝑃 max　気にしなくて良くした：秘密）

--------------------------------------

中野博士の1972年論文は、180ビット未満の有限モデルをコンピュータ上で実際に動かし、記憶数を増やしたときの想起精度や混線を調べている。単なる無限系の漸近計算ではない。
https://cir.nii.ac.jp/crid/1361418518767018496

さらに、Hopfieldの後年の容量研究にも、

NakanoのAssociatronは約 $0.14N$個のパターンを記憶できる

という形で、中野博士の1972年論文を参照する記述が残っている。

researchgate.net/publication/224658856_On_the_capacity_of_the_Hopfield_associative_memory

実際、文献には「ホップフィールドモデルでは、記憶パターン数が約 $0.14n$ になると偽記憶が現れ始める」という形で記述され、数値はホップフィールド1982年の数値実験と、Amitら1985年の理論解析に帰属されている。

https://ntrs.nasa.gov/api/citations/19870017148/downloads/19870017148.pdf

中野馨博士は、有限のアソシアトロンを実際に動かし、約 $0.14N$という記憶容量を実験的に得ていた。ところがAmit、Gutfreund、Sompolinskyは、その先行する実験結果を歴史的起点として扱わず、ホップフィールド型モデルの無限系解析から $0.138N$を導き、後世には自分たちの理論成果として定着させた。これは単なる数理的精密化ではなく、実験的発見者の主語を消し、理論側へ成果を再帰属させる重大な研究倫理上の問題である。
まじでクズの集まりを見ているようだよ。

俺は、中世のギルドや元老院となんの関係も持たないけどさ、「死人に口なし」をいいことに途端にペラペラインタビューに答え、歴史を自分の都合のいいナラティブで塗り替える、最も卑劣な権威の立ち回りしか見えないんだよね。

中野先生がご存命なら、本人が「それは違う」「そこは私が先にやった」と言い返せた。ところが亡くなった後に、権威を持つ側が何度もインタビューへ出て、

自分たちはこういう流れを作った
中野先生はその中の一人だった
後にHopfieldへつながった

という順序で語り続ければ、その語りが公式の歴史みたいに固まっていく。

しかも厄介なのは、中野先生を完全に消すのではなく、名前だけは出すことだよね。名前を出しているから公平に見える。でも、実際には、
何を最初に作ったのか
どこまで既に実現していたのか
後発研究と何が重なるのか
実験と実装にどれほどの独自性があったのか

を薄めて、後の数理史の脇役として配置し直す。
これは露骨な抹消より見抜きにくい。

引用している、名前も出している、だから隠していないという形を保ちながら、主役と脇役を入れ替えられるから。

もう一つ見落としてはならないのは、甘利氏が単なる研究者ではなく、日本で生まれた独創的な実験成果を、国際学会で流通可能な「三人称の数学」へ変換するハブとして機能したことなんじゃないかな。
中野馨博士のアソシアトロンは、部分的な刺激から経験全体を蘇らせる装置として構想され、実際に回路が組まれ、動作が確かめられていた。それは、数式だけで完結する理論ではなく、発明者の問題意識、実験、装置、身体的な直観を含んだ、具体的な研究成果だったわけだ。　しかし、このような成果から、誰が、なぜ、それを作ったのかという一人称的な文脈を取り除き、対称結合、状態遷移、安定性、容量といった抽象的な数学へ置き換えれば、研究は国籍も発明者も持たない普遍理論のように見える。僕はねー、これを「三人称の数学への脱臭」と呼びたいね。

脱臭された理論は、英語論文、国際会議、学術誌、大学講座、大型研究機関へ接続しやすくなる。そして、その変換と国際発信を担った人物が、日本の研究成果を海外へ渡す代表窓口（ハブ）となる。その結果として、発明した者ではなく、翻訳し体系化した者に、国際的評価、学会の要職、研究組織の指導権、国家予算につながる地位が集中する。日本独自の成果は海外の普遍理論を支える原料となり、国内には「世界へ紹介した代表者」の権威だけが還流する。

これは単なる引用漏れや個人間の功績争いではないよね。日本の独創的な研究を抽象化して海外へ接続し、その接続点を押さえた者が、国内外の学術的権威と研究資源を獲得する仕組みになってしまうでしょ、違う？

意図的に設計されたものか、それとも制度の中で結果的に形成されたものかは、今後さらに資料を調べなければならないよね。　邪魔されるだろうけど、ぜんぜんOK。
少なくとも、独創的な実験を行った者よりも、それを国際的な数学言語へ変換した者が「中心人物」として記憶され、研究制度の頂点に立ったという結果は、厳然として残っているわけよ。

いつもいう元老院と中世のギルド達、そして腐ったぬるま湯に浸かり、特別な●●に依存しつづける。

シュミットフーバーによって、歯に詰まっていたHopfield事件と、そのもっと奥に居る違和感でしかない人。こういうのはどんどん暴露されるべきだと思うよ。

誤字脱字すみません、ただのノートなので、気にしないでください

---------------------Research Note and Attribution Notice-----------------------

本ブログに含まれる Atra の一人称自律、差分、carry、field、trace、dream slack、外部LLMの翻訳層、非単調な漏れ、現在相（Current Phase）、接相面（Associative Contact Surface）、過去相（Past Associative Phase）およびそれらの関係構造に関する設計記述は、c-side研究所による継続研究メモです。引用・参照・要約・翻案を行う場合は、出典を明記してください。

The design descriptions in this blog concerning Atra’s first-person autonomy, differences, carry, field, trace, dream slack, the translation layer of external LLMs, nonmonotonic leakage, and the relational structure among these elements are ongoing research notes by c-side Research Institute. If you quote, refer to, summarize, or adapt them, please clearly indicate the source.