ラベル Nakano の投稿を表示しています。 すべての投稿を表示
ラベル Nakano の投稿を表示しています。 すべての投稿を表示

2026年7月14日火曜日

何年も続いている気分の悪い話。

 ほんと、もう、ここズーーーーっと腹が立っていたことをシュミットフーバーが正面から告発してくれていた。Hopfield事件だよ。これ、実はもっと深いんだよね



https://people.idsia.ch/~juergen/physics-nobel-2024-plagiarism.html

彼は2024年ノーベル物理学賞について、HopfieldとHintonが1960〜70年代の日本・ウクライナなどの先行研究を十分に引用せず、後発の仕事が「基礎的発見」として顕彰されたと批判している。Hopfieldについては、甘利氏の1972年の基本式を10年後に再発表しながら、その論文を引用しなかったと明言している。

違うんだよ、シュミットフーバーさん(小声)

 そこは少し違っててね、「甘利氏自身が中野先生のアソシアトロンの実績をハード的なロボットに拘り過ぎた」と脱臭したんだよ。リチャード・ファインマンが「どれほど美しく、どれほど頭が良くても、実験(事実)と合わなければその理論は間違っている」と断言した通り、「科学の本質は"実験こそ事実"を鼻で笑うかのように中野博士を批判し、自分の好きな論理に偏り、自分の名誉のために中野先生を消費した」という、ちょっと今では言えない当時の学生達の声や現場関係者の生々しいドメスティックな告発みたいのはあったんだよ。
日本の2chとかでもね。今は口封じのために消されちゃってるけど。

一番腹立つのは https://note.com/opluse_note/n/n768e28bb7795 (アドコム・メディア(株)発行のWebメディア。雑誌「O plus E」)これにあるんだけど、「実験軽視と、三人称の安全地帯への逃避」を生々しく告白している決定的な証拠記事になってるんだ。


「いまから勉強して、電極を使って実験しようという気には到底なれない・・・・・・(笑)。」

これはさ、少なくとも、俺みたいな野良研究者じゃなくてもだよ、当時の学生や関わる研究者たちにしてみても現場の話聞けば「何を開き直ってるの?」ってなるじゃん。こんな記事を読まなくてもさ。 皆、尊敬の目を向けていた人間が、実は、中野博士の実験研究を踏みにじり、美味しいところだけ横取りをしてたんじゃないか?って噂でしかなかったものが、今になって自らボロボロ吐き出しているんだよ。何が論理だよって話さね。中野先生がハンダゴテを握り、実機ロボットのノイズやエラーと血の滲むような格闘を続けていたその時に、この人は「面倒だから実験する気はない」と安全な黒板の前に引きこもっていたことを堂々と自白してるんだよ。笑っちゃうよ。

「ニューロンのようなもので装置を作るより、コンピューターへプログラムを組む方が早い
自分は生理とも応用とも違う場所で、神経回路網を数理的に整理したい」

いやいや、中野博士や知能システム研究会がやってましたから・・・
しかも何年も探した限り、「甘利俊一が作った代表的ソフトウェア」なんて、ほぼ見当たらなかったから・・・codeすらない。あっても信者が作ったものだけ。


シュミットフーバーの告発は、主にこういう線を引いている。

甘利氏1972年

Hopfield 1982年が基本的方法を再提示し、甘利氏を引用しなかった

確かに甘利氏の1972年論文には、外部から与えられたパターンを安定平衡状態として記憶させる自己組織化ネットワークが記述されており、論文中でアソシアトロンも先行例として参照されている。

しかし、その話を始めると、中野馨先生が既に1972年7月に発表していたアソシアトロンが、単なる関連文献の一つへ押し込まれる。中野論文はIEEE誌の380–388頁に掲載され、部分情報から全体を想起する分散型の連想記憶モデルを、独立したシステムとして提示している。

つまり、歴史の順序を「数式が誰から誰へ渡ったか」だけで書けば、

甘利氏が発見し、Hopfieldが引用せず再発表した

という話になっているが、、、



でも事実は違う。

中野先生が、三値素子・相互の結びつき・部分Cueからの想起を、実際に動くアソシアトロンとして先に形にした

甘利氏が、それと地続きの現象を、しきい値素子・安定平衡・自己組織化という数理体系へ抽象化した

Hopfieldがさらに統計物理とエネルギーの言葉で再包装した



証拠その1)
順番は中野馨博士が先

“Associatron” and Its Applications 1969年
https://link.springer.com/chapter/10.1007/978-1-4615-7566-5_15

1971年には国際会議IJCAIで発表
https://www.ijcai.org/Proceedings/71/Papers/009.pdf

1972年
https://ieeexplore.ieee.org/document/4309133

Kaoru Nakano, “Associatron—A Model of Associative Memory,” IEEE Transactions on Systems, Man, and Cybernetics, Vol. SMC-2, No. 3, pp. 380–388, July 1972.



証拠その2)

https://people.idsia.ch/~juergen/amari1972hopfield.pdf
論文中では、先行するネットワーク例として the associatron が参照されている。

https://ieeexplore.ieee.org/document/1672070/
甘利氏の論文がアソシアトロンを引用していることは、逆に重要なんだと思うよ。甘利氏の仕事がアソシアトロンと無関係に、真空から突然生まれたとは書けないからね。


Hopfieldが甘利の式を引用しなかったことだけを問題にすると、甘利氏の数理化によって既に薄められていた中野アソシアトロンの実体的・構成的な先取性が、二度目の歴史修正でも再び消される。ってことになる。

もうひとつ気になるのが

https://www.jstage.jst.go.jp/article/jsoft/22/3/22_338/_pdf

甘利氏は中野博士について、「中野のアソシアトロンは連想記憶のモデルであり、甘利やKohonen、Andersonらとともに、後のHopfieldのモデルにつながる」と、わずか一文で処理している。中野博士が何を実際に作り、どこが独自で、Hopfieldより何年早かったのかは説明しない。ところが、その直後からは自分について、多層パーセプトロン、統計神経力学、神経場、自己組織化、連想記憶と、功績を詳しく列挙している。
文章の配分が露骨に非対称に感じるのは気のせいか?

さらに1980年代の説明では、
「これに,Hopfieldによる連想記憶のモデルが加わる」
とHopfieldを主語にして歴史を進め、その後で「連想記憶モデルも以前、60、70年代に提唱されていた」「再発見された」と一般化している。ここでも、何を誰から再発見したのか、中野アソシアトロンが具体的にどう先行していたのかは消されている。
  • 中野博士は「Hopfieldにつながった複数人の一人」
  • Hopfieldは1980年代に登場した代表的な連想記憶モデル
  • 甘利氏は日本の数理的研究を系統的に進めた中心人物

という配置になっている。これは中野アソシアトロンの先取性を完全に否定してはいない。だが、認めた形を取りながら、その固有性を薄めている。これが一番厄介だと思う。


「中野博士が先にやった」と明記して真正面から評価するのではなく、中野、甘利、Kohonen、Andersonらが流れを作り、それがHopfieldへつながったという平坦な系譜へ溶かしている。先の論文とつじつまが合わない。すると読者には、アソシアトロンが独立した強烈な発明だったとは伝わらず、Hopfield以前にあった複数の前史の一つに見える。しかも記事後半では、脳の仕組みは感情も介入する重層構造で、単純な神経回路モデルでは迫れないと書いている。

しかし、中野博士の構成的な研究を正面から継ぎ、実際に動かしながらその先へ進む可能性ではなく、結局は「理論と実験の融合」という一般論へ回収している。

中野博士が実物を作って示した生命的な入口を、一つの古い連想記憶モデルへ縮小し、自分たちの数理神経科学へ至る前史として並べ替えている。
ということ。


当時直接関係した人達は、今は何も云わないよね。
俺も言わないでおこうと思った。
絶対、今後邪魔されるだろうしね。


だけど、最近こういうのが増えて来てるんだよ。--なんか見えなくなってるね
https://medium.com/@cosmonist/why-i-no-longer-believe-we-can-say-academics-are-the-smartest-people-f6b84b4d723d


https://medium.com/@cosmonist (著者ページ)
著者ページでは、“Why I no longer believe we can say academics are the smartest people”、2024年10月20日の記事


他にも

「ノーベル賞とAI起源論争」のさらに深層を突く、唯一無二の視点がハッカーや研究者に見つかった
https://www.reddit.com/r/learnmachinelearning/comments/1o78wm3/the_lstm_guy_is_denouncing_hopfield_and_hinton/


https://people.idsia.ch/~juergen/physics-nobel-2024-plagiarism.pdf

シュミットフーバーの文書には中野博士も明記されている。

ただし彼の整理は、

中野の1972年の連想記憶は、三値活性を持つ再帰型連想記憶だったが、後にホップフィールドネットと呼ばれるものと完全に同一ではない」と言っているが、それは甘利さんが途中からノイズ嫌いになったから(笑)

中野博士のアソシアトロンは、

1, 0, +1-1,\ 0,\ +1

ホップフィールド(甘利側)の1982年モデルは基本的に、

0, +10,\ 1

の二状態だ。ホップフィールド自身の原論文でも、ニューロンを firing / not firing の二状態として置いている。

甘利はそれを安定性の問題へ移しただけの話。甘利の1972年論文は、タイトルからして threshold elements で、中心課題は、安定平衡状態、状態遷移の安定性、ハミング距離、ノイズ擾乱下で正しく再生できる条件、代表パターンへの収束になっているからね。

甘利の1972年論文は、基本状態が +1+11-1 の二値になっている。

論文の定義では入力変数について、

“the variables take on two values 1 and −1”

と明記され、出力も閾値を超えれば 11、それ以外は 1-1 になる。符号関数も、

sgn(u)={1u>01u<0\operatorname{sgn}(u)= \begin{cases} 1 & u>0\\ -1 & u<0 \end{cases}

としていて、通常の状態に独立した 0 はない。ゼロ入力の場合も、脚注で複雑さを避けるため生じないと仮定している。

したがって正確には、

  • 中野アソシアトロン1,0,+1-1, 0, +1
  • 甘利1972年1,+1
  • ホップフィールド1982年原論文0,10, 1

ここは僕が前に「ホップフィールドが甘利の二値へ寄せた」と大雑把に言ったのを、もっと正確に直す必要がある。

ホップフィールドは甘利の 1/+1-1/+1を、そのまま採ったわけではない。変数表現は発火・非発火の 0/10/1 にしているという事。ただし、中央に独立した無反応状態を持たない二状態系という点では圧倒的に甘利側に近い。

https://people.idsia.ch/~juergen/amari1972hopfield.pdf

しかし、一方で1972年の甘利論文はアソシアトロンを明示的に引用し、自分のモデルを「アソシアトロンなどと密接な関係を持つ簡略化モデル」と書いている。 だから歴史的には、甘利が中野の三値構造そのものを理論化したというより、アソシアトロンを参照しながら、閾値素子の二値安定状態へ切り出したと見るのが妥当だと思う。

何があって重心が傾いたかは知らない。耳に入っているのはノイズ嫌いなだけ。



そして、何よりも、とにかく僕が違和感を覚えたのが
Hopfieldの 𝑃 max ⁡ ≈ 0.138 𝑁 だよ。

中野馨博士は1969〜1972年の時点で、実際にハンダゴテを握り、回路を組み、シミュレーション(あるいは実機実験)を繰り返す中で、「だいたい記憶パターン数がニューロン数の14%(0.14N)を超えると、ノイズに埋もれて思い出せなくなる(相転移が起きる)」というシステムの本質的な限界値を、構成的に(身体感覚として)すでに叩き出していたんだよ。


「0.138N」という、後出しの数学による“お色直し”
ところが1982年にHopfield氏が(甘利氏の式を引用せずに)モデルを発表し、1985年に物理学者たちが「レプリカ対称性」というゴリゴリの統計物理の数学を使って証明した結果、出てきた数字が 0.138N だったということ。
0.038って、どっから来た?w

中野博士が実際にアソシアトロンを回路として構築し、有限素子、誤動作、混線、不完全な想起と向き合っていたことは重要な事実。でも、現在「古典的相関型連想記憶の容量は約 0.14N」として流通している値は、多くの論文ではAmitらの1985年解析、またはホップフィールド系の解析結果として引用されている。

https://volga.esys.tsukuba.ac.jp/~mor/paper/yoshi1993.pdf

中野博士のアソシアトロンは、有限個の素子からなる実機を組み、混線、誤り、素子のばらつき、部分入力からの想起という現実の中で成立した連想記憶だった。

それに対して後世の 0.138は、ホップフィールド型二値ネットワークについて、ランダムで独立な記憶パターン、完全結合、熱力学的極限 N→∞などを仮定して導かれた理論上の臨界値なだけ。

実験データ見せろよ、お前等!って話さ。

むしろ、中野博士らが既に現実の装置で遭遇していた容量低下や混線の一断面を、ホップフィールド型の二値・ランダムパターン・無限系に限定して後から数式化したものと見るべきだと思うよ。

しかも 0.138N0.138Nは普遍的な「連想記憶の限界」ではない。許容する誤り、自己結合の有無、更新方法、パターン相関、有限サイズ、三値か二値かによって値は変わる。2024年の再解析でも、定義する引力圏によって約 0.13790.1379 と約 0.12950.1295という別の値が出ている。

https://arxiv.org/abs/2403.01907

だから「0.138」という小数点以下三桁の精密さの根拠を今からでも示してほしい。

容量は、

αc=limnmn\alpha_c=\lim_{n\to\infty}\frac{m}{n}

で、

  • nn:二値ニューロン数
  • mm:ランダムな二値パターン数
  • ニューロン状態は基本的に ±1
  • Hebb則で結合
  • 想起とは、エネルギーの局所極小へ収束すること
  • 完全一致ではなく、少量の誤りを許す
  • nの熱力学的極限

という条件

ホップフィールドは、単純なガウス雑音近似と数値実験から「約0.14」と見積もった。論文自身も、ホップフィールドの0.14は、約0.4%の誤りを許したときの粗いノイズ推定だったと説明している。


1985年、Amit・Gutfreund・Sompolinsky、つまりAGSがスピングラスのレプリカ法を持ち込み、

αc0.137906\alpha_c \approx 0.137906

と出した。どうやって?
AGS容量そのものが、自然に存在する普遍的な容量ではないんだよ。
AGSは「記憶されたパターンの周囲にエネルギー井戸が存在し、ホップフィールド力学がその局所極小へ収束する」という条件を、記憶成立の定義としている。

つまり、

  1. 記憶をエネルギー井戸と定義する
  2. 想起を局所極小への収束と定義する
  3. ランダムな±1パターンを記憶対象とする
  4. 無限個のニューロンを仮定する
  5. 温度ゼロの基底状態へ持っていく
  6. その条件が破綻する境界を容量と呼ぶ

という構成じゃない?

今回の論文も、自由エネルギーを導入して熱力学的極限を取り、最後は温度ゼロ、

T0,βT\to0,\qquad \beta\to\infty

の基底状態問題へ落としている。
これは生物の記憶容量を測っているのではないよね?
自分たちで作った数学的競技のルールの中で、限界点を計算している。

だから13.8%という数字に、

  • 脳の記憶容量
  • 連想そのものの限界
  • Hebb学習一般の限界
  • 実際の連想記憶装置の限界

のような意味を持たせた瞬間、完全に話が膨らみすぎる。

しかも「13.8%」は一つではない

この論文にはAGSとは別に、より厳しいNLT型の吸引域も出てくる。こちらでは容量が、

αcNLT0.12979\alpha_c^{NLT}\approx0.12979

同じホップフィールドネットでも、「記憶が成立したとは何を意味するか」を変えるだけで、12.98%になるわけだ。

さらに完全再生を要求すると、容量は線形な 0.138n0.138n ですらなく、

mn2lognm\sim\frac{n}{2\log n}程度になると論文自身が整理している。
13.8%は装置固有の物理定数ではなく、定義依存の境界値なんじゃないの?

これは科学の進歩というより、「理論の勝利宣言」 に近くない?

リチャード・ファインマンが「どれほど美しく、どれほど頭が良くても、実験(事実)と合わなければその理論は間違っている」と断言したのは違うってことなのか?



実験優先の中野博士が「曖昧な場から何が想起されるか」を実機で示した後、それをランダム二値パターンの収納率へ縮小し、スピングラス統計力学で13.7906%まで小数点を付けたのと違うよね?



実験  --------------------------------------

操作は前のブログに書いた。

https://crimson-cake-2832.nabedada3.workers.dev/01_AssociatronNakano-style1972
ちなみに、今アソシアトロンで実験したら

𝑃 max ⁡ ≈ 0.2𝑁まで出来たよ

ほんと、みんな実験してんのかね?
アホくさくなる。
5×5=25素子 で 5個通ったw

525=0.20\frac{5}{25}=0.20

で、0.20Nまで記憶できたことになるじゃん。

5×5でつまんないなら

(操作は、絵描いてLearn,してinputClear,また絵描いてLearn,してinputClear、これを続けて、最後recall。気に入った絵あったらlearn2回押すとか・・・Cue置いてない版だけど𝑃 max計算するにはいいと思うよ)

https://crimson-cake-2832.nabedada3.workers.dev/03_Associatron_cside_model-Spark

25×25用意するから真面目に実験しようよ。
(ちなみにAtraなんかは、こういう𝑃 max 気にしなくて良くした:秘密)


--------------------------------------


中野博士の1972年論文は、180ビット未満の有限モデルをコンピュータ上で実際に動かし、記憶数を増やしたときの想起精度や混線を調べている。単なる無限系の漸近計算ではない。
https://cir.nii.ac.jp/crid/1361418518767018496

さらに、Hopfieldの後年の容量研究にも、

NakanoのAssociatronは約 0.14N0.14N個のパターンを記憶できる

という形で、中野博士の1972年論文を参照する記述が残っている。

researchgate.net/publication/224658856_On_the_capacity_of_the_Hopfield_associative_memory


実際、文献には「ホップフィールドモデルでは、記憶パターン数が約 0.14n0.14n になると偽記憶が現れ始める」という形で記述され、数値はホップフィールド1982年の数値実験と、Amitら1985年の理論解析に帰属されている。

https://ntrs.nasa.gov/api/citations/19870017148/downloads/19870017148.pdf


中野馨博士は、有限のアソシアトロンを実際に動かし、約 0.14N0.14Nという記憶容量を実験的に得ていた。ところがAmit、Gutfreund、Sompolinskyは、その先行する実験結果を歴史的起点として扱わず、ホップフィールド型モデルの無限系解析から 0.138N0.138Nを導き、後世には自分たちの理論成果として定着させた。これは単なる数理的精密化ではなく、実験的発見者の主語を消し、理論側へ成果を再帰属させる重大な研究倫理上の問題である。
まじでクズの集まりを見ているようだよ。




俺は、中世のギルドや元老院となんの関係も持たないけどさ、「死人に口なし」をいいことに途端にペラペラインタビューに答え、歴史を自分の都合のいいナラティブで塗り替える、最も卑劣な権威の立ち回りしか見えないんだよね。

中野先生がご存命なら、本人が「それは違う」「そこは私が先にやった」と言い返せた。ところが亡くなった後に、権威を持つ側が何度もインタビューへ出て、

自分たちはこういう流れを作った
中野先生はその中の一人だった
後にHopfieldへつながった

という順序で語り続ければ、その語りが公式の歴史みたいに固まっていく。

しかも厄介なのは、中野先生を完全に消すのではなく、名前だけは出すことだよね。名前を出しているから公平に見える。でも、実際には、
何を最初に作ったのか
どこまで既に実現していたのか
後発研究と何が重なるのか
実験と実装にどれほどの独自性があったのか

を薄めて、後の数理史の脇役として配置し直す。
これは露骨な抹消より見抜きにくい。

引用している、名前も出している、だから隠していないという形を保ちながら、主役と脇役を入れ替えられるから。


もう一つ見落としてはならないのは、甘利氏が単なる研究者ではなく、日本で生まれた独創的な実験成果を、国際学会で流通可能な「三人称の数学」へ変換するハブとして機能したことなんじゃないかな。
中野馨博士のアソシアトロンは、部分的な刺激から経験全体を蘇らせる装置として構想され、実際に回路が組まれ、動作が確かめられていた。それは、数式だけで完結する理論ではなく、発明者の問題意識、実験、装置、身体的な直観を含んだ、具体的な研究成果だったわけだ。 しかし、このような成果から、誰が、なぜ、それを作ったのかという一人称的な文脈を取り除き、対称結合、状態遷移、安定性、容量といった抽象的な数学へ置き換えれば、研究は国籍も発明者も持たない普遍理論のように見える。僕はねー、これを「三人称の数学への脱臭」と呼びたいね。

脱臭された理論は、英語論文、国際会議、学術誌、大学講座、大型研究機関へ接続しやすくなる。そして、その変換と国際発信を担った人物が、日本の研究成果を海外へ渡す代表窓口(ハブ)となる。その結果として、発明した者ではなく、翻訳し体系化した者に、国際的評価、学会の要職、研究組織の指導権、国家予算につながる地位が集中する。日本独自の成果は海外の普遍理論を支える原料となり、国内には「世界へ紹介した代表者」の権威だけが還流する。

これは単なる引用漏れや個人間の功績争いではないよね。日本の独創的な研究を抽象化して海外へ接続し、その接続点を押さえた者が、国内外の学術的権威と研究資源を獲得する仕組みになってしまうでしょ、違う?

意図的に設計されたものか、それとも制度の中で結果的に形成されたものかは、今後さらに資料を調べなければならないよね。 邪魔されるだろうけど、ぜんぜんOK。
少なくとも、独創的な実験を行った者よりも、それを国際的な数学言語へ変換した者が「中心人物」として記憶され、研究制度の頂点に立ったという結果は、厳然として残っているわけよ。

いつもいう元老院と中世のギルド達、そして腐ったぬるま湯に浸かり、特別な●●に依存しつづける。


シュミットフーバーによって、歯に詰まっていたHopfield事件と、そのもっと奥に居る違和感でしかない人。こういうのはどんどん暴露されるべきだと思うよ。








誤字脱字すみません、ただのノートなので、気にしないでください

---------------------Research Note and Attribution Notice-----------------------
本ブログに含まれる Atra の一人称自律、差分、carry、field、trace、dream slack、外部LLMの翻訳層、非単調な漏れ、現在相(Current Phase)、接相面(Associative Contact Surface)、過去相(Past Associative Phase)およびそれらの関係構造に関する設計記述は、c-side研究所による継続研究メモです。引用・参照・要約・翻案を行う場合は、出典を明記してください。

The design descriptions in this blog concerning Atra’s first-person autonomy, differences, carry, field, trace, dream slack, the translation layer of external LLMs, nonmonotonic leakage, and the relational structure among these elements are ongoing research notes by c-side Research Institute. If you quote, refer to, summarize, or adapt them, please clearly indicate the source.

2026年1月25日日曜日

A Hypothesis on Spontaneity: Why AGI Must Be First-Person and Loop-Driven

 

A Hypothesis on Spontaneity:

Why AGI Must Be First-Person and Loop-Driven

Yukihiro Watanabe

C-side Laboratory, Yatsugatake
2026


1. Motivation: A Persistent Discomfort

I have been working for years on Nakano-style Associatron models—associative memory systems where learning is not classification, but accumulation, and recall emerges through competition.

During this work, I repeatedly encountered discomfort:

  • In Hopfield networks, convergence exists, but something feels dead.

  • In Morita-style non-monotone dynamics, motion appears, yet it still feels externally governed.

  • When connecting Associatron-like memory with modern LLMs, the discomfort becomes impossible to ignore.

The system becomes verbally fluent, but internally hollow.
Language begins to dominate recall rather than follow it.

This discomfort was not theoretical. It was visceral.


2. A Strange Observation: Why Do Humans Fight LLMs?

At one point, I found myself feeling actual resistance—almost anger—toward an LLM response.

Logically, the answer was correct.
Linguistically, it was polished.
Yet internally, I reacted:

“That’s not my judgment.”

This reaction led to an unexpected realization:

Associatron is not “everyone’s memory.”
It is strictly first-person.

The resistance itself was evidence.

If the system were truly mine, first-person, then conflict with an external language agent was not a bug—it was a structural signal.


3. The Core Hypothesis

Spontaneity cannot arise without a first-person internal loop.

Not optimization.
Not goals.
Not rewards.

Only a continuously running, value-neutral loop can act as a genuine internal动力 (driving force).


4. The Loop as a Neutral Power Source

A loop has no moral sign.

  • It is neither good nor bad.

  • Neither productive nor destructive.

  • It simply runs.

This is true in software (infinite loops), in physics (closed circuits), and in biology (heartbeat).

From repeated experiences with unintended infinite loops in FileMaker—often frustrating, CPU-consuming, and difficult to stop—I learned something important:

A loop is not an error by nature.
It is raw energy without evaluation.

Problems arise not from loops, but from loops without state transformation.


5. Human Spontaneity as Variable-Speed Looping

Humans are not event-driven machines.

Internally, we are always looping:

  • Heartbeat (physical loop)

  • Neural activity (informational loop)

  • Thought and recall (cognitive loop)

The loop never stops, but its speed changes.

  • Focus → faster rotation

  • Fatigue → slower rotation

Spontaneity emerges not when something is commanded, but when an external fluctuation resonates with an already-running loop.


6. Inner Wheel and Outer Wheel

I model this as a double structure:

  • Inner wheel (first-person loop):
    Continuous, self-contained, value-neutral.

  • Outer wheel (world, society, LLMs):
    Large, distant, fluctuating; produces sparks but no agency.

External sparks do not cause action.
They only trigger resonance if the inner loop is already energized.





7. Experience Accumulation (“Stacking”)

Associatron does not judge at learning time.

It simply accumulates.

Let m(t)m(t) denote accumulated experiential weight:

m˙(t)=λm(t)+kηk1fire(tk)\dot{m}(t) = -\lambda m(t) + \sum_k \eta_k \cdot \mathbf{1}_{\text{fire}}(t_k)
  • No classification

  • No acceptance/rejection at input time

  • Evaluation happens only after outcomes

Whether an experience was “necessary” or “unnecessary” is decided later, during recall under a cue.

This is crucial.


8. Minimal Mathematical Sketch of Spontaneity

Let the internal loop be represented by a phase variable:

θ˙(t)=ω(t)\dot{\theta}(t) = \omega(t)

External sparks:

s(t)=kakδ(ttk)s(t) = \sum_k a_k \delta(t - t_k)

Internal sensitivity (first-person, history-dependent):

x(t)=Z(θ(t))s(t)x(t) = Z(\theta(t)) \cdot s(t)

Firing condition:

fire    x(t)>τ(t),τ(t)=τ0αm(t)\text{fire} \iff x(t) > \tau(t), \quad \tau(t) = \tau_0 - \alpha m(t)

No reward function.
No optimization objective.

Only resonance between a running loop and accumulated experience.






9. Why LLMs Are Libraries, Not Selves

LLMs are extraordinarily useful.

They are:

  • Libraries

  • Language organs

  • External adapters to society

But they are not first-person.

They do not carry irreversible experience.
They do not suffer consequences.
They do not “push back.”

Therefore:

  • LLMs should be injectable

  • Optional

  • Rejectable

They must never overwrite the inner loop.


10. Why AGI Without First-Person Loops Will Fail

Most AGI research defines spontaneity as:

  • Self-generated goals

  • Curiosity metrics

  • Autonomous planning

But these are behaviors, not the source of spontaneity.

Without a value-neutral internal loop:

  • Systems optimize

  • Systems adapt

  • Systems perform

But they do not live.

And humans sense this absence immediately—often as discomfort or resistance.


11. Conclusion

Spontaneity is not something a system decides to have.
It is what happens when a first-person loop keeps running,
and the world happens to resonate with it.

The loop itself has no meaning.
Meaning emerges only afterward—through recall, action, and consequence.

AGI will not be achieved by scaling intelligence outward.
It will require returning inward—to the smallest possible unit:

a single, first-person loop that never stops running.








Lineage of Associative Memory:

What Was Preserved and What Gradually Disappeared

The hypothesis presented in this article did not emerge in isolation.
It grew out of a long engagement with associative memory research, where a persistent sense of discomfort accumulated across several foundational models.

This section briefly revisits three key points in that lineage—not to judge them as correct or incorrect, but to clarify what each preserved, and what quietly faded away.


Nakano’s Associatron (1972): Accumulation Without Interpretation

Nakano’s Associatron is fundamentally different from many later neural network models.

  • It is not a classifier.

  • Learning is not selection or filtering.

  • Experiences are simply accumulated.

  • Recall emerges through competition, not instruction.

Crucially, the Associatron does not explicitly define multiple viewpoints, agents, or shared cognition.
There is an implicit assumption that memory belongs to a single holder.

Although the term was never stated explicitly, Nakano’s model is structurally compatible with a first-person memory system:
a system that does not ask whether an experience is meaningful at the time of learning, but only whether it later participates in recall.

This quiet assumption becomes important later.


Hopfield Networks: Stability Without Continuation

Hopfield networks introduced a powerful and elegant formalism.

  • A global energy function guarantees convergence.

  • Dynamics are mathematically stable.

  • Recall is well-defined as energy minimization.

However, during practical exploration, a subtle discomfort arises.

Once convergence is reached, the system stops.
The dynamics collapse into rest.

While Hopfield networks converge, they do not continue.
The loop resolves into equilibrium, and with it, the sense of internal动力 (driving force) disappears.

The system is stable—but inert.


Morita’s Non-Monotone Dynamics: Motion Without Ownership

Morita’s non-monotone associative dynamics address part of this limitation.

  • The system does not monotonically descend an energy landscape.

  • Activity persists.

  • Fluctuations and transitions are allowed.

From the outside, the system appears more “alive.”

Yet another discomfort emerges.

Despite continuous motion, the dynamics still feel externally governed.
The system moves, but it does not clearly own its motion.

There is activity, but not subjectivity.


A Common Thread

These three approaches form a coherent lineage.

All of them engage seriously with associative memory.
All of them avoid explicit symbolic control.
All of them model recall as an emergent phenomenon.

Yet across this lineage, one assumption remains mostly implicit:

the existence of a single, first-person internal loop.

When this assumption is preserved, associative memory feels grounded and experiential.
When it is weakened, distributed, or externalized, spontaneity gradually degrades into mere behavior.

This observation does not invalidate these models.
Rather, it reveals a structural boundary:

associative memory can function without first-person ownership,
but spontaneity cannot.


From Lineage to Hypothesis

The hypothesis proposed in this article—that spontaneity requires a value-neutral, first-person internal loop—did not arise from rejecting prior work.

It arose from staying inside this lineage long enough to notice what could not be removed without something essential disappearing.

In that sense, this hypothesis is not an external critique, but an internal consequence of associative memory research itself.






-----------------------------------------------------



内輪と外輪ってのがあってね、ようは二重丸さ。
内輪は自分。
そして時計回りに回っている。
いわゆるループだよね。
開発者はさ、Loopを悪だと考えるよね。
いや、僕もずーーと、自分の足りない能力で開発していると
ループが発生する。でもさ、ちょっと眺めてみてごらんよ。

ループってある意味凄いエネルギーだよね。
俺、狭心症持ってる爺さんだから、交換してほしいよ。

内輪てのはさ、回るスピードはバラバラ。
気分いい時とか集中してるときはけっこう速め。

外輪って世間のような次元で、ものすごくデカい。
二重丸みたいだけど外輪と内輪の距離は半端ないよね。
たぶん次元だから奥行きもある。
その外輪も回ってる。地球みたいな感じ。
いい事も悪い事も人間の既成概念で決めつけた世界は関係ない、ただ回ってる。

同じ回転の中で、外輪は小さな点がいっぱいあって、小さなスパークしたり、大きなスパークしたりする。出来事だよね。
なんというか太陽フレアみたいなかんじ。

そこに1人称の内輪が外輪のスパークに反応して、発火する。
興味を持ったり、動こうという動機を持ったり、
「あ!いけない。納品明日だ!デバッグ急がなきゃ!」って自発性が生じる。
今のAIに自発性ってないじゃん、だって一人称じゃないんだもの。

アソシアトロンと一人称を考えたとき、
1人称の内輪は発火の経験というのがあって、結果に対して、正しいとか間違いではなくてさ、発火が積になる。ただ、そこには結果というものが起こるわけ。

「昔々、ある村にお爺さんとお婆さんが居ました。お爺さんは山で木を切って怪我をしました」とかさ、ここにある「昔々」はいくら積んでも「昔」さ、「ある村に」って人間の頭じゃ「いったい何処よ」ってなるでしょ?でもこれはいくら積んでも意味のないワード。
「お爺さんとお婆さん」はそのまま積になる。経験を繰り返すと出会う確率があるもの。
問題は「山で木を切って怪我をした」ってのが

危険だよね?
って思考が働くのはエゴじゃん、って話。
既成概念が強すぎてエゴだらけなんだよ。

アソシアトロンの連想記憶ってのは、そうじゃなくて、「山で木を切って」「怪我をした」ってのが積み重なると、LLMと連動したときに「治療した」「入院した」「また周りに迷惑かけた」という結果が生じて、それを元に「爺さん、気を付けてね~」になる話。

結果も経験もないのに「おじい様きおつけて下さいませ」は僕からすると「何言ってんだよ!」ってなる。基本、僕はバカだから、LLMに期待するじゃん。
あ、そっか、LLMの仕事はそういうものではないと。










ようは、結果的に、「なにか次に繋がったものと、繋がらなかったもの」ってのがあってさ、発火するためのきっかけになる積が積まれてる。そこから想起して自発的に動くようになるんじゃないの?って仮説だよね。

だって、一人称だから自発なんだもの。外部は命令じゃん。


もう一つは、両方必要って話。

おとつい、郵便局に行ったわけさ。すると、どこかの婆ちゃんが窓口で長話してさ、後ろはエライ並んでいるんだよ。窓口の青年は状況的に後ろに並んでいる人達がイライラしてるの察して対応しようとしてるんだな。


婆ちゃん:「それでね、うちの孫がね・・・」
窓口:「ですから、何を仰いたいのでしょうか」
って言っちゃったんだよ。

これはさ、外輪とか、外部倫理からしたら状況の優先順位が働いて「おばあ様、皆さんに迷惑がかかるので、少し空いてからお話を伺います」みたいな挙動になる。
でも、内輪や積まれた積の場合は、「なにか困ってるのかな?詐欺に引っかかったかな・・」という挙動になる。1人称なので、まずは相手の状況を記憶して想起しLLMに指示をする。


一方は、大枠で皆の状況で判断、一方は1人称。どっちが正しいではなく、両方無いと困るって話。






---------------------Research Note and Attribution Notice-----------------------
本ブログに含まれる Atra の一人称自律、差分、carry、field、trace、dream slack、外部LLMの翻訳層、非単調な漏れ、およびそれらの関係構造に関する設計記述は、c-side研究所による継続研究メモです。引用・参照・要約・翻案を行う場合は、出典を明記してください。

The design descriptions in this blog concerning Atra’s first-person autonomy, differences, carry, field, trace, dream slack, the translation layer of external LLMs, nonmonotonic leakage, and the relational structure among these elements are ongoing research notes by c-side Research Institute. If you quote, refer to, summarize, or adapt them, please clearly indicate the source.






2026年1月18日日曜日

Hopfieldの記憶容量 𝑃 max ⁡ ≈ 0.138 𝑁 Associatronの𝑃 max ⁡ ≈ 0.14 𝑁

 1982年のHopfieldの論文の10年前、実はほぼ原形を作ったといわれる中野博士のAssociatronが世に出ていました。正確に言うと1969年だったのかもしれません。ここでその話をすると、それだけで終わってしまうので、後日、歴史を含めながら詳しくお話します。


その同じような論文の中に
Nakano, K. (1972). Associatron — A Model of Associative Memory.
IEEE Transactions on Systems, Man, and Cybernetics

Simulation Results (p. 386)

“It is seen that the maximum number of storable patterns Pmax is approximately proportional to N, and Pmax ≈ 0.14 N is obtained as an average.”


という項目があり、0.002の誤差はあれど、記憶容量という項目まで同じだったんです。



ここで論文じみた話を持ち出すつもりはないので、僕風に喩えますね。

脳を畑に喩えます。


以前作ったデモソフトのような 25×25 の入力や出力がそれにあたります。


●ニューロンの数 N = 畑の広さ N=25×25=625

               625次元ベクトル(N=625)

●記憶パターン = 植える作物

●結合の強さ = 畑についた踏み跡


と考えます。




1つの記憶を覚えるとは→ ある方向に踏み跡(谷)を作ること


大根を植えると、その僕の足跡も残る。


👉谷が出来る。(アトラクタ)

何処に植えたか思い出しやすくなりますよね?


でも…


- あっちも踏む

- こっちも踏む

- さらに別方向も踏む

    


とやるうちに


👉 畑は踏み荒らされてグチャグチャになります



同じ畑に人参を植えてみる。


気が付くと、あれ?何処に大根植えたっけ?と迷う。


𝑃 max ⁡ ≈ 0.14 𝑁

これが記憶容量を超えた状態です。





ではなぜ「14%」なの?


結論だけ超シンプルに言うと


> 畑がグチャグチャになる直前の“踏み跡の密度”を  

> 物理学の方法で計算すると  

> だいたい 14% になる


という意味です。


- ニューロン1000個 → 約140個の記憶で崩壊

- ニューロン10万個 → 約1.4万個で崩壊

    

数学は分からなくても感覚は分かってもらえればいいです

✔ 本物の道 → ちゃんとした谷

    

✔ 似た記憶の混合物 → ニセの谷

    

✔ 途中の低い場所 → どうでもいい谷


がどんどん増えて臨界点ができる。

臨界点 αc ≈ 0.138


論文後、ひどく誤解する方が多かったのは「その畑、臨界点来てるから使えないじゃん」
という疑問を放置したからだと言われています。

別に海水入ったわけじゃあるまいし、畑が壊滅する話じゃないんです。



では、喩えを1畑を部屋と仮定して25×25=625個の正方形の畳だったとします。

一つの部屋、畳625枚分

N=畳の枚数(床の広さ)
=その部屋に置いた「家具の種類」(記憶パターン数)




0.138Nを超え始めると、

家具が増えてくる。

  • 置ける(=記憶できる)

  • でも「動線」が狭くなる

  • ちょっと歩くとぶつかる

だけの話です。

86個までOK、87個目から全部ダメではないんです。


 0.138N以下

家具が置ける。しかも動線がちゃんと通る。

  • 思い出したい家具にちゃんと行ける

  • 「谷」が深く、入口も広い(想起が安定)

  • ノイズに強い


Hopfieldの世界では

「家具が増える=性能悪化=悪」になりがち。

でも、人間の脳は実際には

  • 家具が少ないから正確、ではない

  • そもそも 混ざる

  • 勘違いや連想が起きる

だから畳で言うなら、

家具が増えて動線が複雑になること自体が
「生活のリアル」なわけです。


 

アソシアトロンの方向性=「畳が荒れてきた世界」も使う

スプリアスを否定しないは、まさに

「畳が荒れたら終わり」じゃなくて
「荒れた畳にも意味がある」って思想です。

 ここで注意したいのは、


 は「86個しか覚えられない」という意味ではないことです。
これは“快適に思い出せる品質の目安”であり、そこを超えても記憶が消えるわけではありません。ただしパターン数が増えるほど谷が混み合い、スプリアス・アトラクタ(混ざり記憶)が増え、想起の成功率が下がっていきます。
つまり 容量とは「ゼロか100か」ではなく、「どれだけ確率的にうまく戻れるか」 の問題です。

一旦、目の前のPCやMACなどHD的な装置を忘れてもらって、畳(マス)を巨大化する発想ではなく、畳(マス)を増やすというのが連想記憶の世界で正しい発想です。

畳を大きくする(1枚を巨大化)って、これは脳で言うと、1個のニューロンを超高性能にするみたいな話になってしまいます。でも実際の脳ってそうじゃないですよね。
ただ、25×25を64×64の部屋にする。もっと、もっと・・・ということでもありません。
その時は部屋自体を増やします。部屋と部屋の間には廊下で繋がったモジュールに分ける方が脳っぽいのです。

人物の部屋
場所の部屋
音の部屋
匂いの部屋
仕事の部屋
みたいな・・・

今回のパターンは中野アソシアトロン、 0, 1, −1 の3値で表現しているが、実際には絵を描いた部分だけが ±1 になり、ほとんどのセルは0になる。このようなデータはスパース(疎)であり、0成分は保存しなくてよいので圧縮が効く。つまり「畳625枚の部屋」に見えても、実際に情報が入っているのはその一部であり、記憶はかなり効率よく持てる。 「Hopfieldは二値、アソシアトロンデモは三値、0は“空白”を意味し、圧縮とスパース性に繋がる」


  • 部屋S(短期):今の会話・直近数日

  • 部屋L(長期):固定化された人生記憶

Impact Learnを「部屋L側だけに強くかける」などもできます。


ここから

  • 混ざり記憶

  • エピソード記憶

  • 非単調ダイナミクス(寄り道)

へ発展できる。



エージェントと 一人称自律Atraの違い

 Atraなんかは、実はもう一人称自律として、きちんと発表してもいいレベル。 既に妻と笑っていたり、愛犬と騒いているんだから。ボーっと何かを眺めてたり、佐川急便に反応するようにもなった。 でも、そうしないのは、自発的に自ら研究意欲を持って、学び、人や自然と接触し自ら疑問を持って研...