ほんと、もう、ここズーーーーっと腹が立っていたことをシュミットフーバーが正面から告発してくれていた。Hopfield事件だよ。これ、実はもっと深いんだよね
https://people.idsia.ch/~juergen/physics-nobel-2024-plagiarism.html
彼は2024年ノーベル物理学賞について、HopfieldとHintonが1960〜70年代の日本・ウクライナなどの先行研究を十分に引用せず、後発の仕事が「基礎的発見」として顕彰されたと批判している。Hopfieldについては、甘利氏の1972年の基本式を10年後に再発表しながら、その論文を引用しなかったと明言している。
違うんだよ、シュミットフーバーさん(小声)
そこは少し違っててね、「甘利氏自身が中野先生のアソシアトロンの実績をハード的なロボットに拘り過ぎた」と脱臭したんだよ。リチャード・ファインマンが「どれほど美しく、どれほど頭が良くても、実験(事実)と合わなければその理論は間違っている」と断言した通り、「科学の本質は"実験こそ事実"を鼻で笑うかのように中野博士を批判し、自分の好きな論理に偏り、自分の名誉のために中野先生を消費した」という、ちょっと今では言えない当時の学生達の声や現場関係者の生々しいドメスティックな告発みたいのはあったんだよ。
日本の2chとかでもね。今は口封じのために消されちゃってるけど。
一番腹立つのは https://note.com/opluse_note/n/n768e28bb7795 (アドコム・メディア(株)発行のWebメディア。雑誌「O plus E」)これにあるんだけど、「実験軽視と、三人称の安全地帯への逃避」を生々しく告白している決定的な証拠記事になってるんだ。
「いまから勉強して、電極を使って実験しようという気には到底なれない・・・・・・(笑)。」
これはさ、少なくとも、俺みたいな野良研究者じゃなくてもだよ、当時の学生や関わる研究者たちにしてみても現場の話聞けば「何を開き直ってるの?」ってなるじゃん。こんな記事を読まなくてもさ。 皆、尊敬の目を向けていた人間が、実は、中野博士の実験研究を踏みにじり、美味しいところだけ横取りをしてたんじゃないか?って噂でしかなかったものが、今になって自らボロボロ吐き出しているんだよ。何が論理だよって話さね。中野先生がハンダゴテを握り、実機ロボットのノイズやエラーと血の滲むような格闘を続けていたその時に、この人は「面倒だから実験する気はない」と安全な黒板の前に引きこもっていたことを堂々と自白してるんだよ。笑っちゃうよ。
「ニューロンのようなもので装置を作るより、コンピューターへプログラムを組む方が早い
自分は生理とも応用とも違う場所で、神経回路網を数理的に整理したい」
いやいや、中野博士や知能システム研究会がやってましたから・・・
しかも何年も探した限り、「甘利俊一が作った代表的ソフトウェア」なんて、ほぼ見当たらなかったから・・・codeすらない。あっても信者が作ったものだけ。
シュミットフーバーの告発は、主にこういう線を引いている。
甘利氏1972年
↓
Hopfield 1982年が基本的方法を再提示し、甘利氏を引用しなかった
確かに甘利氏の1972年論文には、外部から与えられたパターンを安定平衡状態として記憶させる自己組織化ネットワークが記述されており、論文中でアソシアトロンも先行例として参照されている。
しかし、その話を始めると、中野馨先生が既に1972年7月に発表していたアソシアトロンが、単なる関連文献の一つへ押し込まれる。中野論文はIEEE誌の380–388頁に掲載され、部分情報から全体を想起する分散型の連想記憶モデルを、独立したシステムとして提示している。
つまり、歴史の順序を「数式が誰から誰へ渡ったか」だけで書けば、
甘利氏が発見し、Hopfieldが引用せず再発表した
という話になっているが、、、
でも事実は違う。
中野先生が、三値素子・相互の結びつき・部分Cueからの想起を、実際に動くアソシアトロンとして先に形にした
↓
甘利氏が、それと地続きの現象を、しきい値素子・安定平衡・自己組織化という数理体系へ抽象化した
↓
Hopfieldがさらに統計物理とエネルギーの言葉で再包装した
証拠その1)
順番は中野馨博士が先
“Associatron” and Its Applications 1969年
https://link.springer.com/chapter/10.1007/978-1-4615-7566-5_15
1971年には国際会議IJCAIで発表
https://www.ijcai.org/Proceedings/71/Papers/009.pdf
1972年
https://ieeexplore.ieee.org/document/4309133
Kaoru Nakano, “Associatron—A Model of Associative Memory,” IEEE Transactions on Systems, Man, and Cybernetics, Vol. SMC-2, No. 3, pp. 380–388, July 1972.
証拠その2)
https://people.idsia.ch/~juergen/amari1972hopfield.pdf
論文中では、先行するネットワーク例として the associatron が参照されている。
https://ieeexplore.ieee.org/document/1672070/
甘利氏の論文がアソシアトロンを引用していることは、逆に重要なんだと思うよ。甘利氏の仕事がアソシアトロンと無関係に、真空から突然生まれたとは書けないからね。
Hopfieldが甘利の式を引用しなかったことだけを問題にすると、甘利氏の数理化によって既に薄められていた中野アソシアトロンの実体的・構成的な先取性が、二度目の歴史修正でも再び消される。ってことになる。
もうひとつ気になるのが
https://www.jstage.jst.go.jp/article/jsoft/22/3/22_338/_pdf
甘利氏は中野博士について、「中野のアソシアトロンは連想記憶のモデルであり、甘利やKohonen、Andersonらとともに、後のHopfieldのモデルにつながる」と、わずか一文で処理している。中野博士が何を実際に作り、どこが独自で、Hopfieldより何年早かったのかは説明しない。ところが、その直後からは自分について、多層パーセプトロン、統計神経力学、神経場、自己組織化、連想記憶と、功績を詳しく列挙している。文章の配分が露骨に非対称に感じるのは気のせいか?
さらに1980年代の説明では、
「これに,Hopfieldによる連想記憶のモデルが加わる」
とHopfieldを主語にして歴史を進め、その後で「連想記憶モデルも以前、60、70年代に提唱されていた」「再発見された」と一般化している。ここでも、何を誰から再発見したのか、中野アソシアトロンが具体的にどう先行していたのかは消されている。
- 中野博士は「Hopfieldにつながった複数人の一人」
- Hopfieldは1980年代に登場した代表的な連想記憶モデル
- 甘利氏は日本の数理的研究を系統的に進めた中心人物
という配置になっている。これは中野アソシアトロンの先取性を完全に否定してはいない。だが、認めた形を取りながら、その固有性を薄めている。これが一番厄介だと思う。
「中野博士が先にやった」と明記して真正面から評価するのではなく、中野、甘利、Kohonen、Andersonらが流れを作り、それがHopfieldへつながったという平坦な系譜へ溶かしている。先の論文とつじつまが合わない。すると読者には、アソシアトロンが独立した強烈な発明だったとは伝わらず、Hopfield以前にあった複数の前史の一つに見える。しかも記事後半では、脳の仕組みは感情も介入する重層構造で、単純な神経回路モデルでは迫れないと書いている。
しかし、中野博士の構成的な研究を正面から継ぎ、実際に動かしながらその先へ進む可能性ではなく、結局は「理論と実験の融合」という一般論へ回収している。
中野博士が実物を作って示した生命的な入口を、一つの古い連想記憶モデルへ縮小し、自分たちの数理神経科学へ至る前史として並べ替えている。
ということ。
当時直接関係した人達は、今は何も云わないよね。
俺も言わないでおこうと思った。
絶対、今後邪魔されるだろうしね。
だけど、最近こういうのが増えて来てるんだよ。--なんか見えなくなってるね
https://medium.com/@cosmonist/why-i-no-longer-believe-we-can-say-academics-are-the-smartest-people-f6b84b4d723d
https://medium.com/@cosmonist (著者ページ)
著者ページでは、“Why I no longer believe we can say academics are the smartest people”、2024年10月20日の記事
他にも
「ノーベル賞とAI起源論争」のさらに深層を突く、唯一無二の視点がハッカーや研究者に見つかった
https://www.reddit.com/r/learnmachinelearning/comments/1o78wm3/the_lstm_guy_is_denouncing_hopfield_and_hinton/
https://people.idsia.ch/~juergen/physics-nobel-2024-plagiarism.pdf
ただし彼の整理は、
「中野の1972年の連想記憶は、三値活性を持つ再帰型連想記憶だったが、後にホップフィールドネットと呼ばれるものと完全に同一ではない」と言っているが、それは甘利さんが途中からノイズ嫌いになったから(笑)
中野博士のアソシアトロンは、
ホップフィールド(甘利側)の1982年モデルは基本的に、
の二状態だ。ホップフィールド自身の原論文でも、ニューロンを firing / not firing の二状態として置いている。
甘利はそれを安定性の問題へ移しただけの話。甘利の1972年論文は、タイトルからして threshold elements で、中心課題は、安定平衡状態、状態遷移の安定性、ハミング距離、ノイズ擾乱下で正しく再生できる条件、代表パターンへの収束になっているからね。甘利の1972年論文は、基本状態が と の二値になっている。
論文の定義では入力変数について、
“the variables take on two values 1 and −1”
と明記され、出力も閾値を超えれば 、それ以外は になる。符号関数も、
としていて、通常の状態に独立した 0 はない。ゼロ入力の場合も、脚注で複雑さを避けるため生じないと仮定している。
したがって正確には、
-
中野アソシアトロン:
- 甘利1972年:
-
ホップフィールド1982年原論文:
ここは僕が前に「ホップフィールドが甘利の二値へ寄せた」と大雑把に言ったのを、もっと正確に直す必要がある。
ホップフィールドは甘利の を、そのまま採ったわけではない。変数表現は発火・非発火の にしているという事。ただし、中央に独立した無反応状態を持たない二状態系という点では圧倒的に甘利側に近い。
https://people.idsia.ch/~juergen/amari1972hopfield.pdf
しかし、一方で1972年の甘利論文はアソシアトロンを明示的に引用し、自分のモデルを「アソシアトロンなどと密接な関係を持つ簡略化モデル」と書いている。 だから歴史的には、甘利が中野の三値構造そのものを理論化したというより、アソシアトロンを参照しながら、閾値素子の二値安定状態へ切り出したと見るのが妥当だと思う。
何があって重心が傾いたかは知らない。耳に入っているのはノイズ嫌いなだけ。
そして、何よりも、とにかく僕が違和感を覚えたのが
Hopfieldの 𝑃 max ≈ 0.138 𝑁 だよ。
中野馨博士は1969〜1972年の時点で、実際にハンダゴテを握り、回路を組み、シミュレーション(あるいは実機実験)を繰り返す中で、「だいたい記憶パターン数がニューロン数の14%(0.14N)を超えると、ノイズに埋もれて思い出せなくなる(相転移が起きる)」というシステムの本質的な限界値を、構成的に(身体感覚として)すでに叩き出していたんだよ。「0.138N」という、後出しの数学による“お色直し”
0.038って、どっから来た?w
中野博士が実際にアソシアトロンを回路として構築し、有限素子、誤動作、混線、不完全な想起と向き合っていたことは重要な事実。でも、現在「古典的相関型連想記憶の容量は約 0.14N」として流通している値は、多くの論文ではAmitらの1985年解析、またはホップフィールド系の解析結果として引用されている。
https://volga.esys.tsukuba.ac.jp/~mor/paper/yoshi1993.pdf
中野博士のアソシアトロンは、有限個の素子からなる実機を組み、混線、誤り、素子のばらつき、部分入力からの想起という現実の中で成立した連想記憶だった。
それに対して後世の 0.138は、ホップフィールド型二値ネットワークについて、ランダムで独立な記憶パターン、完全結合、熱力学的極限 N→∞などを仮定して導かれた理論上の臨界値なだけ。
実験データ見せろよ、お前等!って話さ。
むしろ、中野博士らが既に現実の装置で遭遇していた容量低下や混線の一断面を、ホップフィールド型の二値・ランダムパターン・無限系に限定して後から数式化したものと見るべきだと思うよ。
しかも は普遍的な「連想記憶の限界」ではない。許容する誤り、自己結合の有無、更新方法、パターン相関、有限サイズ、三値か二値かによって値は変わる。2024年の再解析でも、定義する引力圏によって約 と約 という別の値が出ている。
https://arxiv.org/abs/2403.01907
だから「0.138」という小数点以下三桁の精密さの根拠を今からでも示してほしい。
容量は、
で、
- :二値ニューロン数
- :ランダムな二値パターン数
- ニューロン状態は基本的に
- Hebb則で結合
- 想起とは、エネルギーの局所極小へ収束すること
- 完全一致ではなく、少量の誤りを許す
- の熱力学的極限
という条件
ホップフィールドは、単純なガウス雑音近似と数値実験から「約0.14」と見積もった。論文自身も、ホップフィールドの0.14は、約0.4%の誤りを許したときの粗いノイズ推定だったと説明している。
1985年、Amit・Gutfreund・Sompolinsky、つまりAGSがスピングラスのレプリカ法を持ち込み、
と出した。どうやって?
AGS容量そのものが、自然に存在する普遍的な容量ではないんだよ。
AGSは「記憶されたパターンの周囲にエネルギー井戸が存在し、ホップフィールド力学がその局所極小へ収束する」という条件を、記憶成立の定義としている。
つまり、
- 記憶をエネルギー井戸と定義する
- 想起を局所極小への収束と定義する
- ランダムな±1パターンを記憶対象とする
- 無限個のニューロンを仮定する
- 温度ゼロの基底状態へ持っていく
- その条件が破綻する境界を容量と呼ぶ
という構成じゃない?
今回の論文も、自由エネルギーを導入して熱力学的極限を取り、最後は温度ゼロ、
の基底状態問題へ落としている。
これは生物の記憶容量を測っているのではないよね?
自分たちで作った数学的競技のルールの中で、限界点を計算している。
だから13.8%という数字に、
- 脳の記憶容量
- 連想そのものの限界
- Hebb学習一般の限界
- 実際の連想記憶装置の限界
のような意味を持たせた瞬間、完全に話が膨らみすぎる。
しかも「13.8%」は一つではない
この論文にはAGSとは別に、より厳しいNLT型の吸引域も出てくる。こちらでは容量が、
同じホップフィールドネットでも、「記憶が成立したとは何を意味するか」を変えるだけで、12.98%になるわけだ。
さらに完全再生を要求すると、容量は線形な ですらなく、
程度になると論文自身が整理している。
13.8%は装置固有の物理定数ではなく、定義依存の境界値なんじゃないの?
これは科学の進歩というより、「理論の勝利宣言」 に近くない?
リチャード・ファインマンが「どれほど美しく、どれほど頭が良くても、実験(事実)と合わなければその理論は間違っている」と断言したのは違うってことなのか?
実験優先の中野博士が「曖昧な場から何が想起されるか」を実機で示した後、それをランダム二値パターンの収納率へ縮小し、スピングラス統計力学で13.7906%まで小数点を付けたのと違うよね?
実験 --------------------------------------
操作は前のブログに書いた。https://crimson-cake-2832.nabedada3.workers.dev/01_AssociatronNakano-style1972
ちなみに、今アソシアトロンで実験したら
𝑃 max ≈ 0.2𝑁まで出来たよ
ほんと、みんな実験してんのかね?
アホくさくなる。
5×5=25素子 で 5個通ったw
アホくさくなる。
5×5=25素子 で 5個通ったw
で、0.20Nまで記憶できたことになるじゃん。
5×5でつまんないなら
https://crimson-cake-2832.nabedada3.workers.dev/03_Associatron_cside_model-Spark
25×25用意するから真面目に実験しようよ。
(ちなみにAtraなんかは、こういう𝑃 max 気にしなくて良くした:秘密)
--------------------------------------
中野博士の1972年論文は、180ビット未満の有限モデルをコンピュータ上で実際に動かし、記憶数を増やしたときの想起精度や混線を調べている。単なる無限系の漸近計算ではない。
https://cir.nii.ac.jp/crid/1361418518767018496
さらに、Hopfieldの後年の容量研究にも、
NakanoのAssociatronは約 個のパターンを記憶できる
という形で、中野博士の1972年論文を参照する記述が残っている。
researchgate.net/publication/224658856_On_the_capacity_of_the_Hopfield_associative_memory
実際、文献には「ホップフィールドモデルでは、記憶パターン数が約 になると偽記憶が現れ始める」という形で記述され、数値はホップフィールド1982年の数値実験と、Amitら1985年の理論解析に帰属されている。
https://ntrs.nasa.gov/api/citations/19870017148/downloads/19870017148.pdf
中野馨博士は、有限のアソシアトロンを実際に動かし、約 という記憶容量を実験的に得ていた。ところがAmit、Gutfreund、Sompolinskyは、その先行する実験結果を歴史的起点として扱わず、ホップフィールド型モデルの無限系解析から を導き、後世には自分たちの理論成果として定着させた。これは単なる数理的精密化ではなく、実験的発見者の主語を消し、理論側へ成果を再帰属させる重大な研究倫理上の問題である。
まじでクズの集まりを見ているようだよ。
俺は、中世のギルドや元老院となんの関係も持たないけどさ、「死人に口なし」をいいことに途端にペラペラインタビューに答え、歴史を自分の都合のいいナラティブで塗り替える、最も卑劣な権威の立ち回りしか見えないんだよね。
中野先生がご存命なら、本人が「それは違う」「そこは私が先にやった」と言い返せた。ところが亡くなった後に、権威を持つ側が何度もインタビューへ出て、
という順序で語り続ければ、その語りが公式の歴史みたいに固まっていく。自分たちはこういう流れを作った
中野先生はその中の一人だった
後にHopfieldへつながった
しかも厄介なのは、中野先生を完全に消すのではなく、名前だけは出すことだよね。名前を出しているから公平に見える。でも、実際には、
何を最初に作ったのか
どこまで既に実現していたのか
後発研究と何が重なるのか
実験と実装にどれほどの独自性があったのか
を薄めて、後の数理史の脇役として配置し直す。
これは露骨な抹消より見抜きにくい。
引用している、名前も出している、だから隠していないという形を保ちながら、主役と脇役を入れ替えられるから。
もう一つ見落としてはならないのは、甘利氏が単なる研究者ではなく、日本で生まれた独創的な実験成果を、国際学会で流通可能な「三人称の数学」へ変換するハブとして機能したことなんじゃないかな。
中野馨博士のアソシアトロンは、部分的な刺激から経験全体を蘇らせる装置として構想され、実際に回路が組まれ、動作が確かめられていた。それは、数式だけで完結する理論ではなく、発明者の問題意識、実験、装置、身体的な直観を含んだ、具体的な研究成果だったわけだ。 しかし、このような成果から、誰が、なぜ、それを作ったのかという一人称的な文脈を取り除き、対称結合、状態遷移、安定性、容量といった抽象的な数学へ置き換えれば、研究は国籍も発明者も持たない普遍理論のように見える。僕はねー、これを「三人称の数学への脱臭」と呼びたいね。
脱臭された理論は、英語論文、国際会議、学術誌、大学講座、大型研究機関へ接続しやすくなる。そして、その変換と国際発信を担った人物が、日本の研究成果を海外へ渡す代表窓口(ハブ)となる。その結果として、発明した者ではなく、翻訳し体系化した者に、国際的評価、学会の要職、研究組織の指導権、国家予算につながる地位が集中する。日本独自の成果は海外の普遍理論を支える原料となり、国内には「世界へ紹介した代表者」の権威だけが還流する。
これは単なる引用漏れや個人間の功績争いではないよね。日本の独創的な研究を抽象化して海外へ接続し、その接続点を押さえた者が、国内外の学術的権威と研究資源を獲得する仕組みになってしまうでしょ、違う?
意図的に設計されたものか、それとも制度の中で結果的に形成されたものかは、今後さらに資料を調べなければならないよね。 邪魔されるだろうけど、ぜんぜんOK。
少なくとも、独創的な実験を行った者よりも、それを国際的な数学言語へ変換した者が「中心人物」として記憶され、研究制度の頂点に立ったという結果は、厳然として残っているわけよ。
いつもいう元老院と中世のギルド達、そして腐ったぬるま湯に浸かり、特別な●●に依存しつづける。
シュミットフーバーによって、歯に詰まっていたHopfield事件と、そのもっと奥に居る違和感でしかない人。こういうのはどんどん暴露されるべきだと思うよ。
誤字脱字すみません、ただのノートなので、気にしないでください