Donald O. Hebb Hebb則ではなく、Hebb的引きずりとして読む

Hebb の思想の大事な部分は、後世の工学・計算理論・AI研究の流れの中で削られ、いつの間にか Hebb則 という部品として扱われるようになった。

Hebb は1985年に81歳で亡くなっている。晩年の本に Essay on Mind があるが、日本語翻訳版が見当たらないので、まだ読めていない。できれば読んでみたいと思っている。

Hebb が言った cell assembly や phase sequence は、当時の技術では脳内で直接観察できなかった。
「こういう細胞集団ができ、それが連鎖して知覚や思考になるはずだ」という理論だったが、1949年当時は、それを細胞レベルで確認する手段が弱かった。

だから批判される。

「面白いが、推測が多い」
「心理学者なのに、神経の話に寄りすぎている」
「知覚・記憶・思考・想像まで、神経結合の変化で説明しようとしている」

当時としては、風呂敷を広げすぎたように見えたのだと思う。
反射や単純な刺激反応ではなく、知覚、記憶、思考、想像まで扱おうとした。そこに批判される隙があった。

しかし、本当はそこに大事なものがあった。

Hebb 本人は、単に「同時に発火したら結びつく」と言っていたわけではない。
ある細胞の活動が、別の細胞の発火に関与する。そこには時間的・因果的な関係が含まれていた。

さらに重要なのは、Hebb の cell assembly が、外部刺激が消えたあとも、しばらく活動を維持し得るものとして考えられていた点である。

これは、Atron で言えば carry「引きずり」 に近い。

外部刺激が消えても、内部は元に戻らない。
さっき起きたことが、まだ残っている。
その残りが、次の知覚、想起、判断、反応を変える。

つまり Hebb は、単なる学習ルールを考えていたのではない。
経験によって内部の場が変わり、その変わった場が次の世界の見え方を変えるという、かなり生命的なことを見ていた。

ところが後世では、それが単純化された。

一緒に光ったら結びつく。
同時に活動したら重みが増える。
Hebb則とは、重み更新ルールである。

こうなると、批判されるのも当然である。




ん～オシイ。

やっぱ心理学者なんだよ、神経の話に寄り過ぎちゃった、、、、

心理学者だったからこそ、当時まだ見えなかった神経の側へ踏み込まざるを得なかったという意味ね。先に進み過ぎちゃったという意味。

経験が内部に残ること
次の知覚や反応が、前の経験に引きずられること
一度通った経験が、内部の風景を変えてしまうこと

これ、当時の神経学・生理学の言葉にすると、それはどうしても、ニューロンAが発火し、ニューロンBが発火し、結合が強くなる。って事さ。

また、Hebb 則だけを数式化すると不安定になりやすい

一番単純な Hebb 則は、だいたいこう書く。

Δw_ij = η x_i y_j

または自己連想なら、

Δw_ij = η x_i x_j

w_ij = i と j の結合強度
η = 学習率
x_i, y_j = ニューロンの活動

つまり、ニューロン i と j が同時に活動すると、その結合 w_ij が強くなる。

これは直感的には自然だけどこれだけだと問題が起こるんだよ。
重みが増え続けちゃう。

単純 Hebb 則には、基本的に ブレーキがないんだ。

同時に活動するたびに、

w = w + ηxy

となる。

何度も同じ刺激が入れば、重みはどんどん大きくなる。
すると、次からは少しの入力でも強く反応してしまう。

めちゃくちゃな興奮状態だよ、、
きれいに言えば自己強化だけど、悪く言えば暴走だよね。

活動する
↓
結合が強くなる
↓
もっと活動しやすくなる
↓
さらに結合が強くなる

このループなので、、、

Atron 的に言えば、carry が残るどころか、残りすぎて場を全部支配する ような状態になってしまう。

本来の carry は、次の知覚を少し変える「引きずり」なんだけど単純 Hebb 則だけだと、引きずりが減衰せずに肥大化してしまうんだよ。

人の性格でいうと、ちょっと危険。
復興はするけど、復讐まで行ってしまう感じ。

復興までは必要。
傷ついた経験が残る。
次に同じ危険を避ける。
慎重になる。
同じ失敗を繰り返さない。
これは生きるために必要な「引きずり」。

でも、そこに減衰や文脈分離や再解釈がないと、復興では止まらず、復讐 まで行ってしまう。

たとえば、

過去に裏切られた。
↓
裏切った相手の言葉、表情、場所、匂い、時間帯まで結びつく。
↓
似たものを見るたびに警戒する。
↓
やがて「似ている人間はみんな危険だ」になる。
↓
さらに進むと「先に攻撃しないとやられる」になる。

これは、Hebb的には自然なんだけど・・・。
同時に起きたものが強く結びつく。
繰り返されるほど強くなる。
強くなった結合が次の知覚を歪める。

でも人間としては危ない感じ。

pain_trace や threat_trace が残ることは大事。
でも、それが revenge_trace のような方向に硬直すると危険ってこと。

後世の計算モデルでは、単純な Hebb 則は、同時に活動したら重みが増えるという形で使われたんだよね。

Hebb 則には、必ず何らかの抑制が必要だと思う。

正規化
重みの上限
減衰
競合
抑制性ニューロン
活動量の制限
忘却

Hebb 則は、同時に活動したものを結びつけてしまう。
これは良い面もあるけど、似た経験が多いと混ざる。

たとえば、三つの経験があるとする。

A: 車で旅行 + 温泉 + アウトレット + 貸別荘
B: 車で旅行 + 温泉 + 海 + 貸別荘
C: 車で旅行 + 温泉 + 湖 + ログハウス


車で旅行 + 温泉までは似てる旅行が多いので何処に行ったか思い出せない。

「車で旅行」だけをCueしても
全部出てきちゃう。

もちろん、それが連想記憶の良さなんだけどね。
でも制御がないと、記憶の境界が崩れてしまう。

中野博士のAssociatronや、Atronで言えば、アウトレットまで含めて「軽井沢の旅行だった」と絞り込めるが（検索で絞り込むのではない）
Hebbは似た記憶がどうしても混在してしまう。
Atronは context competition や room のようなものが働いて、
10年前の記憶、誰と行った記憶、匂い、その時聞いた曲などで

アトラクタが競争し、絞り込む。

Hebb 則だけだと、共通して出るもの同士がどんどん結びついて団子になってしまう。

-------------ちょっと中断---------------

Hebb は本来、「経験が神経の結合を変え、その変わった結合が次の知覚・記憶・思考を変える」 という、かなり生命的な話をしていた。

ところが後世では、それが工学理論の中で、
Hebb則 = 重み更新ルール
に縮められてしまった。

ここで大事なものが削られたわけだ。
Hebb の本質は、単に、
一緒に発火したら結合が強くなる
じゃない。

むしろ、
経験が内部の場を変える。
その変わった場が、次の世界の見え方を変える。
そして、その変化は元に戻らない。
ここにあったんだと思う。

でも工学は、それを扱いにくい。

工学が欲しいのは、

入力
出力
学習則
収束
安定性
容量
評価指標
再現性

だからね。

Δw = ηxy

みたいな形の、きれいな更新式になれてしまう。

経験の理論 だったものが、学習アルゴリズム になった。
内部風景の変形 だったものが、重み行列の更新 になった。
記憶と思考の発生 だったものが、分類・想起・収束の問題 になった。

みたいな・・。

なので僕としては「工学理論という力で捻じ曲げられた」という感覚が凄くあるんだ。

工学を批判してるんじゃないよ。
工学は、曖昧なものを測れる形にする上で大事。
でも、測れる形にした瞬間、測れないものが落ちる。
落ちたものの中に、実は一番大事なものがあったりする。

パーセプトロン以後、目的が分類性能に寄った 
Rosenblatt には脳モデルとしての関心もあったけど、応用側では「認識できるか」「分類できるか」「制御できるか」が重視されちゃった。そうなると、内部風景の変形より、入力に対して正解を出すかが重要になる。

Minsky と Papert の『Perceptrons』以後、ニューラルネット研究そのものが一度冷えた ことがあった。1969年の『Perceptrons』は単層パーセプトロンの限界を数学的に論じた本で、ニューラルネット研究の低迷につながった。

「すべてのニューラルネットが駄目」という意味ではなかったのに、かなり広くそう受け取られた面があったのは事実。