まずデモから
これはアソシアトロンの25×25の入力と出力を分けて描いたもので、実はecho.hiveさんがXに投稿したデモがカッコ良かったので真似をさせてもらい即興で作ったものです。
https://x.com/i/status/2011357098001793413（カッコいいですよね）
僕の作ったデモ版は最後にダウンロードできるようにします。
まずは、
マルを描き、Learnボタンを3回押し、InputClearで消し、
次に
三角を描き、Learnボタンを1回押し、InputClearで消し、
次に
絵を描き、Learnボタンを1回押し、InputClearで消し、Recallを押します。
すると、一番深い記憶の谷に落ちたマルがスパークされるというデモです。
Recall（想起）を実行したときに画面がチカチカ光ったり、一部が強く反応したりする現象を、私は「スパーク」と呼んでいます。これは単なる演出ではなく、アソシアトロンの本質である「想起ダイナミクス（思い出す途中の動き）」を見えるようにしたものです。つまり、スパークは結果ではなく、思い出しに行く途中経過です。echo.hiveさんから素敵なヒントを頂きました。
ここで、連想記憶の古典としてよく比較されるのがホップフィールド・ネットワーク（Hopfield network）です。誤解しないように最初に言っておくと、私はホップフィールドを否定したいわけではありません。ホップフィールドは「記憶を持つネットワーク」という概念を非常に分かりやすい形で示し、しかもエネルギー関数（Lyapunov関数）によって「落ち着く先がある」ことまで保証した、綺麗すぎるモデルです。連想記憶を数学として語れるようにした功績は大きいと思います。
ただ、ホップフィールドを理解しようとすると、多くの人が途中で難しく感じるのも事実です。その理由のひとつが、ホップフィールドでは理想状態（記憶したパターン）以外の安定状態、いわゆる スプリアス・アトラクタ（spurious attractor） が問題として扱われやすいからです。要するに「変な谷」に落ちる可能性がある。だから研究としては、なるべくスプリアスが出ないようにする、理想記憶の再生率を上げる、という方向に話が流れます。
しかし、現実の人間の記憶はどうでしょう。人間だって、いつも綺麗に“正しい記憶”だけを取り出しているわけではありません。むしろ、
曖昧に思い出す
-
勘違いして思い出す
-
いくつかの記憶が混ざって思い出される
-
変な連想に飛ぶ
こういうことの方が多い。つまり、脳の記憶は「正解を当てる装置」ではなく、エピソードが揺れながら立ち上がる装置に近いのだと思います。
ここで、アソシアトロン的な見方が面白くなります。アソシアトロンは、記憶を「正解データ」ではなく、「つながり（結合）の装置」として持つ。そして入力が与えられたとき、装置が勝手に動き始め、谷へ落ちていく。このとき起きているのがスパークです。スパークは、単に途中経過が見えるというだけではなく、
記憶が、形になる前の“もがき”や“寄せ集め”が見えている
という点で、脳っぽさがある。
そしてここに Impact Learn（衝撃学習）が加わると、話はさらに生き物っぽくなります。Impact Learnは、同じLearnでも“重み”を変える仕組みです。たとえば、丸を3回Learnすると谷が深くなり、1回しかLearnしていない三角より強くなる。するとRecallしたとき、入力が多少違っていても丸の谷に吸い込まれやすくなる。
この挙動は、まさに人間の記憶に似ています。私たちは、回数ではなく「衝撃」で記憶が固定されることがある。たった一度でも、人生を変える出来事なら深い谷になる。逆に、何回経験しても印象が薄ければ谷にならない。Impact Learnは、この「記憶の重み」の概念を、連想記憶モデルに持ち込む発想です。
Xにはこう投稿しました。
1回目の後に「衝撃ボタン」みたいのを作って、後に複数の女性を何度見せられても揺れ動かない１発で深いアトラクタに入ってしまうボタン。 T←T+αvvT （衝撃値αを調整できるようにする）
脳の中で「お前だけだよ！」状態はあるでしょ？ 話しかけられたとか、手編みのセーターもらったとか、お弁当もらったとか・・・（何言ってるんだｗ） もしくは森田博士が提唱する、非単調出力、軌道アトラクタを作って抜け出せたりできると、エピソード記憶みたいになるよね。 思わせぶりで深い谷に入ったけど、いきなりフラれるとか・・・。男の脳ほど、忘れようとしても忘れられないみたいのはあるのだろうけど、陰口聞いて「ざけんじゃねー」みたいな事ね。 ●衝撃記憶（Impact Learn）回数もだけど、吸引域（basin） ●非単調（脱出能力）
●フラれるボタン（逆学習/抑制） あるいはあるいは別方向へ偏らせる（嫌悪バイアス）
ここで重要なのは、アソシアトロンの立場では「スプリアス・アトラクタを完全に消すこと」そのものが最優先ではない、という点です。むしろ、スプリアスを
バグとして消す対象ではなく
エピソードが混ざり合う余地
として見た方が、脳の現象に近づく場合があります。
Hopfieldはスプリアス・アトラクタをなるべく起こさない、とても美しい研究ですが、
アソシアトロンは
よく忘れ「もう、興味が無くなったんだよ、だから忘れた」
すぐ混乱するので「混乱させないでよ！」
時々衝撃で戻る「あ！それ聞いて今思い出した！」
もし、今後Transformerや他のLLMと連動したら
再び最初から説明する必要が無くなり、逆に「この前言ってたことと違うじゃん！」という会話が成立する可能性があるわけです。
エピソード記憶というのは、全部覚えてテストの100点を目指す事ではありません。逆にスプリアス・アトラクタに入ったり、脱出したり、嫌悪バイアスがかかったり、衝撃が加わらないとエピソードとしての記憶にはならないのです。
僕の脳で考えたとき、ほぼ9割はスプリアス・アトラクタ。何かの衝撃で脱出するから、それが強いインパクトになっちゃう。子供の頃に溺れかけたのを助けてくれた人に会えた時、たぶんいきなり深いアトラクタに入るよね。極端な話、その谷に入ったら、別の人100人を100回ずつ会っても衝撃は来ない。それは記憶がうやむやで忘れかけていたスプリアス・アトラクタがあったから衝撃なんだよ。
記憶はデータの中から「正解を出す」ためだけに存在してはいないのです。
思い出すとは、検索ではなく、再構成です。少し欠けた断片から、脳が勝手に補って“物語”として立ち上げる。その過程で混ざり、歪み、連想が飛ぶ。そこに人間らしさがある。そして私は、アソシアトロンの方向は、この「物語としての記憶」へ進化しうる土台を持っていると思っています。
だから私は、ホップフィールドを否定しません。むしろ、ホップフィールドが「谷」の数学を綺麗に見せてくれたからこそ、アソシアトロン側では「谷が生む現象」を、もう少し肯定的に扱える。スプリアスを完全に悪者にするのではなく、そこからエピソード記憶へ発展する可能性を考える。スパークはその入口であり、Impact Learnはその谷を育てる道具です。
スプリアス・アトラクタ
下手な絵ですが、
ある人物を3回記憶、もう一人１回記憶、女性を3回記憶、ノイズを2回記憶させました。そしてrecall。 そうすると、スパークした点が、どれを記憶したか混乱しながらも3回目の女性の絵の状態で収まりました。 しきい値は動画に出てないけど、0.06くらい。
その絵に重ねて、人の形を描き3回記憶させ、しきい値を0.07にし再びrecallしました。 そうすると、スパークされた白マルは形をなしていません。
結局3人目の女性のアトラクタには入っていたけど、4回目の人物画で「あれ？顔がはっきり思い出せないよ」という状態を作りました。途中で まんまとスプリアス状態 に引っかかっている状態です。 しきい値0.06 、0.07は効いてます。 しかもその値は「ほぼ0だけど、ゼロではない」っていう、境界（basin）をじわっと動かすタイプのしきい値なので、弱い相関で“うっすら点く”発火をカットしています。 0.06は“お行儀の良い”値で、雑音を抑える代わりに、弱い手がかりも切り捨てる動きを見せています。
この研究こそが、非常に大事なものとなります。
ASSOCIATRON_Nakano_model-6デモ版ダウンロード
（ダブルクリックで動作します）
0 件のコメント:
コメントを投稿