アソシアトロン Associatron研究

2026年1月30日金曜日

アソシアトロン（時代と匂い想起デモ）ダウンロード

Pythonに直したのでJavaScript版を公開（GitHubに置かないし軽いJSはOneドラで）

基本は中野先生に忠実に作ってるけど、記憶モデルが Hopfield/Associatron の“重み行列”そのままではないです。以前までは相関の場（結合）を媒介に状態が引き込まれる感じでしたが、記憶ベクトル集合のアテンション合成みたいな感じ。「競合」の単位が“部屋→代表キーです。Gate（匂い）と Memory（描画断片）を分離した考え方ですが、思想は８割中野先生寄りにしてます。最近Cue病です。

https://crimson-cake-2832.nabedada3.workers.dev/

LLM連動版はまだ出せないかも。

時代のボタンを見てガクッと来る言われたんですけどｗ
いいの。だって人間だって時間や年代は内部ではなく外部に依存してるでしょ。
そのうち、「学ラン」＝「こいつの場合は1970年代か？？」とか連想するようにすれば・・・

匂いはスイッチひとつだけど、暇なときに勉強しに行きます。_(._.)_

2026年1月27日火曜日

メモ

デモと実装は、相当変わるかな・・

計算（アソシアトロンが読む/回す）

0/1文字列
毎回「文字→数値」変換が必要で、パースが重い。
PNG
画像デコード（zlib展開）→画素→0/1化が必要で、これも重い。

計算の入口としては、どっちも“余計な変換コスト”がかかる。

.npy（uint8の 64x64）ほぼそのままメモリに載る。変換が少ない。

.npz（複数パターンまとめ＋圧縮）読み込み回数が減る。圧縮も効く。

計算するならnpy/npz

0/1を文字列にしない。npy/npzにする

デモはUI → PNG（ただし“計算の入力”にしない）

NumPy配列は外にはみせない

NumPy配列を「意味」として扱い始めた瞬間に壊れる

インデクスとか形状とか値を読み始めると、要素は何を表すか、軸の意味、書換えなど内輪が外輪に浸食される恐れがある。なので内部でガンガン使うけど外部には出さない。

今のボトルネックはPNGの生成やJSONとかPythonとかCとかではない。
NumPyは内部が C / FortranでSIMD最適化ありーのBLAS / LAPACK 呼び出しありーのキャッシュ最適化済み

np.dot(A, B)

np.sum(X * Y)

これ自体がC

じゃぁボトルネックはってーと

森田先生が言う「アソシアトロンのような自己相関型の連想記憶は，脳の記憶のモデルとして考案された．実際，｢一部の素子が壊れても特定の記憶が失われることはない｣，｢多くのパターンを記憶させるほど想起が難しくなる｣など，脳の記憶に似た性質を持つ．また，各素子は他の素子からの信号に結合強度を掛けて足し合わせるという単純な計算をするだけで，学習アルゴリズム(結合強度の修正方法)も単純であり，生物学的に無理がない．しかし，一方で脳のモデルとしてはいくつかの問題点がある．一つは，記憶装置としての性能がかなり低いことである．例えば，記憶できるパターンの数(記憶容量)は素子数の 15％程度であるし，・・・」

そうボトルネックはこの15％

これはメモリが少ないとか、実装が悪いとかじゃなくて

自己相関型＝競争型の必然的な限界なんだよね。

パターンが増えたり、相互干渉が増えたり、エネルギー地形が荒れたり、谷が浅くなったり、

スプリアスアトラクタが増える、しかもこの度はLLMという、ささやきおかみが口を出す。
しかも、本当に頭が真っ白になる。

全部うっすら知ってるけど、どれも思い出せない状態が続く。

いやいやいや、これが人間なんだってば。

エンターテイメントや投資家ウケはいいけど、綺麗に想起するなんてことはありえない。

もっと、こう「スタップ細胞はあります！」みたいな世界で、なかなか表に出ないものなんだよね。実験を繰り返すしかない。

でも前に書いた「人間の脳って会話の中で「ラリー・ペイジ、セルゲイ・ブリン」なんて絶対覚えられないよ。せいぜい、「Google、検索」くらい。繰返して「Google、検索、創業」の話だっけか・・？ 1998年なんて会話から想起しない方が多い。逆に「創業」というキーワードからLLM側がささやきおかみのように「1998年！」とかいう感じになる・・・」みたいな・・・

そう、外部の指示ではなく、徐々に外部影響は受ける作りにする必要はある。

いくら1人称だからと云って外部の影響は受ける。

頑固おやじじゃ研究にならないし、人の話は聞いた方がいい。

今のLearnの動きが回数だけになってるのが大問題か。

海馬に同じメモを何回も置いている

でも皮質への転送条件が無い

想起も起きていない

結果として、想起せずに15％が来る。
スプリアスが増える
「全部うっすら」になる

なんで90年代から2000年代に連想記憶が下火になったか

分かった気がする。

でも、recallが発生して、競争に勝って他の記憶と重なって、ささやき女将（LLM）が気になりだすと、アトラクタの引力を上げる、basinが深くなり、重みを入れれば・・・
アトラクタに入る。当然回数はきっかけなので必要。

記憶、unknown、海馬的は準備段階

引力装置（Attractor Pull）

Recall時の勝者をどれだけ“強く”感じるか

重み装置（Weight Consolidation）

Recall後にどれだけ重みを更新するか

basinから奥に入る装置（Depth / Escape）
一時的な attractor で終わるか
奥の（年代・文脈）アトラクタに“落ちる”か

回数（Exposure）

これはもう主役じゃないけど、使い道はある。

3回聞けば、「Google」「検索」くらいまでは覚える

引力装置の下駄に変える

前提（最小限）

パターン
$\mathbf{x} \in \{0,1\}^N \quad (\text{または } \{-1,+1\}^N)$
重み行列
$W \in \mathbb{R}^{N \times N}$
Recall 時の出力（競争後）
$\mathbf{y} = \mathrm{sign}(W \mathbf{x})$
競争スコア（自己相関）
$S = \frac{1}{N} \mathbf{x}^\top \mathbf{y}$
※ これはもう C / NumPy が一瞬で出す値

① 引力装置（Attractor Pull）

Recall時の勝者をどれだけ“強く”感じるか

これは 「思い出した感じ」
＝勝者の確信度。

定義

P = f(S)

ここで

f(S) = \sigma\bigl(\alpha (S - \theta)\bigr)

$\sigma$ ：シグモイド
$\theta$ ：想起が「起きた」と感じる閾値
$\alpha$ ：感度（気分・疲労・文脈）

👉

$P \approx 0$ ：思い出せてない
$P \approx 1$ ：「あっ、これだ」

② 重み装置（Weight Consolidation）

Recall後にどれだけ重みを更新するか

Hebb を Recall条件付き にする。

基本形

\Delta W = \eta \, P^\gamma \, (\mathbf{y}\mathbf{y}^\top)

$\eta$ ：学習率
$\gamma > 1$ ：
→ 強く思い出した時だけ、重みが入る

Recallしない限り：

P \approx 0 \Rightarrow \Delta W \approx 0

「置いただけ」「聞いただけ」は重みにならない。

③ Depth / Escape（奥に落ちるか）

一時 attractor か、年代・文脈 attractor に落ちるか

これは 単発の強さ × 文脈整合性。

文脈アトラクタ $C_k$

C_k = \text{(年代・場・匂いなどの上位表現)}

Depth 判定

D = P \cdot \max_k \left( \frac{\mathbf{y}^\top C_k}{\|\mathbf{y}\|\|C_k\|} \right)

$D$ ：落ち込み深度

閾値 $\delta$ を超えると：

D > \delta \Rightarrow \text{「奥のアトラクタに遷移」}

Recall はしたが浅い → 一時 attractor
Recall + 文脈共鳴 → 年代・文脈 basin に落ちる

④ 回数（Exposure）＝下駄

主役ではないが、使い道はある

回数 $n$ は 直接学習しない。

下駄として使う

P_{\text{eff}} = P \cdot (1 + \beta \log(1+n))

$\beta$ ：下駄の高さ
$\log$ ：効きすぎ防止

3回聞けば
$\log(4) \approx 1.38$
→ 「Google」「検索」くらいは引っかかる

でも

Recallしなければ 0 × 下駄 = 0

全体まとめ（1行）

\boxed{ \Delta W = \eta \, \bigl[\sigma(\alpha(S-\theta)) \cdot (1+\beta\log(1+n))\bigr]^\gamma \, (\mathbf{y}\mathbf{y}^\top) }

回数は補助
Recall が主役
文脈に落ちた時だけ、記憶は「出来事」になる

人間らしさが残る理由

覚えたはずなのに出てこない → $P \approx 0$
強く思い出したことだけ残る
何度も聞いた雑談は「引っかかる」だけ
LLMは $C_k$ に圧をかけるだけ（決めない）

研究の動機は、そもそも遠い昔に下火とされたものなので、外からの声で
「やる気がなくなる」ものではないし、たぶんこれは止まらない。

僕には不可逆性みたいのが合っているんだろうね。

企業や投資家とかの影響もないし、中世のようなギルドに入ってるわけでもないので煽られないし、師事もしていない。僕は爺だし気難しい。話は聞くし本は読むけど、力は働かない。

そして実験は楽しい。

ささやき女将（LLM）に「ホンダシビック」と云っても中古車情報一覧ばかりなので、

いつかは「1200RSの話だろ？オートウィンドも無い、エアコンも無い、カセットも無い、でも8トラ無理やり付けて246ばっか走ってたって？どうせジャーニーとかシカゴとかの嘘曲を大声で歌ってたんだろうけど、ちょっと羨ましい」くらいの会話は出来るようにしたいし、自分がボケたときの介護はできるようにしたい。愛犬とも遊ばせたい。

ちなみに僕の研究とAGIは関係ない。
素晴らしいLLMを作る気もない。つか、俺には無理。今で十分素晴らしい。
アソシアトロンだけで成立させる気もない。

だから面白い。

2026年1月26日月曜日

Associatron & Local_LLM — Learn

たぶん見て分かる人は
出来事の文章をを入れて、Learnを押した時点では、いくらLLMが介在していても結果のyear_keyは"Unknown"に入れることにしたので、少しストレスになるのかと思う。

でも今のLLM連携はこういうルールにしている。

LLMは候補を出す、確信度を計算する。
confidence が閾値を超えないと year_key を確定しない。
つまり、「分かる気はするが、断言はしない」というあえて“慎重モード”にした。

LLMは「部屋（アトラクタ）を勝手に作らない」

仕様にする！これを重要にしている。

人間の脳で言えば、海馬に一時的に置かれただけの記憶だ。

たとえば文章は明確に年代表記されているので1990sの部屋のアトラクタ（記憶の谷：もしくは部屋）に落ちるのが常識のように感じるが

会話の場合、もしくはラジオの場合、そんなにはっきりと「1998年はGoogleが誕生した年であり・・・」は記憶されない。

また、システマチックに考えすぎて入り口からアトラクタの分類を増やしすぎると想起できなくなる。

別な言い方をすると、unknown は敗北ではなく準備

そして、この研究は外部が決める年代は危険（意味：外部の誘導を強くしたくはない）

その思想を守る（勝手な俺の思想）ために、LLMは既存の year_key がある場合のみ強く寄せることにした。（ストレスだろうね・・ｗ）

なので新しい年代部屋は自動生成しない

だから　unknown → 1990s　みたいな強制ジャンプはしない

Learn → /api/ensure_room

最初の Learn は、海馬に一時保存

繰り返し Learn は、海馬→皮質へ転送

Recall は、皮質ネットワークの再点火

年代確定は、時間文脈ネットワークに結線

それぞれにフェースがあって脳内で起きている事も違う。

この文章のLearnはどういう状態かというと
「出来事は覚えたが、いつの出来事かはまだ体で分かっていない」
会話中の「へぇ～」という状態だ。

なので、今後

「Googleの創業（研究論文発表）: 1998年はGoogleが誕生した年であり、ラリー・ペイジとセルゲイ・ブリンによって検索エンジン技術（PageRank）が発表されました。これは大規模なデータとAI技術が将来的に結びつく先駆けとなりました。」

の文章に近いものが現れないと、1990sのアトラクタには入らない。

Learnというボタン
これは名前が紛らわしいけど、実体は「どの部屋に入れるかを決めるだけ」

以前のデモなら25×25のマスを描きMemoryを押して記憶、recallで想起されるようなもの。
しかし、言語とした場合、同じアトラクタ（谷とか、部屋）に記憶させると、

直ぐに　𝑃 max ⁡ ≈ 0.138 𝑁　　𝑃 max ⁡ ≈ 0.14 𝑁　がおとずれる。

そこで、最初のLearnでは少し大き目なアトラクタに入ってもらい（入らないこともある）想起してから年代別や、仕事、研究、遊び、生活、generalなどのアトラクタに移動してもらおうか・・ということだ。

人間も記憶が曖昧な時にはメモをする。それと同じ動作にした。
初期段階で記憶の内容を深く読むフェーズではない
LLMは「補助的に眺める」だけ
なのでタグ候補は内部で出ている。でも確定反映はしていない

では一体、LLM は中で何をしているか？

裏ではこういう状態：
「1998」「Google」「PageRank」
→ 90年代候補が強い

でもこの記憶が1件
アソシアトロン側の記憶競争がまだ起きていない
余計なことは言わないでおこう
→ unknown に留める

こういう感じだ。
これはかなり人間的な初めての記憶に寄せている。

Recall → PNG

このrecallの絵は何かというと、
ずっと以前JavaScriptの絵を記憶させて想起させるデモでは、これはけっこう主役を果たしていた。

今回から、この recall 後に出ている絵は
「アトラクタに“完全に入った”という意味ではない」

アトラクタの縁（basin）に捕まり、
競争が始まったという状態

もう少し正確に言うと

今の recall 後の PNG が意味している状態は

「この部屋（scene）の中で、
記憶同士が相互作用できる状態に入った」

これは脳で言えば：

発火は起きた
ループも回り始めた
でも まだ“深い谷底”までは落ちていない

以前の絵の時と違うよね・・・悩んだ

言語にすることの難しさというか

アトラクタには「段階」がある

① pre-attractor（準アトラクタ）

pattern が1つ以上存在
recall するとノイズっぽいが構造が出る
今ここ

② shallow attractor（浅い谷）

recall のたびに似た構造が出る
少し条件を変えると揺らぐ
「あれ、これ前にも見たな」状態

③ stable attractor（安定アトラクタ）

cue が多少ズレても同じパターンに収束
recall が「思い出す」感覚になる
年代・文脈が結線されやすくなる

今の絵が「アトラクタ未満」に見える理由

pattern がまだ少ない
今は pattern_001.npy が1つだけ
→ 競争が弱い

keep_ratio が高め（0.3）
まだノイズが多い
basin が浅い

時間文脈（year_key）が未接続
アトラクタが「孤立した谷」状態
周囲の谷（1990s 等）と橋がない

でも

Recall が通る
PNG が再現性を持ち始めている

これは

少なくとも
「記憶場（field）に局所的な安定点が生まれた」

という証拠。

つまり、

乱数ではない
単なる描画でもない
以前の状態には戻らない

👉 アトラクタ形成の初期相

人間の脳でたとえると

この状態は、

・話は覚えている
・イメージも浮かぶ
・でも「いつの話？」と聞かれると黙る

そして思い出すたびに：

「ああ、これ前にも考えたな」

“アトラクタ前夜”状態

作ってる方も分からなくなる。

というか、アソシアトロンで一番大切なところ。
ここを省くと外輪おまかせ、外部命令、LLMに力を奪われ
内輪で回ることが出来なくなる。

----------------------------追記--------------------------------

そして問題の

戻り文章は？って思うでしょ。
今はそんなに重要視してない。
なんで？

だって、そんなのその辺の素人だってLLMに頼めば作れるもの。
アソシアトロンがやる仕事は記憶の想起。
アソが言語をLLM並みに作成するものではない。役割が違う。

普通のLLMチャット画面に
「Google、創業、1998年、ラリー・ペイジ、セルゲイ・ブリン、検索エンジン、データ、AI技術、未来」と入れて指示をする。アソシアトロンなら過去の記憶から「話題になった」が追記される可能性はある。

でもね、人間の脳って会話の中で「ラリー・ペイジ、セルゲイ・ブリン」なんて絶対覚えられないよ。せいぜい、「Google、検索」くらい。
繰返して「Google、検索、創業」の話だっけか・・？
1998年なんて会話から想起しない方が多い。
逆に「創業」というキーワードからLLM側がささやきおかみのように「1998年！」とかいう感じになる・・・
まぁいいや・・

このワードを使ってLLMに文章にしてください。　
過去の記事のようなら断定しても良いのですが、そうでなければ断定を緩めるように、固有名詞があった場合は質問形式にするなど工夫してください。と頼む。

チャッピーなら

Googleは、1998年に創業された企業として知られている。創業者はラリー・ペイジとセルゲイ・ブリンで、当初は大学の研究から生まれた検索エンジンが出発点だったと言われている。
この検索エンジンは、単に情報を並べるのではなく、データ同士の関係性を重視する発想に特徴があったのではないだろうか。リンク構造を手がかりに情報の価値を測るという考え方は、その後のインターネットの使われ方を大きく変えたとも考えられる。

やがてGoogleは、膨大なデータを扱う企業へと成長し、その延長線上でAI技術にも深く関わるようになった。これは検索精度を高めるための必然だったのか、それとも未来を見据えた選択だったのか。
現在のGoogleの姿を見ると、検索エンジンの会社という枠を超え、データとAI技術を軸にした存在へと変化しつつあるようにも映る。こうした流れは、これからの社会や技術の未来に、どのような影響を与えていくのだろうか。

ジェミちゃんは

1998年、ラリー・ペイジ氏とセルゲイ・ブリン氏という二人の青年によって、Googleは創業されました。

彼らが開発した革新的な検索エンジンは、膨大なデータを整理し、世界中の情報を誰もが利用できるように変えたといえるのではないでしょうか。現在、その技術の核は高度なAI技術へと進化を遂げていますが、果たしてGoogleはどのような未来を描こうとしているのでしょうか？

Googleの歩みは、まさに「情報のつながり」を「知能」へと昇華させてきた歴史といえます。ご指摘の通り、1998年の創業時から同社が掲げてきた「ページランク（PageRank）」というアルゴリズムは、単なる単語の出現頻度ではなく、リンク構造を通じた「情報の信頼性と関係性」を評価する画期的なものでした。

この「関係性を読み解く力」がAIへと進展していった背景には、必然性と戦略的選択の双方が絡み合っています。

検索エンジンからAIへと進んだ理由

精度の追求（必然性）：言葉の背後にある文脈や曖昧さを理解するには、従来の文字列一致だけでは限界がありました。ユーザーの意図を正確に汲み取るために、膨大なデータから法則を見出す機械学習（AI）の導入は、検索体験の維持に不可欠なステップでした。
未来のインフラ化（選択）： Googleは早くから「世界の情報を整理し、世界中の人がアクセスできて使えるようにする」というミッションを掲げ、検索窓を超えたあらゆる領域（地図、翻訳、自動運転など）にAIを適用する道を選びました。

社会と技術の未来への影響

Googleは、AIモードや生成AIの統合によって、人々の生活を変えようとしている。

検索から解決へ: AIは、最適な要約や回答を提示する。これにより、ユーザーは目的をすぐに達成できる。しかし、外部サイトへのアクセスが減少するなどの課題も生じている。
パーソナライズの加速: 個人の行動データとAIが結びつくことで、予測入力や最適なレコメンドが日常化し、思考や意思決定のプロセスがより効率化されていく。
社会基盤のAI化: 検索で培われたデータ解析技術は、医療や製造、防犯などの公共分野にも応用されている。これにより、労働力不足の解消や新たな経済価値を生み出す原動力になると期待されている。

Googleは、「AI」で世界の事象そのものを予測・最適化しようとしている。この変化は便利さを提供する一方で、情報の透明性や人間の思考プロセスへの影響といった新たな問いを投げかけている。

なげーーー自社宣伝か

Grokは？

Googleは、1998年にラリー・ペイジとセルゲイ・ブリンによって創業された企業として知られています。スタンフォード大学の大学院生だった二人が、革新的な検索エンジンのアイデアを基に立ち上げたこの会社は、当初はウェブ上の膨大なデータを効率的に整理・検索できる仕組みを目指していました。それが「PageRank」などの技術を生み出し、世界で最も使われる検索エンジンへと急速に成長した歴史は、多くの人が知るところです。現在では単なる検索にとどまらず、AI技術を積極的に取り入れ、機械学習や生成AIの分野で最先端を走る存在となっています。こうした進化を考えると、Googleがこれから描く未来は、単に情報を探すツールを超えて、私たちの生活や社会をさらに深く変えていく可能性を秘めているのではないでしょうか？あなたは、Googleの創業からAIまでのこの流れをどのように見ていますか？

ね？大変なことになるでしょ。。。。
なので、

戻り文章は、あ・と・ま・わ・し

登録: 投稿 (Atom)