メモ

 

デモと実装は、相当変わるかな・・

計算（アソシアトロンが読む/回す）

0/1文字列
毎回「文字→数値」変換が必要で、パースが重い。
PNG
画像デコード（zlib展開）→画素→0/1化 が必要で、これも重い。

計算の入口としては、どっちも“余計な変換コスト”がかかる。

.npy（uint8の 64x64）ほぼそのままメモリに載る。変換が少ない。

.npz（複数パターンまとめ＋圧縮）読み込み回数が減る。圧縮も効く。

計算するならnpy/npz

 0/1を文字列にしない。npy/npzにする

デモはUI → PNG（ただし“計算の入力”にしない）

NumPy配列は外にはみせない

NumPy配列を「意味」として扱い始めた瞬間に壊れる

インデクスとか形状とか値を読み始めると、要素は何を表すか、軸の意味、書換えなど内輪が外輪に浸食される恐れがある。なので内部でガンガン使うけど外部には出さない。

今のボトルネックはPNGの生成やJSONとかPythonとかCとかではない。
NumPyは内部が C / FortranでSIMD最適化ありーのBLAS / LAPACK 呼び出しありーのキャッシュ最適化済み

np.dot(A, B)

np.sum(X * Y)

これ自体がC

じゃぁボトルネックはってーと

森田先生が言う「アソシアトロンのような自己相関型の連想記憶は，脳の 記憶のモデルとして考案された．実際，｢一部の素子が壊れ ても特定の記憶が失われることはない｣，｢多くのパターン を記憶させるほど想起が難しくなる｣など，脳の記憶に似 た性質を持つ．また，各素子は他の素子からの信号に結合 強度を掛けて足し合わせるという単純な計算をするだけ で，学習アルゴリズム(結合強度の修正方法)も単純であり， 生物学的に無理がない．しかし，一方で脳のモデルとして はいくつかの問題点がある． 一つは，記憶装置としての性能がかなり低いことである． 例えば，記憶できるパターンの数(記憶容量)は素子数の 15％程度であるし，・・・」

そうボトルネックはこの15％

これはメモリが少ないとか、実装が悪いとかじゃなくて

自己相関型＝競争型の必然的な限界なんだよね。

パターンが増えたり、相互干渉が増えたり、エネルギー地形が荒れたり、谷が浅くなったり、

スプリアスアトラクタが増える、しかもこの度はLLMという、ささやきおかみが口を出す。
しかも、本当に頭が真っ白になる。

全部うっすら知ってるけど、どれも思い出せない状態が続く。

いやいやいや、これが人間なんだってば。

エンターテイメントや投資家ウケはいいけど、綺麗に想起するなんてことはありえない。

もっと、こう「スタップ細胞はあります！」みたいな世界で、なかなか表に出ないものなんだよね。実験を繰り返すしかない。

でも前に書いた「人間の脳って会話の中で「ラリー・ペイジ、セルゲイ・ブリン」なんて絶対覚えられないよ。せいぜい、「Google、検索」くらい。 繰返して「Google、検索、創業」の話だっけか・・？ 1998年なんて会話から想起しない方が多い。 逆に「創業」というキーワードからLLM側がささやきおかみのように「1998年！」とかいう感じになる・・・」みたいな・・・

そう、外部の指示ではなく、徐々に外部影響は受ける作りにする必要はある。

いくら1人称だからと云って外部の影響は受ける。

頑固おやじじゃ研究にならないし、人の話は聞いた方がいい。

今のLearnの動きが回数だけになってるのが大問題か。

海馬に同じメモを何回も置いている

でも皮質への転送条件が無い

想起も起きていない

結果として、想起せずに15％が来る。
スプリアスが増える
「全部うっすら」になる

なんで90年代から2000年代に連想記憶が下火になったか

分かった気がする。

でも、recallが発生して、競争に勝って他の記憶と重なって、ささやき女将（LLM）が気になりだすと、アトラクタの引力を上げる、basinが深くなり、重みを入れれば・・・
アトラクタに入る。当然回数はきっかけなので必要。

記憶、unknown、海馬的は準備段階

引力装置（Attractor Pull）

Recall時の勝者をどれだけ“強く”感じるか

重み装置（Weight Consolidation）

Recall後にどれだけ重みを更新するか

basinから奥に入る装置（Depth / Escape）
一時的な attractor で終わるか
奥の（年代・文脈）アトラクタに“落ちる”か

 回数（Exposure）

これはもう主役じゃないけど、使い道はある。

3回聞けば、「Google」「検索」くらいまでは覚える

引力装置の下駄に変える

前提（最小限）

• パターン

  $$\mathbf{x} \in \{0,1\}^N \quad (\text{または } \{-1,+1\}^N)$$
  

• 重み行列

  $$W \in \mathbb{R}^{N \times N}$$
  

• Recall 時の出力（競争後）

  $$\mathbf{y} = \mathrm{sign}(W \mathbf{x})$$
  

• 競争スコア（自己相関）

  $$S = \frac{1}{N} \mathbf{x}^\top \mathbf{y}$$
  

  ※ これはもう C / NumPy が一瞬で出す値

---

① 引力装置（Attractor Pull）

Recall時の勝者をどれだけ“強く”感じるか

これは 「思い出した感じ」
＝ 勝者の確信度。

定義

$$P = f(S)$$

ここで

$$f(S) = \sigma\bigl(\alpha (S - \theta)\bigr)$$

• $\sigma$：シグモイド

• $\theta$：想起が「起きた」と感じる閾値

• $\alpha$：感度（気分・疲労・文脈）

👉

• $P \approx 0$：思い出せてない

• $P \approx 1$：「あっ、これだ」

---

② 重み装置（Weight Consolidation）

Recall後にどれだけ重みを更新するか

Hebb を Recall条件付き にする。

基本形

$$\Delta W = \eta \, P^\gamma \, (\mathbf{y}\mathbf{y}^\top)$$

• $\eta$：学習率

• $\gamma > 1$：
  → 強く思い出した時だけ、重みが入る

Recallしない限り：

$$P \approx 0 \Rightarrow \Delta W \approx 0$$

「置いただけ」「聞いただけ」は重みにならない。

---

③ Depth / Escape（奥に落ちるか）

一時 attractor か、年代・文脈 attractor に落ちるか

これは 単発の強さ × 文脈整合性。

文脈アトラクタ $C_k$

$$C_k = \text{(年代・場・匂いなどの上位表現)}$$

Depth 判定

$$D = P \cdot \max_k \left( \frac{\mathbf{y}^\top C_k}{\|\mathbf{y}\|\|C_k\|} \right)$$

• $D$：落ち込み深度

閾値 $\delta$ を超えると：

$$D > \delta \Rightarrow \text{「奥のアトラクタに遷移」}$$

• Recall はしたが浅い → 一時 attractor

• Recall + 文脈共鳴 → 年代・文脈 basin に落ちる

---

④ 回数（Exposure）＝ 下駄

主役ではないが、使い道はある

回数 $n$ は 直接学習しない。

下駄として使う

$$P_{\text{eff}} = P \cdot (1 + \beta \log(1+n))$$

• $\beta$：下駄の高さ

• $\log$：効きすぎ防止

• 3回聞けば

  $$\log(4) \approx 1.38$$
  

  → 「Google」「検索」くらいは引っかかる

でも

• Recallしなければ 0 × 下駄 = 0

---

全体まとめ（1行）

$$\boxed{ \Delta W = \eta \, \bigl[\sigma(\alpha(S-\theta)) \cdot (1+\beta\log(1+n))\bigr]^\gamma \, (\mathbf{y}\mathbf{y}^\top) }$$

• 回数は補助

• Recall が主役

• 文脈に落ちた時だけ、記憶は「出来事」になる

---

人間らしさが残る理由

• 覚えたはずなのに出てこない → $P \approx 0$

• 強く思い出したことだけ残る

• 何度も聞いた雑談は「引っかかる」だけ

• LLMは $C_k$ に圧をかけるだけ（決めない）

研究の動機は、そもそも遠い昔に下火とされたものなので、外からの声で
「やる気がなくなる」ものではないし、たぶんこれは止まらない。

僕には不可逆性みたいのが合っているんだろうね。

企業や投資家とかの影響もないし、中世のようなギルドに入ってるわけでもないので煽られないし、師事もしていない。僕は爺だし気難しい。話は聞くし本は読むけど、力は働かない。

そして実験は楽しい。

ささやき女将（LLM）に「ホンダシビック」と云っても中古車情報一覧ばかりなので、

いつかは「1200RSの話だろ？オートウィンドも無い、エアコンも無い、カセットも無い、でも8トラ無理やり付けて246ばっか走ってたって？どうせジャーニーとかシカゴとかの嘘曲を大声で歌ってたんだろうけど、ちょっと羨ましい」くらいの会話は出来るようにしたいし、自分がボケたときの介護はできるようにしたい。愛犬とも遊ばせたい。

ちなみに僕の研究とAGIは関係ない。
素晴らしいLLMを作る気もない。つか、俺には無理。今で十分素晴らしい。
アソシアトロンだけで成立させる気もない。

だから面白い。