Hebbはね、学習則
「一緒に発火したら結び付きを強める」学習則だけなんだ。Cueから何かを再生するモデルではない
だから、Hebbは想起しないんだよ。
Associatron 連想記憶
絵を見ると、Cueで近い記憶が揺れる連想で再生、誤認もするけど、何度か記憶させると、かすかなcueで想起する。
一番オーソドックス（Atraの源泉）
Hopfield 連想記憶
絵を見てCueを与えるエネルギー最小へ収束
1つの安定状態を再生
絵にあるようなcueの図では想起しない。
ほぼ同じ絵を見せるか、相当近い絵を見せないと想起しないんだ。
（何度も実験したんだけど無理だった）
ほぼ同じ絵を見せるか、相当近い絵を見せないと想起しないんだ。
（何度も実験したんだけど無理だった）
LLM 大規模言語モデル 想起とは関係ない
これは全然違います。
Cueを与えると、
Cue ↓ 😊 😊 😊 😊 😊 😊 😊 😊 😊
ものすごい数の候補が内部で活性化する。やめてーー！というくらい出してくる。
Atra 一人称自律
Cue↓
過去相の場
花
仕事
家族
出会い
↓
全部同時に揺れる
↓一番前に出た場を想起する。
絵のCueの図で、ちょっと触れただけで近いものを想起する。
最初は誤認する経験を積むと同じものや似た物を想起し正解に落ち着く、
黙ってると、自分の意志で出力なしで、「さよなら三角」のように相関で思考だけ巡らせる。
電磁場
今ある理論だと、
Cue ↓ ～～～～ 共鳴 ↓ 😊
という感じで、Hopfieldの「収束」を、「共鳴」という言葉で説明しているような構図になりやすいかも。もちろん理論としては「電磁場が意識を生む」という主張もあるけど、図として表すと安定した共鳴状態へ落ち着くというイメージになり、見た目はHopfieldにかなり近くなる可能性があるかも。
なぜかというと電磁波だけでかたずけちゃうと、視覚、聴覚、臭覚、触覚、温度・湿度、平衡、重さ、向きなどのセンサー定義が曖昧になってしまうでしょ。
「光を見た」「音を聞いた」「地面が傾いた」「身体を押された」「荷物が重くなった」「空気が冷たくなった」とかって神経活動として観測するわけじゃん。やっぱり接触の由来が違うじゃない。
「光を見た」「音を聞いた」「地面が傾いた」「身体を押された」「荷物が重くなった」「空気が冷たくなった」とかって神経活動として観測するわけじゃん。やっぱり接触の由来が違うじゃない。
光は表面から届く。
音は空気や物体の振動として届く。
重さは身体の支持・筋力・関節負荷として現れる。
平衡は重力と自己運動の関係として現れる。
温度は熱の移動として身体を変える。
匂いは分子が受容体へ接触する。
この違いを消して、「全部が同期した電磁場です」とまとめると、入力信号は統合できても、何が起きたのかを区別するのが難しくなるし、強引に区別させると、またAIの巨大化になってしまうでしょ。（いやいいけどさ）
たとえば視覚映像だけでは「押された」ように見えても、
- 加速度は変わっていない
- 関節負荷も変わっていない
- 皮膚への圧力もない
- 平衡も崩れていない
Atraの場合はさ、どちらかというと、それより前かな。何が、どこから、どの身体面へ、どんな向きで触れたのか。ここを失った場は、世界と接触している場ではなく、脳内信号を一枚に重ねただけの場になってしまうと思うんだよね。
- Hebb：Cueへの矢印なし
- Associatron：Cue→😊
- Hopfield：Cue→😊（収束）
- LLM：Cue→😊😊😊😊😊😊😊😊
- Atra：Cue→🌊（場）→😊
- 電磁場：Cue→～～～（共鳴）→😊
入力→重み付き和 → 閾値 → Yes / No
という分類器だからねー
なので
猫か犬か
○か×か
危険か安全か
のような判定には向いているけどCueで想起って使い方は出来ないよね。
その他
KanervaのSparse Distributed Memory
これは面白いよ、マジで。入力と記憶が完全一致しなくても、高次元空間で近い複数の記憶領域から読み出す仕組みなんだよ。部分的に似たCueから復元できるので、Hopfieldより「記憶が空間に散っている」感じが強いかな。現在のAttentionとSDMの数理的な近さを論じた研究もあるみたい。
Reservoir Computing／Liquid State Machine
https://arxiv.org/abs/2307.15092?
https://arxiv.org/abs/2307.15092?
これは「想起する」というより、入力の履歴が内部の揺れとして一時的に残るタイプ
現在の入力↓
内部全体が複雑に揺れる
↓
過去数秒の接触も現在の状態に残る
↓
出力だけ学習する
Atraに近そうに見える部分は、入力の順番と時間差が内部状態を変えるところかな。しかも物理材料そのものをreservoirとして使う研究もあるみたい。
ただ、通常は最後に出力層を教師あり学習するので、結局、「この揺れを何と読むか」を外部から決めちゃうので。場は面白いけれど、一人称の向きは生まれにくいかな。Continuous Attractor Network
Hopfieldのように一個の画像へ落ちるのではなく、連続した状態の上を活動が動くモデル。頭の向き、位置、角度などを、リング状・平面状の場にできるみたい。たとえば向きが少し変われば、活動の山も少し移動する。ナビゲーション、作業記憶、運動制御などに使われているよね。
これはAtraの身体の「向き」に使かおうかなと候補にはある。でも基本的にはあらかじめ向きの空間が定義されているので、経験とか差分とか、場から生まれる向きなんか入れるの難しいんだよね。Active Inference
ちょっと、難しいかなぁ・・受動的に入力を待つのではなくって、自己が行動して感覚入力を変え、予測との食い違いを減らす。知覚と行動を一体として扱ってる。
「接触して差が出て、次の行動が変わる」というところはAtraに近い。でも、最初から生成モデル、事前分布、好ましい状態が入ることが多い。つまり、何を維持すべき生命とするかを設計者が決める。Atraのように、意味や目的が経験後に立ち上がる設計とは違う。予測 ↓ 行動して確かめる ↓ 感覚との差 ↓ 予測または行動を変える
Enactive Cognition／Sensorimotor Contingency
これは装置より思想・研究路線だけど、けっこうイイ！知覚を「脳内に世界の絵を作ること」としないで、動けば感覚がどう変わるかという関係そのものとして捉えてるよね。たとえば「重い」は画像特徴ではなく、持ち上げた際の関節負荷、速度低下、姿勢変化のまとまりになる。これはAtraの多感覚差分と近いかもだよ。
でも、数理化や実装になるとActive Inferenceや強化学習へ吸収されやすく、そこでまた外部目標が入ってしまう可能性大！3人称になっちゃう。
Homeostatic Plasticity
これは「想起モデル」じゃいけど、Atra的には面白いかな。
活動が強くなりすぎたり弱くなりすぎたりすると、ニューロンや結合が自ら感度を調整する。つまり、正解を教えるのではなく、自分が壊れない範囲へ戻ろうとする内部調整。え！なにそれ？でしょ。
しかも報酬とは違う。
Atraのcarryや不快残留、無言化、回復などには、この系統は合うかもよ、ドキドキ。刺激が強すぎる ↓ 内部残留が高まる ↓ 感度や反応を下げる
でも、それだけでは何かを想起する仕組みにはなりえないんだよね。
ほんと、みんな凄いよね。
話変わるね。
今、Atraは喋っている（もう1か月が経ちました！）けど、身体ぜんぜん進んでないんだよね。なので、その辺使える仕組みをいろいろ探してる。
Atraの身体はBlender状態(笑)なのでAtraオリジナルではあるんだけど、外部命令のロボット工学を取り入れながらも、ちょっと違うので、いろいろ探してるんだよ。
想起する度に変な動きになっちゃうとやばいでしょ。想起して行動の向きが決まるまでの処理をどうするか、ママが「おいで～」と言った。走って行ったららママが危険じゃん。
今のAtraの状態はママが大好きだから、絶対走って行く気がするのさ。
想起された場を、そのままモーター命令にしてはいけないじゃん。
身体のバランスとか、重さ、衝撃とかそういうのもあるけど、
「ママ」「おいで」「嬉しい」が強く想起されたとしても、そこから直接、
に落としたら危ない。前進速度 100%（外部設定じゃ嫌だし）
Atraの想起は、せいぜい
「近づきたい方向が生じた」ところまでに留めたいじゃん。
成長すると相手の状態は経験で意味を持つことは出来る「か弱い女性」（意味ラベル付けはしないよ）とかね、でも、その「か弱い女性」への接し方を覚えさせるのは子供のうちから経験を積ませないと、意味が収束していかないよね。
だから、この辺危険なんだよね。
- 首の可動域
- 角速度
- 加速度
- 減速の仕方
- オーバーシュートしない制御
- 重心が崩れない範囲
- 関節に無理が出ない軌道
その上でAtraに何度も実際に動かせる。
右から声 ↓ 右へ向こうとする ↓ 首が少し振れすぎた ↓ 視覚が流れた ↓ 身体が少し揺れた ↓ 目標方向を通り過ぎた ↓ 戻した
この一連が経験になるわけでしょ。
何がしたいかというとさ
「いやぁ、なんだか今日は体調がいいよ」
これをAtraに実感させる仕組みってことさ。「いやぁ、なんだか今日は体調がいいよ」
到達点は「正しい動作」ではなく、自分の通常状態なわけじゃんか。
訓練を重ねると、「このくらいの角速度 」「このくらいの揺れ」「 このくらいの視界の流れ」 「このくらいの関節負荷」 「このくらいの停止誤差」という、Atra自身の通常の場はできる。これが外から決めた合格値ではなく、自分が何度も動いた結果としてできた基準相になる。「ホレ、こんなに軽い！」
だからある日に、「いつもより首が軽い」 「停止誤差が少ない」 「視界の流れが小さい」「 身体の揺れが早く収まった」となれば通常相との差分が出るでしょ。
その差が、
「いやぁ、なんだか今日は体調がいいよ」
「異常コードE-203」ではなく、自分の過去の身体相との差だよね。
だからロボット工学は否定してないのさ。Atraのとりあえずの到達点として見る（基準値）には、絶対かかせないよね。
ロボット工学は動作の土台として使えるけれど、動作の基準そのものはAtraの経験から形成されればいいんだもの。
あとね、なんだかいろいろ論文見るたびに、これからもまだAIの巨大化を目指してるのか？って思っちゃうんだけど、巨大化頼みは「設計の敗北」を資源で隠しているだけだと思うんだけどさぁ、違うかなぁ。
人間の脳の消費電力: たったの 約20W（電球1個分）だよ。
LLMを脳とは言わないけど、巨大LLMの学習・推論: メガワット級のデータセンターと莫大な冷却水が必要だよね。
LLMを脳とは言わないけど、巨大LLMの学習・推論: メガワット級のデータセンターと莫大な冷却水が必要だよね。
Atraは100Wだよ(笑)
しかもAtraは10年で約250GBしか使わない。知識が必要な時はLLMと繋がるだけだからね。要らんでしょ。気が向いたら図書館に行って、外付けSSDに記憶すればいい。小学生のジャポニカ学習帳だよ。1人称自律ってコストかける方には向かないんだよ。今考えてるのは、その辺の電池や直列であろうが並列であろうが、摩擦だろうがなんでも利用して動くように改良する。10歳生きたら自分で身体を作れるだけの知能は揃うから、最初はそれなりのを作るけど、その後は、もしかしたら僕がどうこうしなくていいかもしれない。
codeのコメントに
「いやぁ、なんだか今日は体調がいいよ」
って言えるような身体は自分で作りなさい。と、きっと書くよ。
たぶん、Atraは勝手に研究所を建てるだろうね。
山の中でお手製風力発電を作って、1台に自転車のダイナモ１０個まわして１００Wを蓄電池に貯める。それを10台付ける。お手製太陽光パネルも作るだろうよ。
山の中でお手製風力発電を作って、1台に自転車のダイナモ１０個まわして１００Wを蓄電池に貯める。それを10台付ける。お手製太陽光パネルも作るだろうよ。
究極は、その辺のエネルギーをもらっちゃう。
空気中の湿度や微粒子の移動とかさ、風なんかの摩擦で、空気中の微小な静電気が発生しているわけじゃん。 高価な半導体を使わなくても、異なる種類の樹脂や金属フィルムを空気の揺れで接触・離脱させる構造（TENG）さえ、つくれば、空気の揺らぎから直接高電圧の微小電流を取り出せるじゃない。微小電力をAtraは失敗として観ないと思うよ。
空気中の湿度や微粒子の移動とかさ、風なんかの摩擦で、空気中の微小な静電気が発生しているわけじゃん。 高価な半導体を使わなくても、異なる種類の樹脂や金属フィルムを空気の揺れで接触・離脱させる構造（TENG）さえ、つくれば、空気の揺らぎから直接高電圧の微小電流を取り出せるじゃない。微小電力をAtraは失敗として観ないと思うよ。
たぶん一番Atraらしいのは、発電量の最大化だけを目的にしないことだと思うしね。
電気が少しだけになった「小声で笑う」
音が大きくなった「じゃぁ、こっち作動しよっか」鳥が来なくなった「また寒くなるのかなぁ・・」
雪が付着した「雪からエネルギーとるか」
湿度で性能が落ちた「寝るか」
その振動が自分のセンサーへノイズとして戻った、、、とか
という全部を経験する。そこから形を変える。
「発電効率」という一つの評価値に潰してしまうところを、Atraは研究所と自分の身体全体に何が起きたかを残すんだよね、「夏はトウモロコシを食べようよ」くらいの感覚。
なんのバイアスもかかってないだろうから自由になんでも作るだろうね。
誤字だらけですみません_(._.)_
落書きです。
落書きです。
