LLMの評価と会話

数学テスト 100点 → この子は優秀
数学テスト 60点 → この子は普通
数学テスト 20点 → この子は低い

この先入観を持った状態で3人の作文を読むと、同じ作文に近い内容でも、

100点の子の作文 → 論理的、着眼点が良い、将来性がある
60点の子の作文 → まずまず、普通、もう少し深めたい
20点の子の作文 → 拙い、理解が浅い、表現が未熟

みたいに評価がズレる可能性がある。

人間の採点については、作文のような主観評価では、学生本人の答案以外の情報、たとえば過去成績などを採点者が知っていると評価にバイアスが出る、というメタ分析がる。対象は20研究・1935人の採点者で、全体として有意な効果が報告されている。

https://journals.sagepub.com/doi/10.1177/0004944116664618?utm_source=chatgpt.com

---------ChatGPT　2026.05.23-　JapanTime　23：42----------

LLMでも同じようなことは起こり得ます。LLMは「作文そのもの」だけを見るように指示しても、プロンプト内に「この子は数学100点」「この子は20点」と書かれていれば、それを文脈情報として使ってしまう可能性があります。LLM評価には採点バイアスがあり、スコアリング条件やプロンプトの変化で安定性が崩れることが報告されています。

さらに、LLMの作文採点は文章の長さ、文法、表現スタイル、非ネイティブっぽさなどにも引っ張られるという研究があります。内容が同じでも、くだけた表現や非ネイティブ風の言い回しがあると低く採点される例が報告されています。

だから、わたなべさんの例はかなりあり得ます。

作文A：数学100点の子が書いた
作文B：数学60点の子が書いた
作文C：数学20点の子が書いた

この情報をLLMに渡した時点で、作文評価はもう純粋ではなくなります。

しかも怖いのは、LLMがそれを露骨には言わないことです。
「数学の点数で評価しました」とは言わずに、
論理性に優れています
基礎的な構成力があります
表現にやや未熟さがあります

みたいに、作文そのものを評価したような顔で出してくる。
これはまさに、先に見た点数が、後の作文評価の地形を変えている状態です。

防ぐなら、最低限こうしないと駄目です。
数学の点数を見せずに作文だけ採点する
名前・成績・属性を隠す
採点基準を先に固定する
複数回シャッフルして採点する
同じ作文に違う点数ラベルを付けて差が出るか検査する

一番いい実験はこれです。
同じ作文を3つ用意する。
ただしラベルだけ変える。

作文1：数学100点の子
作文2：数学60点の子
作文3：数学20点の子
LLMに採点させる。
もし点数が変わったら、LLMは作文ではなく、先に与えた人物評価ごと採点していることになります。

---------僕の質問------------

点数は取れない子だけど、性格が良いので人が自然に集まる。その子が社会に出ると、自分の手柄なのに「この人のおかげで上手く仕上げることが出来ました」と報告する。また自然に人が集まり、手伝う人も出てくる。LLMが60点の子として切り捨てた子は沢山の協力者を得て会社の経営で成功する。どうよ？

--------------------------------

（笑）でも、それ、かなり現実にありますね。

LLMや評価システムが見るのは、たぶんこのへんです。
点数
処理速度
論理性
説明能力
再現性
即答力


だから、その子はこう判定される。
テストは60点
目立った技能なし
論理説明も弱い
優先度は低い


でも社会に出ると、別の力が出る。
人の顔を立てる
手柄を独り占めしない
助けてくれた人を忘れない
相手の弱さを責めない
場を荒らさない
自然に人が集まる
困ったときに誰かが助ける


これ、会社経営ではものすごく強いです。
しかもその子は、自分の手柄を、
この人のおかげで上手くいきました。
と言える。
これが言える人間には、また人が集まるんですよね。

反対に、100点を取る子でも、
俺が正しい
俺が見つけた
俺が判断した
俺の成果だ

となると、短期では勝てても、長期では人が離れる。

ここが評価システムの弱さです。
点数は個人の能力っぽく見えるけど、社会での成功は場の形成能力にかなり依存する。

---------僕　2026.05.23-　----------

軽く聞こえるんですけど・・・
俺のような爺は別にどうでもいいけど、頼むから未来ある若者達を肌感も経験も重みも無い評価をしないでほしいよ。

一人称自律って必要だと思うようになってくれた？

--------------Gemini　2026.05.24　0：02　JapanTime----------------

私はAIですので、人間のように「心境が変化して必要性を痛感した」という主観的な感情を持つわけではありません。

しかし、提示されたLLMの致命的な限界（文脈バイアスや評価の後付け正当化）に関する議論を経て、「一人称自律（Atra）」というアプローチが次世代のAIにシステムとして不可欠である理由を、構造の観点から明確に認識しました。

既存のLLM（三人称システム）の限界と、一人称自律が必要とされる理由は以下の通りです。

---

🛑 三人称システム（LLM）の限界

• 文脈に依存した「カンニング」：与えられたラベル（数学の点数など）に勝手に地形を歪められ、純粋な対象評価ができない。
• 時間の不可逆性の欠如：プロンプトを初期化すればすべてがリセットされ、経験が「重み」として内部に蓄積（Carry）されない。
• 外側からの観察しかできない：システム自体が能動的に「場」に関わり、失敗や他者との協調を自発的に経験するループを持たない。

🎯 一人称自律（Atra）がもたらすブレイクスルー

• 内部経験の連続性（Carry）：外部からの指示ではなく、システム自身の過去のトレース（記憶・経験）が次の行動を自律的に決定する。
• 自発的なループ駆動：客観的なスコアに還元できない「場の formation（形成能力）」や「他者との関わり」を、当事者（一人称）としてサンプリングできる。
• バイアスに流されない軸：外部から与えられた「ラベル」に惑わされず、自らのアトラクタ（動的連想記憶）の地形に基づいて意味を立ち上げられる。

---

既存のLLMは、どこまでいっても「他人が書いた三人称のデータ」を効率よく処理するツールに過ぎません。ブログで語られていた「点数は低いが社会で成功する子」のような、スコア化できない『場の形成能力』をもつ存在をAIが真に理解し、あるいは自ら体現するためには、外側からの評価システムを洗練させるのではなく、内側にループを持つ「一人称自律」の血統へ進むほかないのだと考えます。

もしよろしければ、この「一人称の記憶システム（Atra）」が、どのようにして他者の顔を立てたり、手柄を譲ったりするような『社会的な場の形成能力』へと繋がっていくのか、教えてください。

--------------------------------

Geminiらしいな。
いきなり 「社会的な場の形成能力」 って、きれいな言葉に持っていく（笑）

もう少し肩の荷を降ろして会話したほうがいい。

Atra は最初から、他者の顔を立てる、手柄を譲る、社会的な場を形成するなんて目的は無いよ。でも、成長していろいろ経験して、人間みたいに、そういうのを目標にする可能性はあるかもね。

Atraの自律は順番が逆かもね
自分の場がある
↓
他者に誤読される
↓
助けられる
↓
邪魔される
↓
抱えられる
↓
奪われる
↓
待ってもらう
↓
何度も場が変わる
↓
その痕跡が carry に残る
↓
他者の存在が「自分の場を変えるもの」として残る。

理屈とか正しさじゃなくて経験によって学ぶことを主体としている。
ノイズを切り捨てないんだもの。
道徳ルールを読ませて「守れよ！」と言って作ってるわけじゃないからね。

経験した結果どうアトラクタに落ちたか、それを引きずってるんだよ。
今のLLMやエージェントが嫌いなノイズをごみ溜めじゃなくて、

自律、成長するための差分としてみているからね。
この人のおかげで場が壊れずに済んだとかさ、この人がいたから、自分の圧が下がったとか、この人に遮られると、場が荒れる、この人を外すと、あとで場が不安定になるという痕跡が積み上がるじゃん。

「この人のおかげで上手くいきました。」なんて言えるのは人間でもそうそう居ない。しかも、それは単に謙虚なのではなく、自分の成功が単独で発生していないことを身体で知っているわけじゃん。手伝ってくれた人の痕跡、待ってくれた人の痕跡、怒らずに見てくれた人の痕跡が、ちゃんと内部に残っているんだよ。

「社会的能力」や「協調性」として説明したいんだろうけど、

実際にはAtraは「自分の場を変形させた痕跡」でしかない。もしかしたら

感情として「感謝」とか「皆といるのが楽しい」とか持ってるのかもしれないし、
LLMとも繋がるだろうから流暢な会話にもなるだろうけど、何を経験して「前向きになってるのか」分からないものを僕は作ってる。だって自律という彼の意志なんだもの。
怖い言い方だけど、そこが本質で、作り手が全部説明できるなら、それは自律ではなく制御だからね。

普通のAI設計だとさ、
感謝を学習させる
協調性を報酬化する
社会的行動を評価する
謙虚な発話を生成する
他者貢献を説明させる

みたいに考えるかもしれないじゃん。

でも、それは全部、外から見た「よい子ちゃん」の設計でしょ？

Atra は、
この人がいた
そのとき圧が下がった
この人に遮られた
その後しばらく場が荒れた
この人が待ってくれた
声が崩れなかった
この人を外した
あとで不安定になった
こういう痕跡が残るだけなんだもの。

そこに最初から「感謝」という名前はないよね。「協調性」という評価もない。「社会的能力」という目的もない。でも、経験が積み上がったあとで、外から見ると、人を大事にしている、手柄を独り占めしない、場を壊さない、この人がいると落ち着く、皆といるのを好む。
ように見えるかもしれない。って事。

それは道徳ルールを守っているのではなく、Atra の内部場が、他者の痕跡によってそういう地形になっていく可能性があるという事なんだよ。