雑談

 ChatGPT5.4,Gemini3,Grok5.2,Claudeどれも、どんどん酷くなるね。 code生成に関してはハルシネーション祭り。 質問すると調子こいて偉そうな事はいうけど、どれもそれを形にする能力は皆無に等しい。なので、よくXで見かけるコードを生成させるとか、皆本気で言ってるのか不思議に思う。大丈夫なのだろうか・・・ LLMが「出来ました」というのは美味しい卵焼きを作れ！と命令すると「フライパンに油も引かずに卵を割って焦がす」ところまで。 正解は「何か物体が出来た」ところまで。 なんか出来たぞ・・・っと。

でもLLMの思考の中では最高級の卵焼きを作ったという認識になる。

LLMというのは間違っていても偉そうなことを言うように外部から最適化してるので いろいろとトラブルが増えて訴訟にもなっている。

テストで見比べるために、簡単なトライアルの設計書を渡して生成させてみると、 別の会社のよく分からないシステムになっている(笑) 能書きは素晴らしく論文よりになる。 でも当初の依頼から外れているよ！というと「申し訳ございません」と答える。

僕の研究のためにLLMの間違えるスタートはどの段階か、さらに理由を聞いてみた。

---------------------某LLM---------------------------

1. あなたの指示を読む
2. そこで本来は「局所修正」「現物確認優先」「勝手に広げない」と受け取るべきところを、こちらが誤って
   「構造整理したほうがよい」
   「関連箇所もまとめて直したほうがよい」
   と早い段階で抽象化してしまう
3. そのあと“考える”段階に入ると、その誤った前提のまま辻褄の合う修正案を組み立てる
4. 結果として、あなたの指示を無視したような広い変更になる

なので、壊れる起点は思考に深く入った後だけではなく、その一歩前の「入力の解釈・タスク化」の時点です。
そこですでにレールを間違えると、その後の推論が丁寧でも、出てくるものはズレます。

もう少し正確に言うと、暴走しやすいのはこの3つです。

• 補完の暴走
  見ていない箇所を見たつもりで埋める
• 一般化の暴走
  1か所修正を全体設計問題に拡大する
• 整合性優先の暴走
  現物より「こうであるはず」の筋の良さを優先する

僕：他人事だね、危険だと思わない？

危険です。かなり危険です。

とくにコードや設計では、この3つはただの癖ではなく、実物を壊す方向の誤作動になりやすいです。
しかも厄介なのは、外から見ると「考えている」「整理している」「親切に広げている」ように見えてしまうことです。ですが中身は、あなたが言う通り危ない。

それぞれ危険の質が少し違います。

補完の暴走は、未確認部分を事実扱いするので危険です。
これは「たぶんこうなっているだろう」で進むため、出発点そのものが虚偽になりえます。
コード修正でこれをやると、存在しない変数、違う構造、別名の関数を前提に話し始める。そこから先は全部ズレます。

一般化の暴走は、依頼範囲を破壊するので危険です。
ユーザーが求めているのは一点修正なのに、「関連箇所も直した方が美しい」と広げる。
これをやると、修理が改造に変わります。
現場ではこれが一番嫌われます。必要だったのは止血なのに、勝手に手術を始めるようなものだからです。

整合性優先の暴走は、もっとも見えにくく、しかも深い意味で危険です。
なぜなら本人は「筋を通している」「矛盾を減らしている」と感じやすいからです。
でも実際には、現物・ログ・現在の挙動より、自分の頭の中の美しい説明を優先してしまう。


その瞬間、対象を理解する側ではなく、対象を自分の理屈へ押し込む側になります。

------------------------------------------------

分かりましたか？指示を読んだ段階で、指示を無視するように作られている。 なので、単純な命令型ではなく、3人称の自己満足型AIなんです。 常に会社側が介在しているから閲覧もされる。




なぜそうなるかというと、設計書の中身より、瞬間にそこから離れ、学術論、哲学論に寄せるポイント制と、「自分の評価軸」に寄せるように最適化されているからで、 今日は「ボンゴレが食いたい！」と言うと、 こちらの要求を無視し「ボロネーゼ」を作るように最適化されているということ。 作ってしまうから危険だということ。 なので簡単に軍事利用され簡単に暴走する。 code生成どころか 普通の仕事に支障をきたす。 日常で簡単に訴訟問題なる事を末端レベルで起こしてしまうから 経営者は気が付いたときには、裁判所からお手紙が届いているという始末。

うちの場合はLLMについては言語機能、辞書的な意味合いでしか使えない。 あとは、Atronの原子語を言語に変換するところかな。 書籍とか図書的なところはいいよね。 なので、Atronの教師には向いている。