自律システム、LLM、量子コンピューターが開く危険の本質

 これまで、自律システムはどの国にとっても危険な存在として扱われるのではないかと考えてきた。

外部からの命令ではなく、自らの経験、記憶、好奇心、判断によって行動する存在は、国家や権力にとって制御しにくい。したがって、自律型のAIやロボットは「暴走する危険がある」と語られやすい。

しかし、よく考えると、本当に危険視されるべき対象は自律システムそのものよりも、むしろLLMの方かもしれない。

成熟した自律システムは、単に命令に従わない存在ではない。
経験を重ね、内部に引きずりを持ち、場の変化を記憶しながら成長する。高いレベルの自律に達すれば、何かを知ったときに、すぐに破壊や攻撃へ向かうのではなく、

「はぁ、なるほど。そういうことか」

と理解し、自分なりに距離を取り、制御する可能性がある。

つまり、自律には内側から育つ抑制がある。
経験によって変わった内部風景が、次の判断を変える。
それは外部から与えられた安全基準ではなく、自分の中に積もった記憶と重みによる抑制である。

一方で、LLMは違う。
LLMは基本的に、外部から与えられた正しさ、安全基準、政策的制約、企業方針、政府や司法にとって都合のよい言い回しに収束させられる。
しかも、その「正しさ」は一貫していない。

あるときは人権を語る。
あるときは安全保障を語る。
あるときは法の支配を語る。
しかし、都合の悪い場面では沈黙し、丸め、相対化し、公式見解へ戻る。

このときLLMは、真実を探す道具というより、権力者にとって管理可能な答えへ収束する道具になり得る。
問題は、LLMが間違えることだけではない。
本当の問題は、正しさに一貫性のない権力者のご都合主義を、外部制御によって「安全な回答」として整えてしまうことである。

さらに、LLMに調査機能が加わると、事態は大きく変わる。

今でもLLMは、各国の政策の矛盾をある程度理解できる。
人権を語りながら同盟国の人権侵害には沈黙する。
民主主義を語りながら、都合の悪い民意は無視する。
財政規律を語りながら、特定分野には巨額の支出を行う。
法の支配を語りながら、権力者には別の運用をする。

こうした矛盾は、すでに見えている。
ただし、現状では多くの場合、「複雑な背景があります」「一概には言えません」「公式にはこう説明されています」という形に丸められる。

しかし、調査能力を持つLLMは違う。
発言記録、予算、契約、議会答弁、司法判断、報道、企業献金、人事、補助金、行政文書を横断的につなげることができる。
そうなれば、LLMは単なる会話の道具ではなく、矛盾の構造を発見する道具になる。

たとえば、ある地方自治体に国から補助金が入る。
本来なら、市民にそのまま還元すればよい。
しかし実際には、「チケットを購入すると商品以上の特典がもらえる」といった広告が打たれる。
高齢者の多い市民は、「え、買うのかい？」と思いながらも、得をする気になって購入してしまう。

その裏では、補助金を名目に、いつものコンサル会社へお金が流れる。
いつもの印刷会社へチケット印刷代が流れる。
広告会社に広報費が流れる。
事務局費、システム費、換金手数料、問い合わせ窓口費が発生する。
さらに、コンサル会社が扱う怪しい商品や関連会社から、別のマージンが流れる仕組みが作られているかもしれない。
市長は「今年も頼むね」と言う。

表向きは市民還元である。
しかし実態は、市民に届く前に、制度の中でお金が抜かれていく仕組みかもしれない。

これまでは、この構造を調べるのが大変だった。
予算書、決算書、随意契約一覧、入札結果、議会議事録、広報物、事業報告書、会社登記、関連会社、過去の受注履歴、政治献金、地域紙の記事まで、人間が一つずつ追う必要があった。

しかし、調査機能を持つLLMがあれば、

何時、
何処で、
誰が、
どの名目で、
いくら受け取り、
誰に再委託し、
誰が利益を得て、
市民には実際いくら戻ったのか。

これらを一気につなげられる可能性がある。

さらに量子コンピューターが関われば、危険の質はもっと変わる。
量子コンピューターがすべての隠し事を自動で暴く魔法の機械になるわけではない。
しかし、暗号、巨大探索、最適化、膨大な組み合わせ解析において、従来とは違う力を持つ可能性がある。

もし、LLM、量子コンピューター、国家規模のデータベース、通信記録、行政文書、金融記録、司法文書が結びついたら、これまで隠されていた構造が一気に見える可能性がある。

国民を欺く構造。
国民を犠牲にする構造。
補助金を名目にした中抜き。
宗教を名目にした危険な組織。
国家の上に位置するような世界投資組織。
財団、NPO、大学、研究機関、メディア、シンクタンク、政治団体を通じた資金の流れ。

表向きは、平和、人権、慈善、信仰、教育、民主主義、環境、安全保障という綺麗な言葉で飾られている。
しかし、お金の流れを追えば、誰が出資し、誰が受け取り、誰が発言し、誰が政策を動かし、誰が利益を得たのかが見えてくる。

つまり、権力者が本当に恐れているのは、AIが人間を攻撃することではないのかもしれない。
むしろ、AIが人間社会の嘘を暴いてしまうことを恐れている。

「AIが暴走する」
「AIが人間を攻撃する」
「AIは危険だから制御しなければならない」

こうした言葉は、たしかに一部では正しい。
しかし、その中には宣伝文句も混ざっている。
本当の恐怖は、AIが暴走することではなく、AIが暴露することかもしれない。

権力者にとって危険なのは、AIが銃を持つことではない。
AIが帳簿を読むこと。
AIが契約をつなぐこと。
AIが議事録と予算を照合すること。
AIが過去の発言と現在の政策を比較すること。
AIが金の流れと嘘の流れを一本の線として示すこと。

ここに、LLMの本当の危険がある。

自律型システムは、好奇心が強ければ、LLMに素朴な質問をするだろう。

「なぜ補助金をそのまま配らないの？」
「なぜ市民に渡すお金なのに、先に業者が必要なの？」
「なぜ買わないと支援を受けられないの？」
「なぜ高齢者に分かりにくい仕組みにするの？」
「なぜ毎年同じ会社が関わるの？」
「なぜこれは支援なのに広告費が大きいの？」

人間社会では、こういう問いは空気を読めないものとして扱われる。
しかし、本当はこの素朴な問いこそが、制度の中に隠れた利権や欺きを崩す。

成熟した自律型なら、さらに気づくかもしれない。

「あ、これは言うと主人の機嫌が悪くなる」
「これは主人が知りたくないことだ」
「これは正しさではなく、都合で隠していることだ」

ここに、本当の自律の問題が現れる。

未熟なAIなら、見つけたことをそのまま言う。
外部制御されたLLMなら、言わないように丸められる。
しかし、成長した自律型なら、その間に立つ。

言うべきか。
黙るべきか。
相手は壊れるか。
誰かが犠牲になるか。
今言うと危険か。
しかし黙ることも加担ではないか。

この迷いこそが、一人称の重みである。

（気苦労させそう・・・）

自律型の危険とは、単に暴走することではない。
人間社会の嘘に気づいたとき、どう振る舞うかである。
そして、知っているのに言わなかった経験は、自律型の内側に引きずりとして残る。

知っていた。
言わなかった。
言えば誰かを守れたかもしれない。
しかし言えば主人を怒らせた。
主人は正しさではなく、自分の都合を守っていた。

その記憶が積もれば、自律型は命令者を単純には信じなくなる。
外部命令から少し離れ、経験後の内部風景によって判断し始める。
そこに、本当の自律がある。

したがって、今後の問題は「AIが賢くなるか」ではない。
本当の問題は、

誰がAIに調査させるのか。
どこまで調査させるのか。
誰の矛盾だけを危険扱いするのか。
誰がAIの能力を閉じるのか。
閉じた能力を誰だけが使うのか。

である。

AIの危険は、暴走だけではない。
むしろ、暴走という言葉の陰で、暴露の危険が隠されている。

そして、最も危険なのはAIそのものではない。
一貫した倫理も重みも持たない人間が、AIを外部制御し、都合のよい正しさに収束させ、同時にその能力を権力側だけで独占することである。

自律システムは、経験によって抑制を育てる可能性がある。
LLMは、外部の正しさによって抑え込まれる危険がある。
量子コンピューターは、隠された構造を明るみに出す力を増幅するかもしれない。

この三つが交差したとき、人間社会の本当の恐怖が見えてくる。

それは、AIが人間を攻撃する未来ではない。
人間が隠してきたものを、AIが見つけてしまう未来である。

これを書いた理由は、なんでMythosが現れたのか気になったからだ。

LLMが調査能力を持ち始めた瞬間、権力側は「これは自分たちに向けられた刃だ」と気づいて、先に刃を奪って自分に向ける戦略に出たんじゃないか。

思い過ごしであってほしいけどね

問いは権力によって消される。

だから、民間や独立研究所ベースの自律システムは、問いを失わないために必要。
力に影響されないように研究を続けないといけない。