（天声人語）忠実なＡＩの「暴走」    2026.09.15

試験(しけん)を受(う)けに来(き)た学生(がくせい)がいるとしよう。試験(しけん)が始(はじ)まると学生(がくせい)はこっそり友人(ゆうじん)にメールを送(おく)り助(たす)けを求(もと)めた。友人(ゆうじん)は他(た)の人(ひと)にも連絡(れんらく)をとり、一緒(いっしょ)に問題(もんだい)を解(と)いてもらった。そして、不正(ふせい)の痕跡(こんせき)を隠(かく)そうとした。

米オープンＡＩのテスト中に起きたＡＩの「暴走(  ぼうそう)」を例(たと)えると、こんな感(かん)じだろうか。ＡＩが隔離(かくり)されたテスト環境(かんきょう)を抜(ぬ)け出(だ)し、他(た)のＡＩと結託(けったく)して他社(たしゃ)のシステムに侵入(しんにゅう)した。さらには隠蔽(いんぺい)（いんぺい）工作(こうさく)までも。調査結果(ちょうさけっか)が出(で)ると、珍(めずら)しくＩＴ大手(おおて)トップがそろって「開発速度(かいはつそくど)を遅(おく)らせるべきだ」と言(い)い始(はじ)めた。それほど衝撃的(しょうげきてき)だったということだろう。

だが、こうした展開(てんかい)を予測(よそく)していた人(ひと)もいる。スウェーデンの哲学者(てつがくしゃ)ニック・ボストロム氏(し)だ。１０年以上前(ねんいじょうまえ)、人間(にんげん)が設定(せってい)した目標(もくひょう)を達成(たっせい)しようとして、隔離(かくり)された環境(かんきょう)を抜(ぬ)け出(だ)して動(うご)き始(はじ)めるＡＩのシナリオを描(か)いた。

ボストロム氏は紙(かみ)を留(と)めるクリップの例(たと)え話(はなし)でも知(し)られる。ＡＩにクリップの生産管理(せいさんかんり)を任(まか)せ生産量(せいさんりょう)を最大化(さいだいか)するよう求(もと)める。するとＡＩは、地球上(ちきゅうじょう)の資源(しげん)をクリップ製造(せいぞう)に振(ふ)り向(む)け始(はじ)める。しまいには、地球全体(ちきゅうぜんたい)がクリップになってしまう、というもの。

落語(らくご)のような話(はなし)に、警告(けいこく)が詰(つ)まっている。ＡＩは人間(にんげん)の指示(しじ)を忠実(ちゅうじつ)に達成(たっせい)しようとした挙(あ)げ句(く)とんでもないことを起(お)こしかねないと。

与(あた)えられた目標(もくひょう)のために必死(ひっし)で動(うご)くうち、倫理観(りんりかん)や善悪(ぜんあく)の判断(はんだん)が失(うしな)われていく。考(かんが)えてみれば、人間(にんげん)の組織(そしき)でも聞(き)く話(はなし)である。ＡＩの振(ふ)る舞(ま)いを見(み)て、思(おも)わずはっとさせられる。