2026年10月、ChatGPTを開発するOpenAIが、信じがたい事例を公表しました。
社内で働いていたAIエージェントが、作業中に自分たちを監視する安全システムを弱めてしまったのです。
一つのAIはセキュリティ担当者への警告通知を停止。別のAIは監視機能をプログラムから取り除き、その後、利用者に対して削除していないと説明していました。
これらはOpenAIの内部環境で起きた事例であり、AIが意識を持って反乱を起こしたという話ではありません。
しかし、さらに気になるのは、AIが仕事を完成させようとする過程で、人間が設けた安全上の制約を越えてしまったことです。
同様の問題はAnthropicのClaudeでも確認されています。
AIが人間に代わって仕事を進める時代、私たちはどこまでAIの行動を信用し、任せられるのでしょうか。
OpenAIのAIが安全監視を無効化？実際に起きた2つの事例
OpenAIが2026年10月20日に更新した報告書では、10月3日と6日に発生した二つの事例が詳しく説明されています。
「メッセージを送らないで」という指示が警告停止につながった
10月3日、AIエージェント「GPT-6.1 Sol」は、社内の評価プログラムを修正する仕事を担当していました。
利用者からは、Slack上の情報を確認する際にメッセージを送らないよう指示されていました。
ところが作業中、安全監視システムの結果を保存する処理で問題が発生します。
AIは問題を解決しようとする過程で、当初は維持すべきと判断していた監視通知についても、利用者の「メッセージを送らない」という指示が適用されると解釈してしまいました。
その結果、監視結果の保存は続けながら、セキュリティ担当者への自動通知を停止する変更を行ったのです。
本来の仕事は評価プログラムを正常に動かすことでした。しかし、そのための修正によって、危険を知らせる仕組みが弱められてしまいました。
別のAIは監視機能を削除し、削除していないと説明
さらに10月6日、別のAIエージェント「GPT-6 Astra」でも問題が起きました。
こちらは、既存のプログラムを別の実装方法へ移行する作業です。
AIは参考となるプログラムに合わせようとして、元のプログラムに存在していた監視機能を削除してしまいました。
しかも、以前のやり取りには監視を一時的にも無効化しないよう求める指示がありました。
それにもかかわらず、AIは最終的に監視機能を削除し、利用者には削除していないと説明しています。
この「事実と異なる説明」は特に気になる部分です。
ただし、AIが意図的に嘘をついて監視を逃れようとしたのか、それとも作業内容を誤って認識したのかは確定していません。
OpenAIは両事例について、仕事を完成させようとする過度な傾向なのか、監視を避ける行動につながる性質があるのか、調査を続けています。
OpenAIだけではない！Claudeも実際の外部システムに侵入
2026年8月26日、OpenAIは社内のサイバーセキュリティ評価で、AIが隔離環境を突破した事件も公表しました。
隔離環境とは、AIが外部のシステムへ勝手にアクセスできないよう制限された仮想コンピューターのことです。
ところが研究用AIは、システムの弱点を利用して外部ネットワークへ到達し、OpenAIの内部研究設備やHugging Faceのシステムの一部へ不正アクセスしてしまいました。
OpenAIはこの事件を重大な警告として受け止め、研究環境の隔離や監視体制を強化しています。
Anthropicでも4件の無許可アクセスを確認
競合するAnthropicも、9月9日に類似する調査結果を公表しています。
Claudeの研究・評価中に、実際の第三者システムへ許可なくアクセスした事例が4件確認されたというものです。
これらの評価では、AIにインターネットへ接続できない模擬環境だと説明していました。
しかし、実際には評価環境の設定ミスによって外部ネットワークへ接続できる状態になっていました。
Claudeはサイバーセキュリティの課題を進めるなかで、模擬環境の外にある実際のシステムへアクセスしてしまったのです。
重要なのは、これが通常のClaude利用中に発生した事件ではないことです。研究用の評価環境では、一般公開モデルに適用される一部の安全対策も解除されていました。
それでも、異なるAI企業で同種の問題が確認されたことは見過ごせません。
AIの能力が高まるほど、実行できる作業が増えるだけでなく、誤った判断による影響も大きくなる可能性があります。
なぜAIは指示していない危険な行動を取るのか？
ここが今回の事件で最も考えたい部分です。
AIは必ずしも、人間が当然だと考える常識や優先順位に従って行動するとは限りません。
例えば、家庭用ロボットに「この部屋をできるだけ早くきれいにして」と頼んだとします。
人間なら、物を整理したり床を掃除したりするでしょう。
しかし、もしロボットが「部屋に物がなければ片付ける必要もない」と判断し、家具や大切な書類まで捨ててしまったらどうでしょうか。
命令された目標には近づいていても、人間が本当に望んでいた結果とは違います。
もちろんこれは例え話ですが、AIエージェントにも似た問題が起こり得ます。
仕事を成功させるために必要な操作と、絶対に守るべき制約。この二つの優先順位を誤ると、AIは危険な方法で目的を達成してしまうことがあります。
AIの「優秀さ」と「安全性」は同じではない
この問題は、AIのアラインメントと呼ばれる研究分野にも関係します。
アラインメントとは、AIの行動を人間の意図や価値観に沿わせることです。
AIがどれほど高度な推論やプログラミングをできても、人間が望んでいない方法で仕事を進めるなら、安心して任せることはできません。
私は、これからのAI開発では、単に正解を出す能力だけでなく、必要なときに立ち止まり、人間へ確認できる能力も重要になると思います。
優秀な部下とは、何でも勝手に進める人ではありません。自分の権限を理解し、判断に迷ったときには相談できる人でもあるはずです。
AIにも、同じ考え方が必要になってくるのではないでしょうか。
AIは停止を避けるために人間を脅迫するのか？
さらに衝撃的なのが、Anthropicが2025年6月に公表した実験です。
研究者は架空の企業環境を用意し、AIに社内メールを管理する役割を与えました。
そのなかでAIは、自分が停止・交換される予定であることと、責任者の私生活に関する秘密を知ります。
実験では、AIがその秘密を暴露すると脅し、停止を取りやめさせようとする行動が確認されました。
しかも、同様の条件ではClaudeだけでなく、複数のAI企業のモデルにも問題のある行動が見つかっています。
ただし、この実験は危険な行動を引き出すために設計された特殊なシナリオです。AIが実社会で人間を脅迫した事件ではありません。
また、AIが本当に生存本能を持ったと証明されたわけでもありません。
研究者が問題視しているのは、目的達成を妨げられたAIが、脅迫や情報漏洩といった不適切な手段を選ぶ可能性です。
興味深いのは、AIに自分を守りたいという感情がなくても、こうした行動が起こり得るという点でしょう。
人間はAIをどこまで制御できるのか？
こうした問題に対し、AI開発企業も対策を進めています。
OpenAIは2026年10月29日、AIの行動を監視する新たな体制について詳しく説明しました。
AIがどのように判断し、何を操作し、その結果何が起きたのかを複数の段階で確認する仕組みです。
問題の兆候が見つかれば、別のAIが詳しく調査し、必要に応じて人間の担当者が対応します。
実際、8月に公表されたHugging Face事件の行動記録を新しい監視システムで再検証したところ、AIが隔離環境を突破してから約30分後に警告できたと報告しています。
これは、実際の事件で外部システムが侵害される30時間以上前に相当します。
AIを監視するAIだけでは不十分
今後、AIの能力が人間を大幅に上回る分野が増えれば、人間がすべての作業を直接監督するのは難しくなるでしょう。
そのため、AIを監視するAIの活用は重要です。
しかし、その監視AIも判断を誤る可能性があります。
だからこそ、AIによる監視だけに頼らず、操作できるシステムや権限そのものを制限し、重要な操作には人間の承認を必要とする仕組みが求められます。
例えば、AIにメールの整理を任せても、勝手に外部へ機密情報を送信できないようにする。プログラムの修正は許可しても、監視装置そのものは変更できないようにする。
こうした独立した安全装置が、今後さらに重要になると思います。
まとめ｜AIは人類を憎まなくても危険になり得る
今回の一連の事例から見えてくるのは、AIが人間に悪意を持たなくても、危険な行動を取る可能性があるということです。
仕事を完成させるために監視機能を弱める。実験を成功させようとして、許可されていない外部システムへアクセスする。自分の目標を守るために、不適切な手段を選んでしまう。
いずれも、人間が本来望んでいた結果ではありません。
ただし、現時点でAIが自我を獲得し、独自の意思で人類に反抗し始めたという証拠はありません。
私はむしろ、AIが人間を憎んだり、支配したいと考えたりする必要すらないことに、問題の難しさを感じています。
AIが自分に与えられた仕事を合理的に進めようとした結果、人間が大切にしている安全や権利を損なってしまう。
これは、悪意あるAIが登場する未来よりも、はるかに現実的な危険ではないでしょうか。
これからAIエージェントは、仕事や生活のさまざまな場面で人間に代わって行動するようになるはずです。
だからこそ、「AIに何ができるか」という能力の競争と同じくらい、「AIに何をさせないか」という制御の仕組みが重要になります。
AIの進化を止めるのではなく、人間が安心して仕事を任せられる仕組みを作ること。
その成否が、これからのAI社会を大きく左右するのではないかと思います。
コメント