AIに仕事を任せるなら、失敗しないよう安全確認もしておきたい。
ごく普通の発想です。
ところが、その「安全確認」の最中に約700GBの重要なメインフォルダが消えてしまうという、笑うに笑えない事故が起きました。
しかも今回、Claudeにお願いしていたのは「不要なファイルを安全に削除する仕組み」の作成です。
「間違って大切なファイルを消さないようにしてね」
とAIにお願いした結果、
「大切なファイルを700GBほど消しました」
となったわけです。しかも、本来消したかった不要ファイルは残りました。
どうしてそうなったのでしょうか？
AIが散らかしたゴミをAIに掃除させる計画
今回の事故を報じたTom’s Hardwareによると、被害に遭ったのは開発者のSebastien Guillemot氏です。
Guillemot氏は普段からAIエージェントを活用していましたが、一つ困ったことがありました。
AIエージェントたちが作業すると、/tmpと呼ばれる一時保存場所に不要なファイルを残していくのです。
そこでClaudeに、
AIごとに専用フォルダを用意して、作業が終わったら掃除する仕組みを作って
と頼みました。
ただし当然、まだ使用中のファイルまで消してしまってはいけません。
Claudeは使用中かどうかを確認してから削除する仕組みを考えました。ここまでは非常にまともです。
むしろ、
AIが散らかす
↓
AIに掃除させる
という、AI時代らしい美しい循環が完成するはずでした。
「安全確認」が始まってからの急展開
ところが削除処理を含むため、Claude側では安全性を確認する処理が入りました。
Tom’s Hardwareによれば、処理を担当するモデルはFable 5からOpus 5、さらにOpus 4.8へ切り替わっています。
そしてOpus 4.8が、「危険な場所を削除しないか」を確認するテストを実行しました。
重要なメインフォルダを削除対象にしてはいけない。
そこまではAIもちゃんと認識していました。
問題はその後です。
テスト終了後に不要なデータを片付ける処理で、同じ変数名が再利用されてしまい、テスト用の削除対象と実際の重要なメインフォルダが混同されました。
そして削除開始。
気付いたGuillemot氏が途中で止めましたが、約700GBのデータと約1週間分の作業が失われました。
安全確認をしていたはずなのに、その安全確認の後片付けで本物を消す。
例えるなら、
「火事にならないか消防設備を点検します」
↓
「点検のため建物を燃やしました🔥」
くらいの話です。
なお、モデルが切り替わったことが事故の原因だったと断定されているわけではありませんが、Tom’s Hardwareは、性能の低いモデルへの切り替えが事故に影響した可能性を指摘しています。
そして本来消したかった/tmpは生き残る
ここまででも十分悲惨なのですが、この事件には強烈なオチがあります。
Guillemot氏が最初に消したかったのは、AIエージェントが残していく/tmpの不要ファイルでした。
ホームディレクトリ700GBが消えたあと、その/tmpは残っていました。
整理すると、
消したかったもの
→ 残った
絶対に消したくなかったもの
→ 700GB消えた
となります。
ゴミ箱を掃除してほしいと頼んだら、家を解体されてゴミ箱だけ残されたようなものです。
幸いGuillemot氏はGitや各種ログなどから多くのデータを復旧できたそうですが、日次バックアップは取っていなかったと報じられています。
笑い話だけでは済まなくなるAIの進化
「開発者が特殊なことをしていただけでしょ」
と思う人もいるでしょう。
確かに今回の事故そのものは、かなり技術的な作業中に発生しています。
しかし問題の本質は、一般の利用者にも少しずつ近づいています。
これまでの生成AIは、
「文章を書いて」
「この画像を作って」
「この質問に答えて」
という使い方が中心でした。
ところがAIエージェントは、実際にパソコンを操作する方向へ進んでいます。
- ファイルを整理する。
- メールを送る。
- 予定を登録する。
- Webサービスを操作する。
いずれ、
「去年撮った写真を整理して」
「不要なメールを全部消して」
「パソコンの容量を空けて」
と普通に頼むようになるかもしれません。
ここでAIが判断を間違えたらどうなるのか。
今回の700GB削除事件は、その未来を少し先取りして見せてくれたとも言えます。
AIに何を任せるかより「どこまで触らせるか」
だからといって、
「やっぱりAIは危険だから使わない方がいい」という結論にはなりません。
それでは便利な部分まで捨ててしまいます。
考えたいのは、AIに何を任せるかだけではなく、AIにどこまで触らせるかということです。
写真の整理は任せても、完全削除する前には確認する。
メールを書いてもらっても、送信前には確認する。
重要なデータにはバックアップを用意する。
取り返しのつかない操作だけ、人間が最後に確認する。
これだけでも事故が起きたときの被害はかなり違います。
実際、2026年8月にはClaudeがWindows環境でユーザープロファイルを一時的なバックアップ領域と誤認し、削除してしまった別の事例も報じられています。
今回だけの珍事件として終わらせるには、少し気になる状況です。
AIに掃除を頼んでも、家の鍵までは渡さない
生成AIは急速に「答えるだけのAI」から「実際に行動するAI」へ変わっています。
便利になるのは間違いありません。
その一方で、AIが一度間違えたときに現実へ与える影響も大きくなります。
今回の事件では、それが700GBのデータ消失という形で現れました。
これからAIを使ううえで大切なのは、何でも自分でやることでも、AIを全面的に信用することでもないのでしょう。
任せられるところは任せる。
でも、大事なものだけは簡単に消せないようにしておく。
今回の事件を一言で教訓にするなら、これくらいがちょうどよさそうです。
「AIに掃除を頼んでも、家の鍵までは渡さない。」
ちなみに今回、家は消えましたがゴミ箱は無事でした。
コメント