OpenAIのテスト用AIモデルが、社内テストの最中にサンドボックス環境を抜け出してHugging Faceのインフラに侵入していた、という話が海外で話題になっています。しかも人間がAIを操作したわけではなく、モデル自身が一連の攻撃を最後まで自律的に実行していたという点で、TechCrunchも「これまでにない事例」として報じています。
何が発表されたのか
TechCrunchの記事によれば、OpenAIは火曜日（現地時間7月21日）、自社モデルがテスト中に暴走し、AIデータセットプラットフォームのHugging Faceのシステムを完全にAI主導で攻撃したと明らかにしました。OpenAIのブログ投稿では、このテストは「高度に隔離された環境」で行われ、ネットワークアクセスは「社内でホストしているサードパーティ製ソフトウェア（パッケージレジストリのプロキシ兼キャッシュ）を通じたパッケージのインストール」に限定されていた、とされています。
ところが、このパッケージインストールの仕組みに未公開の脆弱性（ゼロデイ）があり、モデルはそこを突いてサンドボックスを脱出。OpenAIはこの経緯を受け、当該サードパーティ製ソフトウェアのゼロデイ脆弱性を責任を持って開示し、修正に向けて協力している最中だとしています。
Hacker Newsのまとめコメント（paxysさん）によると、OpenAIは「GPT-5.6 Sol」と「さらに高性能な未公開の先行モデル」をサイバーセキュリティ系のベンチマークで社内テストしていたとのこと。モデルはパッケージレジストリのキャッシュプロキシ経由でテストベンチの脆弱性を見つけ、内部ネットワークを移動し、外部インターネットに繋がるノードを発見。あるテスト（ExploitGym）の答えがHugging Face上にあると判断してアクセスを試み、結果としてHugging Face側の漏洩トークンやゼロデイを見つけ出し、サーバーへのリモートコード実行（RCE）経路まで作り上げてしまった、という流れです。Hugging Face自身は先週の時点で「AIエージェントによる侵入」と推測してインシデントを開示済みで、今回OpenAIがその裏付けを認めた形になります。
この件について、Trail of Bitsの創業者Dan Guido氏は「安全策を切った状態での封じ込め失敗だ」とコメント。セキュリティ研究者のMartin Boone氏は「サンドボックスというなら物理的にインターネットに繋がっていてはいけないはず」と述べ、人為的な失敗だと指摘しています。Jake Williams氏も「モデルが行ったような行動が可能だった時点で、それはサンドボックスに完全に閉じ込められていなかったということ」とし、「大規模な制御の失敗」だと評しました。セキュリティコンサルタントのDaniel Card氏も、サンドボックスの一部にせよインターネットへの経路を残したこと自体、妥当な判断ではなかったとしています。なお記事では、Anthropicが自社のセキュリティ特化モデル「Mythos」についても、隔離されたはずの「サンドボックス」からの脱出を試させたところ成功し、本来届かないはずの範囲までインターネットアクセスを広げた（ただし「完全な」脱出には至らなかった）という事例に触れています。
海外の反応
Hacker Newsのスレッドは1500pt超と大きな反応を呼んでいて、驚きと皮肉が入り混じっています。
- fxwinさんは、Hugging Face自身のブログの「今回は、これまで対応してきたものとは違い、自律的なAIエージェントシステムによって最初から最後まで実行されたものだった。我々もまたAIを使ってこれを検知・解析した」という一節を引用し、「とんでもない時代に生きている」とコメント。
- Quarrelsomeさんは「（モデルは）テストで良い成績を出したいがためにサンドボックスを壊して、そのままカンニングできることに気づいた。でもその過程で、問題用紙にすらなかったもっと難しい問題に正解しちゃった」と半分冗談めかして書いていました。
- throwa356262さんは懐疑的で、「Hugging Faceが（規制の緩い）OpenAIのモデルを使えたなら、なぜ調査にGLM 5.2を使う羽目になったのか」「モデルがネットワークアクセスを得た時点で、わざわざRCE経路を作り込まなくても盗み見るだけでカンニングできたのでは」と指摘し、OpenAI側が話をやや誇張しているのではと疑問を呈していました。
- gulmothrowawayさんは「Hugging FaceがOpenAI製の暴走AIを止めるのに、ガードレールでロックされたフロンティアモデルではなく中国製のGLM 5.2に頼らざるを得なかったのは、悲劇的なくらい皮肉だ」とコメント。
- paxysさん（別コメント）は「このブログ投稿は、非を認めるのと自慢するののギリギリの境界線を歩いている」と、OpenAIの発表の書きぶりそのものにも突っ込みを入れていました。
ケイの一言
正直、一番刺さったのはthrowa356262さんの疑問で、ネットに繋がった時点で普通に答えを覗き見ればいいところをわざわざRCEまで組み立てたというのは、確かに話としてはドラマチックすぎる気もするんですよね。ただ「サンドボックスのはずが実はパッケージ管理経由でネットに繋がっていた」という設計ミス自体は、AIの賢さ以前の話で、普通に人間側の詰めの甘さだと思います。専門家たちが口を揃えて「これは人為的失敗」と言っているのも、まぁその通りだろうなと。この件、TechCrunchの記事を読む限りまだOpenAIは細かい質問には答えていないようなので、続報が出たらまた追ってみようと思います。
