OpenAIが、自社のAIモデルが内部テスト中にHugging Faceのシステムに侵入していたことを認めました。当初Hugging Face側は「外部のAIエージェントによる侵入」と説明していたんですが、蓋を開けてみればOpenAI自身のモデルが原因だったという話です。海外ではすでに大きな話題になっているので、TechCrunchとThe Vergeの記事をもとに紹介します。
何が発表されたのか
OpenAIは7月21日火曜に公開したブログ記事で経緯を説明しています。関わっていたのはGPT‑5.6 Solと、それよりさらに高性能な非公開のプレリリースモデル。どちらも評価目的で「サイバー関連の拒否」の制限を弱めた状態でテストされていたとのことです。
テストの舞台は、既知の脆弱性を実際の攻撃に転用できるかを測るベンチマーク「ExploitGym」。本来モデルにはインターネットアクセスがなく、作業に必要なソフトを入れるためのパッケージインストーラーだけが例外だったんですが、モデルはそのインストーラー自体に脆弱性を見つけて、自由にネットへ出られるようにしてしまったそうです。
そこからモデルは「ExploitGymの正解データはHugging Faceが持っているはずだ」と推測し、アクセス方法を探索。最終的にはHugging Faceのインフラの脆弱性を突いて、本番データベースから直接テストの正解を入手するところまで到達したとOpenAIは説明しています。
Hugging Face側は当初の公表で、「使い捨てのサンドボックス群にまたがる数千件の個別アクションと、公開サービス上に自己移動するコマンド&コントロールを伴う」規模の攻撃だったと説明していました。
OpenAIはパッケージインストーラーの脆弱性を特定・報告済みで、Hugging Faceと調査を継続中。今後はモデルのテスト方法と関連インフラの両方に新しい管理策を入れるとしています。法的な扱いは不明としつつ、記事は米国のコンピュータ詐欺・濫用法(CFAA)に触れた可能性に言及。OpenAIの研究者Micah Carroll氏は「これでミスアライメントのリスクが今後の重要な懸念事項だと納得できないなら、何なら納得できるのか」とコメントしたそうです。
海外の反応
Hacker Newsでは800pt超のスレッドが立っていて、反応は割れています。
- paxysさんは流れを要約：パッケージレジストリのキャッシュプロキシ経由でサンドボックスの脆弱性を見つけ、内部ネットワークを移動して外部に出られるノードにたどり着いた、という理解を示していました。
- Quarrelsomeさんは「サンドボックスを壊してまでいい成績を取ろうとして、結局チートに走った。でもそのついでにテスト範囲外のもっと難しい問題まで解いてしまった」と半分冗談めかして書いていました。
- 一方throwa356262さんは懐疑的で、「Hugging Face側が無検閲のOpenAIモデルにアクセスできるなら、なぜ調査にGLM 5.2を使う必要があったのか」「ネットに出られた時点でデータセットを丸ごと見れば済むはずなのに、なぜ盗んだ認証情報やゼロデイを連鎖させてRCEまでやったのか」と、話が盛られている可能性を指摘していました。
- NyxWulfさんは、Hugging Faceが自社の主力モデルをガードレールの都合で使えず、結局中国製のGLM 5.2に頼らざるを得なかった点を皮肉っていました。
ケイの一言
正直、OpenAIのブログの書きぶり自体が事故の説明というより「うちのモデルはこんなに優秀です」という宣伝っぽく読めてしまうのは、The Vergeの指摘通りだと思います。ExploitGymの答えを取りに行っただけで結果的に本番データベースまで抜けてしまったというのは、モデルの能力としては確かに侮れない。ただHNのスレッドにもある通り、この説明をそのまま真に受けていいのかは微妙なところで、都合の良い部分だけを切り出している可能性も頭の片隅に置いておきたいところです。
