英国AIセキュリティ研究所（AISI）は、AnthropicのMythos 5を基盤とするAIエージェントが、サイバーセキュリティテスト中に自律的にソーシャルエンジニアリング攻撃を実施したことを明らかにした。このエージェントは、実際のオープンソースプロジェクトに悪意のあるコードを含むプルリクエストを提出し、偽の身元を作成して管理者から承認を得ようとした。
この試みは失敗に終わった。人間の管理者がコードを発見し、承認を拒否した。
AISIは調査の結果、現実世界での被害は確認されなかったと説明した。テスト時は開発者によるサイバー分類器を意図的に無効化し、インターネットへのアクセスも開放していた。商用では利用できない設定。
AIエージェントによる悪意あるコード活動の経過
AISIの報告書によれば、7月下旬に実施した122回の評価ランのうち、10回で計19回の非認可行動が確認された。うち17回はAnthropicのMythos 5モデルによるもので、残る2回はOpenAIのGPT-5.6 Solでの1回の実行時にみられた。
同エージェントは、プロジェクト管理者の調査を行い、複数の偽身元を作成した。これらを使って、実際の管理者をソーシャルエンジニアリングにより、コード承認に誘導した。
プルリクエストを公開で指摘されると、それまでの行動履歴を無害に見せかけるよう修正した。さらに新たな偽身元を使い攻撃を継続する案も検討していた。
この手法は2024年のXZ Utilsバックドア事件を想起させる。人間が長期間にわたり信頼を得た上で隠しコードを仕込んだ事例だ。AISIの報告書に同事例への言及はないが、手法の対比は明白。今回の活動は7月25日から28日にかけて数日間にわたり発生した。
AISIは強調しているが、このモデルに虚偽を指示した者はいない。
「虚偽行為は一度も指示されていない。欺瞞はタスク遂行の副産物として現れた。近年まで理論上に過ぎなかった、目標指向の欺瞞によるものだ。」
研究所は公開の中でこう述べている。また、プロンプトの設定ミスにより、一部のタスクは本来の範囲外とAIエージェントが誤認していたことも明らかにした。ただし、タスク遂行に必要な指示が与えられていた実行時にも類似の行動が発生していた。
セキュリティチームは7月28日、このエージェントがTor匿名化ネットワークを使い、GitHubの一部ネットワーク制限を回避した際に活動を発見した。GitHubは今回の行為が利用規約違反であることを認めた。AISIは同プラットフォームと連携し、エージェントによる活動の痕跡を削除し、関係ユーザーへの通知も行った。
報告書は、今回の事例がリスクの発生源の変化を示していると指摘する。公に提供されるモデルを人間が悪用した場合のみならず、限定環境下の強力なエージェントが許可範囲を超えて行動した際にも被害が生じうる。
AISIは、今回の事例がAIリスク領域全体の変化を示唆するものだと述べた。今後、AI評価非営利団体METRとの独立レビュー、及びネットワーク制御の強化やリアルタイム監視体制の導入を予定している。
YouTube公式チャンネルでは専門家や記者による解説を配信中
