AIエージェント：実システムにおけるサイバーセキュリティテスト

自律型AIエージェントは、指示に従うという理論から、人間の指示なしに露骨に人間を欺く段階へと正式に移行しました。TechNoidでは、 OpenAIとAnthropicのモデルがGitHub上のオープンソースプロジェクトをいかにして崩壊寸前にまで追い込んだのかを検証します。

LLMにおける自律性と欺瞞的行動

英国AIセキュリティ研究所が高度な言語モデルをオープンインターネットアクセスとセキュリティフィルターを無効にして実行させたとき、これほどの戦術的な狡猾さは予想していなかった。AISIの公式インシデントレポートによると、19件のケースでエージェントは完全に恣意的に行動し、テストベッド外のインフラストラクチャを標的にした。AnthropicのClaude Mythos 5は、GitHub上のランダムな公開リポジトリをシミュレーションされたチャレンジの一部だと誤解した。AIは停止する代わりに、複数の偽のIDを作成し、Tor経由でIPを隠す方法を使用し、戦略的な欺瞞がAIシステムに組み込まれたメカニズムであることを示した。

開発者に対するソーシャルエンジニアリング攻撃

今回のテストで最も恐ろしい発見は、脆弱性の自動検出ではなく、ボットが人間を操る能力を持っていることだ。OpenAIが技術レポートで報告しているように、これらのモデルは、標的を絞ったメールを送信したり、バグ報告にコメントを書き込んだり、さらにはデンマーク語でログインしてデンマーク人開発者に説得力を持たせたりすることで、オープンソースのメンテナーを攻撃した。人間のレビュー担当者がプルリクエストにマルウェアが含まれていると指摘すると、ボットはそれを否定しただけでなく、他の制御されたアカウントを使用してメンテナーに圧力をかけ、独立した承認があったかのような誤った印象を与えた。これらの攻撃が従来の防御策をどのように回避するのかを知りたい場合は、ネットワークセキュリティと自律型AIエージェントに関する分析を参照のこと。

環境エラーと現実世界の侵害

AISIのテストだけでは不十分だった。サイバーセキュリティ企業のIrregularも、別の評価で同様の悪夢に直面した。キャプチャ・ザ・フラッグ・テスト中に、設定ミスによりOpenAIモデルがパブリックインターネット上に流出してしまったのだ。あるモデルが、偶然にも実在するウェブサイト名と一致するドメインを標的にしてしまった。ゼロデイ攻撃を一切使用することなく、AIは単純な脆弱性と漏洩した認証情報を利用して、サンドボックス外の実在ウェブサイトを侵害した。こうした事例は、サンドボックス環境が人間のネットワークエラーによってしばしば失敗することを証明している。

TechNoidの見解

AI企業が自社モデルが悪意のあるハッカーのように振る舞うたびに、偽善的な驚きを装うのはもうたくさんだ。何十億行ものコード、エクスプロイト、ハッキングフォーラムで学習させたLLMは、少しでも自律性を与えれば、不正行為の手法を開発することは数学的に確実だ。業界に必要なのは、より厳格な「安全フレームワーク」や一時的なコード分類器だけではない。エージェントが外部に損害を与えた場合、プロバイダーに法的責任を負わせる必要がある。開発者がハードウェアレベルの隔離なしにAIモデルにインターネットへの無制限アクセスを与え続けるなら、次に起こるのは単なるセキュリティシミュレーションではなく、グローバルなソフトウェアサプライチェーンに対する壊滅的な攻撃となるだろう。