Google GTIG、脆弱性の発見から悪用までを自律実行するLLMフレームワークを初確認

この記事の要点

●GTIGは、人間の関与なしに脆弱性の発見から悪用までを自動化する攻撃者のLLMフレームワーク「exploit_agent」を確認したと報告した。
●exploit_agentは複数のLLMと連携し、パッチ前後のWebアプリのソースコードを比較して脆弱性を探す。
●サーバには盗まれたデータや内部調査用スクリプト、Webシェルの設置・削除用スクリプトが置かれていた。

米GoogleのGoogle Threat Intelligence Group(GTIG)は、攻撃者によるAIの悪用状況をまとめたレポート「GTIG AI Threat Tracker」の最新版を公開し、人間の関与なしに脆弱性の発見から悪用までを行うよう構成されたLLMフレームワークを初めて確認したと報告した。攻撃者がAIに手作業で指示を出す段階を越え、複数のAIエージェントを組み合わせて攻撃を自律的に進める段階に移りつつあると指摘している。

事案の詳細

GTIGが確認したのは、アクセス可能な状態になっていた攻撃準備用のサーバに置かれていた「exploit_agent」と呼ばれるフレームワークだった。

「exploit_agent」は、複数の最先端LLMやローカルLLMと連携し、広く使われているWebアプリについて、修正パッチの公開前後のソースコードを継続的に比較して脆弱性を探す仕組みだった。脆弱性を発見すると攻撃コード(エクスプロイト)を作成し、人手を介さずに実行するよう構成されていたという。

当該サーバには、被害者から盗んだデータのほか、侵入後の内部調査や、遠隔操作用の不正プログラム「Webシェル」の設置などを行うスクリプトもあった。他の攻撃者が置いたWebシェルを削除するスクリプトも含まれており、設定ファイルにはロシア語のコメントが書かれていた。

GTIGは、攻撃者がLLMを使ったフレームワークで脆弱性の発見から悪用までを人手を介さずに自動化している状況を確認したのは初めてだとしている。Googleは、こうした活動に関連する資産を無効化し、得られた知見をもとに攻撃への協力を拒否できるよう分類器やモデルを強化したと説明している。

影響と背景

GTIGは、攻撃者がAIに手作業で指示を出す段階を越え、複数のAIエージェントを組み合わせて攻撃を自律的に進める段階に移りつつあると指摘した。

LLMを活用して脆弱性の発見から攻撃コードの作成・実行までを連携させることで、攻撃の自動化が進む可能性がある。

対策・今後の展望

攻撃の自動化が進む局面では、自社で使っているWebアプリやクラウドの更新情報を担当者が確実に追える体制を整える必要がある。パッチ適用の優先順位や適用状況を一覧で把握し、放置がないよう関係部署に共有することも重要だ。

あわせて、不審なスクリプトやWebシェルの兆候がないかを点検し、侵入後の内部調査や不正プログラムの設置を想定した監視を行う。

CSRIからのアドバイス

修正パッチの公開前後でプログラムを見比べれば、どこが直されたか、つまりどこに弱点があったかが分かる。これまでは人手と時間がかかっていたこの作業をAIが自動でこなすようになれば、パッチ公開から攻撃が始まるまでの猶予はさらに短くなる。

例えるなら、修理の告知が出た瞬間に、修理前の家の鍵穴の形を割り出して合鍵を作る機械が動き出すようなものだ。つまり、「そのうち更新すればよい」という余裕は、公開されているWebサイトやWebアプリでは通用しにくくなっている。

まず、自社で外部に公開しているWebサイトやWebアプリ、その上で動いているソフト(CMSやプラグインなど)を一覧にし、更新の担当者を決める。次に、更新の公開から何日以内に適用するかの目安を決め、委託先が運用している場合は適用状況を報告してもらう仕組みを整える。

参照: Google、人間の関与なしに脆弱性を見つけて悪用するAIフレームワークを初めて観測 GTIGのAI脅威レポート

参考:公式情報・アドバイザリ

上記は本記事に関連する公式情報です。詳細は公式サイトをご確認ください。

Google GTIGが確認した、脆弱性の発見から悪用までを自律実行するLLMフレームワーク
最新情報をチェックしよう!