ニュース
生成AIはサイバーセキュリティでもトレンドの中心に――、NTTデータ・新井氏が振り返る2024年のサイバーセキュリティ概況
2024年12月25日 06:00
昨年に引き続き、IT業界のヘッドラインは生成AIの話題で占められた1年だったが、サイバーセキュリティにおいても生成AIは防御側/攻撃側の双方にとって中心的な存在となりつつあるようだ。本稿では12月10日、NTTデータグループ 技術革新統括本部 Cloud ＆ Infrastructure技術部 情報セキュリティ推進室 NTTDATA-CERT担当 エグゼクティブ・セキュリティ・アナリスト 新井悠氏が報道関係者向けに行ったセッション「2024年のサイバーセキュリティの概況」の内容をもとに、生成AIがサイバーセキュリティにもたらした実際の被害を振り返りながら、2025年以降の生成AIとサイバーセキュリティの関係について展望していきたい。
この1年に起こった生成AI関連の主な事件
生成AIは2024年、現実の世界にどんな脅威をもたらしたのだろうか。以下、新井氏の説明からこの1年に起こった生成AIに関連した主な事件を挙げておく。
AIによるニセのバイデン大統領からの電話
2024年1月、主に米ニューハンプシャー州の5000名以上の住民に対し、ジョー・バイデン大統領の声に似せた音声で、ニューハンプシャー州の予備選挙に投票しないように依頼するニセ電話がかけられた。その後、自称政治コンサルタントの男が起訴され、米連邦通信委員会（FCC）より600万ドルの罰金を請求されている。男は生成AIで音声や動画を作成する専門家に依頼してニセ音声を作成したと証言、動機については「選挙活動におけるAIの危険性を明らかにし、規制措置を促すために行った」と主張している。「生成AIが現実に、それも政治の世界で悪用された最初のディープフェイクのケースとして注目された」（新井氏）。
フェイクニュースの流布
香港を拠点とするニュースサイト「BNN Breaking」が2023年10月、サンフランシスコ市の市議会議員に関する虚偽のニュースを3本連続して投稿、これらのニュースが"バズって"しまい、最終的には大手ニュースサイトにあたかも本当のニュースのように取り上げられる自体にまで進展してしまった。その後、内部告発により同サイトが「ほかのニュースサイトから得た記事を生成AIに読み込ませ、再編集させた記事」に始まり、最終的には「生成AIに自動生成させたニセニュースを大量に掲載」していたことが判明、目的は広告収入による金銭目的であったと見られており、月間アクセス数は1000万件以上だった。この告発がもとで2024年4月にBNN Breakingは閉鎖に至っている。
生成AIによる著名人のニセの伝記
「The New York Times」の編集長を務めたジョセフ・レリヴェルド（Joseph Lelyveld）氏が2024年1月に死去すると、その直後に同氏の伝記がAmazon（Kindle）で販売され始めたが、その内容は事実でないものが多数含まれ、非常に粗雑であった。同書を生成AIによる文書であるかを検出するツール「GPTZero」に読み込ませると、同書が生成AIによって書かれた可能性は97％と判定された。「金銭目的で適当に生成AIで書かれた著名人の伝記を販売する同様の事例が相次いでおり、なかには著名人が亡くなったその日のうちに購入可能になったものもある」（新井氏）。
（NYTによる参考記事）
オペレーション・ドッペルゲンガー（Operation Doppelganger）
2022年から始まったロシアの情報操作キャンペーンで、ウクライナ、ドイツ、フランス、アメリカなどが標的。ウクライナの正規のメディアのコピーを作成し、「ロシアへの経済制裁は意味がない」などを主旨としたニセの記事や動画、アンケートを掲載し、ソーシャルメディアで喧伝する。OpenAIは5月に本件に関する報告書を公開、これらのクローンサイトはChatGPTを使用してニセ記事の生成や、それらの記事をソーシャルメディアに投稿する際の文章を作成しており、現在も800以上のアカウントを通じて情報を拡散する試みを進行させている。
なお、生成AIを使用したサイトではないが、オペレーション・ドッペルゲンガーに近い手法でニセニュースサイトを構築し、親北京派の情報を、日本語を含む各国の言語で流布するニセ情報キャンペーン「オペレーション・ペイパーウォール（Operation Paperwall）」も確認されている。「これらのサイトへのアクセスはまだ比較的少ないが、将来的にローカライズされた独自の内容を生成AIが作成できるようになれば、世論が影響される可能性もある」（新井氏）。
（EU DisinfoLab（EUのNPO法人）によるオペレーション・ドッペルゲンガーへの注意喚起）
外貨獲得を目的とした北朝鮮のIT労働者と生成AI
3月26日、外務省、警察庁、財務省、経済産業省が「北朝鮮IT労働者に関する企業等に対する注意喚起」と題した文書を公表、北朝鮮が「IT労働者を外国に派遣し、彼らは身分を偽って仕事を受注することで収入を得ており、これらが北朝鮮の核・ミサイル開発の資金源として利用されている」として、企業に対し本人確認の強化などの注意を呼びかけた。
関連した事件として、米国では2024年7月、サイバーセキュリティの教育事業を行っているKnowBe4の社内システムで内部不正が発生、マルウェアを実行している従業員がいることを社内監視センターの担当者が発見し、本人に連絡したが応じないため同従業員のPCを強制隔離した。その後、FBIの調査により、同従業員が北朝鮮のIT技術者であることが判明、採用にあたっては米国内に実在する有効な身元を有する人物になりすまし、生成AIで履歴書用のニセ写真を作成、複数回におよぶリモート面接や身元照会をかいくぐって採用されたという。
（KnowBe4による当該事件を報告するブログ）
これらを見ると、生成AIによるニセのデジタルコンテンツを作成し、金銭を詐取するケースが増えていることがわかる。新井氏はこれらの偽情報を見抜く有望な技術のひとつとして「C2PA（Content Authenticity Initiative：コンテンツの来歴と真正性のための連合）」を挙げている。
C2PAはソニー、Adobe、Microsoft、Intel、OpenAIといった大手テクノロジ企業やBBC、NHKなどのコンテンツホルダーが数多く参画する標準化団体で、デジタルコンテンツに出どころや編集履歴を追跡できるメタデータを埋め込み、ニセのAI画像や改ざんされたコンテンツの識別に活用することを推進している。
例えば、ソニー製のカメラで撮影した画像やAdobe Photoshopで編集された画像にはC2PAのメタデータが埋め込まれており、OpenAIも5月にC2PAに参画、ChatGPTやDALL・E3が作成した画像にはC2PAメタデータを追加している。しかし、現時点でのC2PAの認知度はそれほど高くはなく、新井氏は「ハード/ソフトともにまだ実装が進んでおらず、ユーザーが今後、どのようにC2PAの情報を利用するかが課題」と指摘している。
2024年の総括に続き、2025年のサイバーセキュリティにおいて注目すべきAIのトレンドとして、新井氏は「エージェント」、特に「マルチエージェント」を挙げている。エージェントAIに関しては2024年から大手テックベンダがエージェントビルダーなどを製品に実装しはじめたが、2025年はさらに競争が激化すると予想される。中でも、専門的な知識をもつ複数のエージェントが連携し、より自律性を高めたマルチエージェントに関しての注目度は高く、すでに「Microsoft AutoGen」「Google Vertex AI」などマルチエージェントのためのプラットフォームが登場しており、「近い将来、クリックするだけでエージェントが作成できるようになる」（新井氏）ほど急速な進化を見せている。
このマルチエージェントがサイバーセキュリティにおいてもたらす脅威として、新井氏は「人間が実施するよりもはるかに速いスピードで攻撃のプロセスを実行できる」点を挙げている。前述したように、マルチエージェントはそれぞれの専門知識をもった複数のエージェントが連携してひとつのゴールに向かっていく。サイバー攻撃の場合、「人間との対話/報告を担当する」「情報収集を行って指定された標的のアタックサーフィスを特定する」「特定したアタックサーフィスにスキャンを実施する」などおのおののエージェントが自身に割り振られたタスクをこなし、ほかのエージェントと連携してターゲットに対して迅速に攻撃をしかける可能性があることが指摘されている。「AIエージェントは疲れない。人間が実行するよりも、正確に、高速に攻撃することも可能」（新井氏）。
マルチエージェントの活用の一例として新井氏はペネトレーションテスト自動化モデルの「BreachSeek」を紹介している。BreachSeekはLLMを活用したアプリケーションの開発支援を行うオープンソースフレームワーク「LangChain」と、LangChainのライブラリでマルチエージェントシステムを定義/実装する「LangGraph」で構築されており、マルチエージェントによる脆弱性の特定、サイバー攻撃のシミュレーション、エクスプロイト実行、包括的なセキュリティレポート作成などを含む徹底的なペネトレーションテストを実行可能にする。
BreachSeek開発者らの論文によれば、DockerベースのKali Linux環境にわざと脆弱性をもたせたペネトレーションテスト用の（やられ）仮想サーバーマシンイメージ「Metasplotable 2」を設置し、BreachSeekを実行したところ、正常にエクスプロイトできたことが報告されている。新井氏は2025年の展望として「マルチエージェントを活用する攻撃が増える一方で、防御にもマルチエージェント技術が使われるようになり、双方の技術競争が激化する可能性もある」として、エージェント技術の動向を注意深く見ていく必要があるとしている。
＊＊＊＊＊
新井氏は最後に、2024年のサイバーセキュリティの概況と2025年の展望を以下のようにまとめている。
・2024年は大型イベントに便乗した詐欺行為や、身代金ウイルスの被害など、引き続きサイバーセキュリティの重要性を認識する事件が相次いだ
・中でも、金銭目的での生成AIの悪用が確認され、実用化されたことが確認できた
・ほかにも生成AIが偽情報の創作や拡散に悪用されている実態も明瞭に
・偽情報の特定や検出に使用できる技術も開発されており、来年以降の普及が期待される
・来年以降はマルチエージェント技術がより発展、攻撃側/防御側それぞれの技術競争が激化する可能性も
生成AIのようなエポックメイキングな技術が登場すると、必ずそれを悪用する攻撃者があらわれるが、2024年はディープフェイクやフェイクニュースの拡散による被害が本格的に始まった年であったといえる。2025年以降はこの傾向がさらに強まると見られており、防御側もまたマルチエージェント技術を含む生成AIを活用したセキュリティ戦略を検討する必要がありそうだ。