AIへの間接的プロンプト注入攻撃、実際のウェブ上での脅威状況を調査

概要

Googleの脅威インテリジェンスチームは、AI システムへの攻撃方法として懸念されている「間接的プロンプト注入（IPI）」の実際の被害状況を調査しました。IPI とは、ウェブサイトやメール、ドキュメントなどの悪意あるコンテンツをAIが処理する際に、ユーザーの意図ではなく攻撃者の命令に従ってしまう攻撃です。研究では公開ウェブをCommon Crawl で監視し、実際の脅威アクターが IPI パターンを悪用しているか調査されています。Google DeepMind と脅威インテリジェンスグループの協力により、この進化する脆弱性への対策が進められており、攻撃者がこれらの脆弱性をどの程度実運用で悪用しているかが重点調査対象となっています。

元記事（Google Security Blog）