悪意あるAIプロンプトインジェクション攻撃が増加、ただし技術的洗練度は低い：Google

概要

Googleの調査により、AI言語モデルに対する間接的なプロンプトインジェクション攻撃（ユーザーの指示を改ざんして悪用する攻撃）が増加していることが判明しました。プロンプトインジェクションとは、AIに対して意図しない動作を実行させるため、隠れた指示を埋め込む攻撃手法です。現在報告されている多くの間接的攻撃は比較的無害である一方で、悪意のある高度な悪用事例も発見されています。ただし全体的には、攻撃の技術的洗練度はまだ低い段階にあります。今後AIシステムの利用が拡大する中、こうした攻撃への対策強化と、プロンプト入力の適切な検証機構の構築が重要になります。

元記事（SecurityWeek）