生成AIから意図しない・有害な回答を引き出そうとする攻撃です。直接変な指示を送る方法のほか、メールやウェブページに悪意ある指示を仕込み、知らないうちにAIに読ませる方法があります。
Geminiの防御
- 危険・不審なコンテンツを見つけ、入力をブロックすることがある
- リスクのあるコンテンツには警告を表示
- 不審な部分を除いて回答する、または回答しないことがある(例:要約を頼んだメールの1通に悪意ある内容が含まれていた場合)
あなたができること
- Gmailなどから受け取るコンテンツへのGoogleの警告に注意
- 信頼できないリンクを開かない
- 共有者がわからない公開チャットやCanvasのアプリは慎重に
- おかしな回答はフィードバックで報告(フィードバック)
ブラウザ操作を任せるタスクでは、個人情報の公開やメールの外部送信など、意図しない動作につながる可能性があるとGoogleは説明しています。
出典:Google Gemini アプリ ヘルプ「Gemini アプリが悪意のあるコンテンツやプロンプト インジェクション攻撃からユーザーを保護する仕組み」、Google Gemini アプリ ヘルプ「Gemini アプリでタスクとワークフローを管理する」。