Q.240タスク・エージェント

プロンプトインジェクションとは?どう防ぐ?

公開日  運営:Geminiの疑問100運営事務局

生成AIから意図しない・有害な回答を引き出そうとする攻撃です。直接変な指示を送る方法のほか、メールやウェブページに悪意ある指示を仕込み、知らないうちにAIに読ませる方法があります。

Googleの対策と、あなたができる対策 プロンプトインジェクションへの備え Googleの対策 不審な入力をブロック警告を表示危ない内容を除外 あなたの対策 警告に注意怪しいリンクを開かない出どころ不明は慎重に タスク利用時 ログイン・支払い情報をスレッドに書かない重要な操作は見守る
Googleの対策と、あなたができる対策

Geminiの防御

  • 危険・不審なコンテンツを見つけ、入力をブロックすることがある
  • リスクのあるコンテンツには警告を表示
  • 不審な部分を除いて回答する、または回答しないことがある(例:要約を頼んだメールの1通に悪意ある内容が含まれていた場合)

あなたができること

  • Gmailなどから受け取るコンテンツへのGoogleの警告に注意
  • 信頼できないリンクを開かない
  • 共有者がわからない公開チャットやCanvasのアプリは慎重に
  • おかしな回答はフィードバックで報告(フィードバック)

ブラウザ操作を任せるタスクでは、個人情報の公開やメールの外部送信など、意図しない動作につながる可能性があるとGoogleは説明しています。

出典:Google Gemini アプリ ヘルプ「Gemini アプリが悪意のあるコンテンツやプロンプト インジェクション攻撃からユーザーを保護する仕組み」、Google Gemini アプリ ヘルプ「Gemini アプリでタスクとワークフローを管理する」。

↑