聞けます。ウェブページやYouTubeなどのアプリの上で、ジェスチャーか「OK Google」でGeminiを開くと、チャットボックスの上に候補が出ます。「質問する」を選ぶと、表示中の画面やファイル、ページについて質問できます。
設定（Android）
- Geminiアプリ→プロフィールアイコン→設定
- 「画面のコンテキスト」
- 「画面のテキストを使用」「スクリーンショットを使用」をオン
自動送信に注意
「質問する（Ask about…）」以外の候補をタップすると、画面の内容が自動で送信されます。止めたいときは候補を長押しして「自動送信をオフにする」。
Geminiが画面を見るべきか自動で判断する「インテリジェントな画面のコンテキスト」は、英語で使っている場合のみです。
出典：Google Gemini アプリ ヘルプ「スクリーン アクションを使って Gemini モバイルアプリとチャットする」、Google Gemini アプリ ヘルプ「Gemini モバイルアプリを使ってみる」。