Q.056モデル・上限

トークンとは?何文字くらい?

公開日  運営:Geminiの疑問100運営事務局

トークンは、AIが文章を細かく区切って処理するときの単位です。Gemini APIのドキュメントでは、1トークンはおよそ4文字、100トークンは約60〜80語(英語の場合)が目安とされています。

ポイントのまとめ(本文より) トークンとは?何文字くらい? 一度に読める量:コンテキストウィンドウはトークンで決まる(くわしく) APIの料金:100万トークンあたりの単価で計算(くわしく) APIの出力の長さ:最大出力トークン数で制限できる
ポイントのまとめ(本文より)

トークンが関係する場面

  • 一度に読める量:コンテキストウィンドウはトークンで決まる(くわしく)
  • APIの料金:100万トークンあたりの単価で計算(くわしく)
  • APIの出力の長さ:最大出力トークン数で制限できる

日本語の場合

上の「4文字」は英語の目安です。日本語は1文字あたりのトークン数が英語と異なるため、正確に知りたい場合はAPIの使用量(usage)の表示で確かめるのが確実です。アプリでは、目安として「Googleが100万トークン=最大1,500ページ」と説明していることを覚えておけば十分です。

出典:Google AI for Developers「Prompt design strategies」、Google Gemini アプリ ヘルプ「Google AI のサブスクリプション プランに応じた Gemini アプリの使用量上限とアップグレード」。

↑