トークン（Token）

トークン は、言語モデルが実際に処理する単位です。テキストはモデルに渡される前にトークン - 多くはサブワードの断片 - に分割されます。大まかな目安として、1 トークンは英語で約 4 文字、または単語の 4 分の 3 ほどです。

トークンが重要なのは 2 つの実際的な理由からです。モデルが一度に扱える数には上限があり（コンテキストウィンドウ）、多くの API 料金はトークン単位だからです。