トークン（Token）

トークン（Token）とは、AIや自然言語処理（NLP）の分野において、文章やテキストを処理するために分割された最小単位のことを指します。一般的には単語、記号、句読点、さらには単語の一部（サブワード）なども1つのトークンとして扱われます。 例えば、「AIはすごい！」という日本語文を処理する場合、モデルによっては「AI」「は」「すご」「い」「！」のように分割され、これら一つ一つがトークンとみなされます。英語では「AI is amazing!」が「AI」「 is」「 amazing」「!」の4トークンに分けられることがあります。 トークンは、AIモデルにテキストを入力する際の処理単位であり、モデルの入力制限（最大トークン数）や料金体系とも密接に関係しています。例えば、ChatGPTやClaudeなどの大規模言語モデル（LLM）は「1メッセージ＝〇〇トークン」という形で計算され、出力量にもトークン数の上限があります。 トークンに関する重要な概念： • トークナイザー（Tokenizer）：テキストをトークンに分割する前処理器 • サブワード単位：未知語や複雑な単語をより細かく分割することで柔軟性を高める • トークン制限：入力と出力の合計トークン数が上限を超えるとエラーや省略が発生する また、トークンはWeb3やセキュリティ分野でも使われる用語ですが、AI用語としては**「テキスト処理の基本単位」**という意味で使われる点に注意が必要です。 AIを使ったアプリケーションでは、処理精度やコスト、パフォーマンスを考えるうえで、トークン数を正しく理解し管理することが重要です。