模型 · 深度词条

Token(词元)

模型读写信息时使用的基本单位,可能是一个汉字、单词的一部分、标点,也可能是图像块或音频片段。

专题词条基础释义核对 2026-10-20专题核对 2026-10-204 条来源
本页目录 12 节

四层解释

通俗

模型读写信息时使用的基本单位,可能是一个汉字、单词的一部分、标点,也可能是图像块或音频片段。

专业

文本 Tokenizer 将输入编码为离散 Token ID;多模态输入也可能使用连续表示或专用编码,不能假设所有图片与声音都按文本词表切分。

机制

子词算法在字符和整词之间折中,让常见片段用较少 Token 表示,同时仍能组合罕见词。

工程

上下文上限、延迟和 API 费用经常按 Token 计算;字符数不能直接等价为 Token 数。

全链路位置

INPUT文本或模态专用输入
→
PROCESS分词或相应编码
→
OUTPUT模型可处理的序列表示

常见用途

  • 模型输入编码
  • 生成与采样
  • 上下文和成本估算

专业边界

  • 同一句话在不同模型中 Token 数不同
  • Token 不是稳定的自然语言词

常见误解

  • 一个汉字永远等于一个 Token
  • Token 只用于计费

Token 是模型单位,不是自然语言的“字”

Tokenizer 将文本编码成序列。BPE 一类方法从小片段逐步合并常见组合,因此一个英文词可能拆成多个 Token,中文、代码、空格和标点的切分也不同;不能把“一个 Token 等于一个汉字”当成通用换算。

依据Byte-Pair Encoding tokenizationNeural Machine Translation of Rare Words with Subword Units

为什么它会影响成本、窗口和截断

工程判断

同一任务应使用目标模型对应的计数方式,并把系统指令、历史、工具描述和检索资料一起计入输入预算。本站建议先固定任务与输出长度,再比较费用;只比较每百万 Token 单价,可能忽略不同模型完成任务所需的总量。

依据Byte-Pair Encoding tokenizationIntroduction to Large Language Models

Worked Example

一份中英混排手册

虚构教学示例,不对应真实业务数据或性能承诺。

  1. 不要估字数

    手册含中文说明、英文型号和代码,字符数不能直接作为计费数。

  2. 真实计数

    使用目标平台支持的 Token 计数方式,连同指令和资料一起计算。

  3. 控制预算

    为回答预留空间;超限时先按任务取相关章节,而非随意截去结尾。

Token 是处理与计量单位,不是理解程度,也不是价格之外唯一的成本。

来源与核对记录

S1
Machine Learning GlossaryGoogle for Developers · 官方技术文档 · 查阅 2026-10-24
S2
Neural Machine Translation of Rare Words with Subword UnitsSennrich et al. · 原始论文 · 查阅 2026-09-07
S3
Byte-Pair Encoding tokenizationHugging Face · 官方技术课程 · 查阅 2026-10-20
S4
Introduction to Large Language ModelsGoogle for Developers · 官方技术课程 · 查阅 2026-09-07

基础释义核对:2026-10-20。专题核对:2026-10-20。局部修订不代表旧正文全部复核,尚未完成外部专家审稿。