模型 · 深度词条
Token(词元)
模型读写信息时使用的基本单位,可能是一个汉字、单词的一部分、标点,也可能是图像块或音频片段。
四层解释
通俗
模型读写信息时使用的基本单位,可能是一个汉字、单词的一部分、标点,也可能是图像块或音频片段。
专业
文本 Tokenizer 将输入编码为离散 Token ID;多模态输入也可能使用连续表示或专用编码,不能假设所有图片与声音都按文本词表切分。
机制
子词算法在字符和整词之间折中,让常见片段用较少 Token 表示,同时仍能组合罕见词。
工程
上下文上限、延迟和 API 费用经常按 Token 计算;字符数不能直接等价为 Token 数。
全链路位置
INPUT文本或模态专用输入
→PROCESS分词或相应编码
→OUTPUT模型可处理的序列表示
常见用途
- 模型输入编码
- 生成与采样
- 上下文和成本估算
专业边界
- 同一句话在不同模型中 Token 数不同
- Token 不是稳定的自然语言词
常见误解
- 一个汉字永远等于一个 Token
- Token 只用于计费
Token 是模型单位,不是自然语言的“字”
Tokenizer 将文本编码成序列。BPE 一类方法从小片段逐步合并常见组合,因此一个英文词可能拆成多个 Token,中文、代码、空格和标点的切分也不同;不能把“一个 Token 等于一个汉字”当成通用换算。
为什么它会影响成本、窗口和截断
工程判断
同一任务应使用目标模型对应的计数方式,并把系统指令、历史、工具描述和检索资料一起计入输入预算。本站建议先固定任务与输出长度,再比较费用;只比较每百万 Token 单价,可能忽略不同模型完成任务所需的总量。
Worked Example
一份中英混排手册
虚构教学示例,不对应真实业务数据或性能承诺。
- 不要估字数
手册含中文说明、英文型号和代码,字符数不能直接作为计费数。
- 真实计数
使用目标平台支持的 Token 计数方式,连同指令和资料一起计算。
- 控制预算
为回答预留空间;超限时先按任务取相关章节,而非随意截去结尾。
Token 是处理与计量单位,不是理解程度,也不是价格之外唯一的成本。
来源与核对记录
S1Machine Learning GlossaryGoogle for Developers · 官方技术文档 · 查阅 2026-10-24
↗S2Neural Machine Translation of Rare Words with Subword UnitsSennrich et al. · 原始论文 · 查阅 2026-09-07
↗S3Byte-Pair Encoding tokenizationHugging Face · 官方技术课程 · 查阅 2026-10-20
↗S4Introduction to Large Language ModelsGoogle for Developers · 官方技术课程 · 查阅 2026-09-07
↗基础释义核对:2026-10-20。专题核对:2026-10-20。局部修订不代表旧正文全部复核,尚未完成外部专家审稿。