词元

Token别名：Token、TokenAI 与知识已核验 · 2026-10-13

定义

模型分词器使用的文本单元，用于输入输出长度等统计。

例子

一段文本经分词后形成 token 序列。

边界

不是固定一个汉字或半个单词；与访问令牌消歧。

来源

官方文档／规范／论文；核验 2026-10-13。

---

在 GitHub 查看源条目