词元(Token)概念详解

词元(Token)是大模型处理信息的最小单元,是AI理解与生成文本的基本单位,也是AI服务的计量和计费基础。

词元是什么意思

1. 词元是大模型输入与输出的最小可处理单位,具有可计量、可定价、可交易的特性。

2. 2026年3月,国家数据局正式将“Token”中文译名为“词元”,并明确其作为大模型最小信息单元的法定地位。

3. 词元是AI算力的原子单位,也是智能时代数据价值流通的基础载体。

4. 类比烹饪:用户输入为“食材”,AI将其切分为词元后进行处理(理解/生成),最终输出结果;全过程以词元数量为计算和计费依据。

以上为词元(Token)的定义与核心要点。更多相关内容,请关注3dm手游网更新。