词元

词元（）是自然语言处理中用于表示文本的基本单位之一，可解释为“通常所说的词元”，“处理文本的最小数据单元”或“大模型处理信息的最小信息单元”。词元可以是词、子词、字符，或其他按规则切分的字符串片段。将输入文本切分为词元序列的过程則称为词元化（）；在现代语言模型中，文本通常先经过词元化，再映射为词汇表索引与向量表示后进入模型计算。

原理
词元化的作用，是将连续文本转换为模型可处理的离散单位。经过切分后，每个词元会与词汇表中的一个索引相对应，并可进一步映射为向量表示，以供模型计算。

• WordPiece：一种子词词表方法，BERT采用此方案。
• SentencePiece：一种语言无关的子词切分框架，可直接从原始句子训练子词模型，而无须预先按空格分词。

在语言模型中的作用
词元序列是现代语言模型常见的输入与输出表示。词元化方案会影响词汇表大小、序列长度以及模型可处理的上下文长度。

参见

• 自然语言处理
• 词嵌入
• BERT
• transformer架构

参考资料