优惠 分词的诅咒：在大语言模型中，文本分词（tokenization）这一预处理步骤存在的问题，以及这些问题对模型性能的影响

百度、ModelBest和UCPH的研究人员发布论文 ，论文的主题是探讨了在大语言模型（LLMs）中，文本分词（tokenization）这一预处理步骤存在的问题，以及这些问题对模型性能的影响。分词是将原始文本转换成一系列子词（subword）标识符的过程，这个过程对拼写错误、文本长度变化非常敏感，并且往往忽略了词内结... 阅读全文