一、什么是分词器 分词器是自然语言处理(NLP)中的一项基本任务，即将文本分割成有意义的单元，例如语句中的词语或单词。在中文中，分词任务尤为重要，因为中文中没有明确的单词边界。分词…