tokenizer分词,tokenizer分词器

这些算法称为Tokenizer分词器，这些Token会被进一步处理，比如转成小写等，这些处理算法被称为TokenFilter词元处理器，被处理后的结果被称为Term词，文档中包含了几个这样的Term被称为Frequency词频。