tokenizer分词,tokenizer分词器

这些算法称为 Tokenizer分词器 ， 这些Token会被进一步处理， 比如转成小写等， 这些处理算法被称为 Token Filter词元处理器 ，被处理后的结果被称为 Term词 ， 文档中包含了几个这样的Term被称为 Frequency词频。

下载 ictclas4j 看了下源码，正找示例， 可以运行分词的核心逻辑在 的 splitString src 方法中运行 SegMain 的结果是一串字符串带有词性标注，细看了 Segment 与 没看到一个个分好的词这样就比较。

solrStandardTokenizerFactoryquotltanalyzerltfieldType元素的类名称不是一个真实的分词器，但是它指向一个实现了接口的类这个工厂在需要的时候会创建一个分词器的实例工厂创建出来的对象必须继承。

Tokenize，即将文本转化为Token序列的过程，是自然语言处理中的关键步骤这个过程通常包括分词将文本划分为单词或词组和可能的词性标注为每个单词或词组标注其词性例如，对于句子quotI like applesquot，Tokenize后的结果可能是quotIquot， quotlikequot， quotapplesquot， quotquot，每个元素都是一个TokenTokenizer是。