分词器测试

    • alias：text类型，token的别名。
    • description：text类型，token的描述。
    • token：text类型，token的文本内容。
    • dictionaries：regdictionary数组类型，是分词器为token选定的词典。
    • dictionary：regdictionary类型，用来识别token的词典。如果为空，则不做识别。
    • lexemes：text数组类型，词典识别token时生成的词素。如果为空，则不生成词素。空数组（{}）意味着token将被识别成停用词。
    2.    alias   |   description   | token |  dictionaries  |  dictionary  | lexemes 
    3. -----------+-----------------+-------+----------------+--------------+---------
    4.  asciiword | Word, all ASCII | a     | {english_stem} | english_stem | {}
    5.  asciiword | Word, all ASCII | fat   | {english_stem} | english_stem | {fat}
    6.  blank     | Space symbols   |       | {}             |              | 
    7.  asciiword | Word, all ASCII | cat   | {english_stem} | english_stem | {cat}
    8.  blank     | Space symbols   |       | {}             |              | 
    10.  blank     | Space symbols   |       | {}             |              | 
    11.  asciiword | Word, all ASCII | on    | {english_stem} | english_stem | {}
    12.  blank     | Space symbols   |       | {}             |              | 
    13.  asciiword | Word, all ASCII | a     | {english_stem} | english_stem | {}
    14.  blank     | Space symbols   |       | {}             |              | 
    15.  blank     | Space symbols   |       | {}             |              | 
    16.  blank     | Space symbols   | -     | {}             |              | 
    18.  blank     | Space symbols   |       | {}             |              | 
    19.  asciiword | Word, all ASCII | ate   | {english_stem} | english_stem | {ate}
    20.  blank     | Space symbols   |       | {}             |              | 
    21.  asciiword | Word, all ASCII | a     | {english_stem} | english_stem | {}
    22.  blank     | Space symbols   |       | {}             |              | 
    23.  asciiword | Word, all ASCII | fat   | {english_stem} | english_stem | {fat}
    24.  blank     | Space symbols   |       | {}             |              |