问题描述
在ES中进行部分关键词搜索时,搜索无结果,如搜索 【IT】
环境描述
中文分词插件
这里使用的是 analysis-ik
分词调试
POST test_index/_analyze
{
"text":"IT Manager",
"analyzer": "ik_max_word"
}
分词结果,分词结果中不包含IT
{
"tokens": [
{
"token": "manager",
"start_offset": 3,
"end_offset": 10,
"type": "ENGLISH",
"position": 0
}
]
}
原因分析
根据项目:lucene
我们可以看到在 cjk(中文、日文和韩文)目录下的停用词中,包含了该停用词,从而导致索引中不会包含该停用词。
解决方案
在实践过程中,我们通过自定义stopword的方式(如下定义),无法解决该问题
{
"settings": {
"analysis": {
"filter": {
"chinese_stop": {
"type": "stop",
"stopwords": []
}
},
"analyzer": {
"ik_max_word_custom": {
"type": "custom",
"tokenizer": "ik_max_word",
"filter": ["chinese_stop"]
}
}
}
}
}
我们可以将对应的字段使用standard分词器存储到另一个字段,如 field.en ,在匹配的时候,两个字段同时进行匹配即可
值得注意的是,这里我们不能去使用english的分词器,一个是因为 english 中也会过滤掉一些停用词,如这里的【IT】,另外其还会自动索引为词根。