Elasticsearch 如何实现查询/聚合不区分大小写?

发布于 2022-4-25 10:31
浏览
0收藏

Elasticsearch 如何实现查询/聚合不区分大小写?-开源基础软件社区
最近社区里有多个关于区分大小写的问题:

 

问题1:ES查询和聚合怎么设置不区分大小写呢?

 

问题2:ES7.6 如何实现模糊查询不区分大小写? 主要是如何进行分词和mapping的一些设置来实现这个效果,

 

自己也尝试过对setting 和 mapping字段进行设置,都是报错比较着急,

 

类似的问题,既然有很多同学问到,那么咱们就有必要梳理出完整的思路和方案。

 

这或许是铭毅天下公众号的使命所在。

 

这个问题不复杂,所以本文会言简意赅,直击要害!

 

Elasticsearch 如何实现查询/聚合不区分大小写?-开源基础软件社区
2.1 拆解一:如果默认分词方式,能区分大小写的吗?


是的,默认分词器是Standard 标准分词器,是不区分大小写的。

 

官方文档原理部分:

 

如下的两张图很直观的说明了:标准分词器的 Token filters 核心组成是:Lower Case Token Filter。

Elasticsearch 如何实现查询/聚合不区分大小写?-开源基础软件社区Elasticsearch 如何实现查询/聚合不区分大小写?-开源基础软件社区

什么意思呢?大写的英文字符会转换成小写。

 

2.2 拆解二:实践 Demo 验证

Elasticsearch 如何实现查询/聚合不区分大小写?-开源基础软件社区Elasticsearch 如何实现查询/聚合不区分大小写?-开源基础软件社区
match_phrase 检索返回结果非常明确:_id = 1,2,3,4  的数据都被召回。

 

这里初步结论是:standard 标准默认分词器可以实现区分大小写。

 

但是,我们再看一下聚合呢?

Elasticsearch 如何实现查询/聚合不区分大小写?-开源基础软件社区

返回结果如下:

Elasticsearch 如何实现查询/聚合不区分大小写?-开源基础软件社区

这里最核心的是:

 

 •  Mapping 设置是:multi-fields。


 •  聚合走的是 keyword 类型了,不涉及分词器:standard 了。


既然提到了 keyword, 我们进一步看:

Elasticsearch 如何实现查询/聚合不区分大小写?-开源基础软件社区

执行精准匹配后,召回结果为空。

 

怎么解释呢?keyword 类型属于精准匹配,也就是说:单纯的keyword 类型没法实现大小写区分。

 

进一步小结:

 

我们上面的组合multi-field 方式,并没有解决检索和聚合区分大小写的问题?

 

multi-field 都搞不定,那还有招吗?别急,我们慢慢来......

 

这时候得思考:需要在 Mapping 阶段做文章了。

 

核心原理:把所有都转为小写,写入时候设置 Mapping——设置filter过滤:小写过滤。

 

这个是一个我们过往文章没有提及的知识点 normalizer,希望你把它看完并掌握。

 

Elasticsearch 如何实现查询/聚合不区分大小写?-开源基础软件社区


先给出实现,后面讲原理。

Elasticsearch 如何实现查询/聚合不区分大小写?-开源基础软件社区Elasticsearch 如何实现查询/聚合不区分大小写?-开源基础软件社区

此时的检索返回结果是:_id = 1,2,3,4 文档都被召回。

 

注意,我们使用了 terms 检索。Elasticsearch 如何实现查询/聚合不区分大小写?-开源基础软件社区

返回结果是:

Elasticsearch 如何实现查询/聚合不区分大小写?-开源基础软件社区

以上 new york 4种不同大小写的全都聚合到了一起,这是我们期望的结果。

 

Elasticsearch 如何实现查询/聚合不区分大小写?-开源基础软件社区
核心的核心是我们使用了:normalizer。

 

这个概念咱们之前分词的文章都没有提及,这里要普及一下。

 

官方解读如下:

 

 •  The normalizer property of keyword fields is similar to analyzer except that it guarantees that the analysis chain produces a single token.
 •  The normalizer is applied prior to indexing the keyword, as well as at search-time when the keyword field is searched via a query parser such as the match query or via a term-level query such as the term query.


核心点如下:

 

 •  第一:normalizer是 keyword的一个属性,类似 analyzer分词器的功能,不同的地方在于:可以对 keyword生成的单一 Term再做进一步的处理。

 

 •  第二:normalizer 在 keyword 类型数据索引化之前被使用,同时在 match 或者 term 类型检索阶段也能被使用。


刚才提及的进一步处理,反映到我们的解决方案上:就是可以做小写 lowercase 转换。

 

由于写入阶段和检索阶段:normalizer 都生效,所以就实现了我们想要的不区分大小写的结果。

 

Elasticsearch 如何实现查询/聚合不区分大小写?-开源基础软件社区
如果官方文档熟悉,我们的示例,实际就是官方文档:normalizer 的举例。

 

中间的 filter 我们设置了小写,当然也可以有其他的设置,需要结合业务场景灵活使用。

 

欢迎大家留言说一下类似问题的其他不同实现方案。

 

和你一起,死磕 Elasticsearch!

收藏
回复
举报
回复
添加资源
添加资源将有机会获得更多曝光,你也可以直接关联已上传资源 去关联
    相关推荐