Elasticsearch 8.X 有哪些自动补全的检索方式？

hexiaox810

发布于 2023-1-31 14:55

浏览

0收藏

1、自动补全或前缀匹配检索实现效果图

Elasticsearch 能实现自动补全检索的方案很多，可以简单归结为如下几种不同的方案：

方案一：Prefix 前缀匹配检索。
方案二：MatchPhrase prefix 短语前缀匹配检索。
方案三：更细粒度的ngram 分词间接解决前缀匹配检索。
方案四：Search as your type 类型。
方案五：Completion Suggest 自动补全。

方案一、方案二的样例数据如下所示：

PUT worldcup_index
{
  "mappings": {
    "properties": {
      "title": {
        "type": "text",
        "analyzer": "ik_max_word",
        "fields": {
          "keyword": {
            "type": "keyword"
          }
        }
      }
    }
  }
}

POST worldcup_index/_bulk
{"index":{"_id":1}}
{"title":"世界杯-拉莫斯帽子戏法 葡萄牙6-1晋级将战摩洛哥"}
{"index":{"_id":2}}
{"title":"世界杯2022赛程"}
{"index":{"_id":3}}
{"title":"世界杯8强全部出炉！C罗收获大礼，梅西被3大强队包围"}
{"index":{"_id":4}}
{"title":"FIFA世界杯的微博"}
{"index":{"_id":5}}
{"title":"世界杯赛事积分榜及排名"}
{"index":{"_id":6}}
{"title":"世杯界16强决赛对阵表"}
{"index":{"_id":7}}
{"title":"卡塔尔世界杯为什么在冬天"}1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.

2、prefix前缀匹配

2.1 prefix 检索类型范畴

属于 term level 精准匹配的范畴。

2.2 针对字段类型：

keyword类型。
当然 text 也可以，但不够精准，结果可能达不到预期。

POST worldcup_index/_search
{
  "profile": true, 
  "query": {
    "prefix": {
      "title.keyword": "世界"
    }
  }
}1.
2.
3.
4.
5.
6.
7.
8.
9.

检索召回数据结果如下（仅截图最核心部分）：

Elasticsearch 8.X 有哪些自动补全的检索方式？-鸿蒙开发者社区

3、 match_prhase_prefix 检索类型

3.1 检索类型范畴

属于全文检索的范畴。

3.2 针对字段类型

text 类型。
确切说，是实现 text 短语匹配的自动补全功能。

3.3 match_phrase_prefix 短语前缀匹配演示

POST worldcup_index/_search
{
  "query": {
    "match_phrase_prefix": {
      "title": {
        "query": "世界"
      }
    }
  }
}1.
2.
3.
4.
5.
6.
7.
8.
9.
10.

检索召回数据结果如下（仅截图最核心部分）：

Elasticsearch 8.X 有哪些自动补全的检索方式？-鸿蒙开发者社区

3.4 match_phrase_prefix 检索核心实现

实则为：MultiPhraseQuery 实现“世界”、“世”、“界”的组合检索。

Elasticsearch 8.X 有哪些自动补全的检索方式？-鸿蒙开发者社区

有同学可能会问：“世界世界” 三个分词单元怎么来的？

看这里，和 analyzer 分词有关系，我们的字段 title 设置的是 text 类型，选择的分词器：ik_max_word 分词器。

Elasticsearch 8.X 有哪些自动补全的检索方式？-鸿蒙开发者社区

4、更细粒度分词器解决自动补全检索

之前咱们讲过，也是大家常见的问题，比如：手机号的自动补全检索问题。

这种传统的分词和咱们上面讲过的两种检索方式都不灵。怎么办？

需要自定义分词来实现。

4.1 自定义分词实现

PUT phone_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "autocomplete": {
          "tokenizer": "autocomplete",
          "filter": [
            "lowercase"
          ]
        }
      },
      "tokenizer": {
        "autocomplete": {
          "type": "edge_ngram",
          "min_gram": 2,
          "max_gram": 20
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "phone_number": {
        "type": "text",
        "analyzer": "autocomplete"
      }
    }
  }
}

POST phone_index/_analyze
{
  "field": "phone_number",
  "analyzer": "autocomplete", 
  "text": [
    "18366669999"
  ]
}1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.

如上 analyze 分词结果为：

Elasticsearch 8.X 有哪些自动补全的检索方式？-鸿蒙开发者社区

导入数据

POST phone_index/_bulk
{"index":{"_id":1}}
{"phone_number":"18366669999"}
{"index":{"_id":2}}
{"phone_number":"18311112222"}
{"index":{"_id":3}}
{"phone_number":"18333332222"}
{"index":{"_id":4}}
{"phone_number":"18255552222"}1.
2.
3.
4.
5.
6.
7.
8.
9.

执行检索

POST phone_index/_search
{
  "profile": true, 
  "query": {
    "match_phrase_prefix": {
      "phone_number": "183"
    }
  }
}1.
2.
3.
4.
5.
6.
7.
8.
9.

Elasticsearch 8.X 有哪些自动补全的检索方式？-鸿蒙开发者社区

自定义分词实现自动补全检索的优点：空间换时间，针对极大数据量检索依然会很快。
缺点：1、写入效率低；2、磁盘空间耗费大。

5、search_as_your_type 检索方案

5.1 search_as_your_type 数据类型介绍

search_as_your_type 字段类型（7.2 版本之后才有的功能）是一个类似文本的字段，经过优化以提供开箱即用的支持，用于完成自动补全的查询。

支持前缀完成（即匹配从输入开头开始的术语）和中缀完成（即匹配输入中任何位置的术语）的检索。

5.2 search_as_your_type 初探

search_as_your_type 字段本质上支持四种不同的分词。

第一种：标准 standard 分词器，单字为一个分词单元；
第二种：_2gram 分词器，两个单词为一个分词单元；
第三种：_3gram 分词器，三个单词为一个分词单元；
第四种：_index_prefix 分词器，前缀、中缀分词方式。

以“世界杯的微博”文档为例，各种不同类型的分词结果如下：

Elasticsearch 8.X 有哪些自动补全的检索方式？-鸿蒙开发者社区

5.3 search_as_your_type 实战

如下检索方式使用了：multi_match 和 bool_prefix 检索结合"title"、“title._2gram”、"title._3gram"、“title._index_prefix”多字段检索的方式。

这几个字段的最终检索结果基于 most_fields 方式求和得到总的评分。

实际业务层面根据需要选择字段即可。

POST world_cup_index_1207/_search
{
  "query": {
    "multi_match": {
      "query": "世界",
      "type": "bool_prefix",
      "fields": [
        "title",
        "title._2gram",
        "title._3gram",
        "title._index_prefix"
      ]
    }
  }
}1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.

对比可以看出，这种检索方式非常的灵活。

6、自动补全建议 suggesters 检索

6.1 Elasticsearch suggesters 介绍

Suggesters 是 Elasticsearch 中的高级解决方案，可根据用户的输入的文本返回外观相似的短语。Suggesters 可以实现类似：检索时提示、用户搜索词联想或校验等功能。

相比于前四种实现方式，这种方式“根正苗红”，更加的适合实现企业级的自动补全检索。

6.2 Elasticsearch completion suggest 用法

创建索引及构造数据如下：

首先，需要在索引中添加一个 suggest 字段。如下代码的 suggest 字段，该字段将保存要提供的补全建议。
然后，写入数据。同时指定input 文本和 weight 权重。input 代表补全建议的文本信息；weight 代表权重，权值越大，计算的评分越高；反之，则相反。

PUT worldcup_suggest_index
{
  "mappings": {
    "properties": {
      "title": {
        "type": "keyword"
      },
      "suggest": {
        "type": "completion"
      }
    }
  }
}

PUT worldcup_suggest_index/_bulk
{"index":{"_id":1}}
{"suggest":[{"input":["世界杯2022赛程"],"weight":3}]}
{"index":{"_id":2}}
{"suggest":[{"input":["世界杯赛事积分榜及排名"],"weight":2}]}
{"index":{"_id":3}}
{"suggest":[{"input":["FIFA世界杯的微博"],"weight":1}]}
{"index":{"_id":4}}
{"suggest":[{"input":["世界杯2022赛程"],"weight":1}]}1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.

最后，使用 Elasticsearch 的自动补全 API 来获取补全建议。

POST worldcup_suggest_index/_search
{
  "suggest": {
    "worldcup-suggest": {
      "prefix": "世界",
      "completion": {
        "field": "suggest"
      }
    }
  }
}1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.

Elasticsearch 8.X 有哪些自动补全的检索方式？-鸿蒙开发者社区

我们推荐结果有重复数据，如何去重呢？

这个问题业务层面也经常遇到。completion 借助参数：

"skip_duplicates" : true1.

实现推荐结果数据的去重。

Elasticsearch 8.X 有哪些自动补全的检索方式？-鸿蒙开发者社区

7、小结

关于Elasticsearch 8.X 能实现自动补全，本文提供了五种不同的方案。几种方案的对比概括如下：

Elasticsearch 8.X 有哪些自动补全的检索方式？-鸿蒙开发者社区

解决企业级业务问题，远不止这几种方案。

你有没有遇到自动补全问题，用什么方案解决的？

欢迎留言讨论。

文章转载自公众号：铭毅天下Elasticsearch

分类

其他

标签

Elasticsearch

已于2023-1-31 14:55:43修改

51CTO

51CTO博客

51CTO学堂

Elasticsearch 8.X 有哪些自动补全的检索方式？

1、自动补全或前缀匹配检索实现效果图

2、prefix前缀匹配

2.1 prefix 检索类型范畴

2.2 针对字段类型：

3、 match_prhase_prefix 检索类型

3.1 检索类型范畴

3.2 针对字段类型

3.3 match_phrase_prefix 短语前缀匹配演示

3.4 match_phrase_prefix 检索核心实现

4、更细粒度分词器解决自动补全检索

4.1 自定义分词实现

5、search_as_your_type 检索方案

5.1 search_as_your_type 数据类型介绍

5.2 search_as_your_type 初探

5.3 search_as_your_type 实战

6、自动补全建议 suggesters 检索

6.1 Elasticsearch suggesters 介绍

6.2 Elasticsearch completion suggest 用法

7、小结

目录

订阅鸿蒙技术特刊，精选内容抢先看