Elasticsearch 8.X 复杂分词搞不定，怎么办？

1、实战问题

球友提问：我想停用所有纯数字的分词 ，  官网上的这个方法好像对ik分词器无效！

有没有什么别的方法啊，  chart gpt 说分词可以用正则匹配   但是测试好像是不行的  我的es版本是 8.5.3。

2、进一步沟通后，得到问题最精准描述

我的查询内容可能是："北京市海淀区清华园10栋105"，ik_smart 中文​​分词​​结果为：“北京市”、“海淀区”、“清华园”、“10栋”、105。

用户期望：只想把分词后，是纯数字的排除掉。也就是说：期望最终分词结果为：“北京市”、“海淀区”、“清华园”、“10栋”。

更进一步说：10栋是个分词，用户期望检索分词结果：“10栋”。但是105的意义不大，用户期望分词阶段把类似“105”的纯数字分词单元去掉。

3、解决方案探讨

有没有现成分词器可以满足用户的需求呢？目前看，没有！

那怎么办？只能​​自定义分词器​​。咱们之前讲过，自定义分词器核心就如下图三部分组成。

​​三部分含义​​如下，结合上面的图会更好理解。

Character Filter 和 Token Filter 的区别如下：

它俩在 Elasticsearch 中都是文本预处理的组件，但它们的处理时机和目标略有不同：

本质区别：Character Filter 针对原始的字符级别进行处理，而 Token Filter 针对分词后的词项级别进行处理。

到此为止，再看用户的需求，期望分词后去掉“数字”。那也就是在分词后的 Token filter 处理为上乘方案。

Token filter 怎么处理呢？考虑数字级别统一处理的正则表达式，数字的正则为：“^[0-9]+$”。

^[0-9]+$ 可以被分解为几个部分来解读：

• ^：这个符号表示匹配的起始位置。也就是说，匹配的内容必须从目标字符串的开头开始。
• [0-9]：这是一个字符类。它匹配从 0 到 9 的任何一个数字字符。
• +：这是一个量词。它表示前面的内容（在这里是 [0-9] 字符类）必须出现一次或多次。
• $：这个符号表示匹配的结束位置。也就是说，匹配的内容必须直到目标字符串的结尾。

所以，整体上，这个正则表达式的含义是：字符串的开头到结尾之间只包含一到多个数字字符，并且没有其他任何字符。

例如：

• "123" 符合该正则。
• "0123" 也符合。
• "abc"、"123a" 或 "a123" 都不符合。

一句话，该正则表达式基本达到用户的需求。

实际实现的时候我们发现，对应 filter 环节的："pattern_replace-tokenfilter"过滤器。该过滤会实现字符级别的替换，我们可以将正则匹配的数字替换为某个字符，比如“”空格字符。

但，还没有达到要求，空格字符用户期望是剔除。这时候，我们又得考虑“”空格如何剔除。

查阅 filter 官方文档知道，有个“analysis-length-tokenfilter”的过滤器，将最小长度设置为1，就能过滤掉长度为0的空格字符。

自此，方案初步敲定。

4、敲定和初步验证解决方案

经过上述的讨论。我们分三步走战略。

• step 0: 分词器依然选择 ik_smart，和用户需求高度一致。
• step 1：找出数值数据，使用正则过滤 "pattern_replace filter” 实现。==> 正则表达式 ^[0-9]+$ 替换为特定的字符==> ""。
• Step 2:  删除空格，借助 length filter 实现。==> lenth > 1 小范围验证一下：

GET /_analyze
{
  "tokenizer": "ik_smart",
  "filter": [
    {
      "type": "pattern_replace",
      "pattern": "^[0-9]+$",
      "replacement": ""
    },
    {
      "type": "length",
      "min": 1
    }
  ],
  "text": "11111111北京市10522222海淀区1053333清华园10栋105"
}

在将输入文本复杂化处理后，分词结果依然能达到预期。

5、实操实现自定义分词

有了前面的初步实现，自定义分词就变得容易。

DELETE my-index-20230811-000002
PUT my-index-20230811-000002
{
  "settings": {
    "analysis": {
      "analyzer": {
        "my_custom_analyzer": {
          "tokenizer": "ik_smart",
          "filter": [
            "regex_process",
            "remove_length_lower_1"
          ]
        }
      },
      "filter": {
        "regex_process": {
          "type": "pattern_replace",
          "pattern": "^[0-9]+$",
          "replacement": ""
        },
        "remove_length_lower_1": {
          "type": "length",
          "min": 1
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "address":{
        "type":"text",
        "analyzer": "my_custom_analyzer"
      }
    }
  }
}

POST my-index-20230811-000002/_analyze
{
  "text": [
    "1111北京市3333海淀区444444清华园10栋105"
  ],
  "analyzer": "my_custom_analyzer"
}

索引定义解读如下：

上 述配置的主要目的是：创建一个自定义的analyzer，该analyzer可以处理中文文本，将纯数字的token替换为空，并确保分析结果中不包含空token。

最终结果如下，达到预期效果。

6、小结

当传统默认分词不能达到我们特定的、复杂的需求的时候，记得还有一招：自定义分词。

自定义分词记住三部分组成后，拆解一下复杂问题的需求，问题就会迎刃而解。

文章转载自公众号：铭毅天下Elasticsearch