实战 | 一步步排查基于业务场景的Elasticsearch难题！

yyd2000

发布于 2022-10-14 16:03

浏览

0收藏

1、题记

我们在实际的业务场景中做Elasticsearch开发时，免不了遇到这样、那样的问题。
《死磕Elasticsearch方法论》中，已经告诉大家相关问题的排查方法。
这一节，我们以具体的示例，解决基于业务场景的Elasticsearch难题的方法？

2、上问题

请问下es可以在date字段上查询月日吗下单时间字段类型是date，想查询每年11月11日下单的记录？有什么办法可以zh直接查？
原文链接：https://elasticsearch.cn/question/3649

3、搜索已有知识储备

步骤1：脑海中显现：ES中有哪些数据类型？ES支持哪些数据类型。
此处，我个人认为，没必要记住。
但是，要知道，从哪里查？
记住，查询方法如下：
在Google或者Bing国际版输入：“elasticsearch data type”
相关链接：http://t.cn/REjyfxa

步骤2：ES中date字段时如何定义的？
在核心的数据类型部分，就介绍了ES中的Date类型：
数据类型分为三种：
1）字符串类型如： "2015-01-01" or "2015/01/01 12:10:30".
2）长整型，以毫秒度量：1520256456000
3）整型，以秒度量：1520256456。

PUT my_index
 {
  "mappings": {
    "_doc": {
      "properties": {
        "date": {
          "type":   "date",
          "format": "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||epoch_millis"
        }
      }
    }
  }
}1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.

步骤3：常见日期类型的检索方式：
range时间区间检索：

GET _search
{
    "query": {
        "range" : {
            "timestamp" : {
                "gte": "2015-01-01 00:00:00", 
                "lte": "now", 
                "time_zone": "+01:00"
            }
        }
    }
}1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.

参考：
http://t.cn/RcWM2Py

步骤4：如何获取日期中指定的年、月、日检索？
能想到的是什么呢——的确，我也没这么用过。
注意：此时一定要用英文去检索。
在Google或者Bing国际版或者Stackoverflow中输入：“elasticsearch date get month“。

看看网友的思路：
返回如下：
http://t.cn/REjVkGWhttp://t.cn/REjfh8z

初步，确定解决方案。
结合：script检索+ getDate().getMonthOfYear()接口实现条件检索。

4、敲黑板——知识点

1、script检索
一种基于 Painless脚本语言的检索， Painless 脚本语言是简单、安全应用于Elasticsearch中的脚步语言。
应用举例：

GET /_search
{
    "query": {
        "bool" : {
            "must" : {
                "script" : {
                    "script" : {
                        "source": "doc['num1'].value > 1",
                        "lang": "painless"
                     }
                }
            }
        }
    }
}1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.

2、时间的返回接口
getDate().getMonthOfYear()

注意：
date.getMonthOfYear() == 11 返回11月；
date.getDayOfMonth() == 11 返回11日。

5、如何实现呢？

基于之前的分析，我的思路：
第一步：获取月；
第二步：获取日；
第三步：二者与。

具体实现：

POST index_*/_search
{
  "size":100,
  "_source": {
  "includes": [
  "title",
  "create_time"
  ]
  },
  "query": {
  "bool" : {
  "must" : [{
  "script" : {
  "script" : {
  "inline": "doc['create_time'].getDate().getMonthOfYear() == 12",
  "lang": "painless"
  }
  }
  },
  {
  "script" : {
  "script" : {
  "inline": "doc['create_time'].getDate().getDayOfMonth() == 23",
  "lang": "painless"
  }
  }
  }
  ]
  }
  }
}1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.

返回结果：
实际业务中，我以12月，23日作为检索条件验证的，我用的系统中没有11月11日的数据。

{
  "took": 5,
  "timed_out": false,
  "_shards": {
  "total": 5,
  "successful": 5,
  "failed": 0
  },
  "hits": {
  "total": 8536,
  "max_score": 1,
  "hits": [
  {
  "_index": "bak_index_v3",
  "_type": "bke_type",
  "_id": "AWCEDIuUYGOEa9MAzRvk",
  "_score": 1,
  "_source": {
  "create_time": "2017-12-23 23:45:02",
  "title": "世界道学网-道学文摘-唱道真言"
  }
  },
  {
  "_index": "bak_index_v3",
  "_type": "bke_type",
  "_id": "AWCD2bs4YGOEa9MAzRta",
  "_score": 1,
  "_source": {
  "create_time": "2017-12-23 22:49:32",
  "title": "新浪网-航天知识-飞向月球"
  }
  },
  {
  "_index": "bak_index_v3",
  "_type": "baike_type",
  "_id": "AWB_uk1jYGOEa9MAzRs4",
  "_score": 1,
  "_source": {
  "create_time": "2017-12-23 03:36:44",
  "title": "3DXXX需求"
  }
  },
  {
  "_index": "bak_index_v3",
  "_type": "bke_type",
  "_id": "AWCD2bhbYGOEa9MAzRtZ",
  "_score": 1,
  "_source": {
  "create_time": "2017-12-23 22:49:31",
  "title": "新浪网-知识-什么是全球定位系统"
  }
  }
  ]
  }
}1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.

6、小结

对于不熟悉的业务场景，可以通过检索英文关键词，通过Google、stackoverflow等最快找到解决方案。此处，切记：不要盲目用中文检索。
使用完以后，一定要形成知识点总结，便于以后的触类旁通。

参考：脚本检索——

http://t.cn/R3nxhwW

7、这就完了吗？

有没有更便捷的方法。
这里，后期检索的时候，发现如下不需要bool检索的更高效的解决方案：
https://goo.gl/EhtJA2

核心的一行脚本：
"script": "doc.ActivityDate.date.getMonthOfYear() == 12 && doc.ActivityDate.date.getDayOfMonth() == 9"
对应于我们的问题的解决方案：

1doc['create_time'].getDate().getMonthOfYear() == 11 
2&&  doc['create_time'].getDate(). getDayOfMonth () == 111.
2.

同时，这里告诉我们正确的英文关键词的搜索应该为：
Elasticsearch Filtering part of date ignoring Year like SQL DATEPART function
你我共深思。

本文转载自公众号铭毅天下Elasticsearch

分类

其他

标签

elasticsearch

已于2022-10-17 15:48:09修改

相关推荐

Java中，super与this的区别，更进一步的区别！

lanhy • 1.4w浏览 • 0回复
一步步教你用 WebVR 实现虚拟现实游戏

level • 1.3w浏览 • 0回复
华为：宁可向前一步死，绝不退后半步生

jowvid • 1.3w浏览 • 4回复
DevEco Studio 2.0 Beta2 邀你升级，开发HarmonyOS应用更进一步

少于5个字 • 1.2w浏览 • 1回复
android教你怎么轻松实现手机推送功能，一步一步教你Mob+MobPush

hackernew • 1.2w浏览 • 0回复
魅族将支持华为HMS，离接入鸿蒙系统仅一步之遥。

宇穷 • 1.9w浏览 • 5回复
谷歌对鸿蒙下手了，釜底抽薪的一步，鸿蒙最大的扼杀

兰花光浩 • 5420浏览 • 0回复
干货 | 一步步拆解 Elasticsearch BM25 模型评分细节

r660926 • 1.2w浏览 • 0回复
一步一步推导MySQL索引隐秘的底层数据结构

netcat20000 • 6792浏览 • 0回复
带你一步一步深入了解 MySQL Order By 文件排序

chujichenxuyuan • 1.1w浏览 • 0回复
一步步拆解解决 Elasticsearch 检索模板问题

robinent • 6927浏览 • 0回复
实战 | 一步步排查基于业务场景的Elasticsearch难题！

robinent • 6560浏览 • 0回复
一步一步推导MySQL索引隐秘的底层数据结构

netcat20000 • 5456浏览 • 0回复
小熊派对接华为云iot平台---手把手一步一步入门教程

辰羊 • 1.2w浏览 • 0回复
踏出第一步，感觉好多了

ly_liyi • 6258浏览 • 0回复
细节拉满，80 张图带你一步一步推演 slab 内存池的设计与实现

wg204wg • 4284浏览 • 0回复
摆脱“卡脖子”，华为走得更快一步

开源news • 5140浏览 • 0回复
（图片清晰版）细节拉满，80 张图带你一步一步推演 slab 内存池的设计与实现

荔枝岛岛主 • 4290浏览 • 0回复
#星计划#一步一步用鸿蒙开发一个登录页面

wx6192ef9117955 • 5632浏览 • 0回复

yyd2000

这个用户很懒，还没有个人简介

帖子

视频

声望

粉丝

关注

51CTO

51CTO博客

51CTO学堂