这个用户很懒,还没有个人简介
私信
主帖 71
回帖
视频
提问
回答
资源
专栏
这个涉及到基础概念,为保证说法的准确性,如下会贴上官方链接和其他来源地址,以便更深入理解好段合并的相关知识。如图所示,自顶向下看,•一个集群包含1个或多个节点;•一个节点包含1个或多个索引;•一个索引:类似Mysql中的数据库;•每个索引又由一个或多个分片组成;•每个分片都是一个Lucene索引实例,您可以将其视作一个独立的搜索引擎,它能够对Elasticsearch集群中的数据子集进行索引并处理相...
2022-04-25 17:33:23 90浏览 0点赞 0回复 0收藏
1、事出有因一个问题引发的国内外最牛逼的elasticsearch天团博客集合。回复:如果看过wood大叔博客或者官方API,就能很快找到答案。2、Elastic中文社区1000期日报TOP30博客统计机器汇集3000+精彩人工推荐的Elastic博文,统计汇总后TOP文章来源统计如下:3、国内TOPElasticsearch博客梳理脸皮厚加了自己的,向其他大佬看齐和学习https:elastic.blog.csdn.net4、国外TOPElasticsearch博客梳理5、小结他山之石,可以攻玉。ElasticS...
2022-04-25 17:20:09 127浏览 0点赞 0回复 0收藏
题记最近知识星球里几个问题都问到了docvalues、storefield、fielddata等的概念。问题1:”群主有介绍docvalue,fielddata,storefields比较好的文章么?一直感觉有点模糊“问题2:“请教下星主关于ES存储相关的问题,一个文档有如下几个地方可能会存储:•倒排索引。•Source字段。•store存储(如果开启)•docvalues。不知道我理解的是否正确?如果这几个地方都存储,那是不是可以理解为数据大致会膨胀了4倍?...
2022-04-25 16:43:47 92浏览 0点赞 0回复 0收藏
开发实战环节,我推荐使用:kibanaDevtools。原因如下:•有提示功能•方便快捷、效率高•不容易出错本文结合多年实战经验和网络资源,梳理出开发环节最重要的命令清单,希望对你有帮助!调用RESTAPI很容易,除了实际的主机名IP和端口外,它还包含四个部分:•动词——REST调用的GET,PUT,POST和DELETE部分。在Kibana中,您可以直接指定这些名称,对于cURL,请使用X选项。对应示例中的:POST•路径——API...
2022-04-25 16:18:15 112浏览 0点赞 0回复 0收藏
1、实战项目将唐诗三百首写入Elasticsearch会发生什么?2、项目说明此项目是根据实战项目浓缩的一个小项目,几乎涵盖之前讲解的所有知识点。通过这个项目的实战,能让你串联起之前的知识点应用于实战,并建立起需求分析、整体设计、数据建模、ingest管道使用、检索聚合选型、kibana可视化分析等的全局认知。3、需求数据来源:https:github.comxuchunyang300注意数据源bug:第1753行种的"id":178需要手动改成"id":252。检索分析D...
2022-04-25 16:01:18 53浏览 0点赞 0回复 0收藏
1、开发不能联网怎么访问Elasticsearch文档?这是最近被频繁问到的问题。直接上个图:不能让Elasticsearch文档限制了你我的学习热情!2、直接开干步骤1:访问:https:zealdocs.org步骤2:加载Docsets。步骤3:输入elasticsearch搜索下载官方文档到本地。搞定了!!!注意一个细节,文档的存储路径是可以配制的。3、说好的离线文档呢?你上面这么操作的前提,不是得联网下载吗?其实2步骤有了,拿走安装包、拷贝离线文档,就能搞...
2022-04-25 15:10:52 152浏览 0点赞 0回复 0收藏
球友反馈的实战问题:关于es的运维相关的,遇到一些问题!•第一个问题:是关于集群迁移的,目前需要针对20亿的数据做迁移,如果文件迁移,需要停机时间太久,除了重新灌入,不知道有没有更好的方式?•第二个问题:我们es集群的读写都很频繁,如何把控在相互不影响性能,当前情况是会有相互影响!•第三个问题:之前做版本升级,升级后部分分片不可用,但是不知道什么原因导致?•最后:就是关于数据的扩容,...
2022-04-25 14:23:57 185浏览 0点赞 0回复 0收藏
Elasticsearch社区有大量关于Elasticsearch错误和异常的问题。深挖这些错误背后的原因,把常见的错误积累为自己的实战经验甚至是工具,不仅可以节省我们的开发和运维时间,而且可以帮助确保Elasticsearch集群的长期健康运行。常见的异常、原因和常规最佳实践拆解如下,这些最佳实践可以帮助我们更有效地识别、最小化定位和处理异常问题。Elasticsearch依靠映射(Mapping)定义的数据类型处理数据。映射定义了文档中的字段并指定...
2022-04-25 13:02:56 85浏览 0点赞 0回复 0收藏
2020年7月16日,Elasticsearch日报迎来了第1000期。1、什么是Elastic日报?Elastic日报是由魏彬老师(中国首位Elastic认证工程师)发起的,对标参考的是湾区日报。•发布周期:每天推送3篇+Elasticstack相关文章。•发布地址:Elasticsearch中文社区网站:elasticsearch.cn,并支持邮件推送。•核心使命:专注ElasticStack技术栈,每天精选推送3篇优质文章,助力你我每天精进一点点。第1期日报的发布日期为:201707...
2022-04-25 12:43:49 138浏览 0点赞 0回复 0收藏
1.缘起我接触ES的时间大约是2017年,最初是小打小闹,只是搭了个小的demo环境,用ES来存储给设备日志外加用Kibana做一些简单的可视化展示,自我娱乐和研究而已,对于ES本身的知识也只是限于碎片化的学习。20182019年是个逐渐井喷的阶段,那时候公司有几个千亿级日志收集和处理的项目开始上马,我作为项目架构师,自然要对Elasticstack玩得更加精深一点,于是便决心想要体系化的学习一下。正好在2019年7月极客时间推出了阮一鸣的...
2022-04-25 12:28:28 99浏览 0点赞 0回复 0收藏
2022-04-25 12:13:28 93浏览 0点赞 0回复 0收藏
1、实战问题来源问题1:大佬们GETnodeshotthreads查看热线程的这个API有没有讲解请求结果的文章呢?返回一堆堆栈看不懂......问题2:ES集群就一台机器CPU爆高,但IO、heapmem都正常。咋搞?hotthread我查了,报了一坨,SOS死磕Elasticsearch知识星球微信群于是就有了这篇文章。2、hotthreads干什么的?能吃吗?实战业务场景中,当我们遇到集群响应比平常慢且CPU使用率高时,我们需要做问题排查,找到根因集群才能恢复“如丝般流...
2022-04-25 11:18:31 76浏览 0点赞 0回复 0收藏
Elasticsearch集群在运行的过程中,由于各种原因,经常会出现健康问题。比较直观的是:kibana监控、head插件监控显示集群非绿色(红色或者黄色)。遇到这种情况不要慌,本文给出基础集群故障排查及修复指南,希望对你有所帮助。1、集群健康状态的解读这里直接用官方文档的解析,以避免不准确导致误导。集群运行状况为:绿色、黄色、红色。在分片级别:•绿色状态:表示集群健康;•黄色状态:表示所有主分片均已分配,...
2022-04-25 11:08:05 160浏览 0点赞 0回复 0收藏
实战业务场景中,经常会遇到定义空值、检索指定空值数据的情况。这时候,当我们翻看官方文档nullvalue部分,会看到如下的描述:Acceptsastringvaluewhichissubstitutedforanyexplicitnullvalues.Defaultstonull,whichmeansthefieldistreatedasmissing.接受一个字符串值替换所有显式的空值。默认为null,这意味着该字段被视为丢失。Anullvaluecannotbeindexedorsearched.Whenafieldissettonull,(oranemptyarrayoranarrayofnullva...
2022-04-25 10:55:28 108浏览 0点赞 0回复 0收藏
请问在一张订单表里,用户购买的产品是一条数据,我现在想查既购买了A又买了B的用户,这种需求能做吗?在表里存在一个用户购买了多种产品和一个产品被多个人购买的情况,每个用户购买的产品是一条单独的数据。假如现在的表已经是我上边说的那种情况了,能写出符合我查询要求的DSL吗?球友提问注意,类似的问题是业务问题,如果要实际落地分析,需要进一步核实确认当前的数据建模。本质一句话:数据的建模决定了数据的存储,数据...
2022-04-25 10:42:49 88浏览 0点赞 0回复 0收藏
最近社区里有多个关于区分大小写的问题:问题1:ES查询和聚合怎么设置不区分大小写呢?问题2:ES7.6如何实现模糊查询不区分大小写?主要是如何进行分词和mapping的一些设置来实现这个效果,自己也尝试过对setting和mapping字段进行设置,都是报错比较着急,类似的问题,既然有很多同学问到,那么咱们就有必要梳理出完整的思路和方案。这或许是铭毅天下公众号的使命所在。这个问题不复杂,所以本文会言简意赅,直击要害!2.1拆解...
2022-04-25 10:31:04 130浏览 0点赞 0回复 0收藏
0、题记我在做Elasticsearch相关咨询和培训过程中,发现大家普遍更关注实战中涉及的问题,下面我选取几个常见且典型的问题,和大家一起分析一下。•订单表、账单表父子文档可以实现类似SQL的左连接吗?通过canal同步到ES中,能否实现类似左连接的效果?具体应该如何建模?•一个人管理1000家连锁门店,如何更高效地查询自己管辖的商品类目?企微一个人维护了1000个员工,如何快速查询自己管辖的员工信息?•随着业...
2022-04-25 09:54:04 106浏览 0点赞 0回复 0收藏
题记这是一位腾讯大佬2020年4月份在死磕Elasticsearch技术交流微信群里发起讨论的问题,之前初步讨论了答案,但是不够细或者说讲解不透,所以一直没有成文。这一次,加上了实践验证,说透。1、上问题还是没太搞懂seedhosts和cluster.initialmasternodes的区别。•1、seedhosts里面一定是配置mastereligible节点吗•2、还是说data节点也可以配置到mastereligible•3、是如何发现潜在机器的呢•4、initialmaster...
2022-04-22 18:09:13 109浏览 0点赞 0回复 0收藏
Multimatchquery的目的多字段匹配,但Multimatchquery中的bestfields,mostfields,crossfields分不清楚,都什么含义?下面我们一一举例解读。为默认值,如果不指定,默认bestfields匹配。•含义:多个字段中,返回评分最高的。•类似:dismaxquery。•等价举例:(两个一起看,加深理解)默认bestfields与dismax等价与上述bestfields等价•含义:匹配多个字段,返回的综合评分(非最高分)•类似:bool+多字...
2022-04-22 17:48:33 99浏览 0点赞 0回复 0收藏
1、上问题这是来自球友实战问题。大致需求介绍如下:约3600万的数据,其中关键字段如下所示:用cardinality聚合统计,creator的个数有约1300万。问题:但在高基数(highcardinality)的情形下,性能不理想。2、概念解读:什么是高基数?为了更精确解读,这里直接拿:Elastic官方博客只字不差的翻译。terms聚合的性能可能会受到所聚合字段的基数的极大影响。基数(Cardinality)是指存储在特定字段中的值的唯一性。•高基数...
2022-04-22 17:38:49 148浏览 0点赞 0回复 0收藏