这个用户很懒,还没有个人简介
私信
主帖 41
回帖
视频
提问
回答
资源
专栏
1、题记我们在实际的业务场景中做Elasticsearch开发时,免不了遇到这样、那样的问题。《死磕Elasticsearch方法论》中,已经告诉大家相关问题的排查方法。这一节,我们以具体的示例,解决基于业务场景的Elasticsearch难题的方法?2、上问题3、搜索已有知识储备步骤1:脑海中显现:ES中有哪些数据类型?ES支持哪些数据类型。此处,我个人认为,没必要记住。但是,要知道,从哪里查?记住,查询方法如下:在Google或者Bing国际版输...
2022-04-29 14:41:24 181浏览 0点赞 0回复 0收藏
5、核心知识点解读"fielddata":"true"是什么?5.1基础认知:text类型不能用于聚合所有字段是默认被indexed(被索引的),这使得它们是可搜索的.可以在脚本中排序,聚合和获取字段值,但是需要不同的搜索模式.搜索需要回答一个问题“哪个document(文档)包含这个term(词条)”,然而排序和聚合需要回答一个不同的问题"这个字段在这个document(文档)中的值是多少?".许多字段可以使用indextime,在磁盘上的docvalues支持这种数据...
2022-04-29 13:50:51 110浏览 0点赞 0回复 0收藏
少废话,直接干货。0、我们为什么要买一本书?•书中梳理出更清晰的知识体系•书是作者实践总结的干货•书的理论基础部分能快速带我入门•书的实践部分帮我们提升技能•书中知识是官网文档googlestackoverflowgithub等都短时间不能找到的资料•书是一种工具,帮我们产品、项目开发中遇到问题能快速找到答案……1、当我们在都技术书时,我们在读什么?•读基础原理,很快理清概念、很快上手;•...
2022-04-29 13:43:14 111浏览 0点赞 0回复 0收藏
1.1架构的定义软件架构指软件系统的顶层结构。1.2架构、框架、组件、模块、系统的本质•架构是顶层设计;•框架是面向编程或配置的半成品;•组件是从技术维度上的复用;•模块是从业务维度上职责的划分;•系统是相互协同可运行的实体。1.3架构与框架的区别?1.软件架构:软件系统的“基础结构”,创造这些基础结构的准则,以及对这些结构的描述。2.软件框架:为了实现某个业界标准或完成特定基本任务的软...
2022-04-29 13:28:28 175浏览 0点赞 0回复 0收藏
2022-04-29 12:36:27 171浏览 0点赞 0回复 0收藏
1、什么是堆内存?Java中的堆是JVM所管理的最大的一块内存空间,主要用于存放各种类的实例对象。在Java中,堆被划分成两个不同的区域:•新生代(Young)、•老年代(Old)。新生代(Young)又被划分为三个区域•Eden、•FromSurvivor、•ToSurvivor。这样划分的目的是为了使JVM能够更好的管理堆内存中的对象,包括内存的分配以及回收。2、堆内存的作用是什么?在虚拟机启动时创建。堆内存的唯一目的就是创建对象...
2022-04-29 11:51:19 185浏览 0点赞 0回复 0收藏
1、题记Elasticsearch有没有类似mysql的distinct的去重功能呢?1)如何去重计数?类似mysql:selectdistinct(count(1))frommytable;2)如何获取去重结果。类似mysql:SELECTDISTINCTname,ageFROMusers;2、需求1)对ES的检索结果进行去重统计计数。2)对ES的检索结果去重后显示。3、分析1)统计计数需要借助ES聚合功能结合cardinality实现。2)去重显示结果有两种方式:方式一:使用字段聚合+tophits聚合方式。方式二:使用collap...
2022-04-29 11:39:35 110浏览 0点赞 0回复 0收藏
0、ES6.X一对多、多对多的数据该如何存储和实现呢?引出问题:相信阅读本文,你就能得到答案!1、ES6.X新类型Join产生背景•Mysql中多表关联,我们可以通过leftjoin或者Join等实现;•ES5.X版本,借助父子文档实现多表关联,类似数据库中Join的功能;实现的核心是借助于ES5.X支持1个索引(index)下多个类型(type)。•ES6.X版本,由于每个索引下面只支持单一的类型(type)。•所以,ES6.X版本如何实现Join成为大...
2022-04-29 11:34:33 89浏览 0点赞 0回复 0收藏
1、题记2018年3月初,萌生了一个想法:对Elasticsearch相关的技术书籍做拆解阅读,该想法源自非计算机领域红火已久的【樊登读书会】、得到的每天听本书、XX拆书帮等。目前市面上Elasticsearch的中文书籍就那么基本,针对ES5.X以上的三本左右;国外翻译有几本,都是针对ES1.X,2.X版本,其中《深入理解Elasticsearch》还算比较经典。拆书的目的:•1)梳理已有的Elasticsearch知识体系;•2)拾遗拉在角落的Elasticsearc...
2022-04-29 10:37:44 83浏览 0点赞 0回复 0收藏
XPack已经开源,预计Elasticsearch6.3版本会全面集成,不再收费。赶紧体验一下强大的XPack吧!1、XPack概览XPack简介1)利用XPack拓展可能性。XPack是集成了多种便捷功能的单个插件—security、alerting、monitoring、reporting、graph探索和machinelearning—您可以在ElasticStack中放心地使用这些功能。2)单就其自身而言,ElasticStack就是一款值得考虑的强大工具。XPack将诸多强大功能集合到一个单独的程序包中,更将它带上...
2022-04-28 18:05:48 118浏览 0点赞 0回复 0收藏
1、应用场景实时数据流通过kafka后,根据业务需求,一部分直接借助kafkaconnector入Elasticsearch不同的索引中。另外一部分,则需要先做聚类、分类处理,将聚合出的分类结果存入ES集群的聚类索引中。如下图所示:业务系统的分层结构可分为:接入层、数据处理层、数据存储层、接口层。那么问题来了?我们需要基于聚合(数据处理层)的结果实现检索和聚合分析操作,如何实现更快的检索和更高效的聚合分析效果呢?2、方案选型方案...
2022-04-28 17:53:14 89浏览 0点赞 0回复 0收藏
1、聚合为什么慢?大多数时候对单个字段的聚合查询还是非常快的,但是当需要同时聚合多个字段时,就可能会产生大量的分组,最终结果就是占用Elasticsearch大量内存,从而导致OOM的情况发生。实践应用发现,以下情况都会比较慢:◆1)待聚合文档数比较多(千万、亿、十亿甚至更多);◆2)聚合条件比较复杂(多重条件聚合);◆3)全量聚合(翻页的场景用)。2、聚合优化方案探讨优化方案一:默认深度优先聚合改为广度优先聚合。...
2022-04-28 17:35:44 98浏览 0点赞 0回复 0收藏
1、问题抛出某个词组在Elasitcsearch中的某个document中存在,就一定通过某种匹配方式把它搜出来。举例:输入关键词:道路,能否搜索到这个document呢?实际应用中可能需要:1)检索关键词”理解”、”解放”、”道路”、“理解放大”,都能搜出这篇文档。2)单个的字拆分“治”、“水”太多干扰,不要被检索出来。3)待检索的词不在词典中,也必须要查到。4)待检索词只要在原文title或content中出现,都要检索到。5)检索要快...
2022-04-28 16:29:12 120浏览 0点赞 0回复 0收藏
1、Elasticsearch支持聚合后分页吗,为什么?不支持,看看Elasticsearch员工如何解读。这个问题,2014年在github上有很长的讨论。究其为什么ES不支持聚合后分页?可概括如下:1)性能角度——聚合分页会在大量的记录中产生性能问题。2)正确性角度——聚合的文档计数不准确。所以奇怪的事情可能会发生,如第二页的第一项具有比第一页的最后一个元素更高的计数。具体为什么会不正确?这是因为每个分片都提供了自己对有序列表应该...
2022-04-28 16:13:21 137浏览 0点赞 0回复 0收藏
题记源自“死磕Elasticsearch”技术群里的讨论问题:我的思考如下:1、pdf、Office类的文档如何被ES索引?问题转嫁为:如何将Office类文档、PDF文档导入ES建立索引,并提供全文检索服务?2、Elasticsearch支持的最大待检索字段的长度是多大?ES5.X版本以后,keyword支持的最大长度为32766个UTF8字符,text对字符长度没有限制。设置ignoreabove后,超过给定长度后的数据将不被索引,无法通过term精确匹配检索返回结果。3、Office...
2022-04-28 15:03:14 109浏览 0点赞 0回复 0收藏
少废话,说正事。一、高级检索的功能点通过高级搜索配置搜索项,能更准确的过滤掉不相干信息,获取最想要的检索信息。以Google搜索为例(截取核心片段):二、高级检索拆分1、包含以下全部的关键词:需要分词处理;若需要指定字段,则使用matchQuery实现;若无需指定字段的全文检索,则使用queryStringQuery实现;2、包含以下的完整关键词:需要完整匹配字符,使用wildcardQuery结合””实现;3、包含以下任意一个关键词:空格...
2022-04-28 14:32:11 107浏览 0点赞 0回复 0收藏
题记Elasticsearch当清理缓存(echo3>procsysvmdropcaches)的时候,出现如下集群健康值:red,红色预警状态,同时部分分片都成为灰色。查看Elasticsearch启动日志会发现如下:集群服务超时连接的情况。该问题排查耗时很长,问题已经解决。特将问题排查及解决方案详尽的整理出来。1、集群状态解读head插件会以不同的颜色显示。参考官网:http:t.cnRltLEpN(部分中文集群健康状态博文资料翻译的不够精确,以官网为准)如果集群状...
2022-04-28 13:31:44 104浏览 0点赞 0回复 0收藏
0、引言在关系型数据库如Mysql中,设计库表需要注意的是:表的设计遵守范式约束,考虑表的可扩展性,避免开发后期对表做大的改动。Mysql或者Oracle中,修改数据类型相对比较简单,通过命令行或者navicat、sqldeveloper等可视化工具直接修改。即便千万级别数据量,多等点时间,也能修改好。而在Elasticsearch非关系型数据存储的搜索引擎中,设计表对应的就是Mapping的设计。且ES中一旦字段设定后,不能修改。当然,这也不是绝对...
2022-04-28 12:59:48 151浏览 0点赞 0回复 0收藏
由于其他几种类型节点和用途都很好理解,无非主节点、数据节点、路由节点。Ingest的用途:1)Ingest节点和集群中的其他节点一样,但是它能够创建多个处理器管道,用以修改传入文档。类似最常用的Logstash过滤器已被实现为处理器。2)Ingest节点可用于执行常见的数据转换和丰富。处理器配置为管道。在写入时,IngestNode有20个内置处理器,例如grok,date,gsub,小写大写,删除和重命名等。3)在批量请求或索引操作之前,Ingest...
2022-04-28 12:32:54 99浏览 0点赞 0回复 0收藏
2022-04-28 12:27:08 104浏览 0点赞 0回复 0收藏