鸿蒙开发者社区

1、题记我们在实际的业务场景中做Elasticsearch开发时，免不了遇到这样、那样的问题。《死磕Elasticsearch方法论》中，已经告诉大家相关问题的排查方法。这一节，我们以具体的示例，解决基于业务场景的Elasticsearch难题的方法？2、上问题3、搜索已有知识储备步骤1：脑海中显现：ES中有哪些数据类型？ES支持哪些数据类型。此处，我个人认为，没必要记住。但是，要知道，从哪里查？记住，查询方法如下：在Google或者Bing国际版输...

5、核心知识点解读"fielddata":"true"是什么？5.1基础认知：text类型不能用于聚合所有字段是默认被indexed（被索引的），这使得它们是可搜索的.可以在脚本中排序,聚合和获取字段值,但是需要不同的搜索模式.搜索需要回答一个问题“哪个document（文档）包含这个term（词条）”,然而排序和聚合需要回答一个不同的问题"这个字段在这个document（文档）中的值是多少？".许多字段可以使用indextime，在磁盘上的docvalues支持这种数据...

少废话，直接干货。0、我们为什么要买一本书？•书中梳理出更清晰的知识体系•书是作者实践总结的干货•书的理论基础部分能快速带我入门•书的实践部分帮我们提升技能•书中知识是官网文档googlestackoverflowgithub等都短时间不能找到的资料•书是一种工具，帮我们产品、项目开发中遇到问题能快速找到答案……1、当我们在都技术书时，我们在读什么？•读基础原理，很快理清概念、很快上手；•...

1.1架构的定义软件架构指软件系统的顶层结构。1.2架构、框架、组件、模块、系统的本质•架构是顶层设计；•框架是面向编程或配置的半成品；•组件是从技术维度上的复用；•模块是从业务维度上职责的划分；•系统是相互协同可运行的实体。1.3架构与框架的区别？1.软件架构：软件系统的“基础结构”，创造这些基础结构的准则，以及对这些结构的描述。2.软件框架：为了实现某个业界标准或完成特定基本任务的软...

1、什么是堆内存？Java中的堆是JVM所管理的最大的一块内存空间，主要用于存放各种类的实例对象。在Java中，堆被划分成两个不同的区域：•新生代(Young)、•老年代(Old)。新生代(Young)又被划分为三个区域•Eden、•FromSurvivor、•ToSurvivor。这样划分的目的是为了使JVM能够更好的管理堆内存中的对象，包括内存的分配以及回收。2、堆内存的作用是什么？在虚拟机启动时创建。堆内存的唯一目的就是创建对象...

1、题记Elasticsearch有没有类似mysql的distinct的去重功能呢？1）如何去重计数？类似mysql:selectdistinct(count(1))frommytable;2）如何获取去重结果。类似mysql：SELECTDISTINCTname,ageFROMusers;2、需求1）对ES的检索结果进行去重统计计数。2）对ES的检索结果去重后显示。3、分析1）统计计数需要借助ES聚合功能结合cardinality实现。2）去重显示结果有两种方式：方式一：使用字段聚合+tophits聚合方式。方式二：使用collap...

0、ES6.X一对多、多对多的数据该如何存储和实现呢？引出问题：相信阅读本文，你就能得到答案！1、ES6.X新类型Join产生背景•Mysql中多表关联，我们可以通过leftjoin或者Join等实现；•ES5.X版本，借助父子文档实现多表关联，类似数据库中Join的功能；实现的核心是借助于ES5.X支持1个索引(index)下多个类型(type)。•ES6.X版本，由于每个索引下面只支持单一的类型（type）。•所以，ES6.X版本如何实现Join成为大...

1、题记2018年3月初，萌生了一个想法：对Elasticsearch相关的技术书籍做拆解阅读，该想法源自非计算机领域红火已久的【樊登读书会】、得到的每天听本书、XX拆书帮等。目前市面上Elasticsearch的中文书籍就那么基本，针对ES5.X以上的三本左右；国外翻译有几本，都是针对ES1.X，2.X版本，其中《深入理解Elasticsearch》还算比较经典。拆书的目的：•1）梳理已有的Elasticsearch知识体系；•2）拾遗拉在角落的Elasticsearc...

XPack已经开源，预计Elasticsearch6.3版本会全面集成，不再收费。赶紧体验一下强大的XPack吧！1、XPack概览XPack简介1）利用XPack拓展可能性。XPack是集成了多种便捷功能的单个插件—security、alerting、monitoring、reporting、graph探索和machinelearning—您可以在ElasticStack中放心地使用这些功能。2）单就其自身而言，ElasticStack就是一款值得考虑的强大工具。XPack将诸多强大功能集合到一个单独的程序包中，更将它带上...

1、应用场景实时数据流通过kafka后，根据业务需求，一部分直接借助kafkaconnector入Elasticsearch不同的索引中。另外一部分，则需要先做聚类、分类处理，将聚合出的分类结果存入ES集群的聚类索引中。如下图所示：业务系统的分层结构可分为：接入层、数据处理层、数据存储层、接口层。那么问题来了？我们需要基于聚合（数据处理层）的结果实现检索和聚合分析操作，如何实现更快的检索和更高效的聚合分析效果呢？2、方案选型方案...

1、聚合为什么慢？大多数时候对单个字段的聚合查询还是非常快的，但是当需要同时聚合多个字段时，就可能会产生大量的分组，最终结果就是占用Elasticsearch大量内存，从而导致OOM的情况发生。实践应用发现，以下情况都会比较慢：◆1）待聚合文档数比较多（千万、亿、十亿甚至更多）；◆2）聚合条件比较复杂（多重条件聚合）；◆3）全量聚合（翻页的场景用）。2、聚合优化方案探讨优化方案一：默认深度优先聚合改为广度优先聚合。...

1、问题抛出某个词组在Elasitcsearch中的某个document中存在，就一定通过某种匹配方式把它搜出来。举例：输入关键词:道路，能否搜索到这个document呢？实际应用中可能需要：1）检索关键词”理解”、”解放”、”道路”、“理解放大”，都能搜出这篇文档。2）单个的字拆分“治”、“水”太多干扰，不要被检索出来。3）待检索的词不在词典中，也必须要查到。4）待检索词只要在原文title或content中出现，都要检索到。5）检索要快...

1、Elasticsearch支持聚合后分页吗，为什么？不支持，看看Elasticsearch员工如何解读。这个问题，2014年在github上有很长的讨论。究其为什么ES不支持聚合后分页？可概括如下：1）性能角度——聚合分页会在大量的记录中产生性能问题。2）正确性角度——聚合的文档计数不准确。所以奇怪的事情可能会发生，如第二页的第一项具有比第一页的最后一个元素更高的计数。具体为什么会不正确？这是因为每个分片都提供了自己对有序列表应该...

题记源自“死磕Elasticsearch”技术群里的讨论问题：我的思考如下：1、pdf、Office类的文档如何被ES索引？问题转嫁为：如何将Office类文档、PDF文档导入ES建立索引，并提供全文检索服务？2、Elasticsearch支持的最大待检索字段的长度是多大？ES5.X版本以后，keyword支持的最大长度为32766个UTF8字符，text对字符长度没有限制。设置ignoreabove后，超过给定长度后的数据将不被索引，无法通过term精确匹配检索返回结果。3、Office...

少废话，说正事。一、高级检索的功能点通过高级搜索配置搜索项，能更准确的过滤掉不相干信息，获取最想要的检索信息。以Google搜索为例（截取核心片段）：二、高级检索拆分1、包含以下全部的关键词：需要分词处理；若需要指定字段，则使用matchQuery实现；若无需指定字段的全文检索，则使用queryStringQuery实现；2、包含以下的完整关键词：需要完整匹配字符，使用wildcardQuery结合””实现；3、包含以下任意一个关键词：空格...

题记Elasticsearch当清理缓存（echo3>procsysvmdropcaches）的时候，出现如下集群健康值：red，红色预警状态，同时部分分片都成为灰色。查看Elasticsearch启动日志会发现如下：集群服务超时连接的情况。该问题排查耗时很长，问题已经解决。特将问题排查及解决方案详尽的整理出来。1、集群状态解读head插件会以不同的颜色显示。参考官网：http:t.cnRltLEpN（部分中文集群健康状态博文资料翻译的不够精确，以官网为准）如果集群状...

0、引言在关系型数据库如Mysql中，设计库表需要注意的是：表的设计遵守范式约束，考虑表的可扩展性，避免开发后期对表做大的改动。Mysql或者Oracle中，修改数据类型相对比较简单，通过命令行或者navicat、sqldeveloper等可视化工具直接修改。即便千万级别数据量，多等点时间，也能修改好。而在Elasticsearch非关系型数据存储的搜索引擎中，设计表对应的就是Mapping的设计。且ES中一旦字段设定后，不能修改。当然，这也不是绝对...

由于其他几种类型节点和用途都很好理解，无非主节点、数据节点、路由节点。Ingest的用途：1）Ingest节点和集群中的其他节点一样，但是它能够创建多个处理器管道，用以修改传入文档。类似最常用的Logstash过滤器已被实现为处理器。2）Ingest节点可用于执行常见的数据转换和丰富。处理器配置为管道。在写入时，IngestNode有20个内置处理器，例如grok，date，gsub，小写大写，删除和重命名等。3）在批量请求或索引操作之前，Ingest...