鸿蒙开发者社区

ELK是Elasticsearch、Logstash、Kibana技术栈的简称。Elastic官方已统称为：ElasticStack，翻译成：Elastic技术栈体系。单独使用Elasticsearch能应对很多业务场景，包含但不限于：•全文检索场景。•日志分析场景。•大数据可视化商业BI场景。但，还不够。Elasticsearch擅长数据存储和检索。以下两个问题问题还搞不定？•数据如何导入Elasticsearch？•如何对数据进行可视化分析？Logstash、Beats就是数据...

作者小汪哥写代码来源小汪哥(ID：xwgcoding)前言当我们用navicat、mysqlworkbench等mysql的客户端执行一条sql语句后，我们就能得到相应的结果。例如:那么这个过程发生了什么呢执行一条sql就是一次Rpc的调用mysql是一个客户端、服务端的架构。我们平时使用的大部分程序app其实是由两部分组成的，一部分是客户端程序，一部分是服务器程序。以我们常用的微信、qq为例。我们手机里面装的客户端，机房的服务器中运行着server端。我们...

之前的文章《Elasticsearch词频统计实现与原理解读》，解决的是：Q3提及的某索引中特定关键词统计的问题。解决方案是：text字段开启fielddata，咱们在《长津湖影评可视化》中词云的可视化本质也是这种方案。那么，对于给定文档的词频统计呢？原来开启fielddata的方案就可以实现，举例如下：无非在聚合的时候，加上query语句指定了特定id进行检索。这种方法的缺点在于：正如Q3所说，聚合效率低。看过上次直播的同学，可能会闪现...

异步搜索API可异步执行搜索请求、监控其进度并检索可用的部分结果。•传统检索VS异步检索，在数据量比较大时：•传统检索可能导致超时，以至于无数据返回；或者需要等待很久，用户体验差。异步检索，可以快速响应数据，用户无需等待。ElasitcsearchV7.7.0版本。异步搜索允许用户在异步搜索结果可用时检索它们，从而消除了仅在查询完全完成后才最终响应的情况。4.1执行异步检索执行如下操作的前提是：待异步检索的索引数...

最近几个线上问题，都和Mapping字段更新有关系，问题列表如下：问题1：Mapping新创建后，还可以更新吗问题2:•群友A：有人知道怎么在kibana里面给索引新增，删除字段吗？•群友B:不就是改mapping吗•群友A：怎么改？•群友B：写dsl啊…•群友A：只能加不能删吧？问题3：各位同学们现在有个业务需求帮忙看一下？需求:将A索引中一个为String的字段修改为boolean。例:sdry:"1">sdry:true。问题4：join类型怎么...

跨集群复制（Crossclusterreplication，简称：CCR）指的是：索引数据从一个Elasticsearch集群复制到另一个Elasticsearch集群。对于主集群的索引数据的任何修改都会直接复制同步到从索引集群。Elasticsearch6.7版本。3.1支持灾难恢复（DR）、确保高可用性（HA）跨集群复制确保了不间断的服务可用性，能够承受住数据中心或区域服务中断的影响，降低了复杂性、节省了成本。3.2降低延迟将数据复制到更靠近应用程序用户的集群可以最...

上述问题不止一次被问到，我自己在使用painless脚本的时候，也会遇到上述困惑。今天，我们把这几种的区别梳理清楚。解读如下：上面的脚本通过ingestpainless脚本实现了判定：上面的例子解读如下：如果标签字段：tags包含：“green”，则执行删除操作；否则保持现状。官方文档地址：https:www.elastic.coguideenelasticsearchpainless7.15painlessupdatecontext.html如上reindex脚本解读如下：如果源索引：test04字段foo内容&lsq...

死磕Elasticsearch知识星球内的球友一个打卡引起我巨大的好奇。Elasticsearch学习的环节，快节奏和慢成长一直相爱相杀，如影相随。快节奏是指：高强度的工作环境需要我们快速给出答案，给出可以编程实现、快速落地的解决方案。“Talkischeap.Showmethecode.”这句IT届流行的歇后语也成为当我们没有拿到或者找到可行解决方案找Leader汇报时候Leader们挂在嘴边的话。为了快，我们不得不：•通过Google直接搜答案。•通过...

铭毅一句话概括：Kibana、Beats不受任何影响。Elasticsearch、Logstash受到漏洞影响，需要紧急修复（尤其外网对外提供服务的集群）。官方解读核心如下：1、Log4j“核弹”级漏洞起因2021年12月9日，Log4j的GitHub公开披露了一个影响ApacheLog4j2实用程序多个版本的高严重性漏洞(CVE202144228)。该漏洞影响了ApacheLog4j2的2.0到2.14.1版本。Github地址：https:logging.apache.orglog4j2.x本公告总结了对Elastic产品的任何潜在影...

作者二哥聊云原生来源二哥聊云原生(ID：LanceAndCloudnative)接下来的几篇，二哥和大家聊聊容器的一些概念和容器安全。云原生看起来是横空出世，但如果仔细看看在这个概念出来之前的技术迭代和演进，我们会发现这一切冥冥之中早已安排。前人在“虚拟化”、“不可变基础设施”、“微服务”、“容器”、“容器编排”等领域各种各样的尝试使得云原生的诞生成为必然。如今，大家聊云原生必然会说到一个词：容器。说到容器，大家总自...

作者二哥聊云原生来源二哥聊云原生(ID：LanceAndCloudnative)一篇文章围绕一张图，讲述一个主题。不过这个主题偏大，我估计需要好几篇文章才能说得清楚。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API。其中K8s是不可变基础设施的压舱石。典型的K8s集群由数十个Node,成百个Pod，上千个Container组成。相互隔离的容器间需要协作才能完成更大规模的应用。而协作就需要网络通信。这篇文章我主要通过下面...

本文主要介绍如何通过IK分词器进行词频统计。使用分词器对文章的词频进行统计，主要目的是实现如下图所示的词云功能，可以找到文章内的重点词汇。后续也可以对词进行词性标注，实体识别以及对实体的情感分析等功能。词频统计服务具体模块如下：•数据输入：文本信息•数据输出：词词频(TFIDF等)词性等内容•使用的组件：分词器、语料库、词云展示组件等•功能点：白名单，黑名单，同义词等现存的中文分词器有IK...

俗话说，工欲善其事必先利其器，今天给大家介绍一个好工具。随着单个Elasticsearch集群规模的越来越大，大家要么在拆集群的路上，要么是已经是多套集群了，据路边社消息，一个公司超过5个集群的情况已经变得非常普遍，而管理多个集群的着实是有点痛苦，比如常规的玩法可能是一套集群一个Kibana，集群一多，切换来切换去就有点懵圈了有木有？作为一个优雅的程序员或者运维管理员，是可忍孰不可忍啊。另外，多个集群的监控也是一...

作者阿丸笔记来源阿丸笔记(ID：aonenote)转载请联系授权(微信ID：awannote)MySQL的binlog相信大家都有所耳闻，但是可能没有真正日常使用过。因此，本文结合一个otter小坑的排查案例，来分享下binlog的日常使用方式。重点了解下：binlog的导出方式binlog的解析方式结合案例分享下开源项目otter的一个小坑1.案例背景某个周末突然收到报警，发现线上多云数据库的数据同步任务挂起，显示日志写入数据失败。错误原因非常明显：唯一索...

作者阿丸笔记来源阿丸笔记(ID：aonenote)转载请联系授权(微信ID：awannote)这篇文章比较难写，一些知识可能不是特别常用，不说可能会有疑惑，但是细扣又容易陷入细节，前后反复修改了好几遍，希望能逻辑连贯、深入浅出、杜绝又臭又长。觉得不错的话点个在看吧。另外，封面很难找，以后打算发自己做的菜，hiahia～提到MySQL的事务，我相信对MySQL有了解的同学都能聊上几句，无论是面试求职，还是日常开发，MySQL的事务都跟我们息...

作者阿丸笔记来源阿丸笔记(ID：aonenote)转载请联系授权(微信ID：awannote)提到MySQL的事务，我相信对MySQL有了解的同学都能聊上几句，无论是面试求职，还是日常开发，MySQL的事务都跟我们息息相关。而事务的ACID(即原子性Atomicity、一致性Consistency、隔离性Isolation、持久性Durability)可以说涵盖了事务的全部知识点，所以，我们不仅要知道ACID是什么，还要了解ACID背后的实现，只有这样，无论在日常开发还是面试求职，都...

作者阿丸笔记来源阿丸笔记(ID：aonenote)转载请联系授权(微信ID：awannote)1.前言随着业务的发展，MySQL数据库中的表会越来越多，表中的数据量也会越来越大，相应地，数据操作的开销也会越来越大;另外，无论怎样升级硬件资源，单台服务器的资源(CPU、磁盘、内存、网络IO、事务数、连接数)总是有限的，最终数据库所能承载的数据量、数据处理能力都将遭遇瓶颈。分表、分库和读写分离可以有效地减小单台数据库的压力。而数据库中间...

图示：一个简单的智能问答系统。•在当前业务系统中，是否感受到越来越多的智能化个性业务诉求，做一个智能化的商品搜索，用于检索商品的相似性；做一个图片搜索，检索相似的图片；做一个语音搜索，检索相似度极高的音频，这种智能化的需求越来越多。•可能你听过看过很多机器学习或者深度学习的“名词“，对于一些常规的应用工程师来说，这些距离个人很远，打开各种算法网站，看到各种模型，看的头疼。•可能你是...

作者阿丸笔记来源阿丸笔记(ID：aonenote)转载请联系授权(微信ID：awannote)1.背景前段时间，由于运维同事的一次误操作，清空了内网核心数据库，导致了公司内部管理系统长时间不可用，大量知识库内容由于没有备份险些丢失。结合这两天微盟的删库跑路事件，我们可以看到，数据库的备份与恢复显得尤为重要。本文将对此次内网数据恢复过程做一些整理，介绍删库后的抢救方案。同时，引发对数据库稳定性的思考。2.数据抢修这份内网数...

作者阿丸笔记来源阿丸笔记(ID：aonenote)转载请联系授权(微信ID：awannote)在上篇中，我们介绍了MySQL中的全局锁和表锁。今天，我们专注于介绍一下行锁，这个在日常开发和面试中常常困扰我们的问题。1.行锁基础由于全局锁和表锁对增删改查的性能都会有较大影响，所以，我们自然会想到，只需要对有修改的行加锁就行了，这就是行锁。在事务中，事务1更新了一行主键为1的数据行，那么，在这个事务释放锁之前，事务2是不能操作的。...