开源基础软件社区

前言平常工作需要频繁使用终端工具，有一个好的命令行终端工具是非常重要的。尤其是使用mac的小伙伴，估计不少人都觉得iterm2才是最好的终端工具。其实起初我也是这么觉得的，但是最近直到我使用了这款开源的终端工具，我可以负责任的说，iterm2可以放在角落吃灰去了。我重度使用了2天，无论从颜值，性能，效率和创新上，都碾压同类的终端工具。我完全找不到任何理由来放弃这么优秀的一款工具。整个使用的体验非常舒服，甚至于...

大家好呀，我是铂赛东，一个乱入公众号博主的开源作者。今天分享一个maven小技巧，希望帮助到大家。之前有个群友私聊问我，如何快速统一去更改项目中所有的maven版本号，他说之前都是手动一个个去修改，项目一共有30多个maven模块，上次因为漏改了一个，还造成了生产事故。其实我自己开源项目有的工程也非常多，有的项目连同测试用例模块也能达到个30,40个之多。以前我都是用全局查找替换来操作的，可后来发现，有的时候无脑全...

一测试用例大家平时写不写？我以前写测试用例只是针对业务接口，每个接口写一个，数据case也只是测一种。能跑通就可以了。要不同的场景case，那就改数据。重新跑一遍。简单省事。但是自从我业余时间开始维护开源后，开始加深了对测试用例的理解。甚至我现在已经把测试用例的地位提升了与核心代码一样重要的地位，我曾戏称过光写核心代码不写测试用例代码的都是耍流氓行为。开源项目面对的是的所有人，每个人每个公司的环境都不...

1、实战问题返回指定字段可以用："source":{"includes":[],"excludes":["a"]}那有没有什么办法在返回指定字段的基础上指定返回前50个字符呢？例如我现在有一个filedata字段，字段长度可能在一千以上并且需要对这个字段分词和检索，目前想指定返回filedata字段的前50字符，请问有没有什么好的方法？——问题来源：死磕Elasticsearch知识星球https:t.zsxq.com052rvJ6q72、解决方案探讨这个问题仅涉及到字符级别的提取，可以将上述...

1、Elasticsearch性能测试工具包含但不限于：1、rallyElasticsearch​​官方压测工具​​。下载地址：​​https:github.comelasticrally​​文档地址：​​https:esrally.readthedocs.ioenstable​​2、LoadgenElasticsearch专属压测工具，Medcl大佬（原Elastic中国第一人，现​​极限科技​​CEO）出品。下载地址：​​http:release.infinilabs.comloadgen​​3、JMeter开源工具，纯Java编写，最初为JavaWeb应用程序而设计，后...

书接上一回，​​MetricBeat+Elasticsearch+Kibana实现监控指标可视化​​。问题来了，Logstash如何监控起来呢？1、看一下官方文档​​https:www.elastic.coguideenlogstash8.3monitoringwithmetricbeat.html​​说一下大前提：logstash进程得启动且常在。logstash启动后得默认端口：9600，默认ip地址：localhost（注意不是其他）。查看Logstash进程和端口号：Logstash启动成功标志如下图所示：2、梳理出详尽步骤2.1步骤1：配置...

1、问题产生Kibana实现一个词云效果并不复杂，甚至可以说非常简单。大致可以分成如下几个步骤：步骤1：已有索引待做词云的text类型字段设置：fielddata为true，以便基于分词结果聚合操作。步骤2：在8.X的kibana的DataViews关联索引。步骤3：在dashboard控制面板选择AggregationBased下的Tagcloud，选择步骤1设定的字段，选择好时间范围，词云就可以生成。以构造微博数据（假数据）为例，词云效果如下所示：问题来了！怎么那么多...

1、8.X新版本官方文档升级了上图：熟悉官方文档的小伙伴都知道：早期的导航栏都在右边。8.X新版本统一换到了左边。2、小伙伴们使用过程反馈问题问题1：ES官网最近右侧的导航栏很乱，非常不舒服，难道只有我电脑这样么？问题2：我是感觉很不好用，而且有时候右侧导航栏无法下拉。从目录定位文章就不是很方便？3、我已向官方反馈该问题​​https:discuss.elastic.cotthenewversionoftheofficialdocumentationistoobadtouse313312...

在企业环境中，Elasticsearch一般部署为多个节点的分布式集群，对Elasticsearch集群的读取或写入请求需要在多个节点之间进行协调。在单个服务器节点上没有数据的“全局视图”，这是认知前提。当出现可靠性问题时，如果Elasticsearch集群设置有问题或整个集群不稳定，那么“紧急救火”可能会很紧张。往小了说，可能影响客户体验，客户用着不爽；往大了说，处理不及时或处理不利，可能对企业带来负面影响。因此，提前掌握快速恢复...

1、企业级实战问题问题描述如下："path"："hdfs:xx.xx.xx:8200homelhtaaa.doc"。想检索到aaa文件。并且以doc为筛选条件。可行吗？就是我有文件数组。匹配到文件数组里的文件类型就检索出来？——问题来源：GPVIP微信群2、问题定义给定一个路径path，期待实现：输入扩展名，可以实现检索？扩展要求：有没有专门针对path路径的检索或者相关实现？问题描述清楚了，接下来我们先做分析和方案的探讨。3、解决方案的探讨思考几个问题...

1、线上实战问题前置说明：本文是线上环境的实战问题拆解，涉及复杂DSL，看着会很长，但强烈建议您耐心读完。问题描述：有个复杂的场景涉及到按照求和后过滤，userid是用户编号，gender是性别，timelabel是时间标签，时间标签是nested结构，intentordercount是意向订单数量，time是对应时间。现在要筛选出在2021051020210610，意向订单数总和为26的男性用户，请问应该怎么写dsl语句？感觉这个场景很复杂，涉及到array判断后求和...

1、真实面试问题死磕Elasticsearch技术群好友留言：2、面试官在问Elasticsearchrange过滤时，他内心在想什么？最基础的：看你了不了解range查询？其次：看你了不了解range查询支持哪些数据类型？再次：看你了不了解对应数据类型底层存储数据结构或算法？最后：看你了不了解对应数据结构的range查询原理？最根本的，想看你的底层原理扎不扎实？我们在被面试官面试的时候，实际上也是我们自己面试“面试官”。站在面试官的角度考...

题记几个月以来，我一直在记录自己开发Elasticsearch应用程序的最佳实践。本文梳理的内容试图传达Java的某些思想，我相信其同样适用于其他编程语言。我尝试尽量避免重复教程和Elasticsearch官方文档中已经介绍的内容。本文梳理的内容都是从线上实践问题和个人总结的经验汇总得来的。文章从以下几个维度展开讲解：映射（Mapping）设置（Setting）查询方式（Querying）实战技巧（Strategy）1、映射（Mapping）1.1避免使用nested类...

0、题记Elastic中文社区和各种Elastic爱好者交流群中会遇到形形色色的问题。来自运维球友讨论的真实线上吐槽问题总结：问题1：开发不规范。我们这边es都是我们在推,很多开发不会用或者用的不规范！问题2：不管性能，用起来再说！场景1：我们这边开发只要work，管他wildcard，能模糊就好，管他内存，windowssize死命地设，不管多少页都让它翻。问题3：不评估可行性和高可用性，先搞起来。场景1,我们还在2.x，这些开发的大爷可以...

0、引言实战中经常遇到的问题：问题1：请问下大家是如何评估集群的规模？比如数据量达到百万，千万，亿万，分别需要什么级别的集群，这要怎么评估？ps：自己搭建的测试环境很难达到这一级别。问题2：问题3：我看了很多文章关于es集群规划的文章，总感觉乱七八糟的，没有一个统一的规划思路。如何根据硬件条件和数据量来规划集群，设置多少节点，每个节点规划多少分片和副本？Elasticsearch集群规模和容量规划：是进行Elasticsea...

0、引言现在几乎网上所有资料都说数据存储在传统数据库，再在es中同步一份数据作为检索使用，但是也都没有很详细的说明为什么要这么做，而且在es本身可以存储数据的情况下，存储两份数据是不是没有必要？还会引起别的问题。虽然收费而且支持的语法不完全，但是在现在es已经支持sql的情况下，我越来越搞不清楚es和数据库之间的界限。es不支持事务但是能够确保单条数据的写入，这样事务可以通过代码实现。很难进行联合查询可以像...

1、引言业务场景1：数据量非常大，需要进行索引生命周期管理，按日期划分索引，要求多个索引的Mapping一致，每次手动创建或者脚本创建都很麻烦！怎么破？业务场景2：实际业务多个索引，想让多个索引中的相同名字的字段类型完全一致，以便实现跨索引检索。怎么破？思考上面两个问题，当单Mapping不能解决多索引问题时，模板的作用就体现出来了。下文中：模板template，映射Mapping。2、Elasticsearch模板是什么鬼？【维基百科】...

0、题记Elasticsearch实战数据量级少的时候，单节点就能玩的很6，但是随着数据量的增长，多节点分布式横向扩展集群是大势所趋。之前分享过​​基于时间创建索引及Curator实现索引生命周期管理​​。当集群硬件资源有限，尤其SSD磁盘更紧俏的业务场景下，最大化集群的性能，如何让用户最关心的“热”数据分布到SSD磁盘对应的节点上，让用户关注程度弱的“冷”数据分散到普通磁盘对应节点上？也就是说“冷热”数据分离是本文讨论...

1、引言Elasticsearch是非常灵活且功能丰富的搜索引擎，它提供了许多不同查询数据的方法。在实战业务场景中，经常会出现远远低于预期查询速度的慢查询。作为分布式系统的Elasticsearch，可能有各种影响查询性能的因素，包括外部因素，如负载均衡设置，网络延迟（带宽，NIC卡驱动程序）等。本文主要讨论可能导致慢查询的原因以及如何在Elasticsearch的上下文中识别它们？本文主要源于常见慢查询故障的排除方法，阅读本文的前提需...

0、引言在业务开发中，我们往往会陷入开发的细枝末节之中，而忽略了事物的本源。经常有同学问到：1,业务代码实现结果和kibana验证不一致。​比如：我的python或者java程序检索结果怎么和kibana里面不一致？2,我的某个关键词明明匹配，但怎么检索不到？​比如：星球群讨论的“三星”ikmaxword+matchphrase匹配问题。3,熟悉sql，但转dsl就不会写了。​比如：做聚合搜索的话，selectfromuserwhereusrid>5groupbyuseridhavingcount(...