鸿蒙开发者社区

题记这是一位腾讯大佬2020年4月份在死磕Elasticsearch技术交流微信群里发起讨论的问题，之前初步讨论了答案，但是不够细或者说讲解不透，所以一直没有成文。这一次，加上了实践验证，说透。1、上问题还是没太搞懂seedhosts和cluster.initialmasternodes的区别。•1、seedhosts里面一定是配置mastereligible节点吗•2、还是说data节点也可以配置到mastereligible•3、是如何发现潜在机器的呢•4、initialmaster...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言Redis6主要的变化有：SSL、ACLs、RESP3、客户端缓存、线程IO、Redisbenchmark中的集群支持和改进的Rediscli集群支持，以及Redis集群代理。1.多线程IOredis6.0提供了多线程的支持，redis6以前的版本，严格来说也是多线程，只不过执行用户命令的请求时单线程模型，还有一些线程用来执行后台任务，比如unlink删除大key，rdb持久化等。redis6.0提供了多线程的读写IO，但是最终执...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)五种常用数据结构String结构字符串常用操作SETkeyvalue存入字符串键值对MSETkeyvalue[keyvalue...]批量存储字符串键值对SETNXkeyvalue存入一个不存在的字符串键值对GETkey获取一个字符串键值MGETkey[key...]批量获取字符串键值DELkey[key...]删除一个键EXPIREkeyseconds设置一个键的过期时间(秒)原子加减INCRkey将key中储存的数字值加1DECRkey将key中储存的数字值减1INCRBYkeyin...

Multimatchquery的目的多字段匹配，但Multimatchquery中的bestfields,mostfields,crossfields分不清楚，都什么含义？下面我们一一举例解读。为默认值，如果不指定，默认bestfields匹配。•含义：多个字段中，返回评分最高的。•类似：dismaxquery。•等价举例：（两个一起看，加深理解）默认bestfields与dismax等价与上述bestfields等价•含义：匹配多个字段，返回的综合评分（非最高分）•类似：bool+多字...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言在这里我们先回忆一下普通链表的时间复杂度，可以看到除了lookup操作是o(n)的，其他操作都是o(1)的时间复杂度。也就是说你需要随机访问里面的任何一个元素的话，它的时间复杂度平均值是o(n)的，这也就是链表它的问题所在。从这里可以看到并没有所谓完美的一种数据结构，如果完美那就不需要Array或者LInkedList这两个数据结构并存了，就直接使用最牛逼的数据结构即可。所以相...

1、上问题这是来自球友实战问题。大致需求介绍如下：约3600万的数据，其中关键字段如下所示：用cardinality聚合统计，creator的个数有约1300万。问题：但在高基数（highcardinality）的情形下，性能不理想。2、概念解读：什么是高基数？为了更精确解读，这里直接拿：Elastic官方博客只字不差的翻译。terms聚合的性能可能会受到所聚合字段的基数的极大影响。基数（Cardinality）是指存储在特定字段中的值的唯一性。•高基数...

Elasticsearch查询的响应需要占用CPU、内存资源，在复杂业务场景，会出现慢查询，需要花费大量的时间。如何破局呢？增加集群硬件配置会有高昂硬件开销。还有没有其他方案呢？这时候会想到：缓存。Elasticsearch有哪些缓存，不同缓存的应用场景是什么呢？本文给出答案。•怎样知道自己的查询时命中缓存了还是走的磁盘搜索？•我想每次查询的时候直接显示几个小时以前的数据而不是只有实时的，这些是要存到缓存中么？&bul...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言前面我们讲了MySQL数据库底层的数据结构与算法、MySQL性能优化篇一些内容。以及上篇讲了MySQL的行锁与事务隔离级别。本篇再重点来讲讲锁类型和加锁原理。首先对mysql锁进行划分：按照锁的粒度划分：行锁、表锁、页锁按照锁的使用方式划分：共享锁、排它锁(悲观锁的一种实现)还有两种思想上的锁：悲观锁、乐观锁。InnoDB中有几种行级锁类型：RecordLock、GapLock、NextkeyLoc...

问题2：批量写入ES数据，大量文档状态变成deleted，什么原因？数据库读数据，批量插入到es里，id自定义用的数据库的主键值，批量插入后，没有报错，可是用cerebro看，大量文档的状态是deleted，数据库中的主键值百分百没有重复的，不知道为什么会这样？以上两个问题都会涉及文档的删除、更新操作，下面我们先说透两个概念，然后再拆解分析问题就容易的多。在Mysql中插入一条记录，我们直观显示的是一行记录。而Elasticsearch是...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言MySQL索引底层数据结构与算法MySQL性能优化原理前篇MySQL性能优化实践篇1上一篇《MySQL性能优化实践篇1》我们讲了数据库表设计的一些原则，Explain工具的介绍、SQL语句优化索引的最佳实践，本篇继续来聊聊MySQL如何选择合适的索引。MySQLTrace工具MySQL最终是否选择走索引或者一张表涉及多个索引，最终是如何选择索引，可以使用trace工具来一查究竟，开启trace工具会影响MyS...

1、问题引出默认情况下，Elasticsearch已针对大多数用例进行了优化，确保在写入性能和查询性能之间取得平衡。我们将介绍一些聚合性能优化的可配置参数，其中部分改进是以牺牲写入性能为代价的。目标是将聚合优化招数汇总到一个易于消化的短文中，为大家的Elasticsearch集群聚合性能优化提供一些指导。2、聚合实战问题•问题1：1天的数据70W,聚合2次分桶正常查询时间是200ms左右,增加了一个去重条件,就1013秒了,有优化的地方...

临近寒假，大家时间宝贵，本文采用快问快答形式，节省大家时间。1、为什么要搞这么一套教程？我自己学习和实践Elastic相关技术有近6年时间了，在这期间，走了不少弯路，但也得到过N多人的帮助。2019年年中的时候，我组建了“死磕Elastic认证考试特训营”，当时想法也很简单，和一帮志同道合的兄弟，一起论道、拿下ECE认证。截止：2021年02月07日，已带领42人通过认证考试（中国已通过人数100人左右）。42人正好等于中国2018年+2...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言MySQL索引底层数据结构与算法MySQL性能优化原理前篇前两篇说完了索引底层数据结构、性能优化原理的基本概念。本篇将讲讲具体实践。分两篇来讲，这是实践的第一篇。对于一个以数据为中心的应用，数据库的好坏直接影响到程序的性能，因此数据库性能至关重要。一般来说，要保证数据库的效率，要做好以下四个方面的工作：数据库表设计SQL语句优化数据库参数配置恰当的硬件资源和...

•有一批特定用途（文末揭晓）的IP地址。•想通过地图形式可视化展示IP地址对应的经纬度坐标的分布。基础方案如下：•第一步：IP地址转经纬度坐标。实现借助第三方工具：https:ipstack.com•第二步：经纬度坐标借助可视化工具（如：echarts）渲染展示。这时候不免进一步思考：有没有更快捷的方案呢？ELK能实现不？已知的知识点：•Elasticsearch支持Geopoint、Geoshape数据类型。•Kibana支持Coordinat...

假期难得有了闲暇时间，把前几年双十一囤的书挑选看完了四本。首先选择看的是计算机科学家吴军老师的书《智能时代》（豆瓣评分8.4分，豆瓣热门互联网图书TOP10），这是2016年谷歌AlphaGo战胜李世石之后出的一本书，我买回来23年了，一直没有抽出时间看。自己也在大数据存储和检索领域摸爬滚打了几年，现在看这本书不仅不过时而且非常受用。学生时代就读过吴军老师的《浪潮之巅》、《数学之美》，感触比较深的是，他能把非常深奥...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言性能优化(Optimize)指的是在保证系统正确性的前提下，能够更快速响应请求的一种手段。而且有些性能问题，比如慢查询等，如果积累到一定的程度或者是遇到急速上升的并发请求之后，会导致严重的后果，轻则造成服务繁忙，重则导致应用不可用。它对我们来说就像一颗即将被引爆的定时炸弹一样，时刻威胁着我们。因此在上线项目之前需要严格的把关，以确保MySQL能够以最优的状态进...

•wx私信问题：Elasticsearch如何实现类似百度广告置顶显示给定商品数据的效果？置顶显示某特定数据就是：搜索某关键词，出现关联广告置顶显示的效果。举例：百度搜索“电动汽车”，结果如下：上面实现的本质：返回结果的第一页头1条或多条数据是服务端（如电商网站、主流搜索引擎）指定的数据，而非按照相关度评分计算得出的结果数据。这时候，不禁要问Elasticsearch能实现类似功能不？本质是深度分页，肯定越往后翻页响应...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言在MySQL官方提到，改善操作性能的最佳方法SELECT在查询中测试的一个或多个列上创建索引。索引条目的作用类似于指向表行的指针，从而使查询可以快速确定哪些行与WHERE子句中的条件匹配，并检索这些行的其他列值。所有MySQL数据类型都可以建立索引。尽管可能会为查询中使用的每个可能的列创建索引，但不必要的索引会浪费空间和时间，使MySQL难以确定要使用的索引。索引还会增...

•问题1：从Kafka消费数据导入elasticsearch时，批量bulk写入抛异常被拒绝。ES集群四个节点，其中：两个节点node1和node4threadpoolbulkrejected30多万条数据，esbulkthreadpool线程数8、队列200，Kafka写线程池thread数2cores+cores2、队列数3。目前是想平衡一下写的速度和es处理的速度，不过现在还没有可用环境压测，想问有经验数据或方法参考吗？•问题2：多套系统使用一套集群，错误日志如下针对问题2，初步排查日...

在日常运维中，相信不少人都收藏了很多关于查询优化的方法论和小技巧，但是仔细想想，你真的了解这些优化背后的原理吗？查询优化器是专门负责优化查询语句的优化器模块，通过计算分析收集的各种系统统计信息，为查询给出最优的执行计划——最优的数据检索方式。MySQL的优化器主要是将SQL经过语法解析词法解析后得到的语法树，通过MySQL的数据字典和统计信息的内容，经过一系列运算，从而得出一个执行计划树的构成。之后MySQL按...