鸿蒙开发者社区

作者hinking曹来源hinking曹(ID：gh99a433ce8e3e)一、前言在搭建SpringCloud项目环境架构的时候，需要选择SpringBoot和SpringCloud进行兼容的版本号，因此对于选择SpringBoot版本与SpringCloud版本的对应关系很重要，如果版本关系不对应，常见的会遇见项目启动不起来，怪异的则会是你的项目出现一些诡异的问题，查资料也不好查。下面就收集一下SpringBoot与SpringCloud版本之间的对应关系，在搭建项目框架或者学习时按照对应的...

作者hinking曹来源hinking曹(ID：gh99a433ce8e3e)一、背景随着互联网的快速蔓延，各种传统项目(单体应用的架构)已经不能够满足当前各种复杂的需求场景，都逐渐向分布式服务、微服务做转换，而如今分布式、微服务架构已经普遍存在互联网公司的项目中，像大型电商网站等几乎都是分布式、微服务架构的。因此分布式和微服务架构就显得尤为重要了，这也是对一个架构师考验的提升。分布式和微服务系统的最大难点，就是各个节点之间的...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)一、什么是雪崩效应业务场景，高并发调用正常情况下，微服务ABCD都是正常的。随着时间推移，在某一个时间点微服务A突然挂了，此时的微服务B还在疯狂的调用微服务A，由于A已经挂了，所以B调用A必须等待服务调用超时。而我们知道每次BA的适合B都会去创建线程(而线程由计算机的资源，比如cpu、内存等)。由于是高并发场景，B就会阻塞大量的线程。那边B所在的机器就会去创建线程，但...

题记这是一位腾讯大佬2020年4月份在死磕Elasticsearch技术交流微信群里发起讨论的问题，之前初步讨论了答案，但是不够细或者说讲解不透，所以一直没有成文。这一次，加上了实践验证，说透。1、上问题还是没太搞懂seedhosts和cluster.initialmasternodes的区别。•1、seedhosts里面一定是配置mastereligible节点吗•2、还是说data节点也可以配置到mastereligible•3、是如何发现潜在机器的呢•4、initialmaster...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言Redis6主要的变化有：SSL、ACLs、RESP3、客户端缓存、线程IO、Redisbenchmark中的集群支持和改进的Rediscli集群支持，以及Redis集群代理。1.多线程IOredis6.0提供了多线程的支持，redis6以前的版本，严格来说也是多线程，只不过执行用户命令的请求时单线程模型，还有一些线程用来执行后台任务，比如unlink删除大key，rdb持久化等。redis6.0提供了多线程的读写IO，但是最终执...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)五种常用数据结构String结构字符串常用操作SETkeyvalue存入字符串键值对MSETkeyvalue[keyvalue...]批量存储字符串键值对SETNXkeyvalue存入一个不存在的字符串键值对GETkey获取一个字符串键值MGETkey[key...]批量获取字符串键值DELkey[key...]删除一个键EXPIREkeyseconds设置一个键的过期时间(秒)原子加减INCRkey将key中储存的数字值加1DECRkey将key中储存的数字值减1INCRBYkeyin...

Multimatchquery的目的多字段匹配，但Multimatchquery中的bestfields,mostfields,crossfields分不清楚，都什么含义？下面我们一一举例解读。为默认值，如果不指定，默认bestfields匹配。•含义：多个字段中，返回评分最高的。•类似：dismaxquery。•等价举例：（两个一起看，加深理解）默认bestfields与dismax等价与上述bestfields等价•含义：匹配多个字段，返回的综合评分（非最高分）•类似：bool+多字...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言在这里我们先回忆一下普通链表的时间复杂度，可以看到除了lookup操作是o(n)的，其他操作都是o(1)的时间复杂度。也就是说你需要随机访问里面的任何一个元素的话，它的时间复杂度平均值是o(n)的，这也就是链表它的问题所在。从这里可以看到并没有所谓完美的一种数据结构，如果完美那就不需要Array或者LInkedList这两个数据结构并存了，就直接使用最牛逼的数据结构即可。所以相...

1、上问题这是来自球友实战问题。大致需求介绍如下：约3600万的数据，其中关键字段如下所示：用cardinality聚合统计，creator的个数有约1300万。问题：但在高基数（highcardinality）的情形下，性能不理想。2、概念解读：什么是高基数？为了更精确解读，这里直接拿：Elastic官方博客只字不差的翻译。terms聚合的性能可能会受到所聚合字段的基数的极大影响。基数（Cardinality）是指存储在特定字段中的值的唯一性。•高基数...

Elasticsearch查询的响应需要占用CPU、内存资源，在复杂业务场景，会出现慢查询，需要花费大量的时间。如何破局呢？增加集群硬件配置会有高昂硬件开销。还有没有其他方案呢？这时候会想到：缓存。Elasticsearch有哪些缓存，不同缓存的应用场景是什么呢？本文给出答案。•怎样知道自己的查询时命中缓存了还是走的磁盘搜索？•我想每次查询的时候直接显示几个小时以前的数据而不是只有实时的，这些是要存到缓存中么？&bul...

简介Shippable是一个DevOps流水线平台，可帮助开发人员和DevOps团队获得CICD，并使软件发布频繁，可预测且无错误。为此，我们将所有DevOps工具和活动连接到事件驱动的有状态工作流中。Shippable的DevOpsAutomation平台为您提供了一种简便的方法，可为您的项目设置持续集成(CI)，并针对源代码控制存储库中的任何更改自动进行单元测试，打包和部署。背景有大量的DevOps工具可用于配置，配置管理，持续集成，部署等。如今，大多数D...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言前面我们讲了MySQL数据库底层的数据结构与算法、MySQL性能优化篇一些内容。以及上篇讲了MySQL的行锁与事务隔离级别。本篇再重点来讲讲锁类型和加锁原理。首先对mysql锁进行划分：按照锁的粒度划分：行锁、表锁、页锁按照锁的使用方式划分：共享锁、排它锁(悲观锁的一种实现)还有两种思想上的锁：悲观锁、乐观锁。InnoDB中有几种行级锁类型：RecordLock、GapLock、NextkeyLoc...

问题2：批量写入ES数据，大量文档状态变成deleted，什么原因？数据库读数据，批量插入到es里，id自定义用的数据库的主键值，批量插入后，没有报错，可是用cerebro看，大量文档的状态是deleted，数据库中的主键值百分百没有重复的，不知道为什么会这样？以上两个问题都会涉及文档的删除、更新操作，下面我们先说透两个概念，然后再拆解分析问题就容易的多。在Mysql中插入一条记录，我们直观显示的是一行记录。而Elasticsearch是...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言MySQL索引底层数据结构与算法MySQL性能优化原理前篇MySQL性能优化实践篇1上一篇《MySQL性能优化实践篇1》我们讲了数据库表设计的一些原则，Explain工具的介绍、SQL语句优化索引的最佳实践，本篇继续来聊聊MySQL如何选择合适的索引。MySQLTrace工具MySQL最终是否选择走索引或者一张表涉及多个索引，最终是如何选择索引，可以使用trace工具来一查究竟，开启trace工具会影响MyS...

1、问题引出默认情况下，Elasticsearch已针对大多数用例进行了优化，确保在写入性能和查询性能之间取得平衡。我们将介绍一些聚合性能优化的可配置参数，其中部分改进是以牺牲写入性能为代价的。目标是将聚合优化招数汇总到一个易于消化的短文中，为大家的Elasticsearch集群聚合性能优化提供一些指导。2、聚合实战问题•问题1：1天的数据70W,聚合2次分桶正常查询时间是200ms左右,增加了一个去重条件,就1013秒了,有优化的地方...

临近寒假，大家时间宝贵，本文采用快问快答形式，节省大家时间。1、为什么要搞这么一套教程？我自己学习和实践Elastic相关技术有近6年时间了，在这期间，走了不少弯路，但也得到过N多人的帮助。2019年年中的时候，我组建了“死磕Elastic认证考试特训营”，当时想法也很简单，和一帮志同道合的兄弟，一起论道、拿下ECE认证。截止：2021年02月07日，已带领42人通过认证考试（中国已通过人数100人左右）。42人正好等于中国2018年+2...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言MySQL索引底层数据结构与算法MySQL性能优化原理前篇前两篇说完了索引底层数据结构、性能优化原理的基本概念。本篇将讲讲具体实践。分两篇来讲，这是实践的第一篇。对于一个以数据为中心的应用，数据库的好坏直接影响到程序的性能，因此数据库性能至关重要。一般来说，要保证数据库的效率，要做好以下四个方面的工作：数据库表设计SQL语句优化数据库参数配置恰当的硬件资源和...

•有一批特定用途（文末揭晓）的IP地址。•想通过地图形式可视化展示IP地址对应的经纬度坐标的分布。基础方案如下：•第一步：IP地址转经纬度坐标。实现借助第三方工具：https:ipstack.com•第二步：经纬度坐标借助可视化工具（如：echarts）渲染展示。这时候不免进一步思考：有没有更快捷的方案呢？ELK能实现不？已知的知识点：•Elasticsearch支持Geopoint、Geoshape数据类型。•Kibana支持Coordinat...

假期难得有了闲暇时间，把前几年双十一囤的书挑选看完了四本。首先选择看的是计算机科学家吴军老师的书《智能时代》（豆瓣评分8.4分，豆瓣热门互联网图书TOP10），这是2016年谷歌AlphaGo战胜李世石之后出的一本书，我买回来23年了，一直没有抽出时间看。自己也在大数据存储和检索领域摸爬滚打了几年，现在看这本书不仅不过时而且非常受用。学生时代就读过吴军老师的《浪潮之巅》、《数学之美》，感触比较深的是，他能把非常深奥...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言性能优化(Optimize)指的是在保证系统正确性的前提下，能够更快速响应请求的一种手段。而且有些性能问题，比如慢查询等，如果积累到一定的程度或者是遇到急速上升的并发请求之后，会导致严重的后果，轻则造成服务繁忙，重则导致应用不可用。它对我们来说就像一颗即将被引爆的定时炸弹一样，时刻威胁着我们。因此在上线项目之前需要严格的把关，以确保MySQL能够以最优的状态进...