鸿蒙开发者社区

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言在这里我们先回忆一下普通链表的时间复杂度，可以看到除了lookup操作是o(n)的，其他操作都是o(1)的时间复杂度。也就是说你需要随机访问里面的任何一个元素的话，它的时间复杂度平均值是o(n)的，这也就是链表它的问题所在。从这里可以看到并没有所谓完美的一种数据结构，如果完美那就不需要Array或者LInkedList这两个数据结构并存了，就直接使用最牛逼的数据结构即可。所以相...

1、上问题这是来自球友实战问题。大致需求介绍如下：约3600万的数据，其中关键字段如下所示：用cardinality聚合统计，creator的个数有约1300万。问题：但在高基数（highcardinality）的情形下，性能不理想。2、概念解读：什么是高基数？为了更精确解读，这里直接拿：Elastic官方博客只字不差的翻译。terms聚合的性能可能会受到所聚合字段的基数的极大影响。基数（Cardinality）是指存储在特定字段中的值的唯一性。•高基数...

Elasticsearch查询的响应需要占用CPU、内存资源，在复杂业务场景，会出现慢查询，需要花费大量的时间。如何破局呢？增加集群硬件配置会有高昂硬件开销。还有没有其他方案呢？这时候会想到：缓存。Elasticsearch有哪些缓存，不同缓存的应用场景是什么呢？本文给出答案。•怎样知道自己的查询时命中缓存了还是走的磁盘搜索？•我想每次查询的时候直接显示几个小时以前的数据而不是只有实时的，这些是要存到缓存中么？&bul...

简介Shippable是一个DevOps流水线平台，可帮助开发人员和DevOps团队获得CICD，并使软件发布频繁，可预测且无错误。为此，我们将所有DevOps工具和活动连接到事件驱动的有状态工作流中。Shippable的DevOpsAutomation平台为您提供了一种简便的方法，可为您的项目设置持续集成(CI)，并针对源代码控制存储库中的任何更改自动进行单元测试，打包和部署。背景有大量的DevOps工具可用于配置，配置管理，持续集成，部署等。如今，大多数D...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言前面我们讲了MySQL数据库底层的数据结构与算法、MySQL性能优化篇一些内容。以及上篇讲了MySQL的行锁与事务隔离级别。本篇再重点来讲讲锁类型和加锁原理。首先对mysql锁进行划分：按照锁的粒度划分：行锁、表锁、页锁按照锁的使用方式划分：共享锁、排它锁(悲观锁的一种实现)还有两种思想上的锁：悲观锁、乐观锁。InnoDB中有几种行级锁类型：RecordLock、GapLock、NextkeyLoc...

问题2：批量写入ES数据，大量文档状态变成deleted，什么原因？数据库读数据，批量插入到es里，id自定义用的数据库的主键值，批量插入后，没有报错，可是用cerebro看，大量文档的状态是deleted，数据库中的主键值百分百没有重复的，不知道为什么会这样？以上两个问题都会涉及文档的删除、更新操作，下面我们先说透两个概念，然后再拆解分析问题就容易的多。在Mysql中插入一条记录，我们直观显示的是一行记录。而Elasticsearch是...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言MySQL索引底层数据结构与算法MySQL性能优化原理前篇MySQL性能优化实践篇1上一篇《MySQL性能优化实践篇1》我们讲了数据库表设计的一些原则，Explain工具的介绍、SQL语句优化索引的最佳实践，本篇继续来聊聊MySQL如何选择合适的索引。MySQLTrace工具MySQL最终是否选择走索引或者一张表涉及多个索引，最终是如何选择索引，可以使用trace工具来一查究竟，开启trace工具会影响MyS...

1、问题引出默认情况下，Elasticsearch已针对大多数用例进行了优化，确保在写入性能和查询性能之间取得平衡。我们将介绍一些聚合性能优化的可配置参数，其中部分改进是以牺牲写入性能为代价的。目标是将聚合优化招数汇总到一个易于消化的短文中，为大家的Elasticsearch集群聚合性能优化提供一些指导。2、聚合实战问题•问题1：1天的数据70W,聚合2次分桶正常查询时间是200ms左右,增加了一个去重条件,就1013秒了,有优化的地方...

临近寒假，大家时间宝贵，本文采用快问快答形式，节省大家时间。1、为什么要搞这么一套教程？我自己学习和实践Elastic相关技术有近6年时间了，在这期间，走了不少弯路，但也得到过N多人的帮助。2019年年中的时候，我组建了“死磕Elastic认证考试特训营”，当时想法也很简单，和一帮志同道合的兄弟，一起论道、拿下ECE认证。截止：2021年02月07日，已带领42人通过认证考试（中国已通过人数100人左右）。42人正好等于中国2018年+2...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言MySQL索引底层数据结构与算法MySQL性能优化原理前篇前两篇说完了索引底层数据结构、性能优化原理的基本概念。本篇将讲讲具体实践。分两篇来讲，这是实践的第一篇。对于一个以数据为中心的应用，数据库的好坏直接影响到程序的性能，因此数据库性能至关重要。一般来说，要保证数据库的效率，要做好以下四个方面的工作：数据库表设计SQL语句优化数据库参数配置恰当的硬件资源和...

•有一批特定用途（文末揭晓）的IP地址。•想通过地图形式可视化展示IP地址对应的经纬度坐标的分布。基础方案如下：•第一步：IP地址转经纬度坐标。实现借助第三方工具：https:ipstack.com•第二步：经纬度坐标借助可视化工具（如：echarts）渲染展示。这时候不免进一步思考：有没有更快捷的方案呢？ELK能实现不？已知的知识点：•Elasticsearch支持Geopoint、Geoshape数据类型。•Kibana支持Coordinat...

假期难得有了闲暇时间，把前几年双十一囤的书挑选看完了四本。首先选择看的是计算机科学家吴军老师的书《智能时代》（豆瓣评分8.4分，豆瓣热门互联网图书TOP10），这是2016年谷歌AlphaGo战胜李世石之后出的一本书，我买回来23年了，一直没有抽出时间看。自己也在大数据存储和检索领域摸爬滚打了几年，现在看这本书不仅不过时而且非常受用。学生时代就读过吴军老师的《浪潮之巅》、《数学之美》，感触比较深的是，他能把非常深奥...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言性能优化(Optimize)指的是在保证系统正确性的前提下，能够更快速响应请求的一种手段。而且有些性能问题，比如慢查询等，如果积累到一定的程度或者是遇到急速上升的并发请求之后，会导致严重的后果，轻则造成服务繁忙，重则导致应用不可用。它对我们来说就像一颗即将被引爆的定时炸弹一样，时刻威胁着我们。因此在上线项目之前需要严格的把关，以确保MySQL能够以最优的状态进...

•wx私信问题：Elasticsearch如何实现类似百度广告置顶显示给定商品数据的效果？置顶显示某特定数据就是：搜索某关键词，出现关联广告置顶显示的效果。举例：百度搜索“电动汽车”，结果如下：上面实现的本质：返回结果的第一页头1条或多条数据是服务端（如电商网站、主流搜索引擎）指定的数据，而非按照相关度评分计算得出的结果数据。这时候，不禁要问Elasticsearch能实现类似功能不？本质是深度分页，肯定越往后翻页响应...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言在MySQL官方提到，改善操作性能的最佳方法SELECT在查询中测试的一个或多个列上创建索引。索引条目的作用类似于指向表行的指针，从而使查询可以快速确定哪些行与WHERE子句中的条件匹配，并检索这些行的其他列值。所有MySQL数据类型都可以建立索引。尽管可能会为查询中使用的每个可能的列创建索引，但不必要的索引会浪费空间和时间，使MySQL难以确定要使用的索引。索引还会增...

•问题1：从Kafka消费数据导入elasticsearch时，批量bulk写入抛异常被拒绝。ES集群四个节点，其中：两个节点node1和node4threadpoolbulkrejected30多万条数据，esbulkthreadpool线程数8、队列200，Kafka写线程池thread数2cores+cores2、队列数3。目前是想平衡一下写的速度和es处理的速度，不过现在还没有可用环境压测，想问有经验数据或方法参考吗？•问题2：多套系统使用一套集群，错误日志如下针对问题2，初步排查日...

在日常运维中，相信不少人都收藏了很多关于查询优化的方法论和小技巧，但是仔细想想，你真的了解这些优化背后的原理吗？查询优化器是专门负责优化查询语句的优化器模块，通过计算分析收集的各种系统统计信息，为查询给出最优的执行计划——最优的数据检索方式。MySQL的优化器主要是将SQL经过语法解析词法解析后得到的语法树，通过MySQL的数据字典和统计信息的内容，经过一系列运算，从而得出一个执行计划树的构成。之后MySQL按...

有没有又快又好的方法？接收同事是非开发人员，如果不写一行代码（脚本）就更好了！2.1前置认知比较成熟同步方案选型。•Mysql到Elasticsearch同步选定：logstash。2.2Json字段的处理方案2.2.1方案一：遍历Mysql，解析Json。逐行遍历Mysql，把Json字符串字段解析为单个字段，更新到Mysql中。然后，logstash同步到Elasticsearch。•优点：很好理解，切实可行。•缺点：需要写解析代码，且涉及Mysql的逐行更新操作，...

随着业务的增长，MySQL中保存的数据会越来越多。此时，数据库很容易成为系统性能的一个瓶颈，单机存储容量、IO、CPU处理能力都有限，当单表的数据量达到1000W或100G以后，库表的增删改查操作面临着性能大幅下降的问题。分库分表是一种解决办法。分库分表实际上就是对数据进行切分。我们一般可以将数据切分，分为两种方式：垂直（纵向）切分和水平（横向）切分。垂直切分垂直切分常见有垂直分库和垂直分表两种。1.垂直分库垂直分...

在生产环境搭建或维护Elasticsearch集群和个人搭建集群的小打小闹有非常大的不同。本文的最佳实践基于每天增量数亿+的线上环境。少啰嗦，上干货。Elasticsearch和Lucene都是Java语言编写，这意味着我们必须注意堆内存的设置。Elasticsearch可用的堆越多，它可用于过滤器（filter）和其他缓存的内存也就越多，更进一步讲可以提高查询性能。但请注意，过多的堆可能会使垃圾回收暂停时间过长。请勿将堆内存的最大值设置为JVM用于压...