鸿蒙开发者社区

问题2：批量写入ES数据，大量文档状态变成deleted，什么原因？数据库读数据，批量插入到es里，id自定义用的数据库的主键值，批量插入后，没有报错，可是用cerebro看，大量文档的状态是deleted，数据库中的主键值百分百没有重复的，不知道为什么会这样？以上两个问题都会涉及文档的删除、更新操作，下面我们先说透两个概念，然后再拆解分析问题就容易的多。在Mysql中插入一条记录，我们直观显示的是一行记录。而Elasticsearch是...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言MySQL索引底层数据结构与算法MySQL性能优化原理前篇MySQL性能优化实践篇1上一篇《MySQL性能优化实践篇1》我们讲了数据库表设计的一些原则，Explain工具的介绍、SQL语句优化索引的最佳实践，本篇继续来聊聊MySQL如何选择合适的索引。MySQLTrace工具MySQL最终是否选择走索引或者一张表涉及多个索引，最终是如何选择索引，可以使用trace工具来一查究竟，开启trace工具会影响MyS...

1、问题引出默认情况下，Elasticsearch已针对大多数用例进行了优化，确保在写入性能和查询性能之间取得平衡。我们将介绍一些聚合性能优化的可配置参数，其中部分改进是以牺牲写入性能为代价的。目标是将聚合优化招数汇总到一个易于消化的短文中，为大家的Elasticsearch集群聚合性能优化提供一些指导。2、聚合实战问题•问题1：1天的数据70W,聚合2次分桶正常查询时间是200ms左右,增加了一个去重条件,就1013秒了,有优化的地方...

临近寒假，大家时间宝贵，本文采用快问快答形式，节省大家时间。1、为什么要搞这么一套教程？我自己学习和实践Elastic相关技术有近6年时间了，在这期间，走了不少弯路，但也得到过N多人的帮助。2019年年中的时候，我组建了“死磕Elastic认证考试特训营”，当时想法也很简单，和一帮志同道合的兄弟，一起论道、拿下ECE认证。截止：2021年02月07日，已带领42人通过认证考试（中国已通过人数100人左右）。42人正好等于中国2018年+2...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言MySQL索引底层数据结构与算法MySQL性能优化原理前篇前两篇说完了索引底层数据结构、性能优化原理的基本概念。本篇将讲讲具体实践。分两篇来讲，这是实践的第一篇。对于一个以数据为中心的应用，数据库的好坏直接影响到程序的性能，因此数据库性能至关重要。一般来说，要保证数据库的效率，要做好以下四个方面的工作：数据库表设计SQL语句优化数据库参数配置恰当的硬件资源和...

•有一批特定用途（文末揭晓）的IP地址。•想通过地图形式可视化展示IP地址对应的经纬度坐标的分布。基础方案如下：•第一步：IP地址转经纬度坐标。实现借助第三方工具：https:ipstack.com•第二步：经纬度坐标借助可视化工具（如：echarts）渲染展示。这时候不免进一步思考：有没有更快捷的方案呢？ELK能实现不？已知的知识点：•Elasticsearch支持Geopoint、Geoshape数据类型。•Kibana支持Coordinat...

假期难得有了闲暇时间，把前几年双十一囤的书挑选看完了四本。首先选择看的是计算机科学家吴军老师的书《智能时代》（豆瓣评分8.4分，豆瓣热门互联网图书TOP10），这是2016年谷歌AlphaGo战胜李世石之后出的一本书，我买回来23年了，一直没有抽出时间看。自己也在大数据存储和检索领域摸爬滚打了几年，现在看这本书不仅不过时而且非常受用。学生时代就读过吴军老师的《浪潮之巅》、《数学之美》，感触比较深的是，他能把非常深奥...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言性能优化(Optimize)指的是在保证系统正确性的前提下，能够更快速响应请求的一种手段。而且有些性能问题，比如慢查询等，如果积累到一定的程度或者是遇到急速上升的并发请求之后，会导致严重的后果，轻则造成服务繁忙，重则导致应用不可用。它对我们来说就像一颗即将被引爆的定时炸弹一样，时刻威胁着我们。因此在上线项目之前需要严格的把关，以确保MySQL能够以最优的状态进...

•wx私信问题：Elasticsearch如何实现类似百度广告置顶显示给定商品数据的效果？置顶显示某特定数据就是：搜索某关键词，出现关联广告置顶显示的效果。举例：百度搜索“电动汽车”，结果如下：上面实现的本质：返回结果的第一页头1条或多条数据是服务端（如电商网站、主流搜索引擎）指定的数据，而非按照相关度评分计算得出的结果数据。这时候，不禁要问Elasticsearch能实现类似功能不？本质是深度分页，肯定越往后翻页响应...

作者hejianhui来源一角钱技术(ID：orgyijiaoqian)前言在MySQL官方提到，改善操作性能的最佳方法SELECT在查询中测试的一个或多个列上创建索引。索引条目的作用类似于指向表行的指针，从而使查询可以快速确定哪些行与WHERE子句中的条件匹配，并检索这些行的其他列值。所有MySQL数据类型都可以建立索引。尽管可能会为查询中使用的每个可能的列创建索引，但不必要的索引会浪费空间和时间，使MySQL难以确定要使用的索引。索引还会增...

•问题1：从Kafka消费数据导入elasticsearch时，批量bulk写入抛异常被拒绝。ES集群四个节点，其中：两个节点node1和node4threadpoolbulkrejected30多万条数据，esbulkthreadpool线程数8、队列200，Kafka写线程池thread数2cores+cores2、队列数3。目前是想平衡一下写的速度和es处理的速度，不过现在还没有可用环境压测，想问有经验数据或方法参考吗？•问题2：多套系统使用一套集群，错误日志如下针对问题2，初步排查日...

在日常运维中，相信不少人都收藏了很多关于查询优化的方法论和小技巧，但是仔细想想，你真的了解这些优化背后的原理吗？查询优化器是专门负责优化查询语句的优化器模块，通过计算分析收集的各种系统统计信息，为查询给出最优的执行计划——最优的数据检索方式。MySQL的优化器主要是将SQL经过语法解析词法解析后得到的语法树，通过MySQL的数据字典和统计信息的内容，经过一系列运算，从而得出一个执行计划树的构成。之后MySQL按...

有没有又快又好的方法？接收同事是非开发人员，如果不写一行代码（脚本）就更好了！2.1前置认知比较成熟同步方案选型。•Mysql到Elasticsearch同步选定：logstash。2.2Json字段的处理方案2.2.1方案一：遍历Mysql，解析Json。逐行遍历Mysql，把Json字符串字段解析为单个字段，更新到Mysql中。然后，logstash同步到Elasticsearch。•优点：很好理解，切实可行。•缺点：需要写解析代码，且涉及Mysql的逐行更新操作，...

随着业务的增长，MySQL中保存的数据会越来越多。此时，数据库很容易成为系统性能的一个瓶颈，单机存储容量、IO、CPU处理能力都有限，当单表的数据量达到1000W或100G以后，库表的增删改查操作面临着性能大幅下降的问题。分库分表是一种解决办法。分库分表实际上就是对数据进行切分。我们一般可以将数据切分，分为两种方式：垂直（纵向）切分和水平（横向）切分。垂直切分垂直切分常见有垂直分库和垂直分表两种。1.垂直分库垂直分...

在生产环境搭建或维护Elasticsearch集群和个人搭建集群的小打小闹有非常大的不同。本文的最佳实践基于每天增量数亿+的线上环境。少啰嗦，上干货。Elasticsearch和Lucene都是Java语言编写，这意味着我们必须注意堆内存的设置。Elasticsearch可用的堆越多，它可用于过滤器（filter）和其他缓存的内存也就越多，更进一步讲可以提高查询性能。但请注意，过多的堆可能会使垃圾回收暂停时间过长。请勿将堆内存的最大值设置为JVM用于压...

前言最开始了解mysql实现的时候，总听到redolog，WAL（writeaheadlogging），undolog这些关键词，了解到redolog主要是用于实现事务的持久化的。为了进一步了解redolog，看了下相关代码（源码版本：mysql8.0.12），这里简单总结下，主要介绍redolog是如何产生，如何落盘，以及最终通知用户的。由于学习mysql的时间不长，mysql代码也非常庞大，自己看的也只是其中一小部分，文中有理解得不对的地方，欢迎大家纠正指导，共同学习。...

这是上一次技术直播里六个子主题中的最后一个主题的扩展版本。近期又有读者问到类似问题，我认为非常有必要花长时间梳理后跟大家分享一下。常见问题：“ES零基础入门书籍看什么比较好？”认知前提：书籍的速度已远落后于ES版本更新的速度。ES几乎每个月发布一个版本，更新很快。市面上的书籍，尤其国外翻译书籍还大多是：1.x，2.x，5.x，6.x的版本，更新较慢。有几本7.X的书籍，我没有买实体书，不太有发言权。不过：1.X——6.X...

扩展背景描述：这是Elasticsearch自定义分词Textanalysis章节Tokenfilterreference小节的同义词token过滤（Synonymtokenfilter）的一个参数。的确，官方文档讲解的不详细。我们彻底解读一下。如果读者们对自定义分词的实现有疑问，推荐阅读：Elasticsearch自定义分词，从一个问题说开去解读如下：如图所示，结合前面的DSL定义。•自定义分词器的名字：synonym。•tokenizer使用：whitespace空白分词器。•filter也...

wildcard检索可以定义为：支持通配符的模糊检索。类似Mysql中的like模糊匹配，如下所示：通配符运算符是匹配一个或多个字符的占位符。通配符支持两种：•:支持模糊匹配单个字符。举例：Mas仅能匹配：Mars,Mass,和Maps。•:支持模糊匹配零个或者多个字符。举例：Mas能匹配：Mars,Matches和Massachusetts等。全局认知非常重要，检索核心类型大致（非严谨、精确）分为：精准匹配检索（Termlevelqueries）和基于分词的全文...

作者Lucifer来源Lucifer三思而后行(ID：Lucifer940622)前言如果给你一个全新的Oracle单机数据库环境，作为DBA，您需要关注哪些点本文仅讨论Linux主机📢注意：首先申明本文所述并非标准答案，只是个人的一些见解，欢迎👏🏻大家补充完善一、主机层面1、主机版本和Oracle版本「主机版本：」catetcsystemreleasecatetcredhatrelease「Oracle版本和补丁版本：」sqlplusversionopatchlspatches2、主机硬件资源包括CPU负载，物理内存和...