鸿蒙开发者社区

编者按：近几年国产数据库市场风生水起，涌现了多款优秀的国产数据库产品，本文选取了三款典型的国产分布式数据库进行全方位对比压测，呈现了国产分布式数据库的发展现状。对于所有的应用系统，数据都是承载业务逻辑的核心资产，而存储数据的数据库系统则是最核心的系统之一。随着国产化进程的不断推进，应用系统基于国产化数据库进行构建越来越重要，也越来越成为数据库选型中的主流。近几年国产数据库市场风生水起，涌现了多...

作者小汪哥写代码来源小汪哥(ID：xwgcoding)“面试中经常遇到这个问题，那你知道吗阅读本文，你将了解到:互联网项目mysql一般用什么隔离级别MVCC的原理MVCC能不能解决幻读问题”前言我们知道，所谓MVCC(MultiVersionConcurrencyControl，多版本并发控制)可以提高不同事物的读写、写读操作的并发执行的系统性能，那么为什么会有mvcc就要从事物并发执行会有什么问题开始聊了。事务并发执行遇到的问题第二部分的正文内容从这里开始...

作者小汪哥写代码来源小汪哥(ID：xwgcoding)索引种类聚簇索引「主键索引」(PRIMARYKEY)：主键索引一般都是在创建表的时候指定，不指定的话会默认生成一个(rowid)「一个表只有一个主键索引」，特点是「唯一、非空」。「不为空的唯一索引」:如果存在非空的唯一索引，不会生成rowid非聚簇索引(二级索引)「唯一索引」(UNIQUE)：唯一索引具有的特点就是唯一性，可以在创建表的时候指定，也可以在创建表后创建。「普通索引」(INDEX)：...

作者小汪哥写代码来源小汪哥(ID：xwgcoding)前言你知道索引长什么样吗当磁盘剩余空间较小时，为什么我们加了索引会导致磁盘空间不足为什么多加了几个索引，mysql插入和删除的效率反而下降了呢带着这些问题，我们开始今天的话题。什么是索引索引(Index)是帮助数据库系统高效获取数据的数据结构，数据库索引本质上是以增加额外的写操作与用于维护索引数据结构的存储空间为代价的用于提升数据库中数据检索效率的数据结构。总结一下...

作者小汪哥写代码来源小汪哥(ID：xwgcoding)前言上篇文章《mysql的数据到底是怎么存的(下)mysql系列(4)》我们分享了mysqlinnodb引擎数据落盘的物理位置及物理空间的区分，那逻辑上数据是怎么组织的呢其实关于这个方面的知识，前辈们已经整理的很多了。这里只是按照我的理解整理一下，当一回知识的搬运工。这里我们还是以InnoDB存储引擎为例。innodb逻辑存储结构MySQL的存储结构分为5级：表空间、段、簇、页、行。【表空间TableS...

作者小汪哥写代码来源小汪哥(ID：xwgcoding)前言一个优秀的数据库，必然涉及到持久化，有持久化，就有数据落盘的操作。有落盘操作就必然有文件存储的位置规划。而且了解数据库的持久化文件也是了解数据库高可用，可扩展的前提。像Hbase，redis，rocksdb,tidb等数据库都有相通的地方，这个后面有时间分享。InnoDB是一个将表中的数据存储到磁盘上的存储引擎。这样的存储引擎都是把表存储在文件系统上的。当我们想读取数据的时候，...

作者小汪哥写代码来源小汪哥(ID：xwgcoding)前言上篇《VARCHAR(M)到底占用多少个字节mysql系列(2)》分享了VARCHAR(M)占用多少个字节，那VARCHAR最大能存多少个字符呢以及了解这些对我们平时的开发工作中有什么帮助呢那我们就要了解下存储引擎中是怎么来处理数据的。这里我们还是以InnoDB为例。InnoDB数据记录的结构在《执行sql语句时发生了什么mysql系列(1)》一文中讲到，MySQL服务器上负责对表中数据的读取和落盘(即写入磁盘)...

作者小汪哥写代码来源小汪哥(ID：xwgcoding)前言这个问题其实很有迷惑性，问的是字节，不是字符，我们知道在计算机中只能存储二进制数据。所以要搞清楚这个问题就要搞清楚下面2个问题：1.字节和字符的对应关系。2.varchar到底能存多少个字节。为了搞清楚上面两个问题，又必须搞清楚mysql的字符集和比较规则，以及mysql记录的存储结构。这里我们都是以常用的InnoDB引擎为讨论的前提的。如果你了解了上面的问题，你也可以回答下面...

ELK是Elasticsearch、Logstash、Kibana技术栈的简称。Elastic官方已统称为：ElasticStack，翻译成：Elastic技术栈体系。单独使用Elasticsearch能应对很多业务场景，包含但不限于：•全文检索场景。•日志分析场景。•大数据可视化商业BI场景。但，还不够。Elasticsearch擅长数据存储和检索。以下两个问题问题还搞不定？•数据如何导入Elasticsearch？•如何对数据进行可视化分析？Logstash、Beats就是数据...

作者小汪哥写代码来源小汪哥(ID：xwgcoding)前言当我们用navicat、mysqlworkbench等mysql的客户端执行一条sql语句后，我们就能得到相应的结果。例如:那么这个过程发生了什么呢执行一条sql就是一次Rpc的调用mysql是一个客户端、服务端的架构。我们平时使用的大部分程序app其实是由两部分组成的，一部分是客户端程序，一部分是服务器程序。以我们常用的微信、qq为例。我们手机里面装的客户端，机房的服务器中运行着server端。我们...

之前的文章《Elasticsearch词频统计实现与原理解读》，解决的是：Q3提及的某索引中特定关键词统计的问题。解决方案是：text字段开启fielddata，咱们在《长津湖影评可视化》中词云的可视化本质也是这种方案。那么，对于给定文档的词频统计呢？原来开启fielddata的方案就可以实现，举例如下：无非在聚合的时候，加上query语句指定了特定id进行检索。这种方法的缺点在于：正如Q3所说，聚合效率低。看过上次直播的同学，可能会闪现...

异步搜索API可异步执行搜索请求、监控其进度并检索可用的部分结果。•传统检索VS异步检索，在数据量比较大时：•传统检索可能导致超时，以至于无数据返回；或者需要等待很久，用户体验差。异步检索，可以快速响应数据，用户无需等待。ElasitcsearchV7.7.0版本。异步搜索允许用户在异步搜索结果可用时检索它们，从而消除了仅在查询完全完成后才最终响应的情况。4.1执行异步检索执行如下操作的前提是：待异步检索的索引数...

最近几个线上问题，都和Mapping字段更新有关系，问题列表如下：问题1：Mapping新创建后，还可以更新吗问题2:•群友A：有人知道怎么在kibana里面给索引新增，删除字段吗？•群友B:不就是改mapping吗•群友A：怎么改？•群友B：写dsl啊…•群友A：只能加不能删吧？问题3：各位同学们现在有个业务需求帮忙看一下？需求:将A索引中一个为String的字段修改为boolean。例:sdry:"1">sdry:true。问题4：join类型怎么...

跨集群复制（Crossclusterreplication，简称：CCR）指的是：索引数据从一个Elasticsearch集群复制到另一个Elasticsearch集群。对于主集群的索引数据的任何修改都会直接复制同步到从索引集群。Elasticsearch6.7版本。3.1支持灾难恢复（DR）、确保高可用性（HA）跨集群复制确保了不间断的服务可用性，能够承受住数据中心或区域服务中断的影响，降低了复杂性、节省了成本。3.2降低延迟将数据复制到更靠近应用程序用户的集群可以最...

上述问题不止一次被问到，我自己在使用painless脚本的时候，也会遇到上述困惑。今天，我们把这几种的区别梳理清楚。解读如下：上面的脚本通过ingestpainless脚本实现了判定：上面的例子解读如下：如果标签字段：tags包含：“green”，则执行删除操作；否则保持现状。官方文档地址：https:www.elastic.coguideenelasticsearchpainless7.15painlessupdatecontext.html如上reindex脚本解读如下：如果源索引：test04字段foo内容&lsq...

死磕Elasticsearch知识星球内的球友一个打卡引起我巨大的好奇。Elasticsearch学习的环节，快节奏和慢成长一直相爱相杀，如影相随。快节奏是指：高强度的工作环境需要我们快速给出答案，给出可以编程实现、快速落地的解决方案。“Talkischeap.Showmethecode.”这句IT届流行的歇后语也成为当我们没有拿到或者找到可行解决方案找Leader汇报时候Leader们挂在嘴边的话。为了快，我们不得不：•通过Google直接搜答案。•通过...

铭毅一句话概括：Kibana、Beats不受任何影响。Elasticsearch、Logstash受到漏洞影响，需要紧急修复（尤其外网对外提供服务的集群）。官方解读核心如下：1、Log4j“核弹”级漏洞起因2021年12月9日，Log4j的GitHub公开披露了一个影响ApacheLog4j2实用程序多个版本的高严重性漏洞(CVE202144228)。该漏洞影响了ApacheLog4j2的2.0到2.14.1版本。Github地址：https:logging.apache.orglog4j2.x本公告总结了对Elastic产品的任何潜在影...

作者二哥聊云原生来源二哥聊云原生(ID：LanceAndCloudnative)接下来的几篇，二哥和大家聊聊容器的一些概念和容器安全。云原生看起来是横空出世，但如果仔细看看在这个概念出来之前的技术迭代和演进，我们会发现这一切冥冥之中早已安排。前人在“虚拟化”、“不可变基础设施”、“微服务”、“容器”、“容器编排”等领域各种各样的尝试使得云原生的诞生成为必然。如今，大家聊云原生必然会说到一个词：容器。说到容器，大家总自...

作者二哥聊云原生来源二哥聊云原生(ID：LanceAndCloudnative)一篇文章围绕一张图，讲述一个主题。不过这个主题偏大，我估计需要好几篇文章才能说得清楚。云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式API。其中K8s是不可变基础设施的压舱石。典型的K8s集群由数十个Node,成百个Pod，上千个Container组成。相互隔离的容器间需要协作才能完成更大规模的应用。而协作就需要网络通信。这篇文章我主要通过下面...

本文主要介绍如何通过IK分词器进行词频统计。使用分词器对文章的词频进行统计，主要目的是实现如下图所示的词云功能，可以找到文章内的重点词汇。后续也可以对词进行词性标注，实体识别以及对实体的情感分析等功能。词频统计服务具体模块如下：•数据输入：文本信息•数据输出：词词频(TFIDF等)词性等内容•使用的组件：分词器、语料库、词云展示组件等•功能点：白名单，黑名单，同义词等现存的中文分词器有IK...