鸿蒙开发者社区

作者bigsai来源bigsai(ID：bigsai)前言对于Web来说，并发量和访问量增加一定程度上推动项目技术和架构的更迭和进步。可能会有以下的一些状况：页面并发量和访问量并不多，MySQL足以支撑自己逻辑业务的发展。那么其实可以不加缓存。最多对静态页面进行缓存即可。页面的并发量显著增多，数据库有些压力，并且有些数据更新频率较低反复被查询或者查询速度较慢。那么就可以考虑使用缓存技术优化。对高命中的对象存到keyvalue形式的R...

外存数据结构，或者说磁盘数据结构(OnDiskStructures)，记录的是需要进行持久化存储的元数据和数据。在存储体系中，访问外存数据带来的系统问题很多，比如如何快速找到数据，如何加速对元数据的频繁访问，如何进行数据一致性存储和灾难恢复等。本文介绍了InnoDB主要的外存数据结构，包括表和表空间(Table&TableSpace)，索引(Index)和恢复日志等。理解这些外存数据结构，有助于弄懂MySQL是如何访问和持久化数据的。PartⅠ表和表...

Innodb存储引擎是目前MySQL最主流的存储引擎，学习Innodb,可以先从其最基础的数据结构开始。Innodb的数据结构主要包括内存数据结构(InMemoryStructures)，如bufferpool,changebuffer,logbuffer等,磁盘数据结构(OnDiskStructures)，如索引Index,表空间及日志结构等。BufferPoolBufferPool主要是对Innodb存储引擎中的数据表(Table)和索引数据(Index)的一个缓存，它使得MySQL可以直接对一些热数据在内存中进行读取。InnodbBufferPo...

SQL是一种简单易用的业务逻辑表达语言，但随着扫描数据量和查询复杂度的增加，查询性能会变得越来越慢。想要对SQL进行调优，往往需要关注以下几个部分：需要了解引擎架构：用户往往需要对SQL引擎的架构特点有一定的了解，才能和业务的数据分布特征以及业务场景特征完美结合，来进行数据建模，从而设计出符合SQL引擎架构特点的表结构。SQL特征差异较大：即席查询的SQL往往变化较大，包括参与Join的表个数、Join条件、分组聚合的...

作者bigsai来源bigsai(ID：bigsai)课程导学我们都知道MongoDB是一款非常出色的非关系型文档数据库，你肯定会想问MongoDB这么强，我们该怎么用或者有啥运用场景呢MongoDB的应用场景非常多，无论是数据存储还是日志存储越来越多的公司在使用MongoDB，而我们今天也在SpringBoot基础上使用MongoDB实现一个简易版本的物流订单管理系统。在使用前，你自己的电脑上要有IDEA编译器来创建项目，还要拥有MongoDB数据库和Studio3T(MongoDB...

作者bigsai来源bigsai(ID：bigsai)课程导学大家好我是bigsai，我们都学过数据库，但你可能更熟悉关系(型)数据库例如MySQL，SQLSERVER，ORACLE等，对于非关系(型)数据库可能比较陌生，因为大部分入门级项目或者学习对非关系型数据库的使用要求并不高，所以你了解的会更少。但谈起性能和功能，非关系数据库的表现那可谓是非常亮眼了!咱们今天就介绍学习以及使用其中一种非关系型数据库——MongoDB数据库!本篇会介绍MongoDB相关内...

作者鄙人薛某来源鄙人薛某(ID：gh4c2f29048530)什么是分布式锁说到Redis，我们第一想到的功能就是可以缓存数据，除此之外，Redis因为单进程、性能高的特点，它还经常被用于做分布式锁。锁我们都知道，在程序中的作用就是同步工具，保证共享资源在同一时刻只能被一个线程访问，Java中的锁我们都很熟悉了，像synchronized、Lock都是我们经常使用的，但是Java的锁只能保证单机的时候有效，分布式集群环境就无能为力了，这个时候我...

作者鄙人薛某来源鄙人薛某(ID：gh4c2f29048530)数据库索引，相信大家都不陌生吧。索引是对数据库表中一列或多列的值进行排序的一种结构，使用索引可快速访问数据库表中的特定信息。作为辅助查询的工具，合理的设计索引能很大程度上减轻db的查询压力，db我们都知道，是项目最核心也是最薄弱的地方，如果压力太大很容易产生故障，造成难以预计的影响。所以，不管是日常开发还是面试，索引这一块知识体系都是必须掌握的。当然，虽...

作者小汪哥写代码来源小汪哥(ID：xwgcoding)在业务场景中，要想做到有备无患，最好是用集群，没有集群，至少也要做到主从，有了主从，当master挂掉的时候，让从库过来接管，服务就可以继续，否则master需要经过数据恢复和重启的过程，这就可能会拖很长的时间，影响线上业务的持续服务。在了解Redis集群实现之前需要了解redis的主从复制,了解主从复制之前首先要了解分布式系统的理论基石CAP原理。CAPCAP是分布式存储的理论基石.C...

作者小汪哥写代码来源小汪哥(ID：xwgcoding)上一篇文章我们对redis的基本类型及相应的应用场景做了了解，那你知道redis为什么这么快吗redis宕机了怎么办redis的持久化方式有哪些如果你是云服务厂商，你怎么优化你的云版的redis呢本文将对redis的相关原理进行分析。线程IO模型redis是单线程程序的，除了Redis之外，Node.js也是单线程，Nginx也是单线程，但是它们都是服务器高性能的典范。redis单线程也这么快，也要归功于非阻塞I...

作者小汪哥写代码来源小汪哥(ID：xwgcoding)什么是redisRedis是互联网技术领域使用最为广泛的存储中间件，它是「RemoteDictionaryService」的首字母缩写，也就是「远程字典服务」。Redis以其超高的性能、完美的文档、简洁易懂的源码和丰富的客户端库支持在开源中间件领域广受好评。国内外很多大型互联网公司都在使用Redis，比如Twitter、YouPorn、暴雪娱乐、Github、StackOverflow、腾讯、阿里、京东、华为、新浪微博等等，很多...

作者小汪哥写代码来源小汪哥(ID：xwgcoding)本文主要探讨MySQLInnoDB引擎下ACID的实现原理，对于诸如什么是事务，隔离级别的含义等知识请看我前面mysql系列的文章。ACIDMySQL作为一个关系型数据库，以最常见的InnoDB引擎来说，是如何保证ACID的。(Atomicity)原子性：事务是最小的执行单位，不允许分割。原子性确保动作要么全部完成，要么完全不起作用;(Consistency)一致性：执行事务前后，数据保持一致;(Isolation)隔离性：并发...

作者小汪哥写代码来源小汪哥(ID：xwgcoding)上篇文章分享kafkabroker的实现原理、数据的存储结构和消息持久化相关的东西，那消息存储完了之后，怎么被消费端消费呢，本文来聊一聊Kafka消费端的那些事儿。消费者设计1)拉取机制Kafka生产端是推的机制即Push，消费端是拉的机制即Pull。2)Pull的优缺点优点是消费端可以自己控制消息的读取速度和数量;缺点是不知道服务端有没有数据，所以要一直pull或隔一定时间pull，可能要pull多次...

老大，请教个问题。你用painless操作过timestamp字段吗？比如我获取了当前timestamp后，想要减去5分钟，这个怎么写？ctx.source['timestamp']是get当前的timestamp，后面operator要怎么写？第一：晚上11:14发出问题，说明问题很着急，极大可能是线上问题。第二：球友周大哥是资深架构师，可能问题会有一点弯或是有一些不常用的细节。第三：看问题。一句话概括问题：对于给定的时间字段值，用painless脚本实现减去5分钟的处理。p...

作者小汪哥写代码来源小汪哥(ID：xwgcoding)上篇文章分享了kafka生产端的逻辑，以及消息发送到缓存后由sender线程发送到Broker,那么Broker是怎么进行数据接收和持久化的呢下面我们从Broker的网络设计聊起。Broker网络设计kafka的网络设计和Kafka的调优有关，这也是为什么它能支持高并发的原因。Kafka的网络三层架构首先客户端发送请求全部会先发送给一个Acceptor，broker里面会存在3个线程(默认是3个)，这3个线程都是叫做proces...

拿我们身边的算法“投喂”为主的头条、抖音、微信视频号等举例，如果你喜欢乒乓球，每天推送给你的都是乒乓球比赛视频集锦；如果你喜欢成功人士演讲，每天都是马云、马化腾、刘强东等商业巨鳄的演讲。再拿电商的示例如下：比如我近期购买的吴军老师推荐的科普经典巨著《从一到无穷大》，京东会给我推荐樊登读书带火的书《微积分原理》。其实，在实际业务实战环节，或多或少也会有类似的功能，Elasticsearch有没有类似功能呢？大...

作者小汪哥写代码来源小汪哥(ID：xwgcoding)kafka是单条发送还是批量发送消息kafka怎么做到单条发送kafka发送消息是顺序的吗生产者什么情况下可能会频繁FullGC消息发送的逻辑上帝视角来看消息发送的流程。生产者的设计消费发送机制：1)序列化器：序列化消息对象转成字节数组，然后通过网络传输。2)分区器：计算消息发往的具体分区;如果显示指定了partition，便不会走分区器。3)消息缓冲池：客户端的消息缓冲池，默认大小32M，见...

作者小汪哥写代码来源小汪哥(ID：xwgcoding)概念Kafka是一种高吞吐量、分布式、基于发布订阅的消息系统，最初由LinkedIn公司开发，使用Scala(JAVA)语言编写，目前是Apache的开源项目。主要解决应用解耦、异步消息、流量削峰等问题。Kafka实际上也是一个主从架构，有一个Controller角色即控制器，协调管理整个集群。关键术语brokerKafka服务器，负责消息存储和转发。topic消息类别，Kafka按照topic来分类消息;似于关系型数据库的...

作者小汪哥写代码来源小汪哥(ID：xwgcoding)“把简单的事情放大了，它就不简单了”前言有人说单表超千万数据就应该分库分表了，这么玩不合理啊。但是对于创新业务来讲，业务系统的设计不可能一上来就预估这么大的容量，成本和工期都不足矣完成系统的开发工作。我觉得对于创新型业务系统的设计，首先满足需求，其次考虑到万一业务井喷发展所要考虑到的临时解决方案，为系统升级预留时间。谁都希望业务井喷，那么它来了!01具体时...

作者小汪哥写代码来源小汪哥(ID：xwgcoding)前言上一篇我们分享了MVCC,知道了MVCC的实现原理。那么事务利用MVCC进行的读取操作称之为一致性读，或者一致性无锁读，大部分文章也称之为快照读。所有普通的SELECT语句在RC、RR隔离级别下都算是一致性读。例如selectfromt;一致性读并不会对表中的任何记录做加锁操作,所以速度非常快。但是上一篇文章中也提到MVCC在RR级别下并不能防止幻读，解决幻读问题靠的是间隙锁，例如：begin;假...