鸿蒙开发者社区

近日，TDSQL新敏态引擎重磅发布。该引擎可完美解决对于敏态业务发展过程中业务形态、业务量的不可预知性，实现PB级存储的OnlineDDL，可以实现大幅提升表结构变更过程中的数据库吞吐量，有效应对业务变化；其独有的数据形态自动感知特性，使数据能根据业务负载情况实现自动迁移，打散热点，降低分布式事务比例，获得极致的扩展性和性能。与此同时，TDSQL新敏态引擎还具有对分布式事务完整支持的特性，支撑了上层计算引擎多主读写...

大家好，我是Tom哥今日寄语：充满活力的新人，能让身边的人都重回初心，真是不可思议。mysql的InnoDB存储引擎一棵B+树可以存放多少行数据(答案在文章中!!)要搞清楚这个问题，首先要从InnoDB索引数据结构、数据组织方式说起。我们都知道计算机有五大组成部分：控制器，运算器，存储器，输入设备，输出设备。其中很重要的，也跟今天这个题目有关系的是存储器。我们知道万事万物都有自己的单元体系，若干个小单体组成一个个大的个...

缓存设计可谓老生常谈了，早些时候都是采用memcache，现在大家更多倾向使用redis，除了知晓常用的数据存储类型，结合业务场景有针对性选择，好像其他也没有什么大的难点。工程中引入RedisClient二方包，初始化一个Bean实例RedisTemplate，一切搞定，soeasy。如果是几十、几百并发的业务场景，缓存设计可能并不需要考虑那么多，但如果是亿级的系统呢首先，先了解缓存知识图谱早期的缓存用于加速CPU数据交换的RAM。随着互联网的快...

Pulsar介绍Pulsar是Yahoo在2013年创建的，2016年贡献给了Apache基金会，目前已经是Apache的顶级项目。Yahoo、Verizon、Twitter等很多公司都在使用Pulsar来处理海量消息。Pulsar声称比Kafka更快、运行成本更低、解决了很多Kafka的痛点。Pulsar非常灵活，可以像Kafka一样作为分布式日志系统，也可以作为类似RabbitMQ这类简单的消息系统。Pulsar有多种订阅类型、传递保障、保存策略。特性内置多租户不同的团队可以使用同一个集群，...

消息通信有两种基本模型，即发布订阅(PubSub)模型和点对点(PointtoPoint)模型，发布订阅支持生产者消费者之间的一对多关系，而点对点模型中有且仅有一个消费者。前言Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。其持久化层本质上是一个“按照分布式事务日志架构的大规模发布订阅消息队列”。Kafka高效地处理实时流式数据，可以实...

互联网高速发展，同时也带来的海量数据存储问题。传统关系型数据库的单库单表已经很难支撑，如何高效存储和访问这些数据，成为业内急需解决的问题。解决思路有两个方向：NoSQL数据库，非关系型数据库，天然集成了类似分布式分片的功能，支持海量数据存储，但是不具备事务管理分库分表，对多个单库单表资源整合，并配备资源调度模块，从而形成一个具有海量数据储存的逻辑表。今天我们主要介绍，如何基于Springboot快速集成分库分...

锁的种类非常多。之前写过一篇文章，对工作中常用锁做了总结，如：乐观锁、悲观锁、分布式锁、可重入锁、自旋锁、独享锁、共享锁、互斥锁、读写锁、阻塞锁、公平锁、非公平锁、分段锁、对象锁、类锁、信号量、行锁。之前文章：一文全面梳理各种锁机制什么是分布式锁Java中常用的锁有synchronized、Lock锁，并发编程中，我们通过锁实现多个线程竞争同一个共享资源或者变量而造成的数据不一致问题，但是JVM锁只适用于单体应用。随...

简介Redis是一个开源、高级的键值存储和一个适用的解决方案，用于构建高性能，可扩展的Web应用程序。支持更丰富的数据结构，例如String、List、hash、set、zset等，同时支持数据持久化。除此之外，Redis还提供一些类数据库的特性，比如事务，HA，主从备份。可以说Redis兼具了缓存系统和数据库的一些特性。Redis特性高并发读写持久化丰富的数据类型单进程单线程模型数据自动过期发布订阅分布式支持lua脚本目前在从阿里巴巴、美团...

转自公众号Redis开发运维实战一、ziplist简介ziplist是一种连续内存空间并且有序的压缩链表，其主要的数据结构如下图：结合以上数据结构的内存模型图，我们可以看出ziplist具有的一些优势与问题：二、listpack简介由于ziplist存在不可避免的问题连锁更新问题，所以在Redis5版本中，推出了ziplist替代版本listpack。1.ziplist整体的结构与listpack的整体结构对比从以上整体的对比图可以看到，其实两者结构相差不大，listpack相对...

1、简介Druid是阿里巴巴的一个开源项目，号称为监控而生的数据库连接池，在功能、性能、扩展性方面都超过其他，例如DBCP、C3P0、BoneCP、Proxool、JBoss、DataSource等连接池，而且Druid已经在阿里巴巴部署了超过600个应用，通过了极为严格的考验，这才收获了大家的青睐!Druid是一个JDBC组件，包含三个部分：DruidDriver代理Driver，能够提供基于FilterChain模式的插件体系。DruidDataSource高效管理的数据库连接池。SQLParserS...

1、简介MyBatis是一款优秀的持久层框架，它支持自定义SQL、存储过程以及高级映射。MyBatis免除了几乎所有的JDBC代码以及设置参数和获取结果集的工作。MyBatis可以通过简单的xml文件或注解来配置和映射原始类型、接口和JavaPOJO（PlainOldJavaObjects，普通老式Java对象）为数据库中的记录。与其他的ORM框架不同，mybatis没有将java对象与数据库表关联起来，而是将java方法与sql语句关联。允许用户充分利用数据库的各种功能。与J...

1、简介在gRPC里，客户端应用可以像调用本地对象一样直接调用另一台不同的机器上服务端应用的方法，使得我们能够更容易地创建分布式应用和服务。gRPC基于HTTP2标准设计，带来诸如双向流、流控、头部压缩、单TCP连接上的多复用请求等。这些特性使得其在移动设备上表现更好，更省电和节省空间占用。目前有非常多优秀的开源项目采用gRPC作为通信方式，例如说Kubernetes、SkyWalking、istio等等。甚至说，Dubbo自2.7.5版本之后，开...

1、前言SpringDataJPA是Spring基于ORM框架、JPA规范的基础上封装的一套JPA应用框架，底层使用了Hibernate的JPA技术实现，可使开发者用极简的代码即可实现对数据的访问和操作。它提供了包括增、删、改、查等在内的常用功能，易于扩展，极大提高开发效率。SpringDataCommon是SpringData所有模块的公共部分，该项目提供了基于Spring的共享基础设施，它提供了基于repository接口以DB操作的一些封装，以及一个坚持在Java实体类上标注...

关系型数据库的事务特性可以帮我们解决很多难题，比如数据的一致性问题，所以常规业务持久化存储都会mysql来兜底。但mysql的性能是有限的。当业务规模发展到上百万用户，访问量达到上万QPS时，单台mysql实例很难应付。有哪些解决方案1、首先我们会想到给数据库找一个搭档，也就是缓存目前市面上经典组合是mysql+redis。Redis作为MySQL的前置缓存，可以替MySQL挡住绝大部分查询请求，很大程度上缓解了MySQL并发请求的压力。Redis...

事务特性1、原子性(Atomicity)事务开始后所有操作，要么全部做完，要么全部不做，不可能停滞在中间环节。事务执行过程中出错，会回滚到事务开始前的状态，所有的操作就像没有发生一样。也就是说事务是一个不可分割的整体，就像化学中学过的原子，是物质构成的基本单位。2、一致性(Consistency)事务开始前和结束后，数据库的完整性约束没有被破坏。比如A向B转账，不可能A扣了钱，B却没收到。3、隔离性(Isolation)同一时间，只允...

常用技术框架、开源中间件，系统架构、数据库、大公司架构案例、常用三方类库、项目管理、线上问题排查、个人成长、思考等知识https:github.comaalansehaiyangtechnologytalk活到老、学到老，用技术普惠世界前言Redis在当前的技术社区里是非常热门的。从来自Antirez一个小小的个人项目到成为内存数据存储行业的标准，Redis已经走过了很长的一段路。随之而来的一系列最佳实践，使得大多数人可以正确地使用Redis。技巧经验1、停止...

Redis2.4之后的版本开始集成了Sentinel，用于监控redis集群中Master状态的工具，是Redis的高可用性解决方案。sentinel系统可以监视一个或者多个master节点，以及这些master节点的所有从节点;当某个master节点下线时，自动将该master下的某个从节点升级为master替代已下线的master节点继续处理请求。集群中的其他redis服务器自动指向新的master同步数据。一般建议sentinel采取奇数台，防止某一台sentinel无法连接到master导致误...

前言Kafka作为一款开源的消息引擎，很多人并不陌生，但深入其源码的同学估计不多，除非你是中间件团队消息系统维护者。但术业有专攻，市面上那么多开源框架且每个框架又经常迭代升级，花精力深入了解每一个框架源码不太现实，本文会以读书会视角，从业务角度罗列工作中大家需要熟知的一些知识为什么使用kafka削峰填谷。缓冲上下游瞬时突发流量，保护“脆弱”的下游系统不被压垮，避免引发全链路服务“雪崩”。系统解耦。发送方...

（转载公众号：晓磊聊DB）为什么定性能优化这个主题？写在TUG企业行将走进58同城之前，作为TUG的华北区leader，在定这次企业行主题时，就想到TiDB性能优化这个大方向，因为在asktug网站的主题提问或者分享方案以及线下的交流中，听到不少关于TIDB性能优化的案例，一般都是基于一些“惨痛”的踩坑事故，分析问题现场，查看基于官方文档、Asktug论坛或者跟Pingcap技术专家交流后，定位问题，提供性能优化的方案，最后解决问题。这...

（转载公众号：晓磊聊DB）TiCDC是一款通过拉取TiKV变更日志实现的TiDB增量数据同步工具，具有将数据还原到与上游任意TSO一致状态的能力，同时提供开放数据协议(TiCDCOpenProtocol)，支持其他系统订阅数据变更。TiCDC业务使用场景描述（1）增量数据抽取需求数仓ETL每天凌晨基于table(createdateorupdatedate)增量或者全量的数据抽取：目前离线报表业务为了凌晨产出报表，数仓团队凌晨需要从我们核心的物料TiDB集群(70+节点)中抽...