鸿蒙开发者社区

前言我的上家公司是做餐饮系统的，每天中午和晚上用餐高峰期，系统的并发量不容小觑。为了保险起见，公司规定各部门都要在吃饭的时间轮流值班，防止出现线上问题时能够及时处理。我当时在后厨显示系统团队，该系统属于订单的下游业务。用户点完菜下单后，订单系统会通过发kafka消息给我们系统，系统读取消息后，做业务逻辑处理，持久化订单和菜品数据，然后展示到划菜客户端。这样厨师就知道哪个订单要做哪些菜，有些菜做好了，...

前言无论是开发、测试，还是DBA，都难免会涉及到数据库的操作，比如：创建某张表，添加某个字段、添加数据、更新数据、删除数据、查询数据等等。正常情况下还好，但如果操作数据库时出现失误，比如：删除订单数据时where条件写错了，导致多删了很多用户订单。更新会员有效时间时，一次性把所有会员的有效时间都更新了。修复线上数据时，改错了，想还原。还有很多很多场景，我就不一一列举了。如果出现线上环境数据库误操作怎么...

前言在分布式系统中，由于redis分布式锁相对于更简单和高效，成为了分布式锁的首先，被我们用到了很多实际业务场景当中。但不是说用了redis分布式锁，就可以高枕无忧了，如果没有用好或者用对，也会引来一些意想不到的问题。今天我们就一起聊聊redis分布式锁的一些坑，给有需要的朋友一个参考。1非原子操作使用redis的分布式锁，我们首先想到的可能是setNx命令。if(jedis.setnx(lockKey,val)1){jedis.expire(lockKey,timeout);}...

前言sql优化是一个大家都比较关注的热门话题，无论你在面试，还是工作中，都很有可能会遇到。如果某天你负责的某个线上接口，出现了性能问题，需要做优化。那么你首先想到的很有可能是优化sql语句，因为它的改造成本相对于代码来说也要小得多。那么，如何优化sql语句呢这篇文章从15个方面，分享了sql优化的一些小技巧，希望对你有所帮助。1避免使用select很多时候，我们写sql语句时，为了方便，喜欢直接使用select，一次性查出...

前言数据库和缓存(比如：redis)双写数据一致性问题，是一个跟开发语言无关的公共问题。尤其在高并发的场景下，这个问题变得更加严重。我很负责的告诉大家，该问题无论在面试，还是工作中遇到的概率非常大，所以非常有必要跟大家一起探讨一下。今天这篇文章我会从浅入深，跟大家一起聊聊，数据库和缓存双写数据一致性问题常见的解决方案，这些方案中可能存在的坑，以及最优方案是什么。1.常见方案通常情况下，我们使用缓存的主要...

本文来自OpenHarmony成长计划啃论文俱乐部11组PIMF（PreeminentInputMethodFramework），PIMF即卓越的输入法框架。笔者阅读文档尝试使用DevEcoStudio3.0Beta3forOpenHarmony进行低代码开发OpenHarmony应用。[toc](目录)前言OpenHarmony3.1Release于2022年3月30日发布后，3月31日华为发布了最新的IDE工具DevEcoStudio3.0Beta3forOpenHarmony。（DevEcoStudio3.0Beta3是支撑OpenHarmony应用及服务开发的第一个版本，改变了之前Har...

大家好，我是华仔,又跟大家见面了。上一篇作为专题系列的第二篇，从演进的角度带你深度剖析了关于Kafka请求处理全流程以及超高并发的网络架构设计的实现细节，今天开启第三篇，我们来聊聊Kafka生产环境大家都比较关心的问题。那么Kafka到底会不会丢数据呢如果丢数据，究竟该怎么解决呢只有掌握了这些，我们才能处理好Kafka生产级的一些故障，从而更稳定地服务业务。认真读完这篇文章，我相信你会对Kafka如何解决丢数据问题，有...

大家好，我是华仔,又跟大家见面了。最近工作比较忙，外加上在弄公众号迁移开通留言功能,原创文章已经鸽了一个多月,让大家久等了。上一篇作为专题系列的第一篇，我们深度剖析了关于Kafka存储架构设计的实现细节，今天开启第二篇，我们来深度剖析下「KafkaBroker端网络架构和请求处理流程」是如何设计的相信使用过Kafka的朋友都知道其吞吐量可以高达百万，但很少人理解其中的设计原理。那么KafkaBroker端网络架构和请求处理到底是...

你好,我是华仔，在这个1024程序员特殊的节日里，又和大家见面了。从这篇文章开始，我将对Kafka专项知识进行深度剖析，今天我就来聊聊kafka的存储系统架构设计，说到存储系统，大家可能对MySQL比较熟悉，也知道MySQL是基于B+tree来作为它的索引数据结构。Kafka又是基于什么机制来存储为什么要设计成这样它解决了什么问题又是如何解决的里面又用到了哪些高大上的技术带着这些疑问，我们就来和你聊一聊Kafka存储架构设计背后的深度...

在上一篇中我们详细聊了关于KafkaProducer内部的底层原理设计思想和细节,本篇我们主要来聊聊KafkaConsumer即消费者的内部底层原理设计思想。1Consumer之总体概述在Kafka中,我们把消费消息的一方称为Consumer即消费者,它是Kafka的核心组件之一。它的主要功能是将Producer生产的消息进行消费处理，完成消费任务。那么这些Producer产生的消息是怎么被Consumer消费的呢又是基于何种消费方式进行消费，分区分配策略都有哪些，消费者...

在上一篇中我们详细聊了关于KafkaBroker内部的底层原理设计思想和细节,本篇我们主要来聊聊KafkaProducer即生产者的内部底层原理设计思想。1Producer之总体概述在Kafka中,我们把产生消息的一方称为Producer即生产者,它是Kafka的核心组件之一,也是消息的来源所在。它的主要功能是将客户端的请求打包封装发送到kafka集群的某个Topic的某个分区上。那么这些生产者产生的消息是怎么传到Kafka服务端的呢初始化和发送过程是怎么样的呢...

最近工作比较忙,公号差不多断更了一个多月,接下来会继续讲解Kafka相关内核技术,本篇主要来聊聊KafkaBroker内部的那点事。生产者和消费者底层原理设计思想放到下一篇来讲解。1kafkabroker总体概述Kafka控制器组件(Controller)即Broker,是Kafka的核心组件。它的主要作用是在ZooKeeper的帮助下管理和协调整个Kafka集群。集群中任意一台Broker都能充当控制器的角色，但是在运行过程中，只能有一个Broker成为控制器，来执行管理和协...

接下来还会有一系列的Kafka相关文章,全方位的梳理和剖析Kafka「原理设计,架构,源码剖析」。本篇是Kafka系列文章的第三篇,本篇章会通过场景驱动的方式来深度剖析Kafka生产级容量评估方案如何分析,申请和实施。1kafka容量评估需求场景分析集群如何每天hold住10亿+请求拿电商平台为例,kafka集群每天需要承载10亿+请求流量数据，一天24小时，对于平台来说，晚上12点到凌晨8点这8个小时几乎没多少数据涌入的。这里我们使用「二八法则...

1引入字典从本文开始慢慢揭开Redis字典的神秘面纱，字典又称为散列表，用来存储键值对的一种数据结构，在很多高级语言中都有实现，比如PHP的数组，Redis的整个数据库都是用字典来进行存储的，对Redis数据库的CURD操作，实际就是对字典中的数据进行CURD。由此可以得出字典的特征1).可以存储海量数据，KV对是映射关系，可以根据键以O(1)的时间复杂度读取或者插入KV对。2).KV对的键的类型可以是字符串，整型等，且唯一。3).KV对中...

1kafka三高架构概述由于最近事情比较多,工作也比较忙,这篇差点难产,经过几个周末的构思和梳理,终于跟大家见面了,在上一篇我们讲述了kafka的基础入门,工作流程,存储机制,副本等知识,本篇会为大家揭秘kafka高可用,高性能,高并发架构设计奥秘。Kafka向来以高吞吐量，低延迟，高并发,高可扩展性而自称，并在越来越多的场景中应用，这时候就对其稳定性的要求就越高。接下来就为大家一一呈现里面的细节。2kafka高可用设计Leader选举机...

大家好，我是华仔,又跟大家见面了。之前有粉丝留言说能否总结和分享一些Kafka相关的面试题。今天我们就来安排一篇关于Kafka的核心面试题连环炮,从「基础知识」、「进阶提升」、「架构调优」三个方向梳理面试题，希望在金三银四的关键节点可以帮助到大家。由于内容很多，打算拆分成「上中下」三篇，本文是面试系列的下篇。这篇文章干货很多，希望你可以耐心读完。3Kafka架构调优5问了解Kafka超高并发网络架构是如何设计吗我们知...

大家好，我是华仔,又跟大家见面了。之前有粉丝留言说能否总结和分享一些Kafka相关的面试题。今天我们就来安排一期关于Kafka的核心面试题连环炮,从「基础知识」、「进阶提升」、「架构调优」三个方向梳理面试题，希望在金三银四的关键节点可以帮助到大家。由于内容很多，打算拆分成「上中下」三篇，本文是面试系列的中篇。这篇文章干货很多，希望你可以耐心读完。2kafka进阶提升10问谈谈你对kafka的集群架构是如何理解的01Kafka...

大家好，我是华仔,又跟大家见面了。之前有粉丝留言说能否总结和分享一些Kafka相关的面试题。今天我们就来安排一期关于Kafka的核心面试题连环炮,从「基础知识」、「进阶提升」、「架构调优」三个方向梳理面试题，希望在金三银四的关键节点可以帮助到大家。由于内容很多，打算拆分成「上中下」三篇，本文是面试系列的上篇，主要输出基础知识方面的面试题。这篇文章干货很多，希望你可以耐心读完。Kafka基础知识15问Kafka是什么,适...

TiCDC是一个通过拉取TiKV日志实现的TiDB增量数据同步工具，具有还原数据到与上游任意TSO一致状态的能力，同时提供开放数据协议，支持其他系统订阅数据变更。TiCDC运行时是无状态的，借助PD内部的etcd实现高可用。TiCDC集群支持创建多个同步任务，向多个不同的下游进行数据同步。主要优势：数据高可用：TiCDC从TiKV获取变更日志，意味着只要TiKV具备高可用就能保证数据的高可用，遇到TiCDC全部异常关闭的极端情况，后续启动还能...

社会数字化、智能化的发展进程中，海量的数据带来巨大挑战，各行各业都在加速数字化转型，越来越多的企业意识到数据基础设施是成功的关键。然而，作为数据基础设施的核心，传统数据库例如MySQL面临性能和容量瓶颈，通过中间件实现的分库分表方案复杂度高，同时带来高昂的运维成本。作为一款企业级数据库，TiDB采用计算、存储分离的架构，可以根据业务需要进行弹性的扩展，应对更加实时和智能的数据应用需求。TiDB提供DataMigrat...