51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频
免费课程
课程排行
直播课
软考学堂
全部课程
厂商认证
IT技术
24年11月软考
PMP项目管理
免费题库
在线学习
文章
资源
问答
课堂
专栏
直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
鸿蒙开发者社区
首页
帖子
问答
资源
课堂
直播
发现
登录/注册
51CTO
中国优质的IT技术网站
51CTO博客
专业IT技术创作平台
51CTO学堂
IT职业在线教育平台
活动
短视频
专栏
极客Show
鸿蒙技术特刊
我的关注
全部帖子
操作系统
OpenHarmony
HarmonyOS
其他
应用开发
卡片开发
三方库
IDE
其他
设备开发
海思开发板
树莓派
其他
框架语言
C/C++
Java
JavaScript
ArkUI / eTS
其他
其他
物联网
云原生
数据库
操作系统
大数据
人工智能
开发语言
其他
社区版务
社区公告
社区生活
意见反馈
社区规则
社区活动
默认
发布时间
热度
原创
精华
热门标签
HarmonyOS
鸿蒙
物联网
聊聊 Kafka Consumer 那点事
在上一篇中我们详细聊了关于KafkaProducer内部的底层原理设计思想和细节,本篇我们主要来聊聊KafkaConsumer即消费者的内部底层原理设计思想。1Consumer之总体概述在Kafka中,我们把消费消息的一方称为Consumer即消费者,它是Kafka的核心组件之一。它的主要功能是将Producer生产的消息进行消费处理,完成消费任务。那么这些Producer产生的消息是怎么被Consumer消费的呢又是基于何种消费方式进行消费,分区分配策略都有哪些,消费者...
honggangw
0回复
1.4w浏览
Kafka
Consumer
聊聊 Kafka Producer 那点事
在上一篇中我们详细聊了关于KafkaBroker内部的底层原理设计思想和细节,本篇我们主要来聊聊KafkaProducer即生产者的内部底层原理设计思想。1Producer之总体概述在Kafka中,我们把产生消息的一方称为Producer即生产者,它是Kafka的核心组件之一,也是消息的来源所在。它的主要功能是将客户端的请求打包封装发送到kafka集群的某个Topic的某个分区上。那么这些生产者产生的消息是怎么传到Kafka服务端的呢初始化和发送过程是怎么样的呢...
honggangw
0回复
8439浏览
Kafka
中间件
消息列队
聊聊 Kafka Broker 那点事
最近工作比较忙,公号差不多断更了一个多月,接下来会继续讲解Kafka相关内核技术,本篇主要来聊聊KafkaBroker内部的那点事。生产者和消费者底层原理设计思想放到下一篇来讲解。1kafkabroker总体概述Kafka控制器组件(Controller)即Broker,是Kafka的核心组件。它的主要作用是在ZooKeeper的帮助下管理和协调整个Kafka集群。集群中任意一台Broker都能充当控制器的角色,但是在运行过程中,只能有一个Broker成为控制器,来执行管理和协...
honggangw
0回复
1.0w浏览
Kafka
中间件
消息列队
八大步骤带你深度剖析Kafka生产级容量评估方案
接下来还会有一系列的Kafka相关文章,全方位的梳理和剖析Kafka「原理设计,架构,源码剖析」。本篇是Kafka系列文章的第三篇,本篇章会通过场景驱动的方式来深度剖析Kafka生产级容量评估方案如何分析,申请和实施。1kafka容量评估需求场景分析集群如何每天hold住10亿+请求拿电商平台为例,kafka集群每天需要承载10亿+请求流量数据,一天24小时,对于平台来说,晚上12点到凌晨8点这8个小时几乎没多少数据涌入的。这里我们使用「二八法则...
honggangw
0回复
6996浏览
Kafka
中间件
消息列队
【Redis5.X源码分析】系列之字典
1引入字典从本文开始慢慢揭开Redis字典的神秘面纱,字典又称为散列表,用来存储键值对的一种数据结构,在很多高级语言中都有实现,比如PHP的数组,Redis的整个数据库都是用字典来进行存储的,对Redis数据库的CURD操作,实际就是对字典中的数据进行CURD。由此可以得出字典的特征1).可以存储海量数据,KV对是映射关系,可以根据键以O(1)的时间复杂度读取或者插入KV对。2).KV对的键的类型可以是字符串,整型等,且唯一。3).KV对中...
honggangw
0回复
5229浏览
Redis
数据库
kafka三高架构设计剖析
1kafka三高架构概述由于最近事情比较多,工作也比较忙,这篇差点难产,经过几个周末的构思和梳理,终于跟大家见面了,在上一篇我们讲述了kafka的基础入门,工作流程,存储机制,副本等知识,本篇会为大家揭秘kafka高可用,高性能,高并发架构设计奥秘。Kafka向来以高吞吐量,低延迟,高并发,高可扩展性而自称,并在越来越多的场景中应用,这时候就对其稳定性的要求就越高。接下来就为大家一一呈现里面的细节。2kafka高可用设计Leader选举机...
honggangw
0回复
5765浏览
kafka
架构设计
【建议收藏】Kafka 面试连环炮, 看看你能撑到哪一步?(下)
大家好,我是华仔,又跟大家见面了。之前有粉丝留言说能否总结和分享一些Kafka相关的面试题。今天我们就来安排一篇关于Kafka的核心面试题连环炮,从「基础知识」、「进阶提升」、「架构调优」三个方向梳理面试题,希望在金三银四的关键节点可以帮助到大家。由于内容很多,打算拆分成「上中下」三篇,本文是面试系列的下篇。这篇文章干货很多,希望你可以耐心读完。3Kafka架构调优5问了解Kafka超高并发网络架构是如何设计吗我们知...
honggangw
0回复
5745浏览
Kafka
中间件
消息列队
【建议收藏】Kafka 面试连环炮, 看看你能撑到哪一步?(中)
大家好,我是华仔,又跟大家见面了。之前有粉丝留言说能否总结和分享一些Kafka相关的面试题。今天我们就来安排一期关于Kafka的核心面试题连环炮,从「基础知识」、「进阶提升」、「架构调优」三个方向梳理面试题,希望在金三银四的关键节点可以帮助到大家。由于内容很多,打算拆分成「上中下」三篇,本文是面试系列的中篇。这篇文章干货很多,希望你可以耐心读完。2kafka进阶提升10问谈谈你对kafka的集群架构是如何理解的01Kafka...
honggangw
0回复
8048浏览
Kafka
中间件
消息列队
【建议收藏】Kafka 面试连环炮, 看看你能撑到哪一步?(上)
大家好,我是华仔,又跟大家见面了。之前有粉丝留言说能否总结和分享一些Kafka相关的面试题。今天我们就来安排一期关于Kafka的核心面试题连环炮,从「基础知识」、「进阶提升」、「架构调优」三个方向梳理面试题,希望在金三银四的关键节点可以帮助到大家。由于内容很多,打算拆分成「上中下」三篇,本文是面试系列的上篇,主要输出基础知识方面的面试题。这篇文章干货很多,希望你可以耐心读完。Kafka基础知识15问Kafka是什么,适...
honggangw
0回复
7861浏览
Kafka
中间件
消息列队
TiDB TiCDC使用实践
TiCDC是一个通过拉取TiKV日志实现的TiDB增量数据同步工具,具有还原数据到与上游任意TSO一致状态的能力,同时提供开放数据协议,支持其他系统订阅数据变更。TiCDC运行时是无状态的,借助PD内部的etcd实现高可用。TiCDC集群支持创建多个同步任务,向多个不同的下游进行数据同步。主要优势:数据高可用:TiCDC从TiKV获取变更日志,意味着只要TiKV具备高可用就能保证数据的高可用,遇到TiCDC全部异常关闭的极端情况,后续启动还能...
lemonvita
0回复
7146浏览
TiDB
TiDB DM使用实践
社会数字化、智能化的发展进程中,海量的数据带来巨大挑战,各行各业都在加速数字化转型,越来越多的企业意识到数据基础设施是成功的关键。然而,作为数据基础设施的核心,传统数据库例如MySQL面临性能和容量瓶颈,通过中间件实现的分库分表方案复杂度高,同时带来高昂的运维成本。作为一款企业级数据库,TiDB采用计算、存储分离的架构,可以根据业务需要进行弹性的扩展,应对更加实时和智能的数据应用需求。TiDB提供DataMigrat...
lemonvita
0回复
6140浏览
TiDB
PD节点恢复之一个也不剩
1PD是什么PD(PlacementDriver)Server:整个TiDB集群的元信息管理模块,负责存储每个TiKV节点实时的数据分布情况和集群的整体拓扑结构,提供TiDBDashboard管控界面,并为分布式事务分配事务ID。PD不仅存储元信息,同时还会根据TiKV节点实时上报的数据分布状态,下发数据调度命令给具体的TiKV节点,可以说是整个集群的“大脑”。此外,PD本身也是由至少3个节点构成,拥有高可用的能力。PD大体来讲基本上就是一个etcd集群那么etcd...
lemonvita
0回复
5727浏览
TiDB
Redis延时队列,这次彻底给你整明白了
所谓延时队列就是延时的消息队列,下面说一下一些业务场景实践场景订单支付失败,每隔一段时间提醒用户用户并发量的情况,可以延时2分钟给用户发短信先来看看Redis实现普通的消息队列我们知道,对于专业的消息队列中间件,如Kafka和RabbitMQ,消费者在消费消息之前要进行一系列的繁琐过程。如RabbitMQ发消息之前要创建Exchange,再创建Queue,还要将Queue和Exchange通过某种规则绑定起来,发消息的时候要指定routingkey,还要控...
kevinaoc
0回复
8330浏览
Redis
延时队列
MySQL存储引擎如何完成一条更新语句的执行
假设我们有一条SQL语句是这样的:updatetusersetname'月伴飞鱼'whereid1;那么我们先想一下这条SQL语句是如何执行的首先肯定是我们的系统通过一个数据库连接发送到了MySQL上,然后肯定会经过SQL接口、解析器、优化器、执行器几个环节,解析SQL语句,生成执行计划,接着去由执行器负责这个计划的执行,调用InnoDB存储引擎的接口去执行。大致会走下图的这个流程我们就来探索一下这个存储引擎里的架构设计,以及如何基于存储引擎完...
kevinaoc
0回复
5548浏览
MySQL
存储引擎
SQL语句
最完整的Explain总结,SQL优化不再困难
先看看具体有哪些字段:mysql>EXPLAINSELECT1;其实除了以SELECT开头的查询语句,其余的DELETE、INSERT、REPLACE以及UPDATE语句前边都可以加上EXPLAIN这个词儿,用来查看这些语句的执行计划建两张测试表:CREATETABLEt1(idINTNOTNULLAUTOINCREMENT,key1VARCHAR(100),key2VARCHAR(100),key3VARCHAR(100),nameVARCHAR(100),PRIMARYKEY(id),KEYidxkey1(key1),KEYidxkey2key3(key2,key3))EngineInnoDBCHARSETutf8;CREATETABLEt2(idIN...
kevinaoc
0回复
7671浏览
SQL
Explain
Redis如何解决频繁的命令往返造成的性能瓶颈
前言先来看看Redis客户端和服务端的交互模型可以得出:1.Redis是基于一个Request,一个Response的同步请求服务2.客户端将数据包发送至服务器,然后服务器再将响应数据发送回客户端,这都需要花费一定时间的。这段时间被称为往返时间RTT(RoundTripTime)。当一个客户端需要连续执行很多请求时,就很容易看出往返时间是影响系统性能的例如:如果往返时间RTT是250毫秒,即使Redis服务器每秒钟能处理1000个请求,我们也只能每秒钟最...
kevinaoc
0回复
1.0w浏览
Redis
面试题:Kafka如何保证高可用?有图有真相
上次面试多次被问到一个问题:Kafka如何保证高可用的「下面来跟大家分享下当时我答到的点」什么是高可用「高可用性」,指系统无间断地执行其功能的能力,代表系统的可用性程度Kafka从0.8版本开始提供了高可用机制,可保障一个或多个Broker宕机后,其他Broker能继续提供服务备份机制Kafka允许同一个Partition存在多个消息副本,每个Partition的副本通常由1个Leader及0个以上的Follower组成,生产者将消息直接发往对应Partition的...
kevinaoc
0回复
5303浏览
Kafka
高可用
面试题:Redis如何实现分布式锁!
前言之前的个人网站已经下线了,https:upheart.cn,维护太花时间了,之后会把网站内容全部搬到公众号中,内容也会比网站内容更丰富,更全面,带大家真正的吊打面试官!文章内容会尽量少废话,多干货!开始吧!为什么需要分布式锁使用分布式锁的目的,无外乎就是保证同一时间只有一个客户端可以对共享资源进行操作我们在分布式应用进行逻辑处理时经常会遇到并发问题。比如一个操作要修改用户的状态,修改状态需要先读出用户的状态,...
kevinaoc
0回复
6909浏览
Redis
分布式锁
面试题:在日常工作中怎么做MySQL优化的?
前言面试题来自:社招一年半面经分享(含阿里美团头条京东滴滴)MySQL常见的优化手段分为下面几个方面:SQL优化、设计优化,硬件优化等,其中每个大的方向中又包含多个小的优化点下面我们具体来看看SQL优化此优化方案指的是通过优化SQL语句以及索引来提高MySQL数据库的运行效率,具体内容如下:分页优化例如:selectfromtablewheretype2andlevel9orderbyidasclimit190289,10;优化方案:延迟关联先通过where条件提取出主键,在将该...
kevinaoc
0回复
8046浏览
MySQL
SQL优化
在 Kubernetes 集群上部署 Kafka
最近在测试日志采集的时候,发现日志数据量稍微大一点,Elasticsearch就有点抗不住了,对于ES的优化可能不是一朝一夕能够完成的,所以打算加一个中间层,将日志输出到Kafka,然后通过Logstash从Kafka里面去消费日志存入Elasticsearch。在测试环境现在并没有一套Kafka集群,所以我们来先在测试环境搭建一套Kafka集群。本文使用到的相关环境版本如下:$kubectlversionClientVersion:version.Info{Major:"1",Minor:"14",GitVersion...
kevinaoc
0回复
6864浏览
Kafka
Kubernetes
暂无内容
1
470
471
472
473
474
475
476
477
478
479
精选
客服
订阅鸿蒙技术特刊,精选内容抢先看
微信扫码关注,即刻订阅