51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频
免费课程
课程排行
直播课
软考学堂
全部课程
厂商认证
IT技术
24年11月软考
PMP项目管理
免费题库
在线学习
文章
资源
问答
课堂
专栏
直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
鸿蒙开发者社区
首页
帖子
问答
资源
课堂
直播
发现
登录/注册
51CTO
中国优质的IT技术网站
51CTO博客
专业IT技术创作平台
51CTO学堂
IT职业在线教育平台
活动
短视频
专栏
极客Show
鸿蒙技术特刊
我的关注
全部帖子
操作系统
OpenHarmony
HarmonyOS
其他
应用开发
卡片开发
三方库
IDE
其他
设备开发
海思开发板
树莓派
其他
框架语言
C/C++
Java
JavaScript
ArkUI / eTS
其他
其他
物联网
云原生
数据库
操作系统
大数据
人工智能
开发语言
其他
社区版务
社区公告
社区生活
意见反馈
社区规则
社区活动
默认
发布时间
热度
原创
精华
热门标签
HarmonyOS
HarmonyOS NEXT
Harmony OS NEXT
我用kafka两年踩过的一些非比寻常的坑
前言我的上家公司是做餐饮系统的,每天中午和晚上用餐高峰期,系统的并发量不容小觑。为了保险起见,公司规定各部门都要在吃饭的时间轮流值班,防止出现线上问题时能够及时处理。我当时在后厨显示系统团队,该系统属于订单的下游业务。用户点完菜下单后,订单系统会通过发kafka消息给我们系统,系统读取消息后,做业务逻辑处理,持久化订单和菜品数据,然后展示到划菜客户端。这样厨师就知道哪个订单要做哪些菜,有些菜做好了,...
citywork
0回复
1.3w浏览
kafka
消息中间件
盘点一下数据库的误操作有哪些后悔药?
前言无论是开发、测试,还是DBA,都难免会涉及到数据库的操作,比如:创建某张表,添加某个字段、添加数据、更新数据、删除数据、查询数据等等。正常情况下还好,但如果操作数据库时出现失误,比如:删除订单数据时where条件写错了,导致多删了很多用户订单。更新会员有效时间时,一次性把所有会员的有效时间都更新了。修复线上数据时,改错了,想还原。还有很多很多场景,我就不一一列举了。如果出现线上环境数据库误操作怎么...
citywork
0回复
6846浏览
数据库
误操作
聊聊redis分布式锁的8大坑
前言在分布式系统中,由于redis分布式锁相对于更简单和高效,成为了分布式锁的首先,被我们用到了很多实际业务场景当中。但不是说用了redis分布式锁,就可以高枕无忧了,如果没有用好或者用对,也会引来一些意想不到的问题。今天我们就一起聊聊redis分布式锁的一些坑,给有需要的朋友一个参考。1非原子操作使用redis的分布式锁,我们首先想到的可能是setNx命令。if(jedis.setnx(lockKey,val)1){jedis.expire(lockKey,timeout);}...
citywork
0回复
1.4w浏览
redis
分布式锁
聊聊sql优化的15个小技巧
前言sql优化是一个大家都比较关注的热门话题,无论你在面试,还是工作中,都很有可能会遇到。如果某天你负责的某个线上接口,出现了性能问题,需要做优化。那么你首先想到的很有可能是优化sql语句,因为它的改造成本相对于代码来说也要小得多。那么,如何优化sql语句呢这篇文章从15个方面,分享了sql优化的一些小技巧,希望对你有所帮助。1避免使用select很多时候,我们写sql语句时,为了方便,喜欢直接使用select,一次性查出...
citywork
0回复
8004浏览
sql优化
优化sql语句
如何保证数据库和缓存双写一致性?
前言数据库和缓存(比如:redis)双写数据一致性问题,是一个跟开发语言无关的公共问题。尤其在高并发的场景下,这个问题变得更加严重。我很负责的告诉大家,该问题无论在面试,还是工作中遇到的概率非常大,所以非常有必要跟大家一起探讨一下。今天这篇文章我会从浅入深,跟大家一起聊聊,数据库和缓存双写数据一致性问题常见的解决方案,这些方案中可能存在的坑,以及最优方案是什么。1.常见方案通常情况下,我们使用缓存的主要...
citywork
0回复
7682浏览
数据库
缓存
双写数据一致性
【PIMF】低代码(可视化界面)入门OpenHarmony3.1 Release应用开发
原创
精华
本文来自OpenHarmony成长计划啃论文俱乐部11组PIMF(PreeminentInputMethodFramework),PIMF即卓越的输入法框架。笔者阅读文档尝试使用DevEcoStudio3.0Beta3forOpenHarmony进行低代码开发OpenHarmony应用。[toc](目录)前言OpenHarmony3.1Release于2022年3月30日发布后,3月31日华为发布了最新的IDE工具DevEcoStudio3.0Beta3forOpenHarmony。(DevEcoStudio3.0Beta3是支撑OpenHarmony应用及服务开发的第一个版本,改变了之前Har...
离北况归
2回复
1.2w浏览
低代码开发
OpenHarmony应用
应用开发
DevEco Studio
OpenHarmony 3.1
刨根问底: Kafka 到底会不会丢数据?
大家好,我是华仔,又跟大家见面了。上一篇作为专题系列的第二篇,从演进的角度带你深度剖析了关于Kafka请求处理全流程以及超高并发的网络架构设计的实现细节,今天开启第三篇,我们来聊聊Kafka生产环境大家都比较关心的问题。那么Kafka到底会不会丢数据呢如果丢数据,究竟该怎么解决呢只有掌握了这些,我们才能处理好Kafka生产级的一些故障,从而更稳定地服务业务。认真读完这篇文章,我相信你会对Kafka如何解决丢数据问题,有...
honggangw
0回复
7589浏览
Kafka
中间件
消息列队
深度剖析:Kafka 请求是如何处理? 看完这篇文章彻底懂了!
大家好,我是华仔,又跟大家见面了。最近工作比较忙,外加上在弄公众号迁移开通留言功能,原创文章已经鸽了一个多月,让大家久等了。上一篇作为专题系列的第一篇,我们深度剖析了关于Kafka存储架构设计的实现细节,今天开启第二篇,我们来深度剖析下「KafkaBroker端网络架构和请求处理流程」是如何设计的相信使用过Kafka的朋友都知道其吞吐量可以高达百万,但很少人理解其中的设计原理。那么KafkaBroker端网络架构和请求处理到底是...
honggangw
0回复
6671浏览
Kafka
中间件
消息列队
搞透Kafka的存储架构,看这篇就够了
你好,我是华仔,在这个1024程序员特殊的节日里,又和大家见面了。从这篇文章开始,我将对Kafka专项知识进行深度剖析,今天我就来聊聊kafka的存储系统架构设计,说到存储系统,大家可能对MySQL比较熟悉,也知道MySQL是基于B+tree来作为它的索引数据结构。Kafka又是基于什么机制来存储为什么要设计成这样它解决了什么问题又是如何解决的里面又用到了哪些高大上的技术带着这些疑问,我们就来和你聊一聊Kafka存储架构设计背后的深度...
honggangw
0回复
1.4w浏览
Kafka
存储架构
聊聊 Kafka Consumer 那点事
在上一篇中我们详细聊了关于KafkaProducer内部的底层原理设计思想和细节,本篇我们主要来聊聊KafkaConsumer即消费者的内部底层原理设计思想。1Consumer之总体概述在Kafka中,我们把消费消息的一方称为Consumer即消费者,它是Kafka的核心组件之一。它的主要功能是将Producer生产的消息进行消费处理,完成消费任务。那么这些Producer产生的消息是怎么被Consumer消费的呢又是基于何种消费方式进行消费,分区分配策略都有哪些,消费者...
honggangw
0回复
1.4w浏览
Kafka
Consumer
聊聊 Kafka Producer 那点事
在上一篇中我们详细聊了关于KafkaBroker内部的底层原理设计思想和细节,本篇我们主要来聊聊KafkaProducer即生产者的内部底层原理设计思想。1Producer之总体概述在Kafka中,我们把产生消息的一方称为Producer即生产者,它是Kafka的核心组件之一,也是消息的来源所在。它的主要功能是将客户端的请求打包封装发送到kafka集群的某个Topic的某个分区上。那么这些生产者产生的消息是怎么传到Kafka服务端的呢初始化和发送过程是怎么样的呢...
honggangw
0回复
8635浏览
Kafka
中间件
消息列队
聊聊 Kafka Broker 那点事
最近工作比较忙,公号差不多断更了一个多月,接下来会继续讲解Kafka相关内核技术,本篇主要来聊聊KafkaBroker内部的那点事。生产者和消费者底层原理设计思想放到下一篇来讲解。1kafkabroker总体概述Kafka控制器组件(Controller)即Broker,是Kafka的核心组件。它的主要作用是在ZooKeeper的帮助下管理和协调整个Kafka集群。集群中任意一台Broker都能充当控制器的角色,但是在运行过程中,只能有一个Broker成为控制器,来执行管理和协...
honggangw
0回复
1.1w浏览
Kafka
中间件
消息列队
八大步骤带你深度剖析Kafka生产级容量评估方案
接下来还会有一系列的Kafka相关文章,全方位的梳理和剖析Kafka「原理设计,架构,源码剖析」。本篇是Kafka系列文章的第三篇,本篇章会通过场景驱动的方式来深度剖析Kafka生产级容量评估方案如何分析,申请和实施。1kafka容量评估需求场景分析集群如何每天hold住10亿+请求拿电商平台为例,kafka集群每天需要承载10亿+请求流量数据,一天24小时,对于平台来说,晚上12点到凌晨8点这8个小时几乎没多少数据涌入的。这里我们使用「二八法则...
honggangw
0回复
7261浏览
Kafka
中间件
消息列队
【Redis5.X源码分析】系列之字典
1引入字典从本文开始慢慢揭开Redis字典的神秘面纱,字典又称为散列表,用来存储键值对的一种数据结构,在很多高级语言中都有实现,比如PHP的数组,Redis的整个数据库都是用字典来进行存储的,对Redis数据库的CURD操作,实际就是对字典中的数据进行CURD。由此可以得出字典的特征1).可以存储海量数据,KV对是映射关系,可以根据键以O(1)的时间复杂度读取或者插入KV对。2).KV对的键的类型可以是字符串,整型等,且唯一。3).KV对中...
honggangw
0回复
5486浏览
Redis
数据库
kafka三高架构设计剖析
1kafka三高架构概述由于最近事情比较多,工作也比较忙,这篇差点难产,经过几个周末的构思和梳理,终于跟大家见面了,在上一篇我们讲述了kafka的基础入门,工作流程,存储机制,副本等知识,本篇会为大家揭秘kafka高可用,高性能,高并发架构设计奥秘。Kafka向来以高吞吐量,低延迟,高并发,高可扩展性而自称,并在越来越多的场景中应用,这时候就对其稳定性的要求就越高。接下来就为大家一一呈现里面的细节。2kafka高可用设计Leader选举机...
honggangw
0回复
6051浏览
kafka
架构设计
【建议收藏】Kafka 面试连环炮, 看看你能撑到哪一步?(下)
大家好,我是华仔,又跟大家见面了。之前有粉丝留言说能否总结和分享一些Kafka相关的面试题。今天我们就来安排一篇关于Kafka的核心面试题连环炮,从「基础知识」、「进阶提升」、「架构调优」三个方向梳理面试题,希望在金三银四的关键节点可以帮助到大家。由于内容很多,打算拆分成「上中下」三篇,本文是面试系列的下篇。这篇文章干货很多,希望你可以耐心读完。3Kafka架构调优5问了解Kafka超高并发网络架构是如何设计吗我们知...
honggangw
0回复
6051浏览
Kafka
中间件
消息列队
【建议收藏】Kafka 面试连环炮, 看看你能撑到哪一步?(中)
大家好,我是华仔,又跟大家见面了。之前有粉丝留言说能否总结和分享一些Kafka相关的面试题。今天我们就来安排一期关于Kafka的核心面试题连环炮,从「基础知识」、「进阶提升」、「架构调优」三个方向梳理面试题,希望在金三银四的关键节点可以帮助到大家。由于内容很多,打算拆分成「上中下」三篇,本文是面试系列的中篇。这篇文章干货很多,希望你可以耐心读完。2kafka进阶提升10问谈谈你对kafka的集群架构是如何理解的01Kafka...
honggangw
0回复
8352浏览
Kafka
中间件
消息列队
【建议收藏】Kafka 面试连环炮, 看看你能撑到哪一步?(上)
大家好,我是华仔,又跟大家见面了。之前有粉丝留言说能否总结和分享一些Kafka相关的面试题。今天我们就来安排一期关于Kafka的核心面试题连环炮,从「基础知识」、「进阶提升」、「架构调优」三个方向梳理面试题,希望在金三银四的关键节点可以帮助到大家。由于内容很多,打算拆分成「上中下」三篇,本文是面试系列的上篇,主要输出基础知识方面的面试题。这篇文章干货很多,希望你可以耐心读完。Kafka基础知识15问Kafka是什么,适...
honggangw
0回复
8329浏览
Kafka
中间件
消息列队
TiDB TiCDC使用实践
TiCDC是一个通过拉取TiKV日志实现的TiDB增量数据同步工具,具有还原数据到与上游任意TSO一致状态的能力,同时提供开放数据协议,支持其他系统订阅数据变更。TiCDC运行时是无状态的,借助PD内部的etcd实现高可用。TiCDC集群支持创建多个同步任务,向多个不同的下游进行数据同步。主要优势:数据高可用:TiCDC从TiKV获取变更日志,意味着只要TiKV具备高可用就能保证数据的高可用,遇到TiCDC全部异常关闭的极端情况,后续启动还能...
lemonvita
0回复
7412浏览
TiDB
TiDB DM使用实践
社会数字化、智能化的发展进程中,海量的数据带来巨大挑战,各行各业都在加速数字化转型,越来越多的企业意识到数据基础设施是成功的关键。然而,作为数据基础设施的核心,传统数据库例如MySQL面临性能和容量瓶颈,通过中间件实现的分库分表方案复杂度高,同时带来高昂的运维成本。作为一款企业级数据库,TiDB采用计算、存储分离的架构,可以根据业务需要进行弹性的扩展,应对更加实时和智能的数据应用需求。TiDB提供DataMigrat...
lemonvita
0回复
6320浏览
TiDB
暂无内容
1
474
475
476
477
478
479
480
481
482
483
精选
客服
订阅鸿蒙技术特刊,精选内容抢先看
微信扫码关注,即刻订阅