鸿蒙开发者社区

大家好，我是威哥，《RocketMQ技术内幕》作者、RocketMQ社区首席布道师、中通快递基础架构资深架构师，越努力越幸运，唯有坚持不懈，与大家共勉。1、背景在项目中需要依赖其他第三方的jar包，但有时我们需要扩展第三方jar的功能，或者修复依赖中已知还未修复的bug，但碰到过很多种情况，第三方类库中并没有提供对应的扩展点导致无法优雅的使用继承等方法对代码进行改造。如果第三方类库并没有提供扩展点，我们通常会使用如下两...

大家好，我是威哥，《RocketMQ技术内幕》作者、RocketMQ社区首席布道师、中通快递基础架构资深架构师，越努力越幸运，唯有坚持不懈，与大家共勉。1、背景在flink提供的jdbcconnector中只支持单表的数据同步，但随着业务量的增大，单表记录数过多，会导致数据查询效率降低。为了解决单表存在的性能瓶颈，会采用分库分表。例如将订单表order拆分为1024张分表：order>order0000order1023。显然官方默认提供的flinkjdbc插件并不适用...

OverrideSuppressWarnings("unchecked")publicScanRuntimeProvidergetScanRuntimeProvider(ScanContextruntimeProviderContext){finalJdbcRowDataInputFormat.BuilderbuilderJdbcRowDataInputFormat.builder().setDrivername(options.getDriverName()).setDBUrl(options.getDbURL()).setUsername(options.getUsername().orElse(null)).setPassword(options.getPassword().orElse(null));if(readOptions.getFetchSize()!0){build...

最近创建maven项目的时候一直卡在loadingarchetpelist，一直没有反应。最开始以为是VPN的问题，把VPN关了之后还是没有效果，然后又尝试切换WIFI，发现还是没有用，这样的话暂时排除了网络问题。然后。。。解决方案一然后我就重启了IDEA，发现还是没有什么作用，依然如此。没辙，继续尝试搜索解决方案。解决方案二于是，我又找到了网上的解决方案，他们给的方案有两个：选择自己的JDK版本或者InternalJRE，不过我发现我这里没有I...

六、三级缓存无法解决的循环依赖场景1）构造器注入无法解决循环依赖上面的例子是通过Autowired注解直接注入依赖的对象，但是如果通过构造器注入循环依赖的对象，是无法解决的，如代码下构造器注入就是指创建AService对象的时候，就传入BService对象，而不是用Autowired注解注入BService对象。运行结果启动时就会报错，所以通过构造器注入对象就能避免产生循环依赖的问题，因为如果有循环依赖的话，那么就会报错。至于三级缓存为...

大家好，我是威哥，《RocketMQ技术内幕》作者、RocketMQ社区首席布道师、中通快递基础架构资深架构师，越努力越幸运，唯有坚持不懈，与大家共勉。我在使用Dubbo的过程中遇到了如下错误：Noprovideravailablefortheservice，本以为这个是服务提供者不存在，但经过我的排查，别的客户端是能够正确使用该服务的，原来背后蕴含Dubbo一个BUG。理论知识结合我对Dubbo的理解，通常dubbo调用出现Noprovideravailablefortheservicexxx，...

大家好，我是威哥，《RocketMQ技术内幕》作者、RocketMQ社区首席布道师、中通快递基础架构资深架构师，越努力越幸运，唯有坚持不懈，与大家共勉。RocketMQ提供了基于Tag的消息过滤机制，但在使用过程中有很多朋友或多或少会有一些疑问，我不经意在RocketMQ官方钉钉群，我记得有好多朋友都有问到如下问题：今天我就与RocketMQTag几个值得关注的问题，和大家来做一个分享，看过后的朋友，如果觉得有帮助，期待你的点赞支持。消费...

十四、Redis分布式锁存在的问题对于单Redis实例来说，如果Redis宕机了，那么整个系统就无法工作了。所以为了保证Redis的高可用性，一般会使用主从或者哨兵模式。但是如果使用了主从或者哨兵模式，此时Redis的分布式锁的功能可能就会出现问题。举个例子来说，假如现在使用了哨兵模式，如图。基于这种模式，Redis客户端会在master节点上加锁，然后异步复制给slave节点。但是突然有一天，因为一些原因，master节点宕机了，那么哨兵...

2、消费组存储在位点主题中在较低版本中，启动Kafka消费组需要指定zookeeper集群的地址，因为在低版本中消费组的元信息存储在zookeeper中，具体路径为consumers，但后续版本中消费端的启动已经不需指定zookeeper，而是指定broker的地址列表即可，那这个时候，消费组的信息是存储在哪呢？在前面介绍Kafka故障解决相关的文章中我们常常看到消费组组协调器，内部持有一个消费组元数据管理器GroupMetadataManager，相关的代码截图如...

大家好，我是威哥，《RocketMQ技术内幕》作者、RocketMQ社区首席布道师、中通快递基础架构资深架构师，越努力越幸运，唯有坚持不懈，与大家共勉。由于笔者公司目前使用的kafka版本是2.2.1，故当下关于kafka的内核研究目前主要是基于该版本，当然该专栏还会继续关注Kafka3.0。我在使用kafka时发现客户端可以不依赖Zookeeper的情况下完成消息发送、消息消费，众所周知早期的Kafka，所有的元信息(topic、消费组、集群)等信息都存储...

大家好。我们都知道，Spring可以通过三级缓存解决循环依赖的问题，这也是面试中很常见的一个面试题，本文就来着重讨论一下有关循环依赖和三级缓存的问题。一、什么是循环依赖大家平时在写业务的时候应该写过这样的代码。其实这种类型就是循环依赖，就是AService和BService两个类相互引用。二、三级缓存可以解决的循环依赖场景如上面所说，大家平时在写这种代码的时候，项目其实是可以起来的，也就是说其实三级缓存是可以解决这...

情况一：启动provider服务，然后启动消费端泛化，请求此泛化方法，在zk只注册了一个consumer节点；停止provider，再请求此泛化方法，发现zk上此节点数量不变化。为什么呢？provider停止后，请求不再创建zk节点的原因是RegistryConfig的ref已经在启动时候生成了代理（由于启动时候provider服务存在，checktrue校验过通过），因此不再创建。情况二：不启动provider服务，直接启动消费端泛化，请求此泛化方法，发现每请求一次，在z...

某年某月的某一天，就像一张破碎的脸。。。错了，重来。某天，忽然发现大量的告警，经过多番调查研究考察（此处省略3000字），发现是由于Eureka服务下线太慢，而仍然有大量的请求打进来导致的报错。于是，又经过了大量详细周密的考察和研究，终于找到了问题并且解决了（此处省略5000字）。全文完。......好了，那是不可能的啦，怎么说也要意思一下写个300字凑个原创啊。为啥服务都下线了还会有那么多的请求一直进来呢？呐，我们...

于是接下来就把早期的AService对象注入给BService。此时BService的Autowired注解注入AService对象就完成了，之后再经过其他阶段的处理之后，BService对象就完完全全的创建完了。BService对象创建完之后，就会将BService放入第一级缓存，然后清空BService对应的第三级缓存，当然也会去清空第二级缓存，只是没有而已，至于为什么清空，很简单，因为BService已经完全创建好了，如果需要BService那就在第一级缓存中就能查找到，不需...

四、三级缓存指的是哪三级缓存这里直接上源码第一级缓存：singletonObjects存放已经完完全全创建好的Bean，什么叫完完全全创建好的？就是上面说的是，所有的步骤都处理完了，就是创建好的Bean。一个Bean在产的过程中是需要经历很多的步骤，在这些步骤中可能要处理Autowired注解，又或是处理Transcational注解，当需要处理的都处理完之后的Bean，就是完完全全创建好的Bean，这个Bean是可以用来使用的，我们平时在用的Bean其实就...

2.1消息拉取流程中的关键设计客户端向服务端拉取消息，连续1000W条消息都不符合条件，一次过滤查找这么多消息，肯定非常耗时，客户端也不能等待这么久，那服务端必须采取措施，必须触发一个停止查找的条件并向客户端返回NOMESSAGE，客户端在消息查找时会等待多久呢？核心关键点一：客户端在向服务端发起消息拉取请求时会设置超时时间，代码如下所示：其中与超时时间相关的两个变量，其含义分别：longbrokerSuspendMaxTimeMillis...

大家好，我是威哥，《RocketMQ技术内幕》作者、RocketMQ社区首席布道师、中通快递基础架构资深架构师，越努力越幸运，唯有坚持不懈，与大家共勉。1、背景上个月公司zk集群发生了一次故障，要求所有项目组自检有无使用Dubbo编程式泛化调用，强制使用Reference生成Consumer。平台部给出的故障原因：泛化调用时候，provider没启动，导致每次请求都在zk创建消费节点，导致在短时间大量访问zk并创建了240万+的节点，导致zk所有节点陆...

2.2.2客户端没有拉取到合适的消息位点提交机制客户端如果没有拉取到合适的消息，例如全部被tag过滤了，在DefaultMqPushConsumerImpl的PullTask中定义了处理方式，具体如下所示：其关键代码在correctTasOffset中，具体代码请看：核心要点：如果此时处理队列中的消息为0时，则会将下一次拉取偏移量当成位点，而这个值在服务端进行消息查找时会向前驱动，代码在DefaultMessageStore的getMessage中：故从这里可以看到，就算消息全部...

大家好，我是威哥，《RocketMQ技术内幕》作者、RocketMQ社区首席布道师、中通快递基础架构资深架构师，越努力越幸运，唯有坚持不懈，与大家共勉。想必大家都看过笔者Kafka集群故障的排查经验，并通过优化参数使得Kafka集群应对洪峰流量的能力提升N倍，网卡流量几乎打满，集群写入稳如泰山，无独有偶，菜鸟的一个故障导致集群单个topic从5Wtps直接飙升到50Wtps,但集群稳如狗，相当于做了一次“突然的压测”，让我们一起回顾一下...

[本文正在参加星光计划3.0–夏日挑战赛](https:ost.51cto.composts13641comment)[TOC](夏日挑战赛【FFH】分布式数据服务简单实现（OpenHarmonyJSUI版）)Demo效果展示先来看看我们要实现的demo的效果。点击同步数据的按钮后，A设备广播一段字符串到数据库中，然后B设备读取到变化后将接收到的字符串渲染出来。分布式数据服务概述HarmonyOS提供了我们在不同设备之间可以获取相同的数据，称之为分布式数据库，只要是信任的设备就都...