鸿蒙开发者社区

1、背景最近一周一来，总是有项目组中反馈遇到了消息重复推送的问题，连续出现单条消息短时被多个消费者消费的问题：同时给出了证据，相同的msgId的消息被打印了两条，并且两者相隔7s。讲真，由于最近负责的事情比较多，并且RocketMQ又无法保证消息被重复消费，所以一开始并未引起我的充分重视，而是简单的阐述了RocketMQ的设计原理不保证重复消费，需要消费端实现幂等。但就是这个疏忽，后面集中爆发，整个集群中消费组消费绝...

1、MinIO集群拓扑结构MinIO可以部署到三种类型的拓扑：SingleNodeSingleDrive一个Server节点，并且一个磁盘驱动器或者一个文件夹。例如，在本地PC上使用计算机硬盘驱动器上的文件夹进行测试。SingleNodeMultiDrive单Server节点，多磁盘驱动器或多个文件夹。MultiNodeMultiDrive多Server节点，多磁盘驱动器或多个文件夹。2、分布式MinIO如何工作2.1MinIO如何管理多个虚拟机或物理节点ServerPool由多个Minio服务节点与其附属的多...

Pulsar基于发布订阅模式，消息发送者向主题发送消息，而消费消费者订阅主题，消息从PulsarBroker中获取消息，处理成功后需要向Pulsar发送ACK，表示消息处理成功。与RocketMQKafka不同的是，Pulsar只有当消费者确认消息都成功被处理后才能去删除消息。如果Consumer在处理一批消息失败后，可以再次请求Broker重新下发该批消息，以便进行重试。2、消息(Messages)消息(Message)是Pulsar中最基本的抽象单位，一条Pulsar消息中的属性...

得益于纠删码算法，分布式MinIO集群为多个驱动器或节点故障提供内置容错能力。根据选择的EC:N值，MinIO集群可以容忍多达一半的驱动器或节点丢失并任然提供可写可读服务。下表列出了MinIO部署中的典型故障类型，以及从每种故障中恢复的过程。故障类型说明DriveFailure（驱动器故障）MinIO支持热插拔的方式替换故障的驱动器NodeFailure（节点故障）当新的节点重新加入到集群后，MinIO会重新开始修复该节点，原先存储在该机器上的...

与PDF等文档交流，智能整理、归纳、阐述文档中的重要信息1为什么要和文档交流？现代信息技术迅速发展、全球化进程逐步推进，人们需要处理的信息量变得越来越复杂、庞大。而语义解析模型能快速获取和整理信息，与文档交流，能够提高人们获取有效信息的效率、优化工作质量。2我能用这个工具做什么？通过AI文档解析，你可以很方便地从复杂的文档中快速提取有效信息。更轻松地理解论文、书籍或合同。3它的原理是什么？我们的AI专注...

1、方案设计基本原则：不接入外部存储，基于kafka原生ACL认证环境：kafka2.2.1、zookeeper3.6.3kafka给我们提供了SASLSCRAM模式，将SASL、ACL规则信息存储到zookeeper中，并且通过KafkaClientAdminApi可新增、编辑、删除ACL规则，其特性如下应用发送、消费实现动态身份认证和授权基于kafkaSASLSCRAM模式，客户端会在建立连接进行SASL身份验证，在消费发送时，进行ACL鉴权安全认证代码无侵入性、兼容原生kafkaapi有两种配置方式...

2023开放原子全球开源峰会将于6月1113日正式举办开源领域新技术、新应用、新热点ShowTime！前沿开源展览汇互动体验项目让每一位参会者融入开源技术新世界！还有精彩的娱乐项目和丰厚礼品一网打尽！抢先揭秘，一文攻略更有峰会大奖，打卡集章，等你来玩！来一份“开源自助餐”开放原子开源基金会展示区沉浸式“开源学习班”​开源大赛、开放原子校源行AtomGit代码协作平台展示、“心寄源”法律沙龙、开发者工作坊……最新的开源...

1、背景Pulsar在2018年9月正式毕业成为Apache顶级开源项目，消息中间件领域迎来了有一位顶级玩家。最近我们领导发现我司消息中间件相关服务器资源的利用率并不是太高，特别是CPU、内存的使用率较低。我在思考如何有效治理的时候，也想着从市面上开源优秀的消息中间件吸收养分，故将目光锁定在了ApachePulsar。我们先来看一下百度百科上关于AapchePulsar的描述：ApachePulsar是Apache软件基金会顶级项目，是下一代云原生分布式消...

由于最近刚接手对象存储相关系统的建设与稳定性运维，作为一个“对象存储”的一名菜鸟，需要加强这块的学习。由于公司目前采用MinIO来搭建公司的对象存储体系，后续我会陆续将自己关于MinIO的学习经验分享出来，欢迎大家持续关注。本文主要是介绍如何在测试环境中搭建MinIO，这也是构建MinIO学习环境最基本的步骤。1、准备实验环境使用OracleVMVirtualBox虚拟机，安装一个最小版本的Linux，然后添加4块虚拟盘，用于充当MinIO的...

上一篇我们详细分析了​​源码分析RocketMQ多副本之Leader选主​​，本文将详细分析日志复制的实现。有了前篇​​源码分析RocketMQDLedger多副本存储实现​​，本文将直接从Leader处理客户端请求入口开始，其入口为：DLedgerServer的handleAppend方法开始讲起。1、日志复制基本流程在正式分析RocketMQDLedger多副本复制之前，我们首先来了解客户端发送日志的请求协议字段，其类图如下所示：我们先一一介绍各个字段的含义：Strin...

为进一步贯彻落实《“十四五”软件和信息技术服务业发展规划》等国家软件发展战略，由开放原子开源基金会主办、开源工业软件委员会（OpenAtomopenCAX）承办，工业和信息化部电子第五研究所、哈尔滨工程大学青岛创新发展基地联合协办的2023开放原子全球开源峰会“开源工业软件”分论坛即将于2023年6月12日在北京经开区北人亦创国际会展中心AB会议室举办。​​本次论坛以“开源赋能、工业铸魂”为主题，拟邀请开源工业软件领域产...

随着业务的高速发展，消息中间件几乎涵盖了全司所有链路，如何打造安全可靠、性能达标的消息中间件成为了一个非常紧迫并具有较大的挑战性。作为我们公司消息中间件第一责任人，这个任务自然而然的落到了我的身上。接到这个任务，其实我一点都不慌，因为我知道RocketMQ在4.4.0版本就开始引入了ACL机制，于是我一顿操作猛如虎，马上就提出了基于官方ACL的设计理念，再结合公司独有的账号授权体系，提出了一版本ACL设计方案，马上...

硬件投入肯定是随着业务的增长而增长，这就要求中间件平台必须提供水平伸缩机制，MinIO对象存储服务也不例外，本文就详细介绍MinIO的扩容。Minio支持通过增加新的ServerPool来扩容老的集群。每个ServerPool都是一个相对独立的故障域，一个ServerPool丢失一个或多个驱动器或节点不会影响其他ServerPool的可用性。1.1扩容前的先决条件1.1.1网络与防火墙集群内各个节点之间网络必须是互通的，特别是要注意防火墙规则或者容器环境下...

1、主题（Topics）Pulsar中主题类似一个URL，格式如下所示：{persistentnonpersistent}:tenantnamespacetopic主题的每一个部分说明如下：persistentnonpersistent表示持久化或非持久化tenant表示租户namespace表示命名空间topic主题的名称在Pulsar中你不需要显示的创建主题，如果当客户端向一个不存在的主题发送消息或订阅消息时，Pulsar会自动创建主题。1.1命名空间（Namespaces）命名空间是一个租户下的逻辑概念，命名空间可...

1、什么是javaagentJavaAgent又叫做Java探针，是在JDK1.5引入的一种可以动态修改Java字节码的技术，是依附于java应用程序（JVM）InstrumentationAPI与虚拟机交互。Java类编译之后形成字节码被JVM执行，在JVM在执行这些字节码之前获取这些字节码信息，并且通过字节码转换器对这些字节码进行修改，来完成一些额外的功能底层的具体由JVMTI机制实现。JVMtoolinterface（JVMTI）是供工具使用的本机编程接口。它提供了一种检查状态和...

在数智时代广泛连接、同步演进和网状协作特性的催化下，开源社区正在成为技术应用和行业数字化发展的重要推动力量。开展数字技术开源社区的有效治理，对调和相互冲突的内外部需求、协调相互竞合的参与主体、整合差异化的绩效目标具有重要理论和实践意义。2023开放原子全球开源峰会“开源社区治理与运营”分论坛，将于6月12日上午在北京经开区国家信创园会议中心9号楼一层会场举行。此次论坛旨在进一步探索开源社区的运营治理模...

软件物料清单对于普通人而言可能很陌生，而对于从业者而言，软件物料清单是以“开源”为核心，通过有效识别和记录软件组成成分及相互依赖关系，保障软件全生命周期各环节要素的可控制、可预测、可管理。由开放原子开源基金会主办、国家工业信息安全发展研究中心承办的2023开放原子全球开源峰会“软件物料清单（SBOM）”分论坛即将于6月12日在北京经开区国家信创园会议中心9号楼一层会场举行。此次论坛以“风险有度，治理有道，S...

蚂蚁集团的业务领域，对于「可信」有非常高的技术要求。这种可信技术不仅体现在可靠、健壮，也体现在金融领域独有的风控难题以及分布式系统中持续提供服务的续航能力。可信基础设施中有大量的开源项目，而新的机会也在不断涌现。2023开放原子全球开源峰会“可信基础设施技术”分论坛即将于6月11日在北京经开区北人亦创国际会展中心二层DE会议室举行。此次论坛邀请了负责可信基础设施项目的技术专家，共同研讨如何通过技术和社区...

OpenAtomopenEuler（以下简称“openEuler”）自2021年贡献给开放原子开源基金会后，步入高速发展阶段，社区每日活跃开发者近4000人，新增讨论2168次，代码合入127个、软件包31个；每月新增创新项目10个，修复漏洞80个，openEuler累计装机量和市场份额进一步提升。倪光南院士评价openEuler社区“已达同类社区的国际水准，发展成为该领域颇具世界影响力的开源社区”。6月12日，以“openEuler汇众智，奔涌向前赢未来”为主题的open...

开源具有利他性，专有软件或私有软件具有利己性，而开源的商业模式也具有利己性。利他性的开源与利己性的商业模式相结合，如何真正为开源做贡献？由开放原子开源基金会主办，软通动力信息技术（集团）股份有限公司承办的2023开放原子全球开源峰会开源商业化创新发展分论坛将于6月11日在北京经开区北人亦创国际会展中心C会议室盛大举行。​本次论坛以“开源引领创新共赢”为主题，软通动力将分享与生态伙伴共同在技术、商业端、...