鸿蒙开发者社区

大家好，我是不才陈某saas服务未来会面临数据安全、合规等问题。公司的业务需要沉淀一套私有化部署能力，帮助业务提升行业竞争力。为了完善平台系统能力、我们需要沉淀一套数据体系帮助运营分析活动效果、提升运营能力。然而在实际的开发过程中，如果直接部署一套大数据体系，对于使用者来说将是一笔比较大的服务器开销。为此我们选用折中方案完善数据分析能力。ElasticsearchvsClickHouseClickHouse是一款高性能列式分布式数据...

大家好，我是不才陈某nginxWebUI是一款图形化管理nginx配置的工具，可以使用网页来快速配置nginx的各项功能，包括http协议转发、tcp协议转发、反向代理、负载均衡、静态html服务器、ssl证书自动申请、续签、配置等。配置好后可一建生成nginx.conf文件，同时可控制nginx使用此文件进行启动与重载，完成对nginx的图形化控制闭环。nginxWebUI也可管理多个nginx服务器集群，随时一键切换到对应服务器上进行nginx配置，也可以一键将...

大家好，我是不才陈某SpringBoot自定义线程池实现异步开发相信看过陈某的文章都了解，但是在实际开发中需要在父子线程之间传递一些数据，比如用户信息，链路信息等等比如用户登录信息使用ThreadLocal存放保证线程隔离，代码如下：author公众号：码猿技术专栏description用户上下文信息publicclassOauthContext{privatestaticfinalThreadLocal<LoginVal>loginValThreadLocalnewThreadLocal<>();publicstaticLoginValget(){return...

大家好，我是不才陈某会员系统是一种基础系统，跟公司所有业务线的下单主流程密切相关。如果会员系统出故障，会导致用户无法下单，影响范围是全公司所有业务线。所以，会员系统必须保证高性能、高可用，提供稳定、高效的基础服务。随着同程和艺龙两家公司的合并，越来越多的系统需要打通同程APP、艺龙APP、同程微信小程序、艺龙微信小程序等多平台会员体系。例如微信小程序的交叉营销，用户买了一张火车票，此时想给他发酒店红...

大家好，我是不才陈某大家都知道，​​Callable​​​和​​DeferredResult​​​可以用来进行异步请求处理。利用它们，我们可以异步生成返回值，在具体处理的过程中，我们直接在​​controller​​​中返回相应的​​Callable​​​或者​​DeferredResult​​​，在这之后，servlet线程将被释放，可用于其他连接；​​DeferredResult​​​另外会有线程来进行结果处理，并​​setResult​​。基础准备在正式开始之前，我们先...

大家好，我是不才陈某毫不夸张的说咱们后端工程师，无论在哪家公司，呆在哪个团队，做哪个系统，遇到的第一个让人头疼的问题绝对是数据库性能问题。如果我们有一套成熟的方法论，能让大家快速、准确的去选择出合适的优化方案，我相信能够快速准备解决咱么日常遇到的80%甚至90%的性能问题。从解决问题的角度出发，我们得先了解到问题的原因；其次我们得有一套思考、判断问题的流程方式，让我们合理的站在哪个层面选择方案；最后...

你好，我是阿秀。最近因为业务拆分需要，我们组批下来一个后端开发实习生的HC，需要招一个实习生，我在自己的微信朋友圈也发过这个岗位的内推机会，是部门直招的那种内推，大概率会跟阿秀做同事那种机会。因为我所在的组属于字节IES研发大BU下，所以我们招的实习生也希望能来上海实习，上海高校或者周边城市高校的学生会被优先考虑。不得不说，确实收到一些很不错的实习生简历，他们中的大多数是科班出身，简历也很漂亮，也有一...

讲真，我今年的双十一有点“背”，负责的Kafka集群出了一些幺蛾子，但正是这些幺蛾子，让我这个双十一过的非常充实，也让我意识到如果不体系化学习Kafka，是无法做到生产集群及时预警，将故障扼杀在摇篮中，因此也下定决心研读kafka的内核。本文就先来分享一个让我始料未及的故障：Kafka生产环境大面积丢失消息。首先要阐述的是消息丢失并不是因为断电，而且集群的副本数量为3，消息发送端设置的acks1(all)。这样严苛的设置，那...

一看这个标题我想大家一定进来想“怼”我，你这不是小题大作吗？在java中打印日志不是一件非常简单的事情吗？在java中常用的日志级别为DEBUG、INFO、WARN、ERROR四个日志级别。通常开发环境开启DEBUG,生产环境开启INFO级别，采用主流的日志采集工具包诸如log4j、logback。但日志输出真的有这么简单吗？其实里面蕴含着很多的规范，或者是最佳实践，并且还有一些非常有用设计技巧方便查询关联日志的技巧，容我慢慢道来。输出日志...

本文是笔者双十一系列第二弹，源于一个双十一期间一个让笔者猝不及防的生产故障，本文将详细剖析Kafka的副本机制，以及ISR频繁变更(扩张与伸缩)为什么会导致集群不可用。1、Kafka副本机制Kafka数据组织方式是topicparition的结构，每一个topic可以设置多个分区，各个分区的数据是topic数据的一部分（数据分片），为了保证单个分区的高可用行，又引入了副本机制，即一个分区的数据会存储多份，避免单点故障.一个3节点的Broker集...

采用何种线程交互模型，如何高效率的提高网络处理能力是面向网络编程中一个非常重要的议题。深入研究KafkaBroker服务端线程模型也是理解Kafka工作机制必备不可少的一环。本文的探讨主要分成如下三个部分：网络相关配置参数图解线程模型工作机制对Kafka线程模型的一点思考1、网络相关的配置参数KafkaBroker端与网络相关的线程主要被分成network、IO两类线程，与之对应的是Kafka分别提供了两个参数用来设置其线程个数，分别如下：...

你好，我是阿秀。2022年底的时候，gitlab给我推送了我这一整年的数据，过去一年我一共写了136,028行的代码，代码合入一共911次，研发活动一共参与了476次。我的gitlab年终报告当然，这13W行代码是有水分的，实际上并没有这么多，比如后端Swag文档自动生成，前端NPM包安装之类的都会引发代码行数的变动，嘿嘿。每月四周，去掉双休的八天，那就是每月22天工作日，一年12个月，就算我过去一年都是铁人，没请过病假事假等等乱七八糟...

从官方这边获悉，RocketMQ在4.9.1版本中对消息发送进行了大量的优化，性能提升十分显著，接下来请跟着我一起来欣赏大神们的杰作。根据RocketMQ4.9.1的更新日志，我们从中提取到关于消息发送性能优化的【Issues:2883】,详细链接如下：具体优化点如截图所示：首先先尝试对上述优化点做一个简单的介绍：对WaitNotifyObject的锁进行优化(item2)移除HAService中的锁(item3)移除GroupCommitService中的锁(item4)消除HA中不必要的数组...

你好，我是阿秀。很多本科非科班的小伙伴都会选择通过读个研来达到转码的目的，主要是想给自己一个23年的缓冲时间。其中有的研究生专业是计算机的，他们的研究方向大多也都跟计算机相关，比如图像、AI这种；有的研究生专业跟计算机压根不沾边，比如金融甚至是文科专业。不管沾边还是不沾边，其实他们大多转码方式大多类似，特别是开发岗的学习，基本要靠自己抽时间私下里去自学的。分享两个师弟在转码路上的一些困惑和阿秀给的...

你好，我是阿秀。很多人签完三方在犹豫要不要提前去实习？其实提前能去实习是有一些好处的，先不说大多数公司实习期也会有发放一定额度的正式期工资。就比如字节跳动校招签约后学生如果选择提前去实习的话就会每月发放正式工资的80%，即使你是普通研发岗的白菜价offer也应该在22K左右，发放80%就差不多17K左右了，这也是一笔不错的收入了，不过现在字节貌似也有直接发放100%的部门了。这是从经济上来说的好处，即使抛开钱不说，...

你好，我是阿秀。阿秀以前在秋招的时候投递过八九十份简历，当时还没有简历一键上传功能，很多时候都需要自己去那些公司注册账号，然后找到校园招聘模块再手动挨个填内容。不像现在很多时候直接上传PDF即可，然后一键识别，再修改修改就行。我在最开始投的时候觉得还挺好，投了二三十家就开始有点烦了，因为这完全是个重复性机械式工作，太麻烦了，我觉得很烦。也有同学跟我说，没必要花时间去投大厂，我们还是多试试小公司，大...

vivo在德国与诺基亚专利案败诉，或无法在德销售产品。vivo回应在德专利案败诉近日，德国曼海姆地方法院在针对vivo的专利案中裁定诺基亚胜诉，该诉讼涉及诺基亚4G标准必要专利（SEP），这或将导致vivo产品无法在德国销售。对此，vivo回应称：“我们对德国曼海姆地方法院的判决表示失望，并已做好必要时暂停通过vivo德国官方渠道销售和推广涉事产品的准备。我们正准备对该决定提出上诉，并将审查其他选择。同时，我们将继续与诺基...

本文是《跟我学Kafka：从零开始学习Kafka》的第6篇,跟着我开启从小白到专家的进阶之旅。本文将对KafkaConsumer做一个简单的介绍，是深入研究KafkaConumer的一扇窗。主要从如下三个方面展开：核心参数核心组件核心API1、KafkaConsumer核心参数览个人觉得，要想深入了解KafkaConsumer的核心工作机制可以从它的核心参数切入，为后续深入了解它的队列负载机制、消息拉取模型、消费模型、位点提交等机制打下基础。kafkaConsumer的核...

在详细介绍Kafka拉取之前，我们再来回顾一下消息拉取的整体流程：在消费者加入到消费组后，消费者Leader会根据当前在线消费者个数与分区的数量进行队列负载，每一个消费者获得一部分分区，接下来就是要从Broker服务端将数据拉取下来，提交给消费端进行消费，对应流程中的pollForFetches方法。要正确写出优秀的Kafka端消费代码，详细了解其拉取模型是非常重要的一步。1、消息拉取详解1.1消费端拉取流程详解消息拉取的实现入口为...

笔者最近在负责全司数据同步产品化的设计与开发，其设计宗旨：实现任意数据源到任意目标端的数据准实时同步，其中一个非常常见的场景：MySQL数据同步到ES，本文的着力点就在如何提高Binlog的拉取与解析效率设计。1、场景描述了解过mysql主从同步机制的童鞋们应该都知道是基于binlog实现，mysql增量同步的核心设计理念：将同步线程“伪装”为需要同步的mysql节点的从节点(slave)，主动向mysql主节点发送dump请求即可获得主节点的...