鸿蒙开发者社区
- 登录/注册
默认
发布时间
热度
原创
精华
我与消息队列的八年情缘（二）
3升华MetaQMetamorphosis的起源是我从对linkedin的开源MQ–现在转移到apache的kafka的学习开始的，这是一个设计很独特的MQ系统，它采用pull机制，而不是一般MQ的push模型，它大量利用了zookeeper做服务发现和offset存储，它的设计理念我非常欣赏并赞同，强烈建议你阅读一下它的设计文档，总体上说metamorphosis的设计跟它是完全一致的。MetaQ的作者庄晓丹3.1惊艳消费者模型2015年，我主要从事神州专车订单研发工作。MetaQ...消息队列如何实现一个任务调度系统（二）
4中心化流派中心化的原理是：把调度和任务执行，隔离成两个部分：调度中心和执行器。调度中心模块只需要负责任务调度属性，触发调度命令。执行器接收调度命令，去执行具体的业务逻辑，而且两者都可以进行分布式扩容。4.1MQ模式先谈谈我在艺龙促销团队接触的第一种中心化架构。调度中心依赖Quartz集群模式，当任务调度时候，发送消息到RabbitMQ。业务应用收到任务消息后，消费任务信息。这种模型充分利用了MQ解耦的特性，调度中...任务调度品味Spring Cache设计之美（三）
4自定义二级缓存4.1应用场景笔者曾经在原来的项目，高并发场景下多次使用多级缓存。多级缓存是一个非常有趣的功能点，值得我们去扩展。多级缓存有如下优势：1.离用户越近，速度越快；2.减少分布式缓存查询频率，降低序列化和反序列化的CPU消耗；3.大幅度减少网络IO以及带宽消耗。进程内缓存做为一级缓存，分布式缓存做为二级缓存，首先从一级缓存中查询，若能查询到数据则直接返回，否则从二级缓存中查询，若二级缓存中可以查询...Spring Cache《吃透 MQ 系列》之 Kafka 架构设计的任督二脉
大家好，我是武哥。这是《吃透MQ系列》的第三篇，有关Kafka的架构设计。这篇文章将带着大家参透：到底什么是Kafka架构设计的任督二脉？把握住了这个关键点，我相信你将能更好地理解Kafka的架构设计，进而顺藤摸瓜地掌握Kafka的核心技术方案。废话不多说了，开始发车。1.Kafka的技术难点究竟在哪？前一篇文章《扒开Kafka的神秘面纱》交代了两个关键信息：1、Kafka为实时日志流而生，要处理的并发和数据量非常大。可见，Kafka本身...Kafka品味Spring Cache设计之美（二）
3入门例子首先我们先创建一个工程springcachedemo。caffeine和Redisson分别是本地内存和分布式缓存Redis框架中的佼佼者，我们分别演示如何集成它们。3.1集成caffeine3.1.1maven依赖<dependency><groupId>org.springframework.boot<groupId><artifactId>springbootstartercache<artifactId><dependency><dependency><groupId>com.github.benmanes.caffeine<groupId><artifactId>caffeine<artifactId><version>2.7.0<version><dep...Spring Cache后端工程师的「跨域」之旅（二）
3后端配置后端配置我尝试过两种方式，经过两个月的测试，都能非常稳定的运行。◆MND推荐的Nginx配置；◆SpringBoot自带CorsFilter配置。▍MND推荐的Nginx配置Nginx配置相当于在请求转发层配置。location{if($requestmethod'OPTIONS'){addheader'AccessControlAllowOrigin''';addheader'AccessControlAllowMethods''GET,POST,OPTIONS';CustomheadersandheadersvariousbrowsersshouldbeOKwithbutaren'taddheader'AccessControlAll...跨域Kafka 精妙的高性能设计（上篇）
大家好，我是武哥。这是《吃透MQ系列》之Kafka的第4篇，错过前3篇的，通过下面的链接一睹为快：第1篇：扒开Kafka的神秘面纱第2篇：Kafka架构设计的任督二脉第3篇：Kafka存储选型的奥秘第3篇文章我深入剖析了Kafka选用「日志文件」作为存储方案的来龙去脉以及背后「磁盘顺序写+稀疏索引」的精妙设计思路。但是，Kafka能做到单机每秒几十万的吞吐量，它的性能优化手段绝不止这一点。Kafka的高性能设计可以说是全方位的，从Prodcue...KafkaKafka 精妙的高性能设计（下篇）
大家好，我是武哥。这是《吃透MQ系列》的连载：Kafka高性能设计的下篇。在上一篇文章中，指出了高性能设计的两个关键维度：计算和IO，可以将它们理解成「道」。同时给出了Kafka高性能设计的全景图，可以理解成「术」。图1：Kafka高性能设计的全景图这篇文章将继续对存储消息和消费消息的8条高性能设计手段，逐个展开分析，废话不多说，开始发车。1.存储消息的性能优化手段存储消息属于Broker端的核心功能，下面是它所采用的4条...Kafka《吃透 MQ 系列》之 Kafka 存储选型的奥秘
大家好，我是武哥。这是《吃透MQ系列》之Kafka的第3篇，错过前两篇文章的，建议再温习下：扒开Kafka的神秘面纱Kafka架构设计的任督二脉从这篇文章开始，我将从微观角度切入，深入分析Kafka的设计原理。本文要讲的是Kafka最具代表性的：存储设计。谈到Kafka的存储设计，了解不多的同学，可能会有这样的疑惑：为什么Kafka会采用Logging（日志文件）这种很原始的方式来存储消息，而没考虑用数据库或者KV来做存储？而对Kafka有所了...Kafka《吃透 MQ 系列》之 Kafka 架构设计的任督二脉
大家好，我是武哥。这是《吃透MQ系列》的第三篇，有关Kafka的架构设计。这篇文章将带着大家参透：到底什么是Kafka架构设计的任督二脉？把握住了这个关键点，我相信你将能更好地理解Kafka的架构设计，进而顺藤摸瓜地掌握Kafka的核心技术方案。废话不多说了，开始发车。1.Kafka的技术难点究竟在哪？前一篇文章《扒开Kafka的神秘面纱》交代了两个关键信息：1、Kafka为实时日志流而生，要处理的并发和数据量非常大。可见，Kafka本身...Kafka后端思想篇：设计好接口的36个锦囊！
前言大家好，我是捡田螺的小男孩。作为后端开发，不管是什么语言，Java、Go还是C++，其背后的后端思想都是类似的。后面打算出一个后端思想的技术专栏，主要包括后端的一些设计、或者后端规范相关的，希望对大家日常工作有帮助哈。我们做后端开发工程师，主要工作就是：如何把一个接口设计好。所以，今天就给大家介绍，设计好接口的36个锦囊。本文就是后端思想专栏的第一篇哈。1.接口参数校验入参出参校验是每个程序员必备的基本...接口后端必备：如何排查问题以及jvm调优思路（一）
大家好，我是田螺。今天跟大家就CPU、磁盘、网络及内存方面的问题，聊聊如何排查和调优。•CPU过高，怎么排查问题•linux内存•磁盘IO•网络IO•java应用内存泄漏和频繁GC•java线程问题排查•常用jvm启动参数调优linuxCPU过高，怎么排查问题CPU指标解析•平均负载◆平均负载等于逻辑CPU个数，表示每个CPU都恰好被充分利用。如果平均负载大于逻辑CPU个数，则负载比较重•进程上下文切换◆...内存问题oppo后端16连问(四)
10.你们项目使用了RocketMQ对吧？那你知道如何保证消息不丢失吗？一个消息从生产者产生，到被消费者消费，主要经过这3个过程：1.生产者产生消息2.消息发送到存储端，保存下来3.消息推送到消费者，消费者消费完，ack应答。因此如何保证MQ不丢失消息，可以从这三个阶段阐述：•生产者保证不丢消息•存储端不丢消息•消费者不丢消息10.1生产者保证不丢消息生产端如何保证不丢消息呢？确保生产的消息能顺利到达存储端。...oppooppo后端16连问（一）
前言大家好，我是程序员田螺。最近有位读者去面试了oppo，给大家整理了面试真题的答案。希望对大家有帮助哈，一起学习，一起进步。1.聊聊你印象最深刻的项目，或者做了什么优化。2.你项目提到分布式锁，你们是怎么使用分布式锁的3.常见分布式事务解决方案4.你们的接口幂等是如何保证的？5.你们的MySQL架构是怎样的？6.常见的索引结构有？哈希表结构属于哪种场景？7.给你ab,ac,abc字段，你是如何加索引的？8.数据库隔离级别是否...oppo多线程批量拆分 List 导入数据库！
一、前言前两天做了一个导入的功能，导入开始的时候非常慢，导入2w条数据要1分多钟，后来一点一点的优化，从直接把list怼进Mysql中，到分配把list导入Mysql中，到多线程把list导入Mysql中。时间是一点一点的变少了。非常的爽，最后变成了10s以内。下面就展示一下过程。二、直接把list怼进Mysql使用mybatis的批量导入操作：Transactional(rollbackForException.class)publicintaddFreshStudentsNew2(List<FreshStudentAndStudent...Listoppo后端16连问（五）
12.如何快速判断一个数是奇数还是偶数，除开对2取余呢。判断一个数是奇数还是偶数，我们最容易想到的就是对2取余。if(x%2)奇数else偶数还有一种方法，就是与1相与（&1），具体实现如下：if(x&1)奇数else偶数13.Spring声明式事务原理？哪些场景事务会失效？13.1声明式事务原理spring声明式事务，即Transactional,它可以帮助我们把事务开启、提交或者回滚的操作，通过Aop的方式进行管理。在spring的bean的初始化过程中，就需要对...oppooppo后端16连问（三）
8.数据库隔离级别是否了解？你们的数据库默认隔离级别是？为什么选它？四大数据库隔离级别，分别是读未提交，读已提交，可重复读，串行化（Serializable）。•读未提交：事务即使未提交，却可以被别的事务读取到的，这级别的事务隔离有脏读、重复读、幻读的问题。•读已提交：当前事务只能读取到其他事务提交的数据，这种事务的隔离级别解决了脏读问题，但还是会存在不可重复读、幻读问题；•可重复读：限制了读取...oppooppo后端16连问（二）
4.你们的接口幂等是如何保证的？如果你调用下游接口超时了，是不是考虑重试？如果重试，下游接口就需要支持幂等啦。实现幂等一般有这8种方案：•select+insert+主键唯一索引冲突•直接insert+主键唯一索引冲突•状态机幂等•抽取防重表•token令牌•悲观锁(如selectforupdate，很少用)•乐观锁•分布式锁大家平时是用哪个方案解决幂等的，最后结合工作实际讲讲哈。可以看下我之前这篇文章:聊聊...oppo一个架构师的缓存修炼之路
本文作者：张勇，现任科大讯飞高级架构师。11年后端经验，曾就职于同程艺龙、神州优车等公司。乐于分享、热衷通过自己的实践经验平铺对技术的理解。一位七牛的资深架构师曾经说过这样一句话：“Nginx+业务逻辑层+数据库+缓存层+消息队列，这种模型几乎能适配绝大部分的业务场景。这么多年过去了，这句话或深或浅地影响了我的技术选择，以至于后来我花了很多时间去重点学习缓存相关的技术。我在10年前开始使用缓存，从本地缓存、...架构师编程高手是如何练成的？
每个人都有成长的渴望，也都会遇到成长的瓶颈。下面这个问题是一个读者问我的：如何才能训练成为一个编程高手？先简单说下这个读者的背景：工作3年多，目前在大厂做后台开发，身边有不少编程高手，是他想要追赶的目标。最近半年时间，他花了一些精力在研究源码和底层原理上，但总觉得这些知识和实际工作衔接不好，提升很慢，学习动力也越来越差，希望我能给点建议。我和他语音聊了半个小时，讲了一些我个人以及身边同事的案例。...编程
