NIO界最强“Hello World”,不服来辩!!!

blademan
发布于 2023-4-24 17:27
浏览
0收藏

1、主从多Reactor模型

不知道大家有没有发现面向网络编程的框架都非常突出线程模型,其实也不难理解,因为网络编程是IO密集型,合理使用线程对提高性能有着非常显著的作用。

在网络编程模型中,有一个非常经典的线程模型:主从多Reactor模型,其示意图如下所示:


NIO界最强“Hello World”,不服来辩!!!-鸿蒙开发者社区

我们首先简单介绍一下上图中涉及的几个重要角色:

  • Acceptor
    请求接收者,在实践时其职责类似服务器,并不真正负责连接请求的建立,而只将其请求委托 Main Reactor 线程池来实现,起到一个转发的作用。
  • Main Reactor
    主 Reactor 线程组,主要负责连接事件,并将IO读写请求转发到 SubReactor 线程池。当然在一些需要对客户端进行权限控制等场景下,权限校验的职责可以放到 Main Reactor 线程池,即Main Reactor 也可以注册通道的读写事件,读取客户端权限校验相关的数据包,执行权限验证,权限验证通过后再将2通道注册到IO线程。
  • Sub Reactor
    Main Reactor 通常监听客户端连接后会将通道的读写转发到 Sub Reactor 线程池中一个线程(负载均衡),负责数据的读写。在 NIO 中 通常注册通道的读(OP_READ)、写事件(OP_WRITE)。

上面的图非常经典,除了介绍了线程模型相关知识外,其实还罗列出了网络通信的核心步骤:

  • 编码/解码(通信协议)
  • 认证授权
  • 网络读、写
  • 业务逻辑处理线程池

上述的线程模型非常经典,那我们能否基于NIO,来模拟实现上面的线程模型呢?

2、基于NIO实现主从多Reactor模型


我听一个技术圈大佬对我说过这样一句话:NIO是一名程序员进阶的第一个门槛,也是必需跨过的门槛。

笔者将尝试用NIO实现Reactor模型,成为NIO界最强的"Hello Wold"

为了接下来的代码进行展示与讲解,首先先罗列出其核心类图:

NIO界最强“Hello World”,不服来辩!!!-鸿蒙开发者社区


各个类的职责说明情况如下:

  • Acceptor
    服务端接收器,主要绑定端口,将ServerSocketChannel转发到MainReactor,及主从多Reactor模型中的主Reactor中。如果服务端绑定多个端口,则会创建多个ServerSocketChannel,但通常情况只会绑定到一个端口。
  • MainReactor
    主Reactor,主要承担接受客户端的连接请求,即主要负责OP_ACCEPT事件的处理,并将创建的连接(SocketChannel)转发到从Reactor线程组,由其处理读写事件
  • SubReactorThreadGroup
    从Reactor线程组,维护多个Reactor线程,并提供负载均衡。
  • SubReactorThread
    从Reactor,主要负责IO读写,俗称IO线程。

在上源码之前我们再来看一下整个示例到时序图:

NIO界最强“Hello World”,不服来辩!!!-鸿蒙开发者社区

核心的关键点如下:

  • Acceptor主要是创建ServerSocketChannel,然后转发给MainReactor
  • MainReactor中维护一个NIO Selector事件选择器,注册OP_ACCEPT事件,每处理一个OP_ACCEPT,表示一个新的客户端连接,在服务端会创建一个SocketChannel对象,接着将该对象转发到从Reactor
  • SubReactorThreadGroup
    主从多Reactor模型中的从Reactor组,包含多个从Reactor线程,新的连接会进行负载均衡,选择其中一个Reactor来处理特定的SocketChannel。
  • SubReactorThread
    从Reactor线程,会维护一个Nio Selector,会将SocketChannel注册到该事件选择器,处理读、写请求,一个Selector中会包含多个Channel(SocketChannel),但一个SocketChannel在其生命周期中只会注册到一个Selector,这样可以简化处理模型。

程序员希望不服就干,接下来我将展示基于NIO实现多Reactor的代码,应该是全网目前第一个直接用代码实现。

温馨提示:为了便于排版,本文中的代码统一用截图进行展示,代码获取方式:私信回复 reactorcode 即可获取。

2.1 Acceptor代码实现

Acceptor代码实现如下:


NIO界最强“Hello World”,不服来辩!!!-鸿蒙开发者社区

Acceptor代码实现比较简单,就是利用NIO提供的API创建ServerSocketChannel,并设置为非阻塞模式,并调用bind方法绑定端口,然后转发到MainReactor中。

2.2 MainReactor代码实现

MainReactor代码实现如下图所示:

NIO界最强“Hello World”,不服来辩!!!-鸿蒙开发者社区

代码实现要点:

  • 创建Selector选择器对象,并注册OP_ACCEPT事件,用于监听客户端的链接
  • 创建从Reactor线程组
  • NIO事件选择经典使用方法,通过循环调用selector的select方法,此方法会返回当前就绪的事件,例如读事件就绪表明此时调用该通道的网络读API,一定会返回有效数据
  • 如果当前事件是OP_ACCEPT,则调用ServerSocketChannel的accept方法,创建一个SocketChannel对象,并转发到从Reactor线程组中。

2.3 SubReactorThreadGroup代码实现

SubReactorThreadGroup的角色是充当从Reactor线程组,其代码实现如下图所示:

NIO界最强“Hello World”,不服来辩!!!-鸿蒙开发者社区

主要的关键点如下:

  • 内部持有一个业务线程池,
  • 用于执行业务逻辑,可类比Dubbo中的用于执行服务提供这各个Service的业务代码
  • 通过next()进行负载均衡,选择一个从Reactor。
  • 这里使用了NioTask,主要是因为Selector虽然是线程安全的,但其内部持有的Key Set是线程不安全的,故这里为保证Selector的现线程安全性,selector的任何方法只会在从Reactor线程中执行,这里只是添加到任务队列中,最终会由从Reactor线程去执行。

2.4 SubReactorThread代码实现

该类是从Reactor到核心逻辑,接下来将详细介绍其实现。

NIO界最强“Hello World”,不服来辩!!!-鸿蒙开发者社区

主要是提供增加IO读写任务(NioTask)添加到任务队列中,并在执行业务逻辑时转发到业务线程池

接下来详细介绍SubReactorThread到run方法实现,重点关注读写事件的处理流程。

NIO界最强“Hello World”,不服来辩!!!-鸿蒙开发者社区

Step1:NIO事件处理的核心要点:

  • 事件选择器的常用套路,调用select进行事件就绪选择,然后遍历就绪集合。
  • 如果事件类型为写事件,直接将数据通过调用通道的write方法将数据写入到网络,这里的核心关键点:

调用SocketChannel的write方法会返回本次写入的字节数,如果等于0,并且数据还未全部写入,则说明写入缓存区已满,需要再次注册写事件

  • 如果事件类型为读事件,调用SocketChannel的read方法将从网络中读取数据,这里有几个侧重点需要说明:
  • 一次read读取有可能并没有完整夺取一个请求,该方法可以调用多次,当返回0时可以停止继续读取。
  • read方法将数据读取到ByteBuffer(缓存区),如何从缓存区中读取一个完整的请求是关键,因为该缓存区中可能包含一个请求,也可以包含多个。这里的解决方案就是:编码、解码,关于这部分内容,大家可以参考文章:https://mp.weixin.qq.com/s/GDyG7wWLU5YijKvhFwljXg
  • 经过解码,从请求流中解码一个请求后,将请求转发到业务线程池。

NIO界最强“Hello World”,不服来辩!!!-鸿蒙开发者社区

处理完事件选择相关的任务后,开始执行应用程序的任务,例如读事件注册、写操作。这里的关键点是调用SocketChannel的write方法会返回本次写入的字节数,如果等于0,并且数据还未全部写入,则说明写入缓存区已满,需要再次注册写事件,否则应该取消写事件


本文转载自公众号:中间件兴趣圈


分类
标签
已于2023-4-24 17:27:51修改
收藏
回复
举报
回复
    相关推荐