深入学习redis的线程模型

一、redis 的线程模型

redis 内部使用文件事件处理器file event handler，它是单线程的，所以redis才叫做单线程模型。它采用IO多路复用机制同时监听多个 socket，将产生事件的 socket 压入内存队列中，事件分派器根据socket上的事件类型来选择对应的事件处理器进行处理。

文件事件处理器的结构：

  • 多个 socket
  • IO 多路复用程序
  • 文件事件分派器
  • 事件处理器（连接应答处理器、命令请求处理器、命令回复处理器）

线程模型

多个 socket 可能会并发产生不同的操作，每个操作对应不同的文件事件，但是 IO多路复用程序会监听多个 socket，会将产生事件的 socket 放入队列中排队，事件分派器每次从队列中取出一个 socket，根据 socket 的事件类型交给对应的事件处理器进行处理。
16267041730249.jpg

二、一次客户端与redis的完整通信过程

建立连接

  1. 首先，redis 服务端进程初始化的时候，会将 server socket 的 AE_READABLE 事件与连接应答处理器关联。
  2. 客户端 socket01 向 redis 进程的 server socket 请求建立连接，此时 server socket 会产生一个 AE_READABLE 事件，IO 多路复用程序监听到 server socket 产生的事件后，将该 socket 压入队列中。
  3. 文件事件分派器从队列中获取 socket，交给连接应答处理器。
  4. 连接应答处理器会创建一个能与客户端通信的 socket01，并将该 socket01 的 AE_READABLE 事件与命令请求处理器关联。

执行一个set请求

  1. 客户端发送了一个 set key value 请求，此时 redis 中的 socket01 会产生 AE_READABLE 事件，IO 多路复用程序将 socket01 压入队列，
  2. 此时事件分派器从队列中获取到 socket01 产生的 AE_READABLE 事件，由于前面 socket01 的 AE_READABLE 事件已经与命令请求处理器关联，
  3. 因此事件分派器将事件交给命令请求处理器来处理。命令请求处理器读取 socket01 的 key value 并在自己内存中完成 key value 的设置。
  4. 操作完成后，它会将 socket01 的 AE_WRITABLE 事件与命令回复处理器关联。
  5. 如果此时客户端准备好接收返回结果了，那么 redis 中的 socket01 会产生一个 AE_WRITABLE 事件，同样压入队列中，
  6. 事件分派器找到相关联的命令回复处理器，由命令回复处理器对 socket01 输入本次操作的一个结果，比如 ok，之后解除 socket01 的 AE_WRITABLE 事件与命令回复处理器的关联。
    16267043994352.jpg

三、redis为什么效率这么高？

  • 纯内存操作。
  • 核心是基于非阻塞的 IO 多路复用机制。
  • 数据结构简单：Redis的数据结构都是专门设计的，而这些简单的数据结构的查找和操作的时间大部分复杂度都是O(1)，因此性能比较强
  • 单线程反而避免了多线程的频繁上下文切换问题，预防了多线程可能产生的竞争问题。

四、IO多路复用

常用的IO多路复用模型有三种：select、poll、epoll

  • select：它维护了一个数组结构 fd_set，调用 select 函数时，会从用户空间拷贝 fd_set 到内核空间，并监听是否有事件触发，有就通过无差别轮询的方式遍历找到事件触发的位置，然后执行相关的读或写操作。轮询的时间复杂度为 O(n)。
    缺点： 内核对被监控的 fd_set 集合做了大小限制，最大为 1024 ；每次调用 select，都需要把 fd_set 集合从用户态拷贝到内核态，都需要在内核遍历 传递进来的所有 fd_set ，效率很低。

  • poll：与 select 类似，区别是它采用的是 poll_fd 数据结构实现了一个可变长的数组，没有了最大文件描述符数量的限制。

  • epoll：epoll 与 select 的不同之处在于，epoll 监听事件是否触发时，还设置了回调函数，如果事件触发，就执行回调函数，并将准备就绪的 fd 放到 readyList 中，而不需要轮询遍历所有的 fd_set 。并且 epoll 没有最大文件描述符数量的限制。在高并发情况下 epoll 能支持更多的连接。

image-1649866819523

  1. 一个 socket 客户端与服务端连接时，会生成对应一个套接字描述符(套接字描述符是文件描述符的一种)，每一个 socket 网络连接其实都对应一个文件描述符。
  2. 多个客户端与服务端连接时，Redis 使用 「I/O 多路复用程序」 将客户端 socket 对应的 FD 注册到监听列表(一个队列)中。当客服端执行 read、write 等操作命令时，I/O 多路复用程序会将命令封装成一个事件，并绑定到对应的 FD 上。
  3. 「文件事件处理器」使用 I/O 多路复用模块同时监控多个文件描述符（fd）的读写情况，当 accept、read、write 和 close 文件事件产生时，文件事件处理器就会回调 FD 绑定的事件处理器进行处理相关命令操作。

Redis从select改为epoll的原因：

  1. Redis 的 I/O 多路复用程序函数有 select、poll、epoll、kqueue。select 作为备选方案，由于其在使用时会扫描全部监听的文件描述符，并且只能同时服务 1024 个文件描述符，所以是备选方案。
  2. I/O 多路复用模型是利用 select、poll、epoll 函数可以同时监察多个流的 I/O 事件的能力，在空闲的时候，会把当前线程阻塞掉。当有一个或多个流有 I/O 事件时，就从阻塞态中唤醒，于是程序就会轮询一遍所有的流（epoll 是只轮询那些真正发出了事件的流），依次顺序的处理就绪的流，这种做法就避免了大量无用的等待操作。

五、为什么叫文件事件处理器

根据我的大胆猜测，之所以叫文件事件处理器，是因为在tcp中，socket是一个文件流，在内核中的表现形式是一个文件，含有文件描述符，以及用来读写数据的读缓冲队列和写缓冲队列。

参考

面试官：说说Redis之I/O多路复用模型实现原理