杰霸霸博客

主题

Redis之单线程 ​

1. Redis是单线程还是多线程 ​

Redis的版本很多3.x、4.x、6.x，7.x, 版本不同架构也是不同的:

  • 版本3.x ，最早版本，也就是大家口口相传的redis是单线程。
  • 版本4.x，严格意义来说也不是单线程，而是负责处理客户端请求的线程是单线程，但是异步删除、备份等功能
  • 版本6.0.x后及2022年出的7.0版本后，全面使用多线程来解决问题
    Alt text Redis是单线程主要是指Redis的网络IO和键值对读写是由一个线程来完成的，Redis在处理客户端的请求时包括获取 (socket 读)、解析、执行、内容返回 (socket 写) 等都由一个顺序串行的主线程处理，这就是所谓的“单线程”。这也是Redis对外提供键值存储服务的主要流程。
    Alt text 但Redis的其他功能，比如持久化RDB、AOF、异步删除、集群数据同步等等，其实是由额外的线程执行的。Redis命令工作线程是单线程的，但是，整个Redis来说，是多线程的；

2. Redis为什么快 ​

2.1 Redis3.x单线程时代 ​

  1. 基于内存操作: Redis的所有数据都存在内存中，因此所有的运算都是内存级别的，所以他的性能比较高;
  2. 数据结构简单:Redis 的数据结构是专门设计的，我和操作的时间大部分复杂度都是O(1)，因此性能比较高;
  3. 多路复用和非阳塞I/0: Redis使用I/0多路复用功能来监听多个socket连接客户端，这样就可以使用一个线程连接来处理多个请求，减少线程切换带来的开销,同时也避免了IO阻塞操作。
  4. 避免上下文切换: 因为是单线程模型，因此就避免了不必要的上下文切换和多线程竞争，这就省去了多线程切换带来的时间和性能上的消耗，而且单线程不会导致死锁问题的发生。
  5. 对于Redis系统来说，主要的性能瓶颈是内存或者网络带宽而并非CPU。

2.2 单线程的问题 ​

正常情况下使用del指令可以很快的删除数据，而当被删除的key是一个非常大的对象时，那么del指令就会造成 Redis主线程卡顿，所有在线连接都会阻塞。
解决办法：

  1. 使用惰性删除可以有效的避免Redis卡顿的问题
sh
# 把删除工作交给了后台异步来删除数据。
127.0.0.1:6379> unlink key

2.3 Redis6的多线程特性和IO多路复用 ​

随着网络硬件的性能提升，Redis的性能瓶颈有时会出现在网络IO的处理上。为了应对这个问题:采用多个IO线程来处理网络请求，提高网络请求处理的并行度。
但是Redis的多IO线程只是用来处理网络请求的，对于读写操作命令Redis仍然使用单线程来处理。这是因为Redis处理请求时，网络处理经常是瓶颈，通过多个IO线程并行处理网络操作，可以提升实例的整体处理性能。而继续使用单线程执行命令操作，就不用为了保证Lua脚本、事务的原子性，额外开发多线程互斥加锁机制了(不管加锁操作处理)。
Alt text 阶段一：服务端和客户端建立Socket连接，并分配处理线程 首先，主线程负责接收建立连接请求，当有客户端请求和实例建立Socket连接时，主线程会创建和客户端的连接，并把Socket放入全局等待队列中，紧接着，主线程通过轮询方法把Socket连接分配给IO线程。
阶设二：IO线程读取并解折请求 主线程一旦把Socket分配给IO线程，就会进入阻塞状态，等待IO线程完成客户端请求的读取和解析，因为有多个IO线程在并行处理，所以，这个过程很快就可以完成。
阶段三：主线程执行请求操作 等到IO线程解析完请求，主线程还是会以单线程的方式执行这些命令操作。
阶设四：IO线程回写Socket和主线程清空全局队列 当主线程执行完请求操作后，会把需要返回的结果写入缓冲区，然后，主线程会阻塞等待IO线程，把这些结果回写到Socket中，并返回给客户端。和IO线程读取和解析请求一样，IO线程回写Socket时，也是有多个线程在并发执行，所以回写Socket的速度也很快。等到IO线程回写Socket完毕，主线程会清空全局队列，等待客户端的后续请求。

3. IO多路复用 ​

Unix网络编程中的五种IO模型:Blocking I0-阻塞IO、NoneBlockingIO-非阻塞IO、IO multiplexing-IO多路复用、signal driven IO-信号驱动IO、asynchronousl0-异步IO。
一种同步的IO模型，实现一个线程监视多个文件句柄(Linux系统中一切皆文件), 一旦某个文件句柄就绪就能够通知到对应应用程序进行相应的读写操作，没有文件句柄就绪时就会阻塞应用程序从而释放CPU资源。

什么是文件句柄

文件描述符在形式上是一个非负整数，实际上它是一个索引值，指向内核为每一个进程所维护的该进程打开文件的记录表。当程序打开一个现有文件或者创建一个新文件时，内核向该进程返回一个文件描述符。

实现多路复用的模型有3种：可以分select->poll->epoll3个阶段来描述。
将用户socket对应的文件描述符(FileDescriptor)注册进epoll，然后epoll帮你监听哪些socket上有消息到达，这样就避免了大量的无用操作。此时的socket应该采用非阻塞模式。这样，整个过程只在调用select、poll、epoll这些调用的时候才会阻塞，收发客户消息是不会阻塞的，整个进程或者线程就被充分利用起来，这就是事件驱动，所谓的reactor反应模式。
Alt text 在单个线程通过记录跟踪每一个Sockek(I/O流)的状态来同时管理多个I/O流. 一个服务端进程可以同时处理多个套接字描述符。目的是尽量多的提高服务器的吞吐能力。

提示

nginx使用epoll接收请求，ngnix会有很多链接进来，epoll会把他们都监视起来，然后像拨开关一样，谁有数据就拨向谁，然后调用相应的代码处理。redis类似同理。

总而言之：从Redis6开始，就新增了多线程的功能来提高I/O的读写性能，他的主要实现思路是将主线程的IO读写任务拆分给一组独立的线程去执行，这样就可以使多个socket的读写可以并行化了，采用多路I/O复用技术可以让单个线程高效的处理多个连接请求（尽量减少网络IO的时间消耗），将最耗时的Socket的读取、请求解析、写入单独外包出去，剩下的命令执行仍然由主线程串行执行并和内存的数据交互。

4. 开启多线程IO ​

如果你在实际应用中，发现Redis实例的CPU开销不大但吞吐量却没有提升可以考虑使用Redis7的多线程机制，加速网络处理，进而提升实例的吞吐量。
在Redis6.0及7后，多线程机制默认是关闭的，如果需要使用多线程功能，需要在redis.conf中完成两个设置：

ini
# 设置io-thread-do-reads配置项为yes，表示启动多线程
io-thread-do-reads yes
# 设置线程个数。关于线程数的设置，官方的建议是如果为4核的CPU，建议线程数设置为2或3
io-threads 6