04 | Swoole 源码分析之 epoll 多路复用模块

首发原文链接：Swoole 源码分析之 epoll 多路复用模块

大家好，我是码农先森。

引言

在传统的IO模型中，每个IO操作都需要创建一个单独的线程或进程来处理，这样的操作会导致系统资源的大量消耗和管理开销。

而IO多路复用技术通过使用少量的线程或进程同时监视多个IO事件，能够更高效地处理大量的IO操作，从而提高系统的性能和资源利用率。

在IO多路复用的技术中尤其突出的是 epoll 技术，它是解决 C10K 问题的利器。

Swoole 中的多路复用

多路复用技术可以说是贯穿了整个 Swoole，同时也是 Swoole 为什么是高性能通信框架的根本原因。

Swoole 最重要的协程模块就是利用的 IO 多路复用事件循环技术，这也是与 Go 语言中协程不同的本质原因。

下面我们来一起看下 Swoole 中是如何实现 epoll 多路复用技术的。

这是创建 eoll 实例的方法，其中的 Reactor 是一个线程对象。

// 创建一个 epoll 实例，为其分配事件数组，并设置相关的 reactor 对象属性
// swoole-src/src/reactor/epoll.cc:71
ReactorEpoll::ReactorEpoll(Reactor *_reactor, int max_events) : ReactorImpl(_reactor) {
    // 创建一个 epoll 实例
    epfd_ = epoll_create(512);
    // 检查 epoll 创建是否成功
    if (!ready()) {
        swoole_sys_warning("epoll_create failed");
        return;
    }

    // epoll_event 结构体数组分配内存
    // 用于存储注册到 epoll 实例上的事件
    events_ = new struct epoll_event[max_events];
    // 设置最大事件数量
    reactor_->max_event_num = max_events;
    // native_handle 设置为 epoll 实例
    reactor_->native_handle = epfd_;
}

这个方法是向 epoll 事件循环中添加一个客户端的连接对象，用于监听。

// 向 epoll 事件循环中添加一个 socket，并为其设置特定的事件监听
// swoole-src/src/reactor/epoll.cc:94
int ReactorEpoll::add(Socket *socket, int events) {
    // 定义 epoll_event 结构体实例 e
    struct epoll_event e;
    // 设置事件类型
    e.events = get_events(events);
    // 设置 socket 指针，在 epoll 触发事件时，可以找到对应的 socket
    e.data.ptr = socket;

    // 添加事件到 epoll
    if (epoll_ctl(epfd_, EPOLL_CTL_ADD, socket->fd, &e) < 0) {
        swoole_sys_warning(
            "failed to add events[fd=%d#%d, type=%d, events=%d]", socket->fd, reactor_->id, socket->fd_type, events);
        return SW_ERR;
    }

    // 在 Reactor 中添加 socket
    // 为了在 Reactor 内部进行管理和跟踪
    reactor_->_add(socket, events);
    swoole_trace_log(
        SW_TRACE_EVENT, "add events[fd=%d#%d, type=%d, events=%d]", socket->fd, reactor_->id, socket->fd_type, events);

    return SW_OK;
}

这个方法是从 epoll 事件循环中移除一个客户端连接对象。

// 从 epoll 事件循环中删除一个 socket
// swoole-src/src/reactor/epoll.cc:113
int ReactorEpoll::del(Socket *_socket) {
    // 检查 socket 是否已被移除
    if (_socket->removed) {
        swoole_error_log(SW_LOG_WARNING,
                         SW_ERROR_EVENT_SOCKET_REMOVED,
                         "failed to delete events[fd=%d, fd_type=%d], it has already been removed",
                         _socket->fd, _socket->fd_type);
        return SW_ERR;
    }
    
    // 使用 epoll_ctl 函数从 epoll 的文件描述符 epfd_ 中删除 socket
    if (epoll_ctl(epfd_, EPOLL_CTL_DEL, _socket->fd, nullptr) < 0) {
        after_removal_failure(_socket);
        if (errno != EBADF && errno != ENOENT) {
            return SW_ERR;
        }
    }

    swoole_trace_log(SW_TRACE_REACTOR, "remove event[reactor_id=%d|fd=%d]", reactor_->id, _socket->fd);
    // 从 Reactor 中删除该 socket
    reactor_->_del(_socket);

    return SW_OK;
}

这个方法是用于修改一个已经在 epoll 事件循环中的客户端连接对象。

// 修改一个已经存在于 epoll 事件循环中的 socket 的事件监听类型
// swoole-src/src/reactor/epoll.cc:134
int ReactorEpoll::set(Socket *socket, int events) {
    // 定义 epoll_event 结构体实例 e
    struct epoll_event e;
    // 设置事件类型
    e.events = get_events(events);
    // 设置 socket 指针，在 epoll 触发事件时，可以找到对应的 socket
    e.data.ptr = socket;

    // 使用 epoll_ctl 函数修改 epoll 文件描述符 epfd_ 中对应 socket 的事件
    int ret = epoll_ctl(epfd_, EPOLL_CTL_MOD, socket->fd, &e);
    if (ret < 0) {
        swoole_sys_warning(
            "failed to set events[fd=%d#%d, type=%d, events=%d]", socket->fd, reactor_->id, socket->fd_type, events);
        return SW_ERR;
    }

    swoole_trace_log(SW_TRACE_EVENT, "set event[reactor_id=%d, fd=%d, events=%d]", reactor_->id, socket->fd, events);
    // 在 Reactor 内部进行相应的设置
    reactor_->_set(socket, events);

    return SW_OK;
}

这个方法是 epoll 事件循环环节中最重要的一点，开始等待 Socket IO事件的触发，并且调用对应的处理函数。

// swoole-src/src/reactor/epoll.cc:153
int ReactorEpoll::wait(struct timeval *timeo) {
    // 声明事件对象 event、Reactor 处理对象 handler
    Event event;
    ReactorHandler handler;
    int i, n, ret;

    // reactor 对象 ID 和 最大事件数量
    int reactor_id = reactor_->id;
    int max_event_num = reactor_->max_event_num;

    // 用于设置超时时间，如果 timeout_msec 为 0，则根据传入的 timeo 参数设置超时时间
    if (reactor_->timeout_msec == 0) {
        if (timeo == nullptr) {
            reactor_->timeout_msec = -1;
        } else {
            reactor_->timeout_msec = timeo->tv_sec * 1000 + timeo->tv_usec / 1000;
        }
    }
	
	// 在进入事件循环之前调用 before_wait 方法，表示准备开始等待事件
    reactor_->before_wait();

    while (reactor_->running) {
        // 如果定义了 onBegin 回调函数，则调用它来执行相应的操作
        if (reactor_->onBegin != nullptr) {
            reactor_->onBegin(reactor_);
        }

        // 调用 epoll_wait 函数获取就绪事件的数量
        n = epoll_wait(epfd_, events_, max_event_num, reactor_->get_timeout_msec());
        if (n < 0) {
            // 如果出现错误且不捕获错误，则打印错误信息并返回错误码
            if (!reactor_->catch_error()) {
                swoole_sys_warning("[Reactor#%d] epoll_wait failed", reactor_id);
                return SW_ERR;
            } else {
                goto _continue;
            }
        } else if (n == 0) {
            // 如果返回的就绪事件数为 0，则执行结束回调函数并继续下一轮循环。
            reactor_->execute_end_callbacks(true);
            SW_REACTOR_CONTINUE;
        }
        
        for (i = 0; i < n; i++) {
            // 在处理每个就绪事件时，将事件相关信息保存在event对象中
            event.reactor_id = reactor_id;
            event.socket = (Socket *) events_[i].data.ptr;
            event.type = event.socket->fd_type;
            event.fd = event.socket->fd;

            // 如果事件类型是 EPOLLRDHUP、EPOLLERR 或 EPOLLHUP 之一，则设置 event_hup 标志为 1。
            if (events_[i].events & (EPOLLRDHUP | EPOLLERR | EPOLLHUP)) {
                event.socket->event_hup = 1;
            }

            // 检查是否存在可读事件且套接字未被移除
            // read 如果是可读事件（EPOLLIN），则调用相应的读事件处理器
            if ((events_[i].events & EPOLLIN) && !event.socket->removed) {
                handler = reactor_->get_handler(SW_EVENT_READ, event.type);
                ret = handler(reactor_, &event);
                if (ret < 0) {
                    swoole_sys_warning("EPOLLIN handle failed. fd=%d", event.fd);
                }
            }
            
            // 检查是否存在可写事件且套接字未被移除
            // write 如果是可写事件（EPOLLOUT），则调用相应的写事件处理器。
            if ((events_[i].events & EPOLLOUT) && !event.socket->removed) {
                handler = reactor_->get_handler(SW_EVENT_WRITE, event.type);
                ret = handler(reactor_, &event);
                if (ret < 0) {
                    swoole_sys_warning("EPOLLOUT handle failed. fd=%d", event.fd);
                }
            }

            // error 如果是错误事件（EPOLLRDHUP、EPOLLERR、EPOLLHUP），则调用相应的错误事件处理器。
            if ((events_[i].events & (EPOLLRDHUP | EPOLLERR | EPOLLHUP)) && !event.socket->removed) {
                // ignore ERR and HUP, because event is already processed at IN and OUT handler.
                if ((events_[i].events & EPOLLIN) || (events_[i].events & EPOLLOUT)) {
                    continue;
                }
                handler = reactor_->get_error_handler(event.type);
                ret = handler(reactor_, &event);
                if (ret < 0) {
                    swoole_sys_warning("EPOLLERR handle failed. fd=%d", event.fd);
                }
            }

            // 在处理完事件后，检查是否需要执行一次性事件的删除操作
            if (!event.socket->removed && (event.socket->events & SW_EVENT_ONCE)) {
                reactor_->_del(event.socket);
            }
        }

    _continue:
        // 在事件循环中执行回调函数并继续下一轮循环
        reactor_->execute_end_callbacks(false);
        SW_REACTOR_CONTINUE;
    }
    return 0;
}

总结

  1. epoll 在内部使用了红黑树的数据结构，红黑树是一个高效的数据结构。
  2. epoll 是解决 C10K 问题的利器，不仅是在 Swoole 中被应用，在很多的高性能服务中也有应用，例如：Nginx 服务等。
  3. Swoole 被称为高性能通信框架的关键原因，就是采用了 epoll 多路复用技术。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/504095.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

INA350ABSIDDFR 仪表放大器 单路低功耗 TSOT-23-8

INA350ABSIDDFR 仪表放大器 单路低功耗 TSOT-23-8

NA350ABSIDDFR 是一款高精度、低功耗、单片式精密运算放大器。它具有出色的直流精度和低失调电压&#xff0c;适用于需要高精度信号处理的应用。这款产品广泛应用于各种领域&#xff0c;如工业控制、医疗设备、测试与测量设备以及通信系统等。 制造商: Texas Instruments …
阅读更多...
Apollo配置中心使用

Apollo配置中心使用

apollo配置中心使用 Apollo配置中心-简介apollo源码Apollo配置基本概念Apollo特性Apollo基础模型Apollo架构设计Apollo架构设计-实时推送设计Apollo架构设计-可用性Apollo架构设计-监控Apollo架构设计-扩展Apollo-本地部署准备工作安装步骤mysql命令行创建ApolloPortalDBmysql客…
阅读更多...
实时的软件生成 —— Prompt 编程打通低代码的最后一公里？

实时的软件生成 —— Prompt 编程打通低代码的最后一公里？

原文&#xff1a;实时的软件生成 —— Prompt 编程打通低代码的最后一公里&#xff1f;_运行_问题_示例 PS&#xff1a;这也是一篇畅想&#xff0c;虽然经过了一番试验&#xff0c;依旧有一些不足&#xff0c;但是大体上站得住脚。 传统的软件生成方式需要程序员编写大量的代…
阅读更多...
矩阵间关系的建立

矩阵间关系的建立

参考文献 2-D Compressive Sensing-Based Visually Secure Multilevel Image Encryption Scheme 加密整体流程如下： 我们关注左上角这一部分： 如何在两个图像之间构建关系，当然是借助第3个矩阵。 A. Establish Relationships Between Different Images 简单说明如下： …
阅读更多...
Redis类型 Stream Bitfield

Redis类型 Stream Bitfield

Stream 类型 Stream类型就是Redis里的mq,是redis为了占领市场份额的产物 今天我们就来介绍一下Stream Redis的消息队列一般是两个方案 第一个是Lpush Rpop 队列的异步队列方案(一对一) 第二个方案就是pubsub(发布订阅)模式 (一对多) 注:这里如果没有消费者了,队列中的数据就直…
阅读更多...
android RK3328 gpio处理，android高级面试2024

android RK3328 gpio处理，android高级面试2024

public static class CommandResult { public int result -1; public String errorMsg; public String successMsg; } /** 执行命令—单条 param command param isRoot return */ public static CommandResult execCommand(String command, boolean isRoot) { Str…
阅读更多...
已上线项目，突然有一天网站虽进得去，但是接口拿不到数据，作为前端的你如何排查问题？

已上线项目，突然有一天网站虽进得去，但是接口拿不到数据，作为前端的你如何排查问题？

在开始写这篇博客之前，想说几句题外话哈，虽然自己的粉丝不多，但自己每篇博客都是用心在写，可能后面会针对部分文章开启只有VIP才能访问，原因你们也懂得(▽)，无非是想赚点外块呗，不过主要现在也是知识付费时代，毕竟自己写出的东西也是本人亲身经历着，也是具有一定的价值…
阅读更多...
试题G（买二赠一）

试题G（买二赠一）

问题描述】 某商场有 N 件商品&#xff0c;其中第 i 件的价格是 Ai。现在该商场正在进行 “买二 赠一” 的优惠活动&#xff0c;具体规则是&#xff1a; 每购买 2 件商品&#xff0c;假设其中较便宜的价格是 P&#xff08;如果两件商品价格一样&#xff0c; 则 P 等于其中一件…
阅读更多...
Python之Opencv进阶教程（2）：统计图片灰度级别的像素数量

Python之Opencv进阶教程（2）：统计图片灰度级别的像素数量

1、什么是灰度像素数量 在OpenCV中&#xff0c;可以使用**cv2.calcHist()**函数来计算图像的直方图。直方图是一种图形统计表&#xff0c;用于表示图像中每个灰度级别&#xff08;或颜色通道&#xff09;的像素数量或密度分布。以下是一个示例代码&#xff0c;演示了如何使用O…
阅读更多...
CTK插件框架学习-插件注册调用(03)

CTK插件框架学习-插件注册调用(03)

CTK插件框架学习-新建插件(02)https://mp.csdn.net/mp_blog/creation/editor/136923735 一、CTK插件组成 接口类&#xff1a;对外暴露的接口&#xff0c;供其他插件调用实现类&#xff1a;实现接口内的方法激活类&#xff1a;负责将插件注册到CTK框架中 二、接口、插件、服务…
阅读更多...
CSS绘制三角形和梯形

CSS绘制三角形和梯形

以上效果对应的CSS依次如下&#xff0c;从左往右依次看就很直观了。 .border {width: 30px;height: 30px;margin: 10px;background-color: lightblue;&_1 {border: solid 1px #b160e7;}&_2 {border-top: solid 15px lightcoral;border-right: solid 15px lightgoldenr…
阅读更多...
互联网、因特网、万维网的区别

互联网、因特网、万维网的区别

互联网 internet&#xff1a;凡是能彼此通信的设备组成的网络就叫互联网&#xff0c;即使只有两台计算机&#xff0c;无论以何种技术使其彼此通信&#xff0c;都叫互联网。所以&#xff0c;根据互联网的覆盖规模可以分为&#xff1a; 局域网&#xff08;Local Area Network&am…
阅读更多...
阿里云服务器经济型e实例特点、适用场景介绍和问题解答

阿里云服务器经济型e实例特点、适用场景介绍和问题解答

阿里云服务器ECS经济型e系列是阿里云面向个人开发者、学生、小微企业&#xff0c;在中小型网站建设、开发测试、轻量级应用等场景推出的全新入门级云服务器&#xff0c;CPU处理器采用Intel Xeon Platinum架构处理器&#xff0c;支持1:1、1:2、1:4多种处理器内存配比&#xff0c…
阅读更多...
腾讯云docker创建容器镜像及仓库

腾讯云docker创建容器镜像及仓库

这里为了尽量简单&#xff0c;直接用腾讯云容器版本服务器 腾讯云有自己的镜像加速地址&#xff0c;速度还可以&#xff0c;单纯拉取容器还是够用的 但是当我push容器出现各种各样问题因为网络原因&#xff0c;国内访问docker官方镜像站非常麻烦&#xff0c;所以使用阿里的镜像…
阅读更多...
储能系统--充电桩中国市场展望（四）

储能系统--充电桩中国市场展望（四）

一、充电桩发展 充电桩产业十余年萌芽成长&#xff0c;迈入高速增长时代。2006-2015年为中国充电桩行业萌芽期&#xff0c;2006年&#xff0c;比亚迪在深圳总 部建立了第一座汽车充电站。2008年&#xff0c;北京市奥运会期间建设了国内第一个集中式充电站&#xff0c;在这个阶…
阅读更多...
ctf.show_web

ctf.show_web

11.ctf.show_web11 解题步骤 密码为空&#xff0c;用 bp 抓包&#xff0c;去掉 session。 $password$_SESSION[password]&#xff1a;输入的password和session的结果一致 后端代码就是拿这个session的value值与我们输入的密码进行匹配, 由于这个value值我没解密出来, 所以这…
阅读更多...
Unity中如何实现草的LOD

Unity中如何实现草的LOD

1&#xff09;Unity中如何实现草的LOD 2&#xff09;用Compute Shader处理图像数据后在安卓机上不能正常显示渲染纹理 3&#xff09;关于进游戏程序集加载的问题 4&#xff09;预制件编辑模式一直在触发自动保存 这是第379篇UWA技术知识分享的推送&#xff0c;精选了UWA社区的热…
阅读更多...
Sakana 与 Jamba

Sakana 与 Jamba

这篇不是什么技术文章，入门没门槛，浅显易懂。 测试完了DBRX，还行吧，但是也没说给我带来多大惊喜，看的出来dataset选的挺好，比如中文语料的识别，也看得出来对推理做了很大的功夫，几乎所有的复杂逻辑全按COT by default呈现，这些是优点，要说缺点，没啥特点，现在说实话…
阅读更多...
C语言：文件操作（2）

C语言：文件操作（2）

4.2 fputc的使用 这里写自定义目录标题 fputc的定义&#xff1a; 主要功能&#xff1a;一个字符一个字符的写进文件&#xff0c;将int类型的字符character写进文件流&#xff08;FILE* stream&#xff09;中&#xff0c;返回一个整形。如果成功fputc会返回写进文件的字符&…
阅读更多...
C++STLmap，set

C++STLmap，set

我最近开了几个专栏&#xff0c;诚信互三&#xff01; > |||《算法专栏》&#xff1a;&#xff1a;刷题教程来自网站《代码随想录》。||| > |||《C专栏》&#xff1a;&#xff1a;记录我学习C的经历&#xff0c;看完你一定会有收获。||| > |||《Linux专栏》&#xff1…
阅读更多...
最新文章

Copyright @ 2022~2023