【C语言】RDMACM、Verbs API与epoll一起使用的示例

一、epoll介绍

epoll是Linux内核为处理大批量文件描述符而作了改进的poll，是Linux下多路复用IO接口select/poll的增强版本，它能显著提高程序在大量并发连接中只有少量活跃的情况下的系统CPU利用率。

以下是epoll的主要使用方法和优点：

epoll的创建和使用主要涉及到三个函数：epoll_create、epoll_ctl和epoll_wait。首先，使用epoll_create创建一个新的epoll实例，并返回一个引用该实例的文件描述符。然后，通过epoll_ctl注册对感兴趣的文件描述符。最后，使用epoll_wait等待I/O事件。
epoll的优点主要体现在：支持一个进程打开大数目的socket描述符(FD)；IO效率不随FD数目增加而线性下降；支持边缘触发模式；使用mmap加速内核与用户空间的消息传递。
水平触发和边沿触发是epoll的两种事件分发机制。二者的区别在于，水平触发模式下，只要文件描述符处于就绪状态，无论应用程序是否读取或者写入数据，每次调用epoll_wait都会返回该文件描述符；而在边缘触发模式下，只有当文件描述符状态发生变化时（比如从非就绪变为就绪），epoll_wait才会返回该文件描述符。

总的来说，epoll是Linux内核中处理大批量文件描述符的高效工具，特别适用于大量并发连接中只有少量活跃的情况，能显著提高系统CPU利用率。

二、示例

以下是一个使用C语言的示例，展示了如何在使用RDMACM和Verbs API时与epoll一起使用：

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <fcntl.h>
#include <sys/epoll.h>
#include <rdma/rdma_cma.h>

#define MAX_EVENTS 10

struct connection {
    struct rdma_cm_id *id;
    struct ibv_qp *qp;
    // 其他连接相关的数据
};

void handle_cm_event(struct rdma_cm_event *event) {
    // 处理RDMACM事件的逻辑
}

void handle_cq_event(struct ibv_wc *wc) {
    // 处理完成队列事件的逻辑
}

int main() {
    struct rdma_event_channel *cm_channel;
    struct rdma_cm_event *event;
    struct epoll_event epoll_events[MAX_EVENTS];
    struct connection *conn;
    struct ibv_cq *cq;
    struct ibv_wc wc;
    int cm_fd, cq_fd, epoll_fd, i, n;

    // 创建RDMACM事件通知文件描述符
    cm_channel = rdma_create_event_channel();
    if (!cm_channel) {
        perror("Failed to create RDMACM event channel");
        return 1;
    }

    // 创建完成队列（CQ）
    cq = ibv_create_cq(NULL, 10, NULL, NULL, 0);
    if (!cq) {
        perror("Failed to create completion queue");
        return 1;
    }

    // 获取RDMACM事件通知文件描述符和完成队列的文件描述符
    cm_fd = rdma_event_channel_fd(cm_channel);
    cq_fd = cq->channel->fd;

    // 创建epoll实例
    epoll_fd = epoll_create1(0);
    if (epoll_fd == -1) {
        perror("Failed to create epoll instance");
        return 1;
    }

    // 将RDMACM事件通知文件描述符添加到epoll的事件集合中
    struct epoll_event cm_event;
    cm_event.events = EPOLLIN | EPOLLET;
    cm_event.data.fd = cm_fd;
    if (epoll_ctl(epoll_fd, EPOLL_CTL_ADD, cm_fd, &cm_event) == -1) {
        perror("Failed to add RDMACM event channel to epoll");
        return 1;
    }

    // 将完成队列的文件描述符添加到epoll的事件集合中
    struct epoll_event cq_event;
    cq_event.events = EPOLLIN | EPOLLET;
    cq_event.data.fd = cq_fd;
    if (epoll_ctl(epoll_fd, EPOLL_CTL_ADD, cq_fd, &cq_event) == -1) {
        perror("Failed to add completion queue to epoll");
        return 1;
    }

    // 进入事件循环
    while (1) {
        // 等待事件发生
        n = epoll_wait(epoll_fd, epoll_events, MAX_EVENTS, -1);
        if (n == -1) {
            perror("Failed to wait for events");
            return 1;
        }

        // 处理所有事件
        for (i = 0; i < n; i++) {
            if (epoll_events[i].data.fd == cm_fd) {
                // 有RDMACM事件发生
                event = rdma_get_cm_event(cm_channel);
                handle_cm_event(event);
                rdma_ack_cm_event(event);
            } else if (epoll_events[i].data.fd == cq_fd) {
                // 有完成队列事件发生
                while (ibv_poll_cq(cq, 1, &wc) > 0) {
                    handle_cq_event(&wc);
                }
            }
        }
    }

    // 清理资源
    close(epoll_fd);
    ibv_destroy_cq(cq);
    rdma_destroy_event_channel(cm_channel);

    return 0;

}

在这个示例中，我们使用了rdma/rdma_cma.h头文件中提供的RDMACM和Verbs API。首先，我们创建了一个RDMACM事件通知文件描述符和一个完成队列（CQ），然后将它们的文件描述符添加到epoll的事件集合中。接下来，我们进入一个事件循环，等待事件发生。如果有RDMACM事件发生，我们调用handle_cm_event函数来处理该事件；如果有完成队列事件发生，我们调用handle_cq_event函数来处理该事件。
请注意，这只是一个简单的示例，实际使用时可能需要根据具体需求进行更多的处理和错误检查。