高性能收发原始数据包的框架(Netmap)

一、Netmap 简介


Netmap 是一个高性能收发原始数据包的框架,由 Luigi Rizzo 等人开发完成,其包含了内核模块以及用户态库函数。其目标是,不修改现有操作系统软件以及不需要特殊硬件支持,实现用户态和网卡之间数据包的高性能传递。其原理图如下,数据包不经过操作系统内核进行处理,用户空间程序收发数据包时,直接与网卡进行通信。
 

 

下面是我们用了netmap下的情况,你看到了,我们的netmap接收到数据后采用mmap的方式

直接映射到内存上,那么我们取数据就可以直接从内存上取数据,就是从网卡取数据了,不需

要像内核协议栈那样,拷贝两次才行,那么这就大大提高了网络的传输速度

 1.数据结构

 在 Netmap 框架下,内核拥有数据包池,发送环接收环上的数据包不需要动态申请,有数据到达网卡时,当有数据到达后,直接从数据包池中取出一个数据包,然后将数据放入此数据包中,再将数据包的描述符放入接收环中。内核中的数据包池,通过 mmap 技术映射到用户空间。用户态程序最终通过 netmap_if 获取接收发送环 netmap_ring,进行数据包的获取发送。

2.特点总结


(1)性能高 :数据包不走传统协议栈,不需要层层解析,用户态直接与网卡的接受环和发送环交互。性能高的具体原因有一下三个:

(a)系统调用以及处理数据包的时间花费少
(b)不需要进行数据包的内存分配:采用数据包池,当有数据到达后,直接从数据包池中取出一个数据包,然后将数据放入此数据包中,再将数据包的描述符放入接收环中。
(c)数据拷贝次数少:内核中的数据包采用 mmap 技术映射到用户态。所以数据包在到达用户态时,不需要进行数据包的拷贝。
(2)稳定性高 :有关网卡寄存器数据的维护都是在内核模块进行,用户不会直接操作寄存器。所以在用户态操作时,不会导致操作系统崩溃

(3)亲和性 :可采用了 CPU 亲和性,实现 CPU 和网卡绑定,提高性能。

(4)易用性好 :API 操作简单,用户态只需要调用 ioctl 函数即可完成数据包收发工作

(5)与硬件解耦 :不依赖硬件,只需要对网卡驱动程序稍微做点修改就可以使用此框架(几十行行),传统网卡驱动将数据包传递给操作系统内核中协议栈,而修改后的数据包直接放入 Netmap_ring 供用户使用。
 

 二、Netmap API 介绍

1.简要说明


netmap API 主要为两个头文件 netmap.h 和 netmap_user.h ,当解压下载好的 netmap
程序后,在./netmap/sys/net/目录下,本文主要对这两个头文件进行分析。
2.我们从 netmap_user.h 头文件开始看起
 

2.likely()和 unlikely()

这两个宏定义是对编译器做优化的,并不会对变量做什么改变。后面看到这两个宏的调用自动忽略就好了。

#ifndef likely

#define likely(x) #define unlikely(x)

3.netmap.h 头文件


1.netmap.h 被 netmap_user.h 调用, 里面定义了一些宏和几个主要的结构体, 如 nmreq{}, netmap_if{}, netmap_ring{}, netmap_slot{} 。
2.一个网卡(或者网络接口)只有一个 netmap_if{}结构,在使用 mmap()申请的共享内存中, 通过 netmap_if{}结构可以访问到任何一个发送/接收环(也就是 netmap_ring{}结构,一个netmap_if{}可以对应多发送/接收环,这应该和物理硬件有关 ,我在虚拟机下只有一对环,在真实主机上有两队环)。
3.找到 netmap_ring{}的地址后,我们就可以找到环中每一个 buffer 的地址(buffer 里面存储的是将要发送/接收的数据包)。后面会讲解这是如何实现的。
4.通过一个 nifp 是如何访问到多个收/发环的,通过一个 ring 如何找到多个不同的 buffer 地址的,其实都是通过存储这些结构体相邻的后面一部分空间实现。(申请共享内存的时候, 这些均已被设计好)
 

4.几个重要的宏定义


1._NETMAP_OFFSET

解释:该宏定义的作用是将 ptr 指针(强转成 char *类型)向右偏移 offset 个字节,再将其转化为指定的类型 type。

2.NETMAP_IF
解释:该宏定义将_base 指针向右偏移_ofs 个字节后,强转为 netmap_if *类型返回。在 nemap中通过此宏得到 d->nifp 的地址。

3.NETMAP_TXRING
解释:

1.通过该宏定义,可以找到 nifp 的第 index 个发送环的地址(index 是从 0 开始的),ring_ofs[index]为偏移量,由内核生成。
2.其中,我们注意到 struct netmap_if{}最后面只定义了 const ssize_t ring_ofs[0],实际上其它的 netmap 环的偏移量都写在了该结构体后面的内存地址里面,直接访问就可以了。
4.NETMAP_RXRING
解释:通过该宏定义,可以找到 nifp 的第 index 个接收环的地址,其中(nifp)->ring_ofs[]里面的下标为 index+(nifp)->ni_tx_rings+1,正好与发送环的偏移量区间隔开 1 个。(我想这应该是作者特意设计的)
 

5.NETMAP_BUF
解释:

1.通过该宏定义,可以找到 ring 这个环的第 index 个 buffer 的地址(buffer 里面存的就是我们接收/将发送的完整数据包),每个 buffer 占的长度是 2048 字节(在(ring)->nr_buf_size
也给出了)。
2.其中(ring) ->buf_ofs 是固定的偏移量,不同的环这个值不相同,但所有的(char *)(ring)+(ring)->buf_ofs 会指向同一个地址,也就是存放 buffer 的连续内存的开始地址 (d->buf_start 会指向该地址)。
6.NETMAP_BUF_IDX
解释:

在讲 NETMAP_BUF 的时候我们说(char *)(ring) + (ring)->buf_ofs)总会指向存放 buffer
的起始位置( 无论是哪一个环), 在这段内存中将第一个 buffer 下标标记为 0 的话,
NETMAP_BUF_IDX 计算的恰好是指针 buf 所指 buffer 的下标。上面几个宏一时没弄懂也没关系,下面调用的时候还会提的。


5.nm_open 函数(主要功能是打开设备,申请并创建初始化出fd所需要的内存)


1.调用 nm_open 函数时,如:nmr = nm_open(“netmap:eth0”, NULL, 0, NULL); nm_open()会对传递的 ifname 指针里面的字符串进行分析,提取出网络接口名。

2.nm_open() 会 对 struct nm_desc *d 申 请 内 存 空 间 , 并 通 过 d->fd = open(NETMAP_DEVICE_NAME,O_RDWR);打开一个特殊的设备/dev/netmap 来创建文件描述符d->fd。

3.通过 ioctl(d->fd, NIOCREGIF, &d->req)语句,将 d->fd 绑定到一个特殊的接口,并对 d->req
结构体里面的成员做初始化,包括 a.在共享内存区域中 nifp 的偏移,b.共享区域的大小
nr_memsize,c.tx/rx 环的大小 nr_tx_slots/nr_rx_slots(大小为 256),d.tx/rx 环的数量 nr_tx_rings、
nr_rx_rings(视硬件性能而定)等。


4.接着在 if ((!(new_flags & NM_OPEN_NO_MMAP) || parent) && nm_mmap(d, parent))语句中调用 nm_mmap 函数,继续给 d 指针指向的内存赋值。
 

6.nm_mmap 函数(映射函数)

nm_mmap()源码:

static int nm_mmap(struct nm_desc *d, const struct nm_desc *parent) 
{ 
//XXX TODO: check if mmap is already done 
 
    if (IS_NETMAP_DESC(parent) && parent->mem && parent->req.nr_arg2 
== d->req.nr_arg2) 
    { 
        /* do not mmap, inherit from parent */ 
        D("do not mmap, inherit from parent"); 
        d->memsize = parent->memsize; 
        d->mem = parent->mem; 
    } else 
    { 
        /* XXX TODO: 检查如果想申请的内存太大 (or there is overflow) 
*/ 
        d->memsize = d->req.nr_memsize;      /* 将需要申请的内存大小赋值给 d->memsize */ 
        d->mem = mmap(0, d->memsize, PROT_WRITE | PROT_READ, MAP_SHARED, d->fd, 0); /* 申请共享内存 */ 
        if (d->mem == MAP_FAILED) 
        { 
            goto fail; 
        } 
        d->done_mmap = 1; 
    } 
    { 
     struct netmap_if *nifp = NETMAP_IF(d->mem, d->req.nr_offset);  
/*通过 d->req.nr_offset 这个偏移量的到 nifp 的地址,NETMAP_IF 前面说过
*/ 
        int i; 
        /* 
         *for(i=0; i<=2; i++) 
         *   printf("ring_ofs[%d]:0x%x\n",i,nifp->ring_ofs[i]);   // 这里是我自己加的,为了手动计算收/发环的偏移量 
         */ 
        struct netmap_ring *r = NETMAP_RXRING(nifp,); //对 nifp,找接收包的环 r,因为 index 为 0,所以省略了 
 
        *(struct netmap_if **) (uintptr_t) &(d->nifp) = nifp; // 对d->nifp 赋值,虽然 d->nifp 使用 const 定义的,但对其取地址再强值类型转换后,依然可以对其指向的空间进行操作 
        *(struct netmap_ring **) (uintptr_t) &d->some_ring = r; //同理,对 d->some_ring 进行赋值,此处指向了第一个接受(rx)环。 
        //printf("buf_ofs:0x%x\n", (u_int)r->buf_ofs); 
        *(void **) (uintptr_t) &d->buf_start = NETMAP_BUF(r, 0);//计算第一个 buffer 的地址,并存入 d->buf_start 指针中 
        *(void **) (uintptr_t) &d->buf_end = (char *) d->mem + d->memsize; //计算共享区间的最后一个地址,赋值给 d->buf_end 
    } 
 
    return 0; 
 
    fail: return EINVAL; 
} 

 

7.nm_nextpkt 函数


1.nm_nextpkt()是用来接收网卡上到来的数据包的函数。
2.nm_nextpkt()会将所有 rx 环都检查一遍,当发现有一个 rx 环有需要接收的数据包时, 得到这个数据包的地址,并返回。所以 nm_nextpkt()每次只能取一个数据包。
 

 nm_nextpkt()源代码:

static u_char *nm_nextpkt(struct nm_desc *d, struct nm_pkthdr *hdr) 
{ 
    int ri = d->cur_rx_ring; //当前的接收环的编号 
    do 
    { 
        /* compute current ring to use */ 
        struct netmap_ring *ring = NETMAP_RXRING(d->nifp, ri); // 得到当前 rx 环的地址 
        if (!nm_ring_empty(ring)) //判断环里是否有新到的包 
        { 
            u_int i = ring->cur; //当前该访问哪个槽(buffer)了 
            u_int idx = ring->slot[i].buf_idx; //得到第 i 个 buffer 的下标 
            //printf("%d\n", idx); 
            u_char *buf = (u_char *) NETMAP_BUF(ring, idx); //得到存有到来数据包的地址 
 
            // builtin_prefetch(buf); 
            hdr->ts = ring->ts; 
            hdr->len = hdr->caplen = ring->slot[i].len; 
            ring->cur = nm_ring_next(ring, i); //ring->cur 向后移动一位 
            /* we could postpone advancing head if we want 
             * to hold the buffer. This can be supported in 
             * the future. 
             */ 
            ring->head = ring->cur; 
            d->cur_rx_ring = ri; //将当前环(d->cur_rx_ring)指向第 ri 个(因为可能有多个环)。 
            return buf; //将数据包地址返回 
        } 
        ri++; 
        if (ri > d->last_rx_ring) //如果 ri 超过了 rx 环的数量,则再从第一个 rx 环开始检测是否有包到来。 
            ri = d->first_rx_ring; 
    } while (ri != d->cur_rx_ring); 
    return NULL; /* 什么也没发现 */ 
} 

8.nm_inject 函数


1.nm_inject()是用来往共享内存中写入待发送的数据包数据的。数据包经共享内存拷贝到网卡,然后发送出去。所以 nm_inject()是用来发包的。
2.nm_inject()也会查找所有的发送环(tx 环),找到一个可以发送的槽,就将数据包写入并返回,所以每次函数调用也只能发送一个包。

static int nm_inject(struct nm_desc *d, const void *buf, size_t size) 
{ 
    u_int c, n = d->last_tx_ring - d->first_tx_ring + 1; 
 
    for (c = 0; c < n; c++) 
    { 
        /* 计算当前的环去使用(compute current ring to use) */ 
        struct netmap_ring *ring; 
        uint32_t i, idx; 
        uint32_t ri = d->cur_tx_ring + c; //该访问第几个 tx 环了 
 
        if (ri > d->last_tx_ring) //当超过访问的 tx 环的下标范围时, 从头开始访问 
            ri = d->first_tx_ring; 
        ring = NETMAP_TXRING(d->nifp, ri); //得到当前 tx 环的地址 
        if (nm_ring_empty(ring)) //如果当前 tx 环是满的(ring->cur=ring->tail 表示没地方存数据包了),就跳过 
        static int nm_inject(struct nm_desc *d, const void *buf, size_t size) 
{ 
    u_int c, n = d->last_tx_ring - d->first_tx_ring + 1; 
 
    for (c = 0; c < n; c++) 
    { 
        /* 计算当前的环去使用(compute current ring to use) */ 
        struct netmap_ring *ring; 
        uint32_t i, idx; 
        uint32_t ri = d->cur_tx_ring + c; //该访问第几个 tx 环了 
 
        if (ri > d->last_tx_ring) //当超过访问的 tx 环的下标范围时, 从头开始访问 
            ri = d->first_tx_ring; 
        ring = NETMAP_TXRING(d->nifp, ri); //得到当前 tx 环的地址 
        if (nm_ring_empty(ring)) //如果当前 tx 环是满的(ring->cur=ring->tail 表示没地方存数据包了),就跳过 

9.nm_close 函数

  • 1.nm_close 函数就是回收动态内存,回收共享内存,关闭文件描述符什么的了。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:/a/135646.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

链表的逆置

方法1&#xff1a; 依次将指针反向&#xff0c;最后令头指针指向尾元素。 逆置过程如下&#xff1a; 当q指针为空时&#xff0c;循环结束。 //试写一算法&#xff0c;对单链表实现就地逆置&#xff0c; void Reverse1(List plist)//太复杂,不用掌握 {assert(plist ! NULL);i…

大二第四周总结——用原生js封装一个分页器

用原生js封装一个分页器 起因&#xff1a;这次项目还是用原生的js来写的&#xff0c;我负责的是后台&#xff0c;分页是后台最常见的一个功能了&#xff0c;于是干脆封装一下,废话少说&#xff0c;直接上代码 这里是基本的样式 .pagination {display: flex;width: 600px;hei…

git的分支及标签使用结合全网最详细的情景演示

目录 一git的分支 ⭐⭐ 补充一个拓展知识&#xff1a; 1.1 git分支 1.2 git分支的增删查命令 1.3 情景演示 二.git标签 2.1 分支与标签的关系 2.2 git标签的基本命令 2.3 情景演示 一git的分支 ⭐⭐ 补充一个拓展知识&#xff1a; 软件开发中常见的四个环境&…

jdk21 虚拟线程原理及使用分享

虚拟线程概述 jdk21已于北京时间9月19日21点正式发布, 其中引人注目的就是虚拟线程(Virtual Thread)随之正式发布, 不再是此前jdk19、jdk20中的预览版本。 平台线程&#xff1a;java传统的线程是对系统线程的包装&#xff0c;为了区别于虚拟线程&#xff0c;因此将通过传统方式…

【Git】工作中的留痕:分支及标签的超神搭配

&#x1f973;&#x1f973;Welcome Huihuis Code World ! !&#x1f973;&#x1f973; 接下来看看由辉辉所写的关于Git的相关操作吧 目录 &#x1f973;&#x1f973;Welcome Huihuis Code World ! !&#x1f973;&#x1f973; 一.Git分支是什么 二.Git分支的使用 1.分…

HTTPS协议

目录 HTTPS概念加密是什么常见加密方式对称加密非对称加密数据摘要&&数据指纹数据签名 HTTP工作过程探究方案一&#xff1a;只使用对称加密方案二&#xff1a;只使用非对称加密方案三&#xff1a;双方都使用非对称加密方案四&#xff1a;非对称加密对称加密中间人攻击 …

常见面试题-JDK和CGLIB动态代理

JDK 动态代理和 CGLIB 动态代理对比 JDK 动态代理只能代理实现了接口的类&#xff0c;而 CGLIB 可以代理未实现任何接口的类。另外CGLIB 动态代理是通过生成一个被代理类的子类来拦截被代理类的方法调用&#xff0c;因此不能代理声明为final 类型的类和方法就二者的效率来说&a…

Unbuntu安装、测试和卸载gcc11

GCC 可用于编译 C、C&#xff0c;本文介绍如何 Ubuntu 上安装 gcc11、测试和卸载它。 1. 在Ubuntu 上安装 gcc11 添加工具链存储库 sudo add-apt-repository -y ppa:ubuntu-toolchain-r/test在 Ubuntu 上安装 gcc11 sudo apt install -y gcc-11验证 gcc11 版本 gcc-11 --v…

AI:80-基于深度学习的医学图像分割与病变识别

🚀 本文选自专栏:人工智能领域200例教程专栏 从基础到实践,深入学习。无论你是初学者还是经验丰富的老手,对于本专栏案例和项目实践都有参考学习意义。 ✨✨✨ 每一个案例都附带有在本地跑过的代码,详细讲解供大家学习,希望可以帮到大家。欢迎订阅支持,正在不断更新中,…

数据架构与数据模型

数据架构&#xff1a; 待定 数据模型&#xff1a; 数据模型是对现实世界数据特征的抽象&#xff0c;用于描述一组数据的概念和定义。数据模型从抽象层次上描述了数据的静态特征、动态行为和约束条件。数据模型所描述的内容有三部分&#xff0c;分别是数据结构、数据操作和数…

数据结构与算法 | 第四章:字符串

本文参考网课为 数据结构与算法 1 第四章字符串&#xff0c;主讲人 张铭 、王腾蛟 、赵海燕 、宋国杰 、邹磊 、黄群。 本文使用IDE为 Clion&#xff0c;开发环境 C14。 更新&#xff1a;2023 / 11 / 12 数据结构与算法 | 第四章&#xff1a;字符串 字符串概念字符串字符字符…

rocksdb中测试工具Benchmark.sh用法(基准、性能测试)

1.首先要安装db_bench工具&#xff0c;这个工具在成功安装rocksdb之后就自动存在了&#xff0c;主要是在使用make命令之后就成功安装了&#xff0c;详情请见我之前的文章 2.确保成功安装db_bench之后&#xff0c;找到安装的rocksdb目录下面的tools文件夹&#xff0c;查看里面是…

如何让VirtualBox系统使用Ubuntu主机的USB

如何让VirtualBox系统使用Ubuntu主机的USB 当通过 VirtualBox 尝试不同的操作系统时&#xff0c;访问虚拟机中的 USB 驱动器来传输数据非常有用。 安装Guest Additions 自行百度安装Guest Additions的方法&#xff0c;最终的效果如下&#xff1a; 将用户添加到 vboxusers 组…

前端面试题 计算机网络

文章目录 ios 7层协议tcp协议和udp协议的区别tcp协议如何确保数据的可靠http和tcp的关系url输入地址到呈现网页有哪些步骤post和get本质区别&#xff0c;什么时候会触发二次预检GET请求&#xff1a;POST请求&#xff1a;触发二次预检&#xff08;CORS中的预检请求&#xff09;&…

通过结构间比值比较迭代次数

( A, B )---3-30-2---( 1, 0 )( 0, 1 ) 让网络的输入只有3个节点&#xff0c;A有5个点&#xff0c;B全是0&#xff0c;排列组合。让A,B训练集分别有3&#xff0c;4&#xff0c;5&#xff0c;6张图片&#xff0c;统计迭代次数并排序。 先比较图片数量是3和4的情况 n4 迭代次数…

移植LVGL到单片机的一个demo简单介绍

简介 背景&#xff1a; 本文使用的是主控IC为stm32f103zet6, 显示IC为ST7735s&#xff0c;它是128*160的像素&#xff0c;色深为RGB565颜色。 官方虽然说LVGL移植平台只需 64kB 闪存和 8kB RAM 就足以满足简单的用户界面。但我移植到stm32f103c8t6&#xff0c;不管怎么修改配…

【数据结构】入队序列出队序列问题(以21年408真题举例)

题型说明 一般是一个队列&#xff0c;其中一边可以入队&#xff0c;另一边可以入队和出队只可入队的含义是从这个方向是以队列形式存在可以入队和出队表示此边以堆形式存在 怎么分析&#xff1f; 以21年408真题举例 考点分析 出队序列存在两种情况&#xff1a;入之后就出&…

是谁为所欲为,将我的电脑控作己用?

在刚刚发完短篇小杂文《要找事做&#xff0c;我真怕被闲死》的投稿之后&#xff0c;笔者继续浏览社交网站的网页搜索...... 正看到《温州殡仪馆 》《温州动车723事故死亡高 》《 动车脱轨温州事件真正原因》《 浙江平阳县灭门惨案处理结果公布》《 温州厉秀珍死亡 》这一串又一…

从HDFS到对象存储,抛弃Hadoop,数据湖才能重获新生?

Hadoop与数据湖的关系 1、Hadoop时代的落幕2、Databricks和Snowflake做对了什么3、Hadoop与对象存储&#xff08;OSD&#xff09;4、Databricks与Snowflake为什么选择对象存储5、对象存储面临的挑战 1、Hadoop时代的落幕 十几年前&#xff0c;Hadoop是解决大规模数据分析的“白…