网络编程之XDP技术介绍

一、简介

XDP:eXpress Data Path,快速数据面,听名字是不是很高大上。其实它就是一个快速处理Rx数据包的数据面技术。为什么现在对数据处理如此敏感?原因非常简单,随着网络的不断覆盖社会的各个层面,海量的数据不断出现,而处理这些数据就要求一个字,快。
无论是Linux亦或是Windows,它们都产生于早期的计算机系统,对快速的网络数据处理,大多天生就带有一些不足,这也导致了很多的问题。一般来说,操作系统的特点就是要有相当大的通用性,而这种通用性往往也是性能的瓶颈,这个瓶颈自然也包括网络数据通信。如果说早期的网络尚未普及阶段,数据的量对计算机来说还是可以承受的,但随着网络带宽的不断增加,大型网站的不断出现,导致大规模的并发不断出现,从而使得数据量以无法想象的速度快速增长。通用型的设计在面对这些场景时往往力不从心。
当双11和618的同时支付数量不断上升到一个新层面时,当大量的在线视频用户不断突破上限时…,新的技术需求已经涌现。而针对这些需求,除了应用层、中间层的不断发展,对操作系统也不可避免的提出了更高的技术要求。虽然做为操作系统稳定压倒一切,但稳定不代表不前进。
在前面的文章“eBPF介绍”中就已经对eBPF进行了初步的分析。而此篇的XDP技术就是基于此技术的。

二、原理

在早期的网络编程中,一般能到C1K就已经不错了,后来提高到C10K,C100K,C1000K…可以负责任的说,这个数字一定会继续发展下去。那么,传统的Linux系统对网络协议栈的处理未免有些跟不上潮流。当各种的优化,不管是从硬件还是驱动还是OS还是应用层,都无能为力时,但网卡的性能还在不断增加,传输速率从10G到100G而且还在不断的增加时,新的技术就会应运而生。Intel公司率先提出了自己的解决方案DPDK,但做一家知名的大公司与开源的Linux天生就不会合群的,你有的,Linux一定也会有的,这也就是David S. Miller说的那句名言“DPDK is not Linux”。随着Linux技术准备完成,在Linux4.8以上版本,提供了XDP技术支持。
XDP可以理解成一个Linux内核网络栈的最底层的数据处理机制,利用钩子为BPF提供了一个加载的入口。而这个入口可以直接操作数据而无需劳动内核其它的部分。说的简单一些,去一家公司办事,在门口就被拦了下来,能处理就处理,不能处理的再按套路来。这样,就灵活快捷了很多。XDP只能用来处理Rx路径上的数据包而不会处理Tx路径上的数据包。

在这里插入图片描述

XDP有三种处理模式:
1、offload(卸载)模式即网卡需要支持将XDP程序直接运行到网卡上。这种械是最强的编程模式,它可以直接在最原始的网络数据入口处对数据进行处理(过滤、丢弃等),其效率和速度当然是最好的,但缺点是它需要硬件的支持即NIC的支持,这个就比较麻烦了。一般来说,硬件厂商是无利不起早的,所以这个模式目前还有点难缠。
2、native(原生或者本地)模式,相对于上面的处理,退而求其次,运行在网卡驱动中,而这种层级,也是相当底层的,处理数据的性能也非常高。相对来说,驱动做为一种固件,升级还是比硬件升级容易不少,所以在这种模式下支持XDP程序的网卡还是有不少。
3、generic(通用)模式,一听通用,大家可能明白了,这就是一种兼容模式。也就是说网卡不支持,驱动不支持都没事儿,反正现在是虚拟的设备横行。没有可以模拟出一个来,但这样一来,对内核的要求就高了。当然,模拟的总归不如真实的,直接的表现就是性能会显著降低。网上的资料其与native模式大约有10倍左右的差距。

在这里插入图片描述

XDP通过上述的方式提供了内核网络栈的可编程机会并且解决了使用kernel bypass出现的一些问题,这才是重点。

三、优点和缺点

一个技术不可能光有优点也不可能光有缺点,对XDP而言也是如此:
XDP的优点主要有:
1、对网络数据处理及时、快捷
2、性能高度优化
3、支持指令虚拟机(BPF)
4、可扩展
5、可编程
6、不需要专门的硬件
7、不需要kernel bypass(或者说Linux自己的kernel bypass)
8、与传统网络协议栈(TCP/IP)很好融合
XDP的缺点:
1、通用性差,毕竟XDP是专用的
2、XDP没有缓存队列,所以可能在Tx和Rx不匹配时,可能丢包
3、对IP分片支持不友好

四、应用

明白了XDP的优势,就可以有针对性的在相应的场景下应用:
1、防火墙,各种数据过滤
2、阻止一些网络攻击,如DDoS
3、处理网络的负载均衡
4、高并发处理(如交易、金融等)
5、网络数据采集(采样和统计分析等)

五、总结

我们学习了很多的Linux的相关的新技术,这次又是XDP。网络技术的不断前进最主要的原因是需求的爆发式增长,为了解决问题,各种技术不断的涌现,有临时的,有侧重一点的,有关心一层的,诸多种类,不一而足。学习一个技术点,然后将其它相关的技术点整合成线,最终融合成面,那么对这些相关的技术的整体综合运用就会得心应手。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mfbz.cn/a/691217.html

如若内容造成侵权/违法违规/事实不符,请联系我们进行投诉反馈qq邮箱809451989@qq.com,一经查实,立即删除!

相关文章

手撕C语言题典——相交链表

目录 前言 一,思路 1)暴力 2)同步指针 二,代码实现 前言 依旧是力扣上的一道题,有许多新思路提供给我们 160. 相交链表 - 力扣(LeetCode)https://leetcode.cn/problems/intersection-of-two-linked-li…

烧写uboot、linux镜像、根文件系统到开发板

烧写uboot、linux镜像、根文件系统到开发板 环境介绍 本博客使用x6818开发板。 公司:三星 ARM架构 Cortex-A53核 型号:S5P6818 特性:8核,最高主频2GHz 烧写uboot 使用网络烧写 网络烧写上位机是Ubuntu虚拟机。 先利用上…

运 算 符

算术运算符 算术运算符包括:,-,*,/,%,,-- 当左右两边都是数值型时,则做加法运算。 当左右两边有一方为字符串,则做拼接运算。任何一个 Java 对象都可以转换为字符串。 …

【Python】 闭包

什么是闭包 用一句话粗略概况为:在一个函数内,读取外部函数定义的变量的机制。更一般地说,闭包函数是带有状态的函数,状态是指调用环境的上下文,当函数带上了状态就是闭包。 如下代码,在函数f内定义了一个…

pyinstall 打包 paddleocr 成为.exe文件步骤

一、首先进入虚拟环境 使用pip安装pyinstaller pip install pyinstaller我的已经安装完成 二、用cmd进入当前打包文件夹下,新建使spec文件内容如下 注意:其中需要修改的部分是pathex中文件所在路径文件内容摘抄自另一篇博文(❄点击可查看❄) # -*- m…

pytorch 加权CE_loss实现(语义分割中的类不平衡使用)

加权CE_loss和BCE_loss稍有不同 1.标签为long类型,BCE标签为float类型 2.当reduction为mean时计算每个像素点的损失的平均,BCE除以像素数得到平均值,CE除以像素对应的权重之和得到平均值。 参数配置torch.nn.CrossEntropyLoss(weightNone,…

2024 cicsn ezbuf

文章目录 参考protobuf逆向学习复原结构思路exp 参考 https://www.y4ng.cn/posts/pwn/protobuf/#ciscn-2024-ezbuf protobuf 当时压根不知道用了protobuf这个玩意,提取工具也没提取出来,还是做题做太少了,很多关键性的结构都没看出来是pro…

Vue的基础知识:v-model的原理,由:value与@input合写。

原理:v-model本质上是一个语法糖,比如应用在输入框上,就是value属性和input事件的合写。(补充说明:语法糖就是语法的简写) 作用:提供数据的双向绑定 1.数据变,视图(也就…

spring-kafka-生产者服务搭建测试(SpringBoot整合Kafka)

文章目录 1、生产者服务搭建1.1、引入spring-kafka依赖1.2、application.yml配置----v1版1.3、使用Java代码创建主题分区副本1.4、发送消息 1、生产者服务搭建 1.1、引入spring-kafka依赖 <?xml version"1.0" encoding"UTF-8"?> <project xml…

王学岗鸿蒙开发(北向)——————(七)ArkUi的各种装饰器

arts包含如下&#xff1a;1&#xff0c;装饰器 &#xff1b;2&#xff0c;组件的描述(build函数)&#xff1b;3&#xff0c;自定义组件(Component修饰的),是可复用的单元&#xff1b;4&#xff0c;系统的组件(鸿蒙官方提供)&#xff1b;等 装饰器的作用:装饰类、变量、方法、结…

【Qt】Frame和Widget的区别

1. 这两个伙计有啥区别&#xff1f; 2. 区别 2.1 Frame继承自Widget&#xff0c;多了一些专有的功能 Frame Widget 2.2 Frame可以设置边框

【Python列表解锁】:掌握序列精髓,驾驭动态数据集合

文章目录 &#x1f680;一、列表&#x1f308;二、常规操作&#x1f4a5;增&#x1f4a5;删&#x1f4a5;改&#x1f4a5;查 ⭐三、补充操作 &#x1f680;一、列表 列表是一个能够存储多个同一或不同元素的序列 列表&#xff1a;list ---- [] 列表属于序列类型&#xff08;容器…

Unity2D游戏制作入门 | 09(之人物动画制作)

上期链接&#xff1a;Unity2D游戏制作入门 | 08-CSDN博客 人物走路动画逻辑补充&#xff08;该帖没有的内容&#xff0c;我给补充了请先看完这帖&#xff0c;再去看补充&#xff09;&#xff1a;人物按下shifit走路动画设定09&#xff08;第九期先行补充&#xff09; 上期我们…

汇编语言(keil)

1、读内存&#xff1a;Load LDR R0,[R1,#4]; 读地址“R14”&#xff0c;得到的4字节数据存入R0。 2、写内存&#xff1a;Stroe STR R0,[R1,#4]; 把R0的4字节数据写入地址“R14”。 3、加减 ADD R0,R1,R2; R0R1R2 ADD R0,R0,#1; R0R01 SUB R0,R1,R2; R0R1-R…

GiantPandaCV | 提升分类模型acc(一):BatchSizeLARS

本文来源公众号“GiantPandaCV”&#xff0c;仅用于学术分享&#xff0c;侵权删&#xff0c;干货满满。 原文链接&#xff1a;提升分类模型acc(一)&#xff1a;BatchSize&LARS 在使用大的bs训练情况下&#xff0c;会对精度有一定程度的损失&#xff0c;本文探讨了训练的b…

【CS.SE】端午节特辑:Docker容器化技术详解与实战

端午节, 先祝愿大家端午安康&#xff0c;阖家幸福, 哈哈&#xff01;这篇讲下Docker这一现代软件开发中不可或缺的技术。软件工程涉及软件开发的整个生命周期&#xff0c;包括需求分析、设计、构建、测试、部署和维护。Docker作为一种容器化技术&#xff0c;直接关联到软件部署…

WWDC 2024前瞻:苹果如何用AI技术重塑iOS 18和Siri

苹果下周的全球开发者大会有望成为这家 iPhone 制造商历史上的关键时刻。在 WWDC 上&#xff0c;这家库比蒂诺科技巨头将展示如何选择将人工智能技术集成到其设备和软件中&#xff0c;包括通过与 OpenAI 的历史性合作伙伴关系。随着重大事件的临近&#xff0c;有关 iOS 18 及其…

uniapp引入uview无代码提示

前提安装正确&#xff1a; 无论是基于npm和Hbuilder X方式安装&#xff0c;一定要配置正确。 解决办法 以前在pages.json里面的写法&#xff1a; "easycom": {"^u-(.*)": "uview-ui/components/u-$1/u-$1.vue" }但是现在hbuilderx要求规范ea…

【小白专用24.6.8】C# 异步任务Task和异步方法async/await详解

一、什么是异步 同步和异步主要用于修饰方法。当一个方法被调用时&#xff0c;调用者需要等待该方法执行完毕并返回才能继续执行&#xff0c;我们称这个方法是同步方法&#xff1b;当一个方法被调用时立即返回&#xff0c;并获取一个线程执行该方法内部的业务&#xff0c;调用…

springboot+minio+kkfileview实现文件的在线预览

在原来的文章中已经讲述过springbootminio的开发过程&#xff0c;这里不做讲述。 原文章地址&#xff1a; https://blog.csdn.net/qq_39990869/article/details/131598884?spm1001.2014.3001.5501 如果你的项目只是需要在线预览图片或者视频那么可以使用minio自己的预览地址进…