一、__tcp_transmit_skb讲解
这个函数 __tcp_transmit_skb() 是 Linux 内核中 TCP/IP 协议栈的一部分,负责处理传输控制协议(TCP)数据包的发送。具体来说,这个函数将 TCP 头部添加到一个没有任何头部信息的 socket buffer (sk_buff) 数据包上,然后使用 IP 层进行进一步处理,并将数据包发送到网络设备。接下来用中文逐段说明函数的工作过程:
1. 函数接收一些参数:`sk`是指向socket结构的指针,`skb`是待发送的数据包,`clone_it`指示是否需要克隆`skb`,`gfp_mask`定义了内存分配标志,`rcv_nxt`是接收方期望收到的下一个序列号。
2. 它初始化了一些 TCP 和 IP 的相关结构,并检查传入的`skb`必须有有效的数据。
3. 如果`clone_it`为真(非0),函数将复制原始的`skb`。复制可能通过克隆(仅复制数据包头部)或完整复制来实现,具体取决于原始`skb`是否已被其他代码克隆。复制失败,函数返回错误:`-ENOBUFS`表示没有足够的缓冲区。
4. 函数计算了 TCP 头部大小,这包括 TCP 选项(如最大段大小、时间戳等的选项)。
5. 函数设置了一些标记来指示数据包是否可以被重排(`ooo_okay`)和是否因为使用了保留内存而可能会被丢弃(`pfmemalloc`)。
6. 通过`skb_push`向数据包添加 TCP 头部,并重置传输层头部指针。
7. 设置数据包的一些属性,如所有权、销毁函数和哈希值。
8. 把 TCP 头部中的字段(source port、destination port、sequence number、acknowledgement number 等)填充到`skb->data`指向的内存中。
9. 如果启用了 TCP MD5 签名选项并且是必要的话,计算 MD5 哈希。
10. 通过`icsk->icsk_af_ops->send_check` 计算发送校验和。
11. 如果数据包是一个确认 ACK,那么通过`tcp_event_ack_sent()`更新相关统计信息。
12. 如果`skb`包含数据(不只是一个 TCP 头部),那么函数将更新发送的数据统计信息,并可能进行 TCP 内部流控。
13. 更新 TCP 状态统计,并且,如果数据包是 GSO(Generic Segmentation Offload)类型的话,设置 GSO 相关字段。
14. 清除`skb->cb`(控制缓冲区)中可能由底层 IP 代码使用过的任何信息。
15. 最后,函数通过`icsk->icsk_af_ops->queue_xmit`函数将数据包发送到网络队列,等待网络设备处理。
16. 如果`queue_xmit`返回错误,那么更新 TCP 状态以响应网络拥塞,并找出实际的错误代码。
17. 如果已经成功地发送了数据包并且有一个原始数据包 oskb,那么更新它的状态并记录发送速率。
整体来说,`__tcp_transmit_skb()` 是一个在内核中发送 TCP 数据包的核心函数,涉及到从 TCP 头部创建,选项处理,到最终数据包发送到网络设备的很多步骤。
二、__tcp_transmit_skb中文注释
/* 这个例程实际上是发送由tcp_do_sendmsg()排队的TCP数据包。
* 它被用于初始传输和可能的后续重传。
* 这里看到的所有SKB(socket缓冲区)都是完全无头的。我们的任务是构建TCP头,
* 然后把数据包传递给IP层,以便它也能做相同的操作,并且将数据包交给
* 物理设备。
*
* 我们在这里工作的是原始SKB的一个克隆,或者是由重传引擎制作的
* 一个全新的独立副本。
*/
static int __tcp_transmit_skb(struct sock *sk, struct sk_buff *skb,
int clone_it, gfp_t gfp_mask, u32 rcv_nxt)
{
// 与此套接字相关的TCP连接的inet结构体。
const struct inet_connection_sock *icsk = inet_csk(sk);
struct inet_sock *inet;
struct tcp_sock *tp;
struct tcp_skb_cb *tcb;
// 定义TCP头部选项。
struct tcp_out_options opts;
unsigned int tcp_options_size, tcp_header_size;
struct sk_buff *oskb = NULL;
struct tcp_md5sig_key *md5;
struct tcphdr *th;
int err;
// 如果没有skb或者skb中没有计数的TCP段,则抛出bug。
BUG_ON(!skb || !tcp_skb_pcount(skb));
tp = tcp_sk(sk);
// 如果需要克隆skb。
if (clone_it) {
// 记录在飞数据量。
TCP_SKB_CB(skb)->tx.in_flight = TCP_SKB_CB(skb)->end_seq
- tp->snd_una;
oskb = skb;
// 尝试保存TCP段排序状态,克隆或者复制skb,然后恢复排序状态。
tcp_skb_tsorted_save(oskb) {
if (unlikely(skb_cloned(oskb)))
skb = pskb_copy(oskb, gfp_mask);
else
skb = skb_clone(oskb, gfp_mask);
} tcp_skb_tsorted_restore(oskb);
// 如果skb克隆/复制失败,则返回内存不足。
if (unlikely(!skb))
return -ENOBUFS;
}
// 记录skb的时间戳。
skb->skb_mstamp = tp->tcp_mstamp;
inet = inet_sk(sk);
tcb = TCP_SKB_CB(skb);
// 清除opts内存区域。
memset(&opts, 0, sizeof(opts));
// 如果skb是SYN包,则根据SYN包设置TCP选项,否则根据已建立连接设置TCP选项。
if (unlikely(tcb->tcp_flags & TCPHDR_SYN))
tcp_options_size = tcp_syn_options(sk, skb, &opts, &md5);
else
tcp_options_size = tcp_established_options(sk, skb, &opts,
&md5);
// 计算TCP头部大小。
tcp_header_size = tcp_options_size + sizeof(struct tcphdr);
// 如果qdisc/设备队列中没有数据包,则XPS可以选择另一个队列。
// 我们可能从持有对sk的引用的tcp_tsq_handler()调用它。
skb->ooo_okay = sk_wmem_alloc_get(sk) < SKB_TRUESIZE(1);
// 如果我们使用了内存保留区来分配这个skb,如果数据包被回环了可能会造成丢包:
// 其他的套接字可能没有设置SOCK_MEMALLOC。非回环的数据包则不论pfmemalloc。
skb->pfmemalloc = 0;
// 在skb头部加上TCP头部大小的数据,并重新设置传输层头部。
skb_push(skb, tcp_header_size);
skb_reset_transport_header(skb);
// 将skb设为孤立状态。
skb_orphan(skb);
// 将skb和sock关联起来,并设置skb的析构函数。
skb->sk = sk;
skb->destructor = skb_is_tcp_pure_ack(skb) ? __sock_wfree : tcp_wfree;
// 从sock中设定skb的哈希值。
skb_set_hash_from_sk(skb, sk);
// 增加skb占用的内存大小计数。
refcount_add(skb->truesize, &sk->sk_wmem_alloc);
// 设置skb等待确认的状态。
skb_set_dst_pending_confirm(skb, sk->sk_dst_pending_confirm);
// 构建TCP头并校验它。
th = (struct tcphdr *)skb->data;
// 设置源端口和目的端口。
th->source = inet->inet_sport;
th->dest = inet->inet_dport;
// 设置序列号和确认号。
th->seq = htonl(tcb->seq);
th->ack_seq = htonl(rcv_nxt);
// 设置TCP头部中除了前面两个字节之外的字段。
(((__be16 )th) + 6) = htons(((tcp_header_size >> 2) << 12) |
tcb->tcp_flags);
th->check = 0;
th->urg_ptr = 0;
// 如果当前包含紧急指针的包在snd_una探测窗口之下,
// 则需要设置紧急指针。
if (unlikely(tcp_urg_mode(tp) && before(tcb->seq, tp->snd_up))) {
if (before(tp->snd_up, tcb->seq + 0x10000)) {
th->urg_ptr = htons(tp->snd_up - tcb->seq);
th->urg = 1;
} else if (after(tcb->seq + 0xFFFF, tp->snd_nxt)) {
th->urg_ptr = htons(0xFFFF);
th->urg = 1;
}
}
// 将TCP选项复制到TCP头之后的空间。
tcp_options_write((__be32 *)(th + 1), tp, &opts);
// 设置skb的GSO类型。
skb_shinfo(skb)->gso_type = sk->sk_gso_type;
// 如果不是SYN包,设置TCP窗口大小,并在需要时标记ECN标志;如果是SYN包,设置初始窗口大小。
if (likely(!(tcb->tcp_flags & TCPHDR_SYN))) {
th->window = htons(tcp_select_window(sk));
// 如果可能,发送ECN通告。
tcp_ecn_send(sk, skb, th, tcp_header_size);
} else {
/* RFC1323: 在SYN和SYN/ACK段中的窗口大小
* 是不会被扩大的。
*/
th->window = htons(min(tp->rcv_wnd, 65535U));
}
#ifdef CONFIG_TCP_MD5SIG
// 如果启用了MD5签名,计算MD5哈希,因为我们现在有了所需的全部数据。
if (md5) {
sk_nocaps_add(sk, NETIF_F_GSO_MASK);
tp->af_specific->calc_md5_hash(opts.hash_location,
md5, sk, skb);
}
#endif
// 由底层网络函数完成skb的校验和。
icsk->icsk_af_ops->send_check(sk, skb);
// 如果skb中设置了TCPHDR_ACK标志,则记录ACK已发送的事件。
if (likely(tcb->tcp_flags & TCPHDR_ACK))
tcp_event_ack_sent(sk, tcp_skb_pcount(skb), rcv_nxt);
// 如果skb的长度不只是TCP头部的长度,表示有数据被发送,
// 更新统计信息。
if (skb->len != tcp_header_size) {
tcp_event_data_sent(tp, sk);
tp->data_segs_out += tcp_skb_pcount(skb);
tp->bytes_sent += skb->len - tcp_header_size;
// 基于内部节流算法对发送的数据包进行速度控制。
tcp_internal_pacing(sk, skb);
}
// 如果当前数据段的结束序列号在snd_nxt之后或与之相等,
// 或者如果是一个单独的序列号,更新发送的数据包统计。
if (after(tcb->end_seq, tp->snd_nxt) || tcb->seq == tcb->end_seq)
TCP_ADD_STATS(sock_net(sk), TCP_MIB_OUTSEGS,
tcp_skb_pcount(skb));
tp->segs_out += tcp_skb_pcount(skb);
// 设置skb中GSO(分段卸载)相关的字段。
skb_shinfo(skb)->gso_segs = tcp_skb_pcount(skb);
skb_shinfo(skb)->gso_size = tcp_skb_mss(skb);
// 我们使用的时间戳应保持私有。
skb->tstamp = 0;
// 清理我们对IP栈的"痕迹",重置skb的控制块。
memset(skb->cb, 0, max(sizeof(struct inet_skb_parm),
sizeof(struct inet6_skb_parm)));
// 通过网络函数将skb发送出去。
err = icsk->icsk_af_ops->queue_xmit(sk, skb, &inet->cork.fl);
// 如果出现错误,调用tcp_enter_cwr函数进入拥塞窗口减少状态,并评估错误。
if (unlikely(err > 0)) {
tcp_enter_cwr(sk);
err = net_xmit_eval(err);
}
// 如果发送成功并且有原始的skb,更新相关统计数据。
if (!err && oskb) {
tcp_update_skb_after_send(tp, oskb);
tcp_rate_skb_sent(sk, oskb);
}
// 返回错误码。
return err;
}
这段代码是Linux内核中处理TCP数据包发送的例程,其中使用了网络编程和内核编程的深层次的知识,包括:对socket缓冲区(SKB)的操作,网络协议栈(如TCP/IP)的详细处理,以及用于数据包发送的内核API。
三、tcp_transmit_skb
这个函数 tcp_transmit_skb 是用于发送一个TCP数据包的函数,它是一个简单的包装函数,调用了内部实现 __tcp_transmit_skb。
参数解释:
- struct sock *sk: 这代表一个TCP套接字,包含了TCP连接的状态信息。
- struct sk_buff *skb: 这是要发送的数据包缓冲区,它不包含TCP头部,由 __tcp_transmit_skb 函数负责构建。
- int clone_it: 这是一个标志,用来决定是否需要复制(或者说克隆)给定的SKB数据包。
- gfp_t gfp_mask: 这是内存分配标志,决定了函数在需要内存时的行为。
函数的主体调用 __tcp_transmit_skb,传递了给定的参数,并在调用时,获取了当前的TCP套接字状态,尤其是 tcp_sk(sk)->rcv_nxt。`rcv_nxt` 代表了下一个期望接收的序列号,这通常要作为ACK在TCP头部中回复给发送方。
在函数调用 __tcp_transmit_skb 后,任何实际的数据包传输、重传和解包处理都是在 __tcp_transmit_skb 函数中完成的,而 tcp_transmit_skb 本身的作用主要是一个中间调用层。
这个函数是Linux内核网络协议栈中的一部分,特定于TCP协议的传输控制块(Transmission Control Block)的处理程序。它的作用是发送一个TCP段。以下是该函数的中文注释:
// tcp_transmit_skb 是一个静态函数,其目的是发送一个 TCP 段(segment)。
// 参数:
// sk: 指向相关TCP套接字的指针。
// skb: 要发送的套接字缓冲区(sk_buff)的指针。
// clone_it: 一个整数标志,指示是否需要克隆skb,非0表示需要克隆。
// gfp_mask: 内存分配时使用的标志,确定GFP(Get Free Page)的行为。
static int tcp_transmit_skb(struct sock *sk, struct sk_buff *skb, int clone_it,
gfp_t gfp_mask)
{
// 调用具体的发送函数 __tcp_transmit_skb 来处理实际的发送逻辑。
// 传入参数sk (套接字结构体指针)和skb (套接字缓冲区指针)。
// 参数clone_it用于控制是否克隆skb。
// 参数gfp_mask用于内存分配的GFP控制。
// 函数内部使用tcp_sk(sk)->rcv_nxt来获取当前TCP连接的下一个期望接收的序列号,
// 作为发送时序列号的参数。
return __tcp_transmit_skb(sk, skb, clone_it, gfp_mask, tcp_sk(sk)->rcv_nxt);
}
此函数实质上是个包装函数,它只是简单地把参数传递给实际的发送函数 __tcp_transmit_skb
,同时取出TCP socket中的 rcv_nxt
字段(即下一个期望接收的TCP序列号)作为参数之一。在TCP通信中,发送方和接收方都需要维护对方的序列号,这对确保数据包的顺序和完整性至关重要。此函数的返回值是由 __tcp_transmit_skb
决定的,通常表示发送操作的成功与否。