一、深入理解 Linux 的文件描述符（File Descriptor）

1. 文件描述符的概念

文件描述符（File Descriptor，简称 FD）是一个整数，它作为操作系统内部的一个索引，用于指代正在打开的文件、套接字（Socket）、管道（Pipe）等I/O资源。在 Linux 和类 Unix 系统中，几乎所有的 I/O 操作都是通过文件描述符进行的。文件描述符是操作系统为进程提供的一种机制，用于标识和管理进程与内核间的文件操作接口。
文件描述符由 内核 分配，并由 进程 使用。每个进程都有一个文件描述符表，表中存储了该进程打开的文件和其他 I/O 资源（如套接字、管道等）的描述信息。

2. 文件描述符的分类

标准输入（stdin）：文件描述符 0。
标准输出（stdout）：文件描述符 1。
标准错误（stderr）：文件描述符 2。
这些是操作系统预定义的文件描述符，通常用于控制台 I/O。除此之外，进程可以通过 open() 系统调用打开文件、套接字等其他资源，内核会返回一个文件描述符来引用该资源。

3. 文件描述符的作用

文件描述符作为一个 索引，指向一个内核的数据结构，它记录了文件的状态信息（如文件位置、文件打开模式等）。当进程需要进行 I/O 操作时，通过文件描述符来查找相关资源，并执行读写操作。

二、文件描述符的限制

在 Linux 系统中，每个进程对文件描述符有 数量限制，这意味着每个进程可以打开的文件、套接字、管道等资源的数量是有限的。文件描述符的数量限制分为两种：

软限制（soft limit）：当前进程的文件描述符最大数量，可以由进程在运行时改变，但不能超过硬限制。
硬限制（hard limit）：一个进程能够设置的最大文件描述符数量上限，通常是由系统管理员或操作系统设定的。

1. 查看文件描述符的限制

你可以使用 ulimit 命令查看和设置文件描述符的限制。查看当前进程的文件描述符限制的命令如下：

#查看软限制：
ulimit -n
#该命令输出当前进程可以打开的最大文件描述符数量（软限制）。

#查看硬限制：
ulimit -Hn
该命令输出当前进程能够设置的文件描述符的硬限制。

2. 设置文件描述符的软限制

在命令行中使用 ulimit -n 可以设置当前进程的文件描述符软限制。例如：

ulimit -n 10240

这个命令将当前会话的文件描述符限制设置为 10240。但是，这种更改只会对当前会话有效，并且不能超过硬限制。如果需要更高的限制，必须先调整硬限制。

3. 设置文件描述符的硬限制

硬限制是系统为进程设置的最大限制，普通用户不能随意修改，通常需要管理员权限来调整。你可以通过 ulimit -Hn 查看当前的硬限制。要修改硬限制，可以使用以下命令（需要 root 权限）：

sudo ulimit -Hn 65536

此命令将硬限制设置为 65536，不过，如果需要更高的硬限制，需要修改系统配置文件。

三、修改文件描述符限制的永久设置

1. 修改 limits.conf 文件

在 Linux 系统中，可以通过修改 /etc/security/limits.conf 文件来永久性地修改文件描述符的软限制和硬限制。

vim /etc/security/limits.conf
#在文件末尾添加如下内容，以设置软限制和硬限制：
* soft nofile 10240
* hard nofile 65536

其中，* 表示对所有用户生效，你也可以为特定的用户设置限制，如：
username soft nofile 10240
username hard nofile 65536
这表示将文件描述符的软限制设置为 10240，硬限制设置为 65536。

2. 修改 PAM 配置

为了使修改生效，可能需要确保 PAM（Pluggable Authentication Modules） 配置被正确加载。修改 /etc/pam.d/common-session 或 /etc/pam.d/login 文件：

vim /etc/pam.d/common-session
session required pam_limits.so

查看当前进程使用的文件描述符数量：

lsof -p <PID> | wc -l
#该命令会列出进程 PID 打开的所有文件并计数。

这个命令显示了当前系统已经使用的文件描述符数量、可用文件描述符数量和系统的最大文件描述符数量

cat /proc/sys/fs/file-nr
4192    0       9223372036854775807

4192是已经使用的
0 是显示正常的，通常情况下，它的值为 0，因为 Linux 系统会动态管理文件描述符的分配，不会浪费未使用的描述符。
如果显示为 0，意味着没有为未使用的文件描述符预留空间。这是正常的现象，表明系统当前已经为文件描述符分配了所需的空间，并没有剩余的未使用文件描述符。
9223372036854775807 显示系统可以支持的最大文件描述符数量，通常由 fs.file-max 内核参数决定。

查看文件描述符的最大限制：

cat /proc/sys/fs/file-max
#这个命令显示了整个系统允许的最大文件描述符数量。

四、总结

在 Linux 系统中，最大文件描述符数量是由内核参数 fs.file-max 控制的，该参数决定了整个系统范围内所有进程可以使用的最大文件描述符数。这个参数与系统的内存和 CPU 资源有一定关系，但通常其设置并不会直接与内存或 CPU 成比例地绑定，而是更多地依赖于操作系统的设计、负载要求以及硬件资源的总体配置。

1. 内核参数 fs.file-max

fs.file-max 是控制 Linux 系统中所有进程能打开的最大文件描述符数目。通过调整这个值，可以增加或减少系统的文件描述符资源。

查看 fs.file-max 的当前值

cat /proc/sys/fs/file-max
#临时设置 fs.file-max 值
sudo sysctl -w fs.file-max=1000000

永久修改 fs.file-max，需要编辑 /etc/sysctl.conf 文件并加入以下行：

vim /etc/sysctl.conf
fs.file-max = 1000000

sysctl -p

2. 如何根据内存和 CPU 设置文件描述符

设置文件描述符数量时，虽然没有一个直接的公式，但通常考虑到内存、CPU 资源的使用和系统负载，可以根据系统的可用内存和硬件性能来合理配置。以下是一些建议：

1. 考虑内存
   每个文件描述符占用一定量的内核内存。根据文件描述符的类型，它们会消耗不同的内存资源。例如，打开文件、套接字、管道等会消耗内核内存资源。因此，文件描述符数量的上限应考虑系统内存大小。
   计算文件描述符占用的内存：每个文件描述符会消耗一定的内核内存。假设每个文件描述符占用 100 字节（这是一个估计值，具体的内存使用量可能会根据不同的内核版本和系统配置有所不同），那么一个具有 1,000,000 个文件描述符的系统大概需要 100MB 的内存来管理这些文件描述符。
2. 考虑 CPU 核心数
   虽然文件描述符的数量通常与 CPU 核心数没有直接的关系，但在高并发的服务器应用中，特别是涉及大量并发网络连接或文件操作时，CPU 核心数可能影响到进程的性能。更多的文件描述符意味着更多的并发连接和操作，这可能会对 CPU 负载产生影响。因此，可以根据 CPU 核心数调整文件描述符数量，以保证系统的稳定性和性能。
3. 计算合理的文件描述符数
   以下是一些常见的根据内存、CPU 和负载来估算最大文件描述符数量的参考建议：

小型系统：如 2-4 核 CPU、8GB 内存的系统，通常建议文件描述符数设置在 1,000,000 左右。
中型系统：如 8 核 CPU、16GB 内存的系统，通常建议文件描述符数设置在 1,000,000 至 10,000,000 之间。
大型系统：如 16 核以上的 CPU、32GB 以上内存的服务器，建议设置文件描述符数为 10,000,000 或更高，具体视使用场景和并发量而定。

3. 根据负载和应用场景调整

不同的应用场景对文件描述符的需求也不同。例如：
Web 服务器（如 Nginx、Apache）：对于高并发的 Web 服务器，特别是在处理大量并发连接时，可能需要更高的文件描述符数量。
数据库服务器（如 MySQL、PostgreSQL）：数据库通常会打开大量的文件描述符来管理连接和文件，因此可能需要更多的文件描述符资源。
文件密集型应用：需要频繁读取或写入大量文件的应用（如日志收集系统）也可能需要更高的文件描述符限制。

4. 总结

fs.file-max：内核参数控制系统范围内的文件描述符最大数量。
基于内存配置：文件描述符数量受内存限制，内存越大，系统可以支持的文件描述符数量通常越多。
基于 CPU 配置：虽然 CPU 核心数不会直接影响文件描述符限制，但更高的并发和负载需求可能要求增加文件描述符数量。
使用 ulimit 设置每个进程的文件描述符限制：通过 ulimit 和 limits.conf 来设置单个进程或用户的文件描述符限制。
实际配置建议：根据应用需求、并发负载、系统内存等资源来合理配置文件描述符数量。
通过合理调整这些配置，确保系统在高负载情况下仍能稳定运行，同时避免因文件描述符耗尽而导致的资源瓶颈。

最有价值的概念

fs.file-max 是系统级别的文件描述符总数上限，决定了系统最多能支持多少个文件描述符，所有进程加起来的文件描述符数不能超过这个限制。

ulimit -n 控制的是每个进程能够打开的最大文件描述符数量，通常可以调整，但它不能超过 fs.file-max 设置的系统级别上限。

如果 ulimit 设置超过 fs.file-max，可能会导致系统资源不足或进程无法正常打开更多文件，因此要保证 ulimit 设置合理，不能超过 fs.file-max。

最有价值的命令

#查看系统最大文件描述符数
cat /proc/sys/fs/file-max
#查看当前进程的文件描述符限制
ulimit -n


#临时调整单个进程的文件描述符限制
ulimit -n 1000000
#永久调整单个进程的文件描述符限制
vim /etc/security/limits.conf
* soft nofile 1000000
* hard nofile 1000000


#临时调整系统级别的文件描述符总数
sysctl -w fs.file-max=10000000
#永久调整系统级别的文件描述符总数
vim /etc/sysctl.conf
fs.file-max = 10000000
sysctl -p

#查看当前系统已使用的文件描述符数量
cat /proc/sys/fs/file-nr