Linux - 复盘一次句柄数引发的故障

文章目录

Pre
（内核、用户、进程）句柄数设置
问题 shell
修复

在这里插入图片描述

Pre

Linux - 深入理解/proc虚拟文件系统：从基础到高级

（内核、用户、进程）句柄数设置

在Linux系统中，进程打开的最大句柄数可以通过多种方式配置，涉及不同的层次和持久性：

临时调整：
- 使用ulimit命令可以在当前shell会话中临时调整用户进程的打开文件描述符的软限制（soft limit）。例如：
```
ulimit -n 65536
```
- 若要调整硬限制（hard limit），需要超级用户权限：
```
sudo ulimit -Hn 65536
```
永久性调整：
- /etc/security/limits.conf：这个文件可以用来永久性地设置用户和组的资源限制，包括打开的文件描述符数。格式如下：
```
* soft nofile 65536
* hard nofile 65536
```
  其中*表示所有用户，可以替换为具体的用户名或用户组。soft和hard分别表示软限制和硬限制。

在这里插入图片描述

系统全局限制：
- /proc/sys/fs/file-max：这个文件反映了系统全局可打开的文件描述符总数。调整这个值需要修改内核参数，通常需要重启系统才能生效。在/etc/sysctl.conf中添加以下行可以实现：
```
fs.file-max = 6553560
```
  然后运行sysctl -p使更改生效，或者在系统启动时自动应用。

在这里插入图片描述

请记住，修改这些设置可能会影响系统性能和稳定性，特别是在提高限制时，可能会消耗更多的系统资源。因此，在进行任何更改之前，最好先评估其影响，并确保有足够的资源来支持增加的句柄数。

问题 shell

#!/bin/bash
source /etc/profile
CURPATH=$(cd "$(dirname "$0")";pwd)
JVM=$(cat $CURPATH/xxx.ini)

artisanProcess="$CURPATH/artisan.jar"

# now set the path to java
# [ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=$HOME/jdk/java
# [ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/usr/java
# [ ! -e "$JAVA_HOME/bin/java" ] && JAVA_HOME=/appstore/programfiles/mbws_jdk
# [ ! -e "$JAVA_HOME/bin/java" ] && unset JAVA_HOME


source /xxxx/xxxjdk.option
COMMON_JVM=$(cat /axxxx/xdded.option)

if [ -f $JAVA/bin/java ];then
  export JAVA_HOME=$JAVA
  export PATH=$JAVA_HOME/bin:$PATH
fi

if [ -z "$JAVA_HOME" ]; then
  JAVA_PATH=`dirname $(readlink -f $(which java))`
  if [ "x$JAVA_PATH" != "x" ]; then
      export JAVA_HOME=`dirname $JAVA_PATH 2>/dev/null`
  fi
  if [ -z "$JAVA_HOME" ]; then
        error_exit "Please set the JAVA_HOME variable in your environment, We need java(x64)! jdk8 or later is better!"
        exit 1
  fi
fi

while [ 1 -eq 1 ]
do
        AdminProcNum=`ps -ef | grep $rpcProcess | grep -v grep | wc -l`
        echo "AdminProcNum:"$AdminProcNum
        if [ $AdminProcNum -lt 1 ]
        then
                cd $CURPATH
                sudo sysctl -w fs.file-max=999999
                sudo sysctl -w net.ipv4.tcp_tw_reuse=1
                sudo sysctl -w net.ipv4.tcp_fin_timeout=15
                sudo sysctl -w net.core.netdev_max_backlog=4096
                sudo sysctl -w net.core.somaxconn=40960
                sudo sysctl -w net.ipv4.tcp_max_syn_backlog=40960
                sudo sysctl -w net.ipv4.tcp_syncookies=1
                sudo sysctl -w net.ipv4.tcp_syn_retries=2
                sudo sysctl -w net.ipv4.tcp_synack_retries=2
                sudo ulimit -u 999999
                sudo ulimit -n 999999
                nohup $JAVA/bin/java $JVM $COMMON_JVM -jar $artisanProcess >  /dev/null 2>&1 &
                cho $! > $CURPATH/tpid
                cd -
        fi
        sleep 10
done

为了至此降权操作，增加了sudo

 sudo sysctl -w fs.file-max=999999
 sudo sysctl -w net.ipv4.tcp_tw_reuse=1
 sudo sysctl -w net.ipv4.tcp_fin_timeout=15
 sudo sysctl -w net.core.netdev_max_backlog=4096
 sudo sysctl -w net.core.somaxconn=40960
 sudo sysctl -w net.ipv4.tcp_max_syn_backlog=40960
 sudo sysctl -w net.ipv4.tcp_syncookies=1
 sudo sysctl -w net.ipv4.tcp_syn_retries=2
 sudo sysctl -w net.ipv4.tcp_synack_retries=2
 sudo ulimit -u 999999
 sudo ulimit -n 999999