0 常见问题

[WARN ] 2018-06-15 16:55:20,831 --New I/O server boss #1 ([id: 0x55007b59, /0.0.0.0:20880])-- [org.jboss.netty.channel.socket.nio.NioServerSocketPipelineSink]  [DUBBO] Failed to accept a connection., dubbo version: 2.8.3.2, current host: 127.0.0.1
java.io.IOException: Too many open files (打开文件数过多)
        at sun.nio.ch.ServerSocketChannelImpl.accept0(Native Method) ~[na:1.7.0_09-icedtea]
        at sun.nio.ch.ServerSocketChannelImpl.accept(ServerSocketChannelImpl.java:226) ~[na:1.7.0_09-icedtea]
        at org.jboss.netty.channel.socket.nio.NioServerSocketPipelineSink$Boss.run(NioServerSocketPipelineSink.java:244) ~[netty-3.2.5.Final.jar:na]
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110) [na:1.7.0_09-icedtea]
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603) [na:1.7.0_09-icedtea]
        at java.lang.Thread.run(Thread.java:722) [na:1.7.0_09-icedtea]

Too many open files这个问题主要指的是进程企图打开一个文件，或者叫句柄，但是现在进程打开的句柄已经达到了上限，已经无法打开新句柄了。

常见的原因: （参考 lsof 的 type 属性）
1）文件IO流未及时关闭： 文件夹、【文件】等
2）网络IO流未及时关闭： 【TCP】 / UDP / 【Socket】 / WebSocket / 数据库连接 等

1 ulimit 概述

在linux下一切皆文件，开启一个进程就是打开一个文件，控制ulimit大小作用等同于限制进程及其子进程的资源使用

系统性能一直是一个受关注的话题，如何通过最简单的设置来实现最有效的性能调优，如何在有限资源的条件下保证程序的运作?

ulimit 是Linux在处理这些问题时，经常使用的一种简单手段。

ulimit 是一种 Linux 系统的内建功能，它具有一套参数集，用于为由它生成的 shell进程及其子进程的资源使用设置限制。

ulimit: 显示（或设置）用户可以使用的资源的限制（limit），这限制分为【软限制（当前限制）】和【硬限制（上限）】。

其中： 硬限制是软限制的上限值，应用程序在运行过程中使用的系统资源不超过相应的软限制，任何的超越都导致进程的终止。

ulimit 不限制用户可以使用的资源，但可设置对可打开的最大文件数（max open files） 和可同时运行的最大进程数（max user processes）等限制。

java.net.SocketException: Too many open files

-bash: fork: retry: 没有子进程

ulimit 用于限制 shell 进程/程序所占用的资源，支持以下资源类型的限制：

• 所创建的内核文件的大小

• 进程数据块的大小

• Shell进程创建文件的大小

• 内存锁住的大小

• 常驻内存集的大小

• 打开文件描述符的数量 (max open files)

• 分配堆栈的最大大小

• CPU 时间

• 单个用户的最大线程数

• Shell 进程所能使用的最大虚拟内存

• 同时，它支持对【硬资源】和【软资源】的限制

  作为临时限制，ulimit 可以作用于通过使用其命令登录的 shell 会话，在会话终止时便结束限制，并不影响于其他 shell 会话。

  而对于长期的固定限制，ulimit 命令语句又可以被添加到由登录 shell 读取的文件中，作用于特定的 shell 用户。

  ulimit
  [-a] # 显示/设置 目前设定的所有资源类型的资源限制; 显示当前的各种用户进程限制
  [-c ] # 显示/设定 core文件的最大值，单位为区块(blocks)
  [-H] # 指定设置某个给定资源的硬极限。如果用户拥有 root 用户权限，可以增大硬极限。任何用户均可减少硬极限
  # 设定资源的硬性限制，也就是管理员所设下的限制。
  [-d <数据节区/数据段大小>] # 显示/设定 一个进程程序的数据段的最大值，单位为 KB
  Eg: ulimit -d unlimited
  [-f <文件大 小>] # shell所能创建的文件大小的最大值，单位为区块(blocks)
  [-m <内存大小>] # 指定可使用内存的上限，单位为KB
  Eg: ulimit -m unlimited
  [-l <物理内存大小>] # 设置 可锁住的物理内存的最大值
  [-v <虚拟内存大小>] # 设置 Shell可使用的虚拟内存的最大值，单位：KB
  Eg: ulimit -v unlimited
  [-n <文件数目>] # 指定每个进程最多可打开的文件数，默认值： 1024
  Eg: ulimit -n 4096 将每个进程可以打开的文件数目加大到4096，缺省为1024
  [-p <缓冲区大小>] # 指定管道缓冲区的大小，单位:block; 1block = 512byte
  [-s <堆栈大小>] # 指定堆栈的上限，单位为KB
  Eg: ulimit -s unlimited
  [-S] # 设置 为给定的资源设置软极限。软极限可增大到硬极限的值。如果 -H 和 -S 标志均未指定，极限适用于以上二者
  [-t ] # 限制CPU运行时间; 指定每个进程所使用的秒数, 单位：seconds
  # ulimit -t : The maximum amount of cpu time in seconds / 超过硬CPU限制就简单粗暴的让进程“被自杀”了。
  Eg: ulimit -t unlimited
  [-u <程序数目>] # 用户最多可开启的程序数目 / 设定 可以运行的最大并发进程数

2 命令详解

ulimit -a
  # 查看系统用户所有限制项及其值

查看当前进程的可打开的最大资源数(Limit / Soft Limit / Hard Limit / Units)

cat /proc/<PID>/limits 

ulimit -a <PID>

ulimit -n 4096
    # 设置用户open files
    用户可以打开文件的最大数目;
    执行该命令非root用户只能设置到4096，想要设置到8192需要sudo权限或者root用户

cat /proc/sys/fs/file-max
  # 查看系统（所有进程）打开文件的【最大限制数】


lsof | wc -l
  # 查看系统当前打开的文件数量

会动态变化

lsof -n|awk '{print $2}'|sort|uniq -c|sort -nr|more

lsof -p <pid> | wc -l
  # 查看指定进程的打开文件数量 【重要命令】
    注: lsof只能以root权限执行; 安装lsof: yum install -y lsof


lsof | grep <pid>
  # 进程名称 / PID / 进程所有者 / 文件描述符 / 文件类型

文件类型：
  DIR：表示目录。
  CHR：表示字符类型。
  BLK：块设备类型。
  UNIX： UNIX 域套接字。
  FIFO：先进先出 (FIFO) 队列。
  IPv4：网际协议 (IP) 套接字。
  DEVICE：指定磁盘的名称
  SIZE：文件的大小
  NODE：索引节点（文件在磁盘上的标识）
  NAME：打开文件的确切名称

3 场景示例

查看当前最终各类资源限制的情况： ulimit -a

暂时地生效： 适用于通过 ulimit 命令登录 shell 会话期间。

永久地生效： 通过将一个相应的 ulimit 语句添加到由登录 shell 读取的文件中， 即特定于 shell 的用户资源文件

[永久配置生效的思路]
/home/userName/.*profile
/home/userName/.bash_profile [下列是样例配置]
  ulimit -u 10240

/etc/security/limits.conf [下列是样例配置]
  elasticsearch soft nofile 65536
  elasticsearch hard nofile 65536
  elasticsearch soft memlock unlimited
  elasticsearch hard memlock unlimited

  * soft  nofile  122800
  * hard  nofile  122800
  * soft  nproc  122800
  * hard  nproc  122800

/etc/security/limits.d/20-nproc.conf
/etc/security/limits.d/90-nofile.conf
/etc/security/limits.d/90-nproc.conf

/etc/security/limits.d/elasticsearch.conf
/etc/security/limits.d/hbase.conf
/etc/security/limits.d/hdfs.conf
/etc/security/limits.d/hive.conf
/etc/security/limits.d/mapreduce.conf
/etc/security/limits.d/yarn.conf

* 代表 针对所有用户

noproc 代表 最大进程数

nofile 代表 最大文件打开数

-H ：hard limit ，严格的设定，必定不能超过这个设定的数值

-S ：soft limit ，警告的设定，可以超过这个设定值，但是若超过则有警告信息

vi /etc/security/limits.conf #新增如下4行后，重新登录OS#
      * soft noproc 11000
      * hard noproc 11000

      * soft nofile 4100
      * hard nofile 4100

• [方式1 - 系统环境变量] 修改所有 linux 用户的环境变量文件

  vi /etc/profile
  ulimit -u 10000
  ulimit -n 4096
  ulimit -d unlimited
  ulimit -m unlimited
  ulimit -s unlimited
  ulimit -t unlimited
  ulimit -v unlimited

  source /etc/profile # 使环境变量的配置生效

  cat /proc/sys/fs/file-max # 查看系统句柄文件最大数

  lsof |wc -l # 查看现在已占用的文件句柄数

• [方式2 - (当前)用户的环境变量]

  vi ~/.bash_profile
  ulimit -n 1024

  source ~/.bash_profile

  重新登陆

• 把Linux中某用户的最大进程数设为10000个

  ulimit -u 10240

• 设置每个进程可打开的文件数目为4096

default: 1024

ulimit -n 4096

对于需要做许多 socket 连接并使它们处于打开状态的 Java 应用程序而言， 最好通过使用 ulimit -n xx 修改每个进程可打开的文件数，缺省值是 1024。

• 设置其它资源为无限制（unlimited）【推荐】

  数据段长度： ulimit -d unlimited
  最大内存大小： ulimit -m unlimited
  堆栈大小： ulimit -s unlimited
  CPU 时间： ulimit -t unlimited
  虚拟内存： ulimit -v unlimited

  vi /etc/ssh/sshd_config
  把 UserLogin 的值改为 yes，并把 # 注释去掉

  /etc/init.d/sshd restart # 重启 sshd 服务

X 参考/推荐文献

• ulimit - linux.51yip.com
• ulimit 命令详解 - 博客园[推荐]
• limit资源限制ulimit 详解 - CSDN
• ulimit -n 修改 - 博客园
• ulimit -t 引起的kill血案 - CSDN
• Linux 最大进程数 - 博客园
• Linux中Too many open files 问题分析和解决 - CSDN