这里有新鲜出炉的 Linux 常用命令,程序狗速度看过来!
Linux 是一套免费使用和自由传播的类 Unix 操作系统,是一个基于 POSIX 和 UNIX 的多用户、多任务、支持多线程和多 CPU 的操作系统。它能运行主要的 UNIX 工具软件、应用程序和网络协议。
这篇文章主要给大家介绍了关于 linux 中高并发 socket 最大连接数优化的相关资料,文中介绍的很详细,相信对大家具有一定的参考价值,需要的朋友们下面来一起学习学习吧。
首先我们可以通过
命令来查看系统的一些资源限制情况,如下:
- ulimit –a
- # ulimit -a
- core file size (blocks, -c) 1024
- data seg size (kbytes, -d) unlimited
- scheduling priority (-e) 0
- file size (blocks, -f) unlimited
- pending signals (-i) 127422
- max locked memory (kbytes, -l) 64
- max memory size (kbytes, -m) unlimited
- open files (-n) 20480
- pipe size (512 bytes, -p) 8
- POSIX message queues (bytes, -q) 819200
- real-time priority (-r) 0
- stack size (kbytes, -s) unlimited
- cpu time (seconds, -t) unlimited
- max user processes (-u) 81920
- virtual memory (kbytes, -v) unlimited
- file locks (-x) unlimited
这里重点关注
和
- open files
。分别表示:单个进程打开的最大文件数;系统可以申请最大的进程数。
- max user processes
1、查看、修改文件数(当前 session 有效):
- # ulimit -n
- 20480
- # ulimit -n 20480
2、查看、修改进程数(当前 session 有效):
- # ulimit -u
- 81920
- # ulimit -u 81920
3、永久设置文件数、最大进程:
在其中指定最大设置;
- # vim /etc/security/limits.conf
文件指定;
- /etc/profile
一、最大进程数:
最近在 Linux 服务器上发布应用时碰到一个如下的异常:
- Caused by: java.lang.OutOfMemoryError: unable to create new native thread
- at java.lang.Thread.start0(Native Method)
- at java.lang.Thread.start(Thread.java:640)
初看可能会认为是系统的内存不足,如果这样想的话就被这段提示带到沟里面去了。上面这段错误提示的本质是 Linux 操作系统无法创建更多进程,导致出错。因此要解决这个问题需要修改 Linux 允许创建更多的进程。
1、临时设置:
我们可以使用
修改
- ulimit -u 81920
的值,但是只能在当前终端的这个 session 里面生效,重新登录后仍然是使用系统默认值。
- max user processes
2、永久设置:
1)编辑
- # vim /etc/security/limits.conf
在文件中添加如下内容:
注: * 表示所有用户,soft、hard 表示软限制、硬限制。(软限制 <= 硬限制)
2)或者在 / etc/profile 文件中添加:
- ulimit - u 81920
这样每次用户登录就可以设置最大进程数。
二、最大打开文件数:
最大文件打开数在 Linux 平台上,无论编写客户端程序还是服务端程序,在进行高并发 TCP 连接处理时,最高的并发数量都要受到系统对用户单一进程同时可打开文件数量的限制 (这是因为系统为每个 TCP 连接都要创建一个 socket 句柄,每个 socket 句柄同时也是一个文件句柄)。
1、查看最大打开文件数:
- $ ulimit -n
- 1024
这表示当前用户的每个进程最多允许同时打开 1024 个文件,这 1024 个文件中还得除去每个进程必然打开的标准输入,标准输出,标准错误,服务器监听 socket,进程间通讯的 unix 域 socket 等文件,那么剩下的可用于客户端 socket 连接的文件数就只有大概 1024-10=1014 个左右。也就是说缺省情况下,基于 Linux 的通讯程序最多允许同时 1014 个 TCP 并发连接。
对于想支持更高数量的 TCP 并发连接的通讯处理程序,就必须修改 Linux 对当前用户的进程同时打开的文件数量的软限制 (soft limit) 和硬限制(hardlimit)。其中:
2、修改最大打开文件数:
- [speng@as4~] $ ulimit - n 10240
上述命令中,临时设置的单一进程允许打开的最大文件数(当前 session 有效)。 如果系统回显类似于 "Operation notpermitted" 之类的话,说明上述限制修改失败,实际上是因为在中指定的数值超过了 Linux 系统对该用户打开文件数的软限制或硬限制。因此,就需要修改 Linux 系统对用户的关于打开文件数的软限制和硬限制。
1)首先,修改 / etc/security/limits.conf 文件,在文件中添加如下行:
- speng soft nofile 10240
- speng hard nofile 10240
其中 speng 指定了要修改哪个用户的打开文件数限制,可用'*'号表示修改所有用户的限制;soft 或 hard 指定要修改软限制还是硬限制;10240 则指定了想要修改的新的限制值,即最大打开文件数 (请注意软限制值要小于或等于硬限制)。修改完后保存文件。
2)其次,修改 / etc/pam.d/login 文件,在文件中添加如下行:
- session required / lib / security / pam_limits.so
这是告诉 Linux 在用户完成系统登录后,应该调用 pam_limits.so 模块来设置系统对该用户可使用的各种资源数量的最大限制 (包括用户可打开的最大文件数限制),而 pam_limits.so 模块就会从 / etc/security/limits.conf 文件中读取配置来设置这些限制值。修改完后保存此文件。
3)第三步,查看 Linux 系统级的最大打开文件数限制(硬限制),使用如下命令:
- [speng@as4 ~]$ cat /proc/sys/fs/file-max
- 12158
这表明这台 Linux 系统最多允许同时打开 (即包含所有用户打开文件数总和)12158 个文件,是 Linux 系统级硬限制,所有用户级的打开文件数限制都不应超过这个数值。通常这个系统级硬限制是 Linux 系统在启动时根据系统硬件资源状况计算出来的最佳的最大同时打开文件数限制,如果没有特殊需要,不应该修改此限制,除非想为用户级打开文件数限制设置超过此限制的值。修改此硬限制的方法是修改 / etc/rc.local 脚本,在脚本中添加如下行:
- echo 22158 > /proc/sys / fs / file - max
这是让 Linux 在启动完成后强行将系统级打开文件数硬限制设置为 22158。修改完后保存此文件。
完成上述步骤后重启系统,一般情况下就可以将 Linux 系统对指定用户的单一进程允许同时打开的最大文件数限制设为指定的数值。如果重启后用
命令查看用户可打开文件数限制仍然低于上述步骤中设置的最大值,这可能是因为在用户登录脚本 / etc/profile 中使用 ulimit -n 命令已经将用户可同时打开的文件数做了限制。由于通过
- ulimit-n
修改系统对用户可同时打开文件的最大数限制时,新修改的值只能小于或等于上次
- ulimit-n
设置的值,因此想用此命令增大这个限制值是不可能的。所以,如果有上述问题存在,就只能去打开 / etc/profile 脚本文件,在文件中查找是否使用了
- ulimit-n
限制了用户可同时打开的最大文件数量,如果找到,则删除这行命令,或者将其设置的值改为合适的值,然后保存文件,用户退出并重新登录系统即可。 通过上述步骤,就为支持高并发 TCP 连接处理的通讯处理程序解除关于打开文件数量方面的系统限制。
- ulimit-n
三、网络内核对 TCP 连接的显示:
1、修改网络内核对 TCP 连接的本地端口范围限制:
在 Linux 上编写支持高并发 TCP 连接的客户端通讯处理程序时,有时会发现尽管已经解除了系统对用户同时打开文件数的限制,但仍会出现并发 TCP 连接数增加到一定数量时,再也无法成功建立新的 TCP 连接的现象。出现这种现在的原因有多种。第一种原因可能是因为 Linux 网络内核对本地端口号范围有限制。此时,进一步分析为什么无法建立 TCP 连接,会发现问题出在
调用返回失败,查看系统错误提示消息是 "Can't assign requestedaddress"。同时,如果在此时用 tcpdump 工具监视网络,会发现根本没有 TCP 连接时客户端发 SYN 包的网络流量。这些情况说明问题在于本地 Linux 系统内核中有限制。其实,问题的根本原因在于 Linux 内核的 TCP/ip 协议实现模块对系统中所有的客户端 TCP 连接对应的本地端口号的范围进行了限制 (例如,内核限制本地端口号的范围为 1024~32768 之间)。
- connect()
当系统中某一时刻同时存在太多的 TCP 客户端连接时,由于每个 TCP 客户端连接都要占用一个唯一的本地端口号 (此端口号在系统的本地端口号范围限制中),如果现有的 TCP 客户端连接已将所有的本地端口号占满,则此时就无法为新的 TCP 客户端连接分配一个本地端口号了,因此系统会在这种情况下在
调用中返回失败,并将错误提示消息设为 "Can't assignrequested address"。内核编译时默认设置的本地端口号范围可能太小,因此需要修改此本地端口范围限制。
- connect()
1)第一步,修改 / etc/sysctl.conf 文件,在文件中添加如下行:
- net.ipv4.ip_local_port_range = 1024 65000
这表明将系统对本地端口范围限制设置为 1024~65000 之间。请注意,本地端口范围的最小值必须大于或等于 1024;而端口范围的最大值则应小于或等于 65535。修改完后保存此文件。
2)第二步,执行 sysctl 命令:
- [speng@as4~] $ sysctl - p
如果系统没有错误提示,就表明新的本地端口范围设置成功。如果按上述端口范围进行设置,则理论上单独一个进程最多可以同时建立 60000 多个 TCP 客户端连接。
2、修改网络内核 IP_TABLE 防火墙对最大跟踪的 TCP 连接数限制:
修改了最大文件打开数,但仍会出现并发 TCP 连接数增加到一定数量时,再也无法成功建立新的 TCP 连接的现象。第二种无法建立 TCP 连接的原因可能是因为 Linux 网络内核的 IP_TABLE 防火墙对最大跟踪的 TCP 连接数有限制。此时程序会表现为在 connect() 调用中阻塞,如同死机,如果用 tcpdump 工具监视网络,也会发现根本没有 TCP 连接时客户端发 SYN 包的网络流量。由于 IP_TABLE 防火墙在内核中会对每个 TCP 连接的状态进行跟踪,跟踪信息将会放在位于内核内存中的 conntrackdatabase 中,这个数据库的大小有限,当系统中存在过多的 TCP 连接时,数据库容量不足,IP_TABLE 无法为新的 TCP 连接建立跟踪信息,于是表现为在 connect() 调用中阻塞。此时就必须修改内核对最大跟踪的 TCP 连接数的限制,方法同修改内核对本地端口号范围的限制是类似的:
1)第一步,修改 / etc/sysctl.conf 文件,在文件中添加如下行:
- net.ipv4.ip_conntrack_max = 10240
这表明将系统对最大跟踪的 TCP 连接数限制设置为 10240。请注意,此限制值要尽量小,以节省对内核内存的占用。
2)第二步,执行
命令:
- sysctl
- [speng@as4~] $ sysctl - p
如果系统没有错误提示,就表明系统对新的最大跟踪的 TCP 连接数限制修改成功。如果按上述参数进行设置,则理论上单独一个进程最多可以同时建立 10000 多个 TCP 客户端连接。
【补充】优化好的内核参数 sysctl.conf:
/etc/sysctl.conf 是用来控制 linux 网络的配置文件,对于依赖网络的程序(如 web 服务器和 cache 服务器)非常重要,RHEL 默认提供的最好调整。推荐配置(把原 / etc/sysctl.conf 内容清掉,把下面内容复制进去):
- net.ipv4.ip_local_port_range = 1024 65536
- net.core.rmem_max=16777216
- net.core.wmem_max=16777216
- net.ipv4.tcp_rmem=4096 87380 16777216
- net.ipv4.tcp_wmem=4096 65536 16777216
- net.ipv4.tcp_fin_timeout = 10
- net.ipv4.tcp_tw_recycle = 1
- net.ipv4.tcp_timestamps = 0
- net.ipv4.tcp_window_scaling = 0
- net.ipv4.tcp_sack = 0
- net.core.netdev_max_backlog = 30000
- net.ipv4.tcp_no_metrics_save=1
- net.core.somaxconn = 262144
- net.ipv4.tcp_syncookies = 0
- net.ipv4.tcp_max_orphans = 262144
- net.ipv4.tcp_max_syn_backlog = 262144
- net.ipv4.tcp_synack_retries = 2
- net.ipv4.tcp_syn_retries = 2
修改完毕后,执行
生效。
- /sbin/sysctl -p
四、使用支持高并发网络 I/O 的编程技术:
在 Linux 上编写高并发 TCP 连接应用程序时,必须使用合适的网络 I/O 技术和 I/O 事件分派机制。
可用的 I/O 技术有同步 I/O,非阻塞式同步 I/O(也称反应式 I/O),以及异步 I/O。在高 TCP 并发的情形下,如果使用同步 I/O,这会严重阻塞程序的运转,除非为每个 TCP 连接的 I/O 创建一个线程。但是,过多的线程又会因系统对线程的调度造成巨大开销。因此,在高 TCP 并发的情形下使用同步 I/O 是不可取的,这时可以考虑使用非阻塞式同步 I/O 或异步 I/O。非阻塞式同步 I/O 的技术包括使用 select(),poll(),epoll 等机制。异步 I/O 的技术就是使用 AIO。
从 I/O 事件分派机制来看,使用 select()是不合适的,因为它所支持的并发连接数有限 (通常在 1024 个以内)。如果考虑性能,poll() 也是不合适的,尽管它可以支持的较高的 TCP 并发数,但是由于其采用" 轮询 "机制,当并发数较高时,其运行效率相当低,并可能存在 I/O 事件分派不均,导致部分 TCP 连接上的 I/O 出现" 饥饿 "现象。而如果使用 epoll 或 AIO,则没有上述问题(早期 Linux 内核的 AIO 技术实现是通过在内核中为每个 I/O 请求创建一个线程来实现的,这种实现机制在高并发 TCP 连接的情形下使用其实也有严重的性能问题。但在最新的 Linux 内核中,AIO 的实现已经得到改进)。
综上所述,在开发支持高并发 TCP 连接的 Linux 应用程序时,应尽量使用 epoll 或 AIO 技术来实现并发的 TCP 连接上的 I/O 控制,这将为提升程序对高并发 TCP 连接的支持提供有效的 I/O 保证。
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作能带来一定的帮助,如果有疑问大家可以留言交流。谢谢大家对 PHPERZ 的支持。
来源: http://www.phperz.com/article/17/0821/337764.html