Java在Linux下如何维持大量链接

  • 时间:
  • 浏览:1
  • 来源:彩神快乐8_神彩快乐8官方

对于想支持更高数量的TCP并发连接的通讯处理程序,就都都可以 修改Linux对当前用户的应用程序同去打开的文件数量的软限制(soft limit)和硬限制(hardlimit)。其中软限制是指Linux在当前系统都都可以承受的范围内进一步限制用户同去打开的文件数;硬限制则是根据系统硬件资源清况 (主却说我系统内存)计算出来的系统最多可同去打开的文件数量。通常软限制小于或等于硬限制。

修改上述限制的最简单的最好的依据却说我使用ulimit命令:

推荐配置(把原/etc/sysctl.conf内容清掉,把下面内容一键复制进去):

由于系统非要 错误提示,就表明新的本地端口范围设置成功。由于按上述端口范围进行设置,则理论上单独一一两个应用程序最多还都都可以 同去建立400000多个TCP客户端连接。

第二种无法建立TCP连接的由于由于是由于Linux网络内核的IP_TABLE防火墙对最大跟踪的TCP连接数有限制。此时程序会表现为在 connect()调用中阻塞,如同死机,由于用tcpdump工具监视网络,也会发现根本非要 TCP连接时客户端发SYN包的网络流量。由于 IP_TABLE防火墙在内核中会对每个TCP连接的清况 进行跟踪,跟踪信息由于插进处在内核内存中的conntrackdatabase中,你你是什么 数据库的大小有限,当系统中处在太满的TCP连接时,数据库容量不够,IP_TABLE无法为新的TCP连接建立跟踪信息,于是表现为在connect()调用中阻塞。此时就都都可以 修改内核对最大跟踪的TCP连接数的限制,最好的依据同修改内核对本地端口号范围的限制是例如的:

第一步,修改/etc/sysctl.conf文件,在文件中加上如下行:

net.ipv4.ip_conntrack_max = 10240

这表明将系统对最大跟踪的TCP连接数限制设置为10240。请注意,此限制值要尽量小,以节省对内核内存的占用。

第二步,执行sysctl命令:

这表明将系统对本地端口范围限制设置为1024~640000之间。请注意,本地端口范围的最小值都都可以 大于或等于1024;而端口范围的最大值则应小于或等于65535。修改过后保存此文件。

第二步,执行sysctl命令:

注意:系统通过四元组来唯一确定一根绳子 绳子 TCP链接,全都理论上同一一两个客户端,最多还都都可以 向服务端建立(32768 - 1024) 条TCP链接,不同的客户端,占用的端口即使一样,却说我影响,你你是什么 过后服务端的链接数更多是受文件描述符个数影响

调整文件数:

linux系统优化完网络都都可以 调高系统允许打开的文件数都都可以支持大的并发,默认1024是远远不够的。

由于系统非要 错误提示,就表明系统对新的最大跟踪的TCP连接数限制修改成功。由于按上述参数进行设置,则理论上单独一一两个应用程序最多还都都可以 同去建立40000多个TCP客户端连接。

其中speng指定了要修改哪个用户的打开文件数限制,可用’*'号表示修改所有用户的限制;soft或hard指定要修改软限制还是硬限制;10240则指定了想要 修改的新的限制值,即最大打开文件数(请注意软限制值要小于或等于硬限制)。修改过后保存文件。

第二步,修改/etc/pam.d/login文件,在文件中加上如下行:

varnish调优推荐配置的地址为:http://varnish.projects.linpro.no/wiki/Performance

当调用Selector.open()时,确定器通过专门的工厂SelectorProvider来创建Selector的实现,SelectorProvider屏蔽了不同操作系统及版本创建实现的差异性

由于内核版本>=2.6则,具体的SelectorProvider为EPollSelectorProvider,而且为默认的PollSelectorProvider

这是告诉Linux在用户完成系统登录后,应该调用pam_limits.so模块来设置系统对该用户可使用的各种资源数量的最大限制(包括用户可打开的最大文件数限制),而pam_limits.so模块就会从/etc/security/limits.conf文件中读取配置来设置什么限制值。修改过后保存此文件。

第三步,查看Linux系统级的最大打开文件数限制,使用如下命令:

这表明这台Linux系统最多允许同去打开(即涵盖所有用户打开文件数总和)12158个文件,是Linux系统级硬限制,所有用户级的打开文件数限制就有应超过你你是什么 数值。通常你你是什么 系统级硬限制是Linux系统在启动时根据系统硬件资源清况 计算出来的最佳的最大同去打开文件数限制,由于非要 特殊都都可以 ,不应该修改此限制,除非想为用户级打开文件数限制设置超过此限制的值。修改此硬限制的最好的依据是修改/etc/rc.local脚本,在脚本中加上如下行:

第五种由于由于是由于Linux网络内核对本地端口号范围有限制。此时,进一步分析为啥会么会无法建立TCP连接,会发现大问题出在connect()调用返回失败,查看系统错误提示消息是“Can’t assign requestedaddress”。同去,由于在此时用tcpdump工具监视网络,会发现根本非要 TCP连接时客户端发SYN包的网络流量。什么清况 说明大问题在于本地Linux系统内核涵盖限制。实在,大问题的根本由于在于Linux内核的TCP/IP协议实现模块对系统中所有的客户端TCP连接对应的本地端口号的范围进行了限制(例如,内核限制本地端口号的范围为1024~32768之间)。当系统中某一时刻同去处在太满的TCP客户端连接时,由于每个TCP客户端连接就有占用一一两个唯一的本地端口号(此端口号在系统的本地端口号范围限制中),由于现有的TCP客户端连接已将所有的本地端口号占满,则此时就无法为新的TCP客户端连接分配一一两个本地端口号了,而且系统会在你你是什么 清况 下在connect()调用中返回失败,并将错误提示消息设为“Can’t assignrequested address”。

请注意上述函数中对变量sysctl_local_port_range的访问控制。变量sysctl_local_port_range的初始化则是在tcp.c文件中的如下函数中设置:

这表示当前用户的每个应用程序最多允许同去打开102一一两个文件,这102一一两个文件中还得除去每个应用程序必然打开的标准输入,标准输出,标准错误,服务器监听 socket,应用程序间通讯的unix域socket等文件,非要 剩下的可用于客户端socket连接的文件数就非要大慨1024-10=101一一两个左右。也却说我说缺省清况 下,基于Linux的通讯程序最多允许同去101一一两个TCP并发连接。

你你是什么 配置参考于cache服务器varnish的推荐配置和SunOne 服务器系统优化的推荐配置。

上述命令中,在中指定要设置的单一应用程序允许打开的最大文件数。由于系统回显例如于“Operation notpermitted”例如一句话,说明上述限制修改失败,实际上是由于在中指定的数值超过了Linux系统对该用户打开文件数的软限制或硬限制。而且,就都都可以 修改Linux系统对用户的关于打开文件数的软限制和硬限制。

第一步,修改/etc/security/limits.conf文件,在文件中加上如下行:

执行命令:

Shell代码

在Linux平台上,无论编写客户端程序还是服务端程序,在进行高并发TCP连接处理时,最高的并发数量就有受到系统对用户单一应用程序同去可打开文件数量的限制(这是由于系统为每个TCP连接就有创建一一两个socket句柄,每个socket句柄同去也是一一两个文件句柄)。可使用ulimit命令查看系统允许当前用户应用程序打开的文件数限制:

http://lelong.iteye.com/blog/1265731

http://blog.csdn.net/guowake/article/details/6615728 博主未了解四元组,有每段错误

http://blog.csdn.net/hsuxu/article/details/9876983经典的”服务器最多65536个连接”误解

有关什么控制逻辑还都都可以 查看Linux内核源代码,以linux2.6内核为例,还都都可以 查看tcp_ipv4.c文件中如下函数:

在Linux上编写高并发TCP连接应用程序时,都都可以 使用大慨的网络I/O技术和I/O事件派发机制。

可用的I/O技术有同步I/O,非阻塞式同步I/O(也称反应式I/O),以及异步I/O。在高TCP并发的清况 下,由于使用同步I/O,这会严重阻塞程序的运转,除非为每个TCP连接的I/O创建一一两个程序。而且,太满的程序又会因系统对程序的调度造成巨大开销。而且,在高TCP并发的清况 下使用同步 I/O是不可取的,这时还都都可以 考虑使用非阻塞式同步I/O或异步I/O。非阻塞式同步I/O的技术包括使用select(),poll(),epoll等机制。异步I/O的技术却说我使用AIO。

从I/O事件派发机制来看,使用select()是不大慨的,由于它所支持的并发连接数有限(通常在102一一两个以内)。由于考虑性能,poll()也是不大慨的,尽管它还都都可以 支持的较高的TCP并发数,而且由于其采用“轮询”机制,当并发数较高时,其运行传输速率相当低,并由于处在I/O事件派发不均,由于每段TCP连接上的I/O老出“饥饿”大问题。却说由于使用epoll或AIO,则非要 上述大问题(早期Linux内核的AIO技术实现是通过在内核中为每个 I/O请求创建一一两个程序来实现的,你你是什么 实现机制在高并发TCP连接的清况 下使用实在就有严重的性能大问题。但在最新的Linux内核中,AIO的实现由于得到改进)。

综上所述,在开发支持高并发TCP连接的Linux应用程序时,应尽量使用epoll或AIO技术来实现并发的TCP连接上的I/O控制,这将为提升程序对高并发TCP连接的支持提供有效的I/O保证。

/etc/sysctl.conf 是用来控制linux网络的配置文件,对于依赖网络的程序(如web服务器和cache服务器)非常重要,RHEL默认提供的最好调整。

这是让Linux在启动完成后强行将系统级打开文件数硬限制设置为22158。修改过后保存此文件。

完成上述步骤后重启系统,一般清况 下就还都都可以 将Linux系统对指定用户的单一应用程序允许同去打开的最大文件数限制设为指定的数值。由于重启后用 ulimit-n命令查看用户可打开文件数限制仍然低于上述步骤中设置的最大值,这由于是由于在用户登录脚本/etc/profile中使用ulimit -n命令由于将用户可同去打开的文件数做了限制。由于通过ulimit-n修改系统对用户可同去打开文件的最大数限制时,新修改的值非要小于或等于上次 ulimit-n设置的值,而且想用此命令增大你你是什么 限制值是是不由于的。全都,由于有上述大问题处在,就非要去打开/etc/profile脚本文件,在文件中查找是是不是使用了ulimit-n限制了用户可同去打开的最大文件数量,由于找到,则删除这行命令,由于将其设置的值改为大慨的值,而且保存文件,用户退出并重新登录系统即可。

通过上述步骤,就为支持高并发TCP连接处理的通讯处理程序解除关于打开文件数量方面的系统限制。

不过varnish推荐的配置是有大问题的,实际运行表明“net.ipv4.tcp_fin_timeout = 3”的配置会由于页面老会 打不开;而且当网民视频视频使用的是IE6浏览器时,访问网站一段时间后,所有网页就有打不开,重启浏览器后正常。由于是国外的网速快吧,.我国情决定都都可以 调整“net.ipv4.tcp_fin_timeout = 10”,在10s的清况 下,一切正常(实际运行结论)。

修改完毕后,执行:

/sbin/sysctl -p /etc/sysctl.conf

/sbin/sysctl -w net.ipv4.route.flush=1

命令生效。为了保险起见,也还都都可以 reboot系统。

内核编译时默认设置的本地端口号范围由于太小,而且都都可以 修改此本地端口范围限制。

第一步,修改/etc/sysctl.conf文件,在文件中加上如下行:

在Linux上编写支持高并发TCP连接的客户端通讯处理程序时,有就有发现尽管由于解除了系统对用户同去打开文件数的限制,但仍会老出并发TCP连接数增加到一定数量时,再也无法成功建立新的TCP连接的大问题。老出你你是什么 现在的由于有多种。