农业 网站源码,潍坊建设银行网站,wordpress shopify,网站动态图是怎么做的因为在做爬虫分布式系统的过程中#xff0c;涉及到了一些linux系统优化方面的知识#xff0c;所以来总结一下#xff0c;我们会对linux的不同模块做相关的基本优化#xff0c;这篇文章主要讲述的是关于tcp协议栈的参数优化。1.机器环境Linux EOS01 2.6.32-358.el6.x86_64 #…因为在做爬虫分布式系统的过程中涉及到了一些linux系统优化方面的知识所以来总结一下我们会对linux的不同模块做相关的基本优化这篇文章主要讲述的是关于tcp协议栈的参数优化。1.机器环境Linux EOS01 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 00:31:26 UTC 2013 x86_64 x86_64 x86_64 GNU/LinuxCentOS release 6.4 (Final)2.具体实施2.1 由于每台机器的文件描述符都是处于默认的1024的标准值对于高并发的系统来说很容易达到瓶颈因此我们需要重定文件描述符数量可以采用ansible对各个服务器批量设置。vi /etc/security/limits.conf* soft nofile 65535* hard nofile 65535* soft nproc 65535* hard nproc 655352.2 关于我们对于系统tcp协议栈的参数设置vi /etc/sysctl.confnet.ipv4.tcp_fin_timeout10net.ipv4.tcp_syncookies1#开启重用。允许将TIME-WAIT sockets 重新用于新的TCP 连接net.ipv4.tcp_tw_reuse1#启用timewait 快速回收net.ipv4.tcp_tw_recycle1net.ipv4.ip_local_port_range1024 65000net.ipv4.tcp_max_syn_backlog8192net.ipv4.tcp_max_tw_buckets5000net.ipv4.tcp_timestamps 0#每300秒 探测一次tcp连接是否空闲一共探测2次每次间隔15秒net.ipv4.tcp_keepalive_intvl 15net.ipv4.tcp_keepalive_probes 2net.ipv4.tcp_keepalive_time 300然后执行 /sbin/sysctl -p 让参数生效具体的参数含义可以参考如下1. fs.file-max最大可以打开的文件描述符数量注意是整个系统。在服务器中我们知道每创建一个连接系统就会打开一个文件描述符所以文件描述符打开的最大数量也决定了我们的最大连接数select在高并发情况下被取代的原因也是文件描述符打开的最大值虽然它可以修改但一般不建议这么做详情可见unp select部分。2.net.ipv4.tcp_max_syn_backlogTcp syn队列的最大长度在进行系统调用connect时会发生Tcp的三次握手server内核会为Tcp维护两个队列Syn队列和Accept队列Syn队列是指存放完成第一次握手的连接Accept队列是存放完成整个Tcp三次握手的连接修改net.ipv4.tcp_max_syn_backlog使之增大可以接受更多的网络连接。注意此参数过大可能遭遇到Syn flood攻击即对方发送多个Syn报文端填充满Syn队列使server无法继续接受其他连接我们看下 man 手册上是如何说的The behavior of the backlog argument on TCP sockets changed with Linux 2.2. Now it specifies the queue length for com‐ pletely established sockets waiting to be accepted, instead of the number of incomplete connection requests. The maximum length of the queue for incomplete sockets can be set using /proc/sys/net/ipv4/tcp_max_syn_backlog. When syncookies are enabled there is no logical maximum length and this setting is ignored. See tcp(7) for more information. If the backlog argument is greater than the value in /proc/sys/net/core/somaxconn, then it is silently truncated to that value; the default value in this file is 128. In kernels before 2.4.25, this limit was a hard coded value, SOMAXCONN, with the value 128.自 Linux 内核 2.2 版本以后backlog 为已完成连接队列的最大值未完成连接队列大小以 /proc/sys/net/ipv4/tcp_max_syn_backlog 确定但是已连接队列大小受 SOMAXCONN 限制为 min(backlog, SOMAXCONN)3.net.ipv4.tcp_syncookies修改此参数可以有效的防范上面所说的syn flood攻击原理在Tcp服务器收到Tcp Syn包并返回Tcp Synack包时不专门分配一个数据区而是根据这个Syn包计算出一个cookie值。在收到Tcp ack包时Tcp服务器在根据那个cookie值检查这个Tcp ack包的合法性。如果合法再分配专门的数据区进行处理未来的TCP连接。默认为01表示开启4.net.ipv4.tcp_keepalive_timeTcp keepalive心跳包机制用于检测连接是否已断开我们可以修改默认时间来间断心跳包发送的频率。keepalive一般是服务器对客户端进行发送查看客户端是否在线因为服务器为客户端分配一定的资源但是Tcp 的keepalive机制很有争议因为它们可耗费一定的带宽。Tcp keepalive详情见Tcp/ip详解卷1 第23章5.net.ipv4.tcp_tw_reuse我的上一篇文章中写到了time_wait状态大量处于time_wait状态是很浪费资源的它们占用server的描述符等。修改此参数允许重用处于time_wait的socket。默认为01表示开启6.net.ipv4.tcp_tw_recycle也是针对time_wait状态的该参数表示快速回收处于time_wait的socket。默认为01表示开启7.net.ipv4.tcp_fin_timeout修改time_wait状的存在时间默认的2MSL注意time_wait存在且生存时间为2MSL是有原因的见我上一篇博客为什么会有time_wait状态的存在所以修改它有一定的风险还是根据具体的情况来分析。8.net.ipv4.tcp_max_tw_buckets所允许存在time_wait状态的最大数值超过则立刻被清楚并且警告。9.net.ipv4.ip_local_port_range表示对外连接的端口范围。10.somaxconn前面说了Syn队列的最大长度限制somaxconn参数决定Accept队列长度在listen函数调用时backlog参数即决定Accept队列的长度该参数太小也会限制最大并发连接数因为同一时间完成3次握手的连接数量太小server处理连接速度也就越慢。服务器端调用accept函数实际上就是从已连接Accept队列中取走完成三次握手的连接。Accept队列和Syn队列是listen函数完成创建维护的。/proc/sys/net/core/somaxconn修改3. 参考资料
