漫画 | 理解了 TCP 连接的实现以后，客户端的并发也爆发了

echo "5000 65000"  /proc/sys/net/ipv4/ip_local_port_range

连接 1：192.168.1.101 5000 192.168.1.100 8090

连接 2：192.168.1.101 5001 192.168.1.100 8090

连接 N：192.168.1.101 …  192.168.1.100 8090

连接 6W：192.168.1.101 65000 192.168.1.100 8090

//修改整个系统能打开的文件描述符为20W echo 200000 > /proc/sys/fs/file-max   //修改所有用户每个进程可打开文件描述符为20W #vi /etc/sysctl.conf fs.nr_open=210000 #sysctl -p #vi /etc/security/limits.conf *  soft  nofile  200000 *  hard  nofile  200000

注意: limits 中的 hard limit 不能超过 nr_open, 所以要先改 nr_open。而且最好是在 sysctl.conf 中改。避免重启的时候 hard limit 生效了，nr_open 不生效导致启动问题。

“socket 中有一个主要的数据结构 sock_common，在它里面有两个联合体。”

// file: include/net/sock.h struct sock_common {  union {   __addrpair skc_addrpair; //TCP连接IP对儿    struct {    __be32 skc_daddr;    __be32 skc_rcv_saddr;   };  };   union {   __portpair skc_portpair; //TCP连接端口对儿   struct {    __be16 skc_dport;    __u16 skc_num;   };  };   }

“其中 skc_addrpair 记录的是 TCP 连接里的 IP 对儿，skc_portpair 记录的是端口对儿。”

“在网络包到达网卡之后，依次经历 DMA、硬中断、软中断等处理，最后被送到 socket 的接收队列中了。”

“对于 TCP 协议来说，协议处理的入口函数是 tcp_v4_rcv。我们看一下它的代码”

// file: net/ipv4/tcp_ipv4.c int tcp_v4_rcv(struct sk_buff *skb) {    th = tcp_hdr(skb); //获取tcp header  iph = ip_hdr(skb); //获取ip header   sk = __inet_lookup_skb(&tcp_hashinfo, skb, th->source, th->dest);   }

// file: include/net/inet_hashtables.h static inline struct sock *__inet_lookup(struct net *net,       struct inet_hashinfo *hashinfo,       const __be32 saddr, const __be16 sport,       const __be32 daddr, const __be16 dport,       const int dif) {  u16 hnum = ntohs(dport);  struct sock *sk = __inet_lookup_established(net, hashinfo,     saddr, sport, daddr, hnum, dif);   return sk ? : __inet_lookup_listener(net, hashinfo, saddr, sport,           daddr, hnum, dif); }

“先判断有没有连接状态的 socket，这会走到__inet_lookup_established 函数中”

struct sock *__inet_lookup_established(struct net *net,       struct inet_hashinfo *hashinfo,       const __be32 saddr, const __be16 sport,       const __be32 daddr, const u16 hnum,       const int dif) {  //将源端口、目的端口拼成一个32位int整数  const __portpair ports = INET_COMBINED_PORTS(sport, hnum);      //内核用hash的方法加速socket的查找  unsigned int hash = inet_ehashfn(net, daddr, hnum, saddr, sport);   unsigned int slot = hash & hashinfo->ehash_mask;  struct inet_ehash_bucket *head = &hashinfo->ehash[slot];  begin:  //遍历链表，逐个对比直到找到  sk_nulls_for_each_rcu(sk, node, &head->chain) {   if (sk->sk_hash != hash)    continue;   if (likely(INET_MATCH(sk, net, acookie,           saddr, daddr, ports, dif))) {    if (unlikely(!atomic_inc_not_zero(&sk->sk_refcnt)))     goto begintw;    if (unlikely(!INET_MATCH(sk, net, acookie,        saddr, daddr, ports, dif))) {     sock_put(sk);     goto begin;    }    goto out;   }  } }

// include/net/inet_hashtables.h #define INET_MATCH(__sk, __net, __cookie, __saddr, __daddr, __ports, __dif)   ((inet_sk(__sk)-inet_portpair == (__ports)) &&     (inet_sk(__sk)-inet_daddr == (__saddr)) &&     (inet_sk(__sk)-inet_rcv_saddr == (__daddr)) &&     (!(__sk)-sk_bound_dev_if          ((__sk)-sk_bound_dev_if == (__dif)))  &&     net_eq(sock_net(__sk), (__net)))

“在 INET_MATCH 中将网络包 tcp header 中的__saddr、__daddr、__ports 和 Linux 中的 socket 中 inet_portpair、inet_daddr、inet_rcv_saddr 进行对比。如果匹配 socket 就找到了。当然除了 ip 和端口，INET_MATCH 还比较了其它一些东东，所以 TCP 还有五元组、七元组之类的说法。”

# cat /etc/redhat-release Red Hat Enterprise Linux Server release 6.2 (Santiago)  # ss -ant | grep ESTAB |wc -l 1000013  # cat /proc/meminfo MemTotal:        3925408 kB MemFree:           97748 kB Buffers:           35412 kB Cached:           119600 kB  Slab:            3241528 kB

总结

客户端每建立一个连接就要消耗一个端口，所以很多同学当看到客户端机器上连接数一旦超过 3W、5W 就紧张的不行，总觉得机器要出问题了。

这篇文章的第一版也是很早就写出来了，不过飞哥又打磨了好长时间才算满意。在文中我们展示了一下 TCP socket 的部分内核代码。通过源码来看：

TCP 连接就是在客户机、服务器上的一对儿的 socket。它们都在各自内核对象上记录了双方的 ip 对儿、端口对儿（也就是我们常说的四元组），通过这个在通信时找到对方。

TCP 连接发送方在发送网络包的时候，会把这份信息复制到 IP Header 上。网络包带着这份信物穿过互联网，到达目的服务器。目的服务器内核会按照 IP 包 header 中携带的信物（四元组）去匹配找到正确的 socket (连接)。

在这个过程里我们可以看到，客户端的端口只是这个四元组里的一元而已。哪怕两条连接用的是同一个端口号，只要客户端 ip 不一样，或者是服务器不一样都不影响内核正确寻找到对应的连接，而不会串线！

所以在客户端增加 TCP 最大并发能力有两个方法。第一个办法，为客户端配置多个 ip。第二个办法，连接多个不同的 server。

不过这两个办法最好不要混用。因为使用多 IP 时，客户端需要 bind。一旦 bind 之后，内核建立连接的时候就不会选择用过的端口了。bind 函数会改变内核选择端口的策略~~

最后我们亲手实验证明了客户端也可以突破百万的并发量级。相信读过此文的你，以后再也不用再惧怕 65535 这个数字了。