漫画 | 理解了 TCP 连接的实现以后,客户端的并发也爆发了
本文来自微信公众号:开发内功修炼 (ID:kfngxl),作者:张彦飞 allen
echo "5000 65000" /proc/sys/net/ipv4/ip_local_port_range
连接 1:192.168.1.101 5000 192.168.1.100 8090
连接 2:192.168.1.101 5001 192.168.1.100 8090
连接 N:192.168.1.101 ... 192.168.1.100 8090
连接 6W:192.168.1.101 65000 192.168.1.100 8090
//修改整个系统能打开的文件描述符为20Wecho 200000 > /proc/sys/fs/file-max//修改所有用户每个进程可打开文件描述符为20W#vi /etc/sysctl.conffs.nr_open=210000#sysctl -p#vi /etc/security/limits.conf* soft nofile 200000* hard nofile 200000
注意: limits 中的 hard limit 不能超过 nr_open, 所以要先改 nr_open。而且最好是在 sysctl.conf 中改。避免重启的时候 hard limit 生效了,nr_open 不生效导致启动问题。
"socket 中有一个主要的数据结构 sock_common,在它里面有两个联合体。"
// file: include/net/sock.hstruct sock_common { union { __addrpair skc_addrpair; //TCP连接IP对儿 struct { __be32 skc_daddr; __be32 skc_rcv_saddr; }; }; union { __portpair skc_portpair; //TCP连接端口对儿 struct { __be16 skc_dport; __u16 skc_num; }; }; }
"其中 skc_addrpair 记录的是 TCP 连接里的 IP 对儿,skc_portpair 记录的是端口对儿。"
"在网络包到达网卡之后,依次经历 DMA、硬中断、软中断等处理,最后被送到 socket 的接收队列中了。"
"对于 TCP 协议来说,协议处理的入口函数是 tcp_v4_rcv。我们看一下它的代码"
// file: net/ipv4/tcp_ipv4.cint tcp_v4_rcv(struct sk_buff *skb){ th = tcp_hdr(skb); //获取tcp header iph = ip_hdr(skb); //获取ip header sk = __inet_lookup_skb(&tcp_hashinfo, skb, th->source, th->dest); }
// file: include/net/inet_hashtables.hstatic inline struct sock *__inet_lookup(struct net *net, struct inet_hashinfo *hashinfo, const __be32 saddr, const __be16 sport, const __be32 daddr, const __be16 dport, const int dif){ u16 hnum = ntohs(dport); struct sock *sk = __inet_lookup_established(net, hashinfo, saddr, sport, daddr, hnum, dif); return sk ? : __inet_lookup_listener(net, hashinfo, saddr, sport, daddr, hnum, dif);}
"先判断有没有连接状态的 socket,这会走到__inet_lookup_established 函数中"
struct sock *__inet_lookup_established(struct net *net, struct inet_hashinfo *hashinfo, const __be32 saddr, const __be16 sport, const __be32 daddr, const u16 hnum, const int dif){ //将源端口、目的端口拼成一个32位int整数 const __portpair ports = INET_COMBINED_PORTS(sport, hnum); //内核用hash的方法加速socket的查找 unsigned int hash = inet_ehashfn(net, daddr, hnum, saddr, sport); unsigned int slot = hash & hashinfo->ehash_mask; struct inet_ehash_bucket *head = &hashinfo->ehash[slot];begin: //遍历链表,逐个对比直到找到 sk_nulls_for_each_rcu(sk, node, &head->chain) { if (sk->sk_hash != hash) continue; if (likely(INET_MATCH(sk, net, acookie, saddr, daddr, ports, dif))) { if (unlikely(!atomic_inc_not_zero(&sk->sk_refcnt))) goto begintw; if (unlikely(!INET_MATCH(sk, net, acookie, saddr, daddr, ports, dif))) { sock_put(sk); goto begin; } goto out; } }}
// include/net/inet_hashtables.h#define INET_MATCH(__sk, __net, __cookie, __saddr, __daddr, __ports, __dif) \ ((inet_sk(__sk)-inet_portpair == (__ports)) && \ (inet_sk(__sk)-inet_daddr == (__saddr)) && \ (inet_sk(__sk)-inet_rcv_saddr == (__daddr)) && \ (!(__sk)-sk_bound_dev_if \ ((__sk)-sk_bound_dev_if == (__dif))) && \ net_eq(sock_net(__sk), (__net)))
"在 INET_MATCH 中将网络包 tcp header 中的__saddr、__daddr、__ports 和 Linux 中的 socket 中 inet_portpair、inet_daddr、inet_rcv_saddr 进行对比。如果匹配 socket 就找到了。当然除了 ip 和端口,INET_MATCH 还比较了其它一些东东,所以 TCP 还有五元组、七元组之类的说法。"
# cat /etc/redhat-releaseRed Hat Enterprise Linux Server release 6.2 (Santiago)# ss -ant | grep ESTAB |wc -l1000013# cat /proc/meminfoMemTotal: 3925408 kBMemFree: 97748 kBBuffers: 35412 kBCached: 119600 kBSlab: 3241528 kB
总结
客户端每建立一个连接就要消耗一个端口,所以很多同学当看到客户端机器上连接数一旦超过 3W、5W 就紧张的不行,总觉得机器要出问题了。
这篇文章的第一版也是很早就写出来了,不过飞哥又打磨了好长时间才算满意。在文中我们展示了一下 TCP socket 的部分内核代码。通过源码来看:
TCP 连接就是在客户机、服务器上的一对儿的 socket。它们都在各自内核对象上记录了双方的 ip 对儿、端口对儿(也就是我们常说的四元组),通过这个在通信时找到对方。
TCP 连接发送方在发送网络包的时候,会把这份信息复制到 IP Header 上。网络包带着这份信物穿过互联网,到达目的服务器。目的服务器内核会按照 IP 包 header 中携带的信物(四元组)去匹配找到正确的 socket (连接)。
在这个过程里我们可以看到,客户端的端口只是这个四元组里的一元而已。哪怕两条连接用的是同一个端口号,只要客户端 ip 不一样,或者是服务器不一样都不影响内核正确寻找到对应的连接,而不会串线!
所以在客户端增加 TCP 最大并发能力有两个方法。第一个办法,为客户端配置多个 ip。第二个办法,连接多个不同的 server。
不过这两个办法最好不要混用。因为使用多 IP 时,客户端需要 bind。一旦 bind 之后,内核建立连接的时候就不会选择用过的端口了。bind 函数会改变内核选择端口的策略~~
最后我们亲手实验证明了客户端也可以突破百万的并发量级。相信读过此文的你,以后再也不用再惧怕 65535 这个数字了。
- 上一篇
2022 年诺贝尔奖将从 10 月 3 日起陆续揭晓:奖金约 642 万元
CTOnews.com 10 月 2 日消息,据诺贝尔奖官网消息,2022 年诺贝尔奖将于 10 月 3 日至 10 日陆续颁布。诺贝尔基金会还决定邀请 2022 年诺贝尔奖获得者与 2020 年、2
- 下一篇
传音 Infinix Note 12i 2022 款发布:搭载联发科 Helio G85 芯片,5000 万像素主相机
CTOnews.com 10 月 2 日消息,传音旗下 Infinix 早在 5 月份在肯尼亚推出了 Note 12i 手机,搭载联发科 Helio G85 芯片和 90Hz LCD 屏幕。现在,In
相关文章
- 25 周年纪念作,情怀拉满但诚意欠缺:《勇者斗恶龙 怪物仙境 3》
- 联想拯救者 Y700 2023 平板推送 ZUI 15.0.723 系统灰度测试:新增“USB 网络共享”,优化底部小白条
- Streacom 推出 SG10 高端被动散热机箱:可解热 600W,1300 美元
- 3D 角色扮演策略游戏《少女前线 2:追放》公测开启,安卓、iOS、PC 多端互通
- 新能源车市:价格战开局,价值战结束
- 雪天这样拍,照片更为味道
- Cybertruck:未来物种重新定义汽车
- 2022 年我国未成年网民规模突破 1.93 亿,普及率达 97.2%
- 上映 7 天,《名侦探柯南:黑铁的鱼影》内地票房破亿、豆瓣 6.6 分
- 小岛工作室推出《死亡搁浅》联名手机手柄,预计明年发售