TCP/IP协议栈介绍
一、TCP/IP模型
Transmission Control Protocol/Internet Protocol传输控制协议/因特网互联协议 ,TCP/IP是一个Protocol Stack(协议栈),包括TCP、IP、UDP、ICMP、RIP、TELNET、FTP、SMTP、ARP等许多协议 最早发源于美国国防部(缩写为DoD)的因特网的前身ARPA网项目,1983年1月1日,TCP/IP取代了旧的网络控制协议NCP,成为今天的互联网和局域网的基石和标准,由互联网工程任务组负责维护,共定义了四层 。
TCP/IP协议栈和ISO参考模型的分层有对应关系 :
二、TCP/IP端口划分:
传输层通过port号,确定应用层协议
Port number: 端口号
tcp:传输控制协议,面向连接的协议;通信前需要建立虚拟链路;结束后拆除链路
0-65535
udp:User Datagram Protocol,无连接的协议
0-65535
IANA:互联网数字分配机构(负责域名,数字资源,协议分配)
0-1023:系统端口或特权端口(仅管理员可用) ,众所周知,永久的分配给固定的
系统应用使用,22/tcp(ssh), 80/tcp(http), 443/tcp(https)
1024-49151:用户端口或注册端口,但要求并不严格,分配给程序注册为某应
用使用,1433/tcp(SqlServer), 1521/tcp(oracle),3306/tcp(mysql),11211/tcp/udp
(memcached)
49152-65535:动态端口或私有端口,客户端程序随机使用的端口
其范围的定义:/proc/sys/net/ipv4/ip_local_port_range
/etc/services:记录了应用服务的端口号,各种协议的端口号
常见的一些端口号要记住:
snmp 161/tcphttp 80/tcp https 443/tcpkerberos 88/tcp 网络授权协议,用来在非安全网络中,对个人通信以安全的手段进行身份认证smtp 25/tcppop3 110/tcpimap 143/tcpsmb 445/tcpdns 53/tcpdhcp/s 67/udpdhcp/c 68/udpdns 53/udpqq 8000/udp
三、TCP的特性
工作在传输层 面向连接协议 全双工协议 半关闭 错误检查 将数据打包成段,排序 确认机制 数据恢复,重传 流量控制,滑动窗口 拥塞控制,慢启动和拥塞避免算法
四、TCP的包头结构
TCP包头结构介绍
TCP包头 源端口、目标端口:计算机上的进程要和其他进程通信是要通过计算机端口的,而一个计算机端口某个时刻只能被一个进程占用,所以通过指定源端口和目标端口,就可以知道是哪两个进程需要通信。 源端口、目标端口是用16位表示的,可推算计算机的端口个数为2^16个 序列号:表示本报文段所发送数据的第一个字节的编号。在TCP连接中所传送的字节流的每一个字节都会按顺序编号。由于序列号由32位表示,所以每2^32个字节,就会出现序列号回绕,再次从 0 开始 确认号:表示接收方期望收到发送方下一个报文段的第一个字节数据的编号。也就是告诉发送方:我希望你(指发送方)下次发送的数据的第一个字节数据的编号为此确认号 数据偏移:表示TCP报文段的首部长度,共4位,由于TCP首部包含一个长度可变的选项部分,需要指定这个TCP报文段到底有多长。它指出 TCP 报文段的数据起始处距离 TCP 报文段的起始处有多远。 该字段的单位是32位(即4个字节为计算单位),4位二进制最大表示15,所以数据偏移也就是TCP首部最大60字节 URG:表示本报文段中发送的数据是否包含紧急数据。后面的紧急指针字段(urgent pointer)只有当URG=1时才有效 ACK:表示是否前面确认号字段是否有效。只有当ACK=1时,前面的确认号字段才有效。TCP规定,连接建立后,ACK必须为1,带ACK标志的TCP报文段称为确认报文段 PSH:提示接收端应用程序应该立即从TCP接收缓冲区中读走数据,为接收后续数据腾出空间。如果为1,则表示对方应当立即把数据提交给上层应用,而不是缓存起来,如果应用程序不将接收到的数据读走, 就会一直停留在TCP接收缓冲区中 RST:如果收到一个RST=1的报文,说明与主机的连接出现了严重错误(如主机崩溃),必须释放连接,然后再重新建立连接。或者说明上次发送给主机的数据有问题,主机拒绝响应, 带RST标志的TCP报文段称为复位报文段 SYN:在建立连接时使用,用来同步序号。当SYN=1,ACK=0时,表示这是一个请求建立连接的报文段;当SYN=1,ACK=1时,表示对方同意建立连接。SYN=1,说明这是一个请求 建立连接或同意建立连接的报文。只有在前两次握手中SYN才置为1,带SYN标志的TCP报文段称为同步报文段 FIN:表示通知对方本端要关闭连接了,标记数据是否发送完毕。如果FIN=1,即告诉对方:"我的数据已经发送完毕,你可以释放连接了",带FIN标志的TCP报文段称为结束报文段 窗口大小:表示现在允许对方发送的数据量,也就是告诉对方,从本报文段的确认号开始允许对方发送的数据量,达到此值,需要ACK确认后才能再继续传送后面数据,由Window size value * Window size scaling factor (此值在三次握手阶段TCP选项Window scale协商得到)得出此值 校验和:提供额外的可靠性 紧急指针:标记紧急数据在数据字段中的位置 选项部分:其最大长度可根据TCP首部长度进行推算。TCP首部长度用4位表示,选项部分最长为:(2^4-1)*4-20=40字节 常见选项: 最大报文段长度:Maxium Segment Size,MSS,通常1460字节 窗口扩大:Window Scale 时间戳: Timestamps
五、TCP的三次握手
TCP三次握手的简单介绍
第一次握手:首先要保证服务端的服务端口处于LISTEN监听的状态,这时客户端主动发送请求并进入到(SYN-SENT)状态,使用49152-65535其中随机的一个端口向服务端的服务端口发送请求,发送两个报文 SYN=1同步序号请求,发出seq=x本机序号。第二次握手:服务端当接收到客户端的请求连接时,立即做出响应,并进入到SEND_RCVD等待客户端确认,服务端会向客户端发送4个报文SYN=1同步序号请求,ACK=1是确认客户端发送的SYN同步序号确认报文已经收到, 服务端发送自己的序号seq=y,同时还会发送一个ack=x+1(表示客户端发送的seq=x报文包在服务端已经确认收到,下次在发送报文时发送x包的下一个包也就是x+1的包)。第三次握手:当客户端收到服务端的回应时,客户端会立即做出响应并进入到ESTABLISHED已建立连接的状态 ,客户端会回复给服务端4个报文,ACK=1(表示服务端发送的SYN报文已经收到),seq=x+1(就是第一次发送的是x的报文包这次 就要发送下一个包了就是x+1的报文),ack=y+1(表示服务端向客户端发起的seq=y客户端已收到下次在发送就要发送y报文的下一个包)。当服务端收到响应立即进入到状态,TCP的连接建立可以进行数据传送为什么是三次握手而不是两次或者四次呢? 如果是两次的话,当客户端第一次发送请求给服务端,服务端收到请求并回应给客户端服务端确认已收到客户端的请求,第二次则是服务端向客户端返回确认包已收到请求,并同时发送服务端向客户端连接的请求, 如果没有第三次的话,服务端根本不清楚客户端是否已收到服务端发给客户端的确认包及请求包,所以三次握手也就是保证tcp建立链接可靠保证安全的,要完全建立TCP的连接必须经过双方确认才可以,建立起 TCP的连接之后才可以进行数据的传送第四次则是双方已经开始交换数据了
三次握手的半连接队列和全连接队列:
半连接队列和全连接队列的介绍
半连接队列:其中我们说的3次握手实际上发送一个同步消息给服务端,服务端收到之后给客户端回应的时候实际上在服务端是有一个队列存在的我们称之为半连接队列,就在服务端存在着一个连接队列也就是客户端发送一个 同步信息过来服务器端要看一下本身的队列有没有空位了,才能给客户端回应,如果服务端的半连接队列满了也就是排队排满了服务端是没有能力给客户端回应的,半连接队列最多能连多少个达到这个值超了这个值 就接受不了了,也就不能在给客户端做出响应。 查看半连接队列容量: ss -lnt | netstat -nt cat /proc/sys/net/ipv4/tcp_max_syn_backlog 存放未完成连接队列的数量,默认128,生产环境中建议调成1024以上;全连接队列:全连接队列就是已经建立了三次握手,握手之后可以建立会话建立连接了,真正处于连接状态的就是全连接,全连接也是有队列的,服务端有一定的数量,这个数量在一个范围内,如果超了这个值就不能在建立连接了 查看全连接队列: cat /proc/sys/net/core/somaxconn 存放完成连接队列的数量,默认128,生产环境中建议调成1024以上;
六、TCP的四次挥手
TCP四次挥手的简单介绍
在客户端与服务端经过三次握手传送数据完成后,经过四次挥手断开连接,那么,是客户端向服务端请求断开连接?还是服务端向客户端请求断开连接呢?这个是不确定的,通常是客户端请求断开连接。但是在有些场景下,会是服务端请求断开连接,像如果客户端在连接后,经过一段时间没有做任何动作,超过服务器连接时长时,服务器主动会断开连接!下面拿客户端主动断开连接为例:第一次挥手:在连接状态下客户端向服务端发送断开连接的请求FIN=1(通知服务端我请求关闭连接,标记数据是否发送完毕,如果FIN=1,即告诉对方:"我的数据已经发送完毕,你可以释放连接了"),seq=u(第一次断开请求序号),此时 客户端进入到FIN-WAIT-1的状态终止等待服务端确认阶段。第二次挥手:服务端收到FIN=1,seq=u断开连接请求后,回应客户端3个报文包ACK=1(确认之前序号有效),seq=v(服务端向客户端发送自己的序号)ack=u+1(表示客户端发送的u报文包已经收到下次要发送u+1的报文包也就是u的下一个包) ,但是此时并不是回应确认断开,只是向客户端发送我收到你的断开请求而已,当客户端收到服务端的第一次回进入到FIN_WAIT_2状态等待确认阶段。第三次挥手:服务端会检查数据是否传完,如有遗留继续发送,待服务端确认所有数据完成发送之后,因为此前一段时间还是数据传送阶段,所以由服务端向客户端发起请求断开连接,服务端再次向客户端发送4个报文包 FIN=1(告知客户端以传送完毕请求断开连接),ACK=1(再次发送此前收到的序号有效确认客户端之前的消息已经收到),seq=w(因为数据传送有时间间隔,所以序号改变),ack=u+1(再次确认客户端断开请求已收到), 此时服务端进入LAST-ACK 最后确认等待阶段。第四次挥手:客户端在两次等待后收到服务端的断开请求,立即回应给服务端3个报文包ACK=1(确认序号有效),seq=u+1(第二次序号为+1),ack=w+1(确认服务端seq=w收到)。当服务端收到客户端的回应会立即进入到CLOSED没有任何连接 状态,但是此时客户端会进入到TIME-WAIT(2MSL)的状态,MSL(最大数据段的时间长度)这个MSL说的是什么呢,说的就是客户端和服务端之间发送数据报文时需要多少时间,在TIME-WAIT这个状态下需要等待2MSL的时间 才会进入到CLOSED没有任何连接的状态,这时才是四次挥手全部完成TCP连接完全断开
七、TCP有限状态机FSM:Finite State Machine
CLOSED 没有任何连接状态 LISTEN 侦听状态,等待来自远方TCP端口的连接请求 SYN-SENT 在发送连接请求后,等待对方确认 SYN-RECEIVED 在收到和发送一个连接请求后,等待对方确认 ESTABLISHED 代表传输连接建立,双方进入数据传送状态 FIN-WAIT-1 主动关闭,主机已发送关闭连接请求,等待对方确认 FIN-WAIT-2 主动关闭,主机已收到对方关闭传输连接确认,等待对方发送关闭传输连接请求 TIME-WAIT 完成双向传输连接关闭,等待所有分组消失 CLOSE-WAIT 被动关闭,收到对方发来的关闭连接请求,并已确认 LAST-ACK 被动关闭,等待最后一个关闭传输连接确认,并等待所有分组消失 CLOSING 双方同时尝试关闭传输连接,等待对方确认
这里添加一个小的实例抓取Linux系统TCP连接不同状态出现的次数
ss -nt |sed -rn '1!s/^([^ ]+).*/\1/p' |sort |uniq -c
八、UDP特性
工作在传输层提供不可靠的网络访问非面向连接协议有限的错误检查传输性能高无数据恢复特性
九、UDP包头
UDP的包头结构
源端口:源设备的应用程序端口号;目的端口:目标设备应用程序的端口号;报文长度:整个报文大小校验和:是提供额外的可靠性;数据:具体要传送的数据内容;
十、TCP和UDP的区别
TCP | UDP | |
可靠性 | 可靠 | 不可靠 |
连接性 | 面向连接 | 面向无连接 |
确认机制 | 具有确认机制 | 没有确认机制,发出去就不管了到不到由网络说的算 |
效率 | 低(因为TCP需要三次握手建立可靠连接才能进行数据的传送) | 高 |
数据恢复的能力 | 有 | 没有 |
流量控制 | 滑动窗口 | 无 |
拥塞机制 | 慢开始、拥塞避免、快重传、快恢复 | 无 |
传输速度 | 慢 | 快 |
应用场景 | 对效率要求低,对准确度要求高或者要求有连接的场景。比如:电子邮件(SMTP)、万维网(HTTP)、文件传输(FTP) | 对效率要求高,对准确度要求低的场景。比如:域名转换(DNS)、远程文件服务器(NFS) |