软件测试之TCP、HTTP协议,面试必备!
一、网络模型及传输
1.1 OSI七层网络模型
OSI七层模型
:是ISO组织研究的一种网络互连模型,目的是为了推荐所有公司使用这个规范来控制网络。OSI七层模型从下至上分别为:物理层、数据链路层、网络层、传输层、会话层、表示层、应用层
。它们大概的作用如下图所示。
关于七层网络模型中的每一层,都是为了解决网络中的某一个或某些问题。每一层的目的,可以参考下图中的描述。针对软件测试人员来说,我们在工作或面试中,常会接触到的就是传输层(TCP、UDP)和应用层(HTTP、HTTPS等)
。
1.2 TCP/IP四层概念模型
TCP/IP四层概念模型是目前较为常用的一种网络模型,相较于OSI七层网络模型,只是对比OSI将七层减少为四层。
OSI七层网络模型 | TCP/IP四层网络模型 | 对应网络协议 |
---|---|---|
应用层 | 应用层 | HTTP、TFTP、FTP、NFS、WAIS、SMTP |
表示层 | SNMP、Telnet、Rlogin | |
会话层 | SMTP、DNS | |
传输层 | 传输层 | TCP、UPD |
网络层 | 网络层 | IP、ICMP、ARP、RARP、AKP、UUCP |
数据链路层 | 数据链路层 | FDDI、PDN、PPP |
物理层 | IEEE 802.1A、IEEE 802.2到IEEE 802.11 |
1.3 网络传输过程
数据在网络传输的过程中,本质是一个封装和解封装的过程。例如:用户使用浏览器向百度服务器发送请求过程中,就是用户的数据从应用层一路封装到物理层,服务器得到物理层的比特流后,一路解封装得到对应数据
。同理,服务器响应给用户的数据,也是服务器先一路封装,然后用户再一路解封。
二、TCP、UPD协议详解
在网络层的中,使用ARP、IP、路由协议,实现了数据的转发,从而实现两个机器之间数据包的传输。但是当数据包特别大的时候,通过网络层的协议,没有办法保证数据的完整性
。此时,就需要传输层的协议实现数据包的完整传输。
在传输层中,定义了TCP和UDP这两个协议,并且定义端口的概念,用来寻找应用程序,从而实现端到端的数据传输
。
2.1 TCP协议概述
TCP协议:传输控制协议
,就是对数据的传输进行一定的控制。关于TCP数据报文格式如图所示,关于TCP头部信息详细数据可以参考链接:(传输层)TCP协议。针对测试而言,我此处只标注出需要注意的地方。
TCP报文=
TCP头部
+TCP数据部分
。同样,IP数据包也包含tcp数据包或udp数据包
。其中,我们经常需要关注的是TCP头部。源端口和目的端口:各占 2 字节.端口是传输层与应用层的服务接口.传输层的复用和分用功能都要通过端口才能实现。
序号
:占4个字节,TCP连接中传送的字节流中的每个字节都按顺序编号。确认号
:占4个字节,是期望收到对方下一个报文的第一个数据字节的序号。ACK
:仅当ACK=1时,确认号字段才有效。TCP规定,在连接建立后所有报文的传输都必须把ACK置1;RST
:当 RST=1 时,表明 TCP 连接中出现严重差错(如由于主机崩溃或其他原因),必须释放连接,然后再重新建立运输连接SYN
:同步 SYN = 1 表示这是一个连接请求或连接接受报文FIN
:用来释放一个连接.FIN=1 表明此报文段的发送端的数据已发送完毕,并要求释放运输连接
2.2 TCP三次握手
第一次握手:建立连接时,客户端发送
SYN包(seq=x)
到服务器,并进入SYN_SENT
状态,等待服务器确认;第二次握手:服务器收到SYN包,为了确认客户的SYN包,所以发送一个
确认包ACK(ack=x+1)
,同时自己也发送一个SYN包(seq=y)
,即SYN+ACK包,此时服务器进入SYN_RECV
状态。第三次握手:客户端收到服务器的SYN+ACK包,向服务器发送确认包
ACK(ack=y+1)
,此包发送完毕,客户端和服务器进入ESTABLISHED
(TCP连接成功)状态,完成三次握手。
2.3 TCP四次挥手
TCP四次握手
:即为TCP连接的释放
。如果将TCP四次挥手类比为学生和老师之间的对话,如图所示。
关于TCP四次挥手,客户端及服务器处于的状态、四次挥手中发送的序号等相关信息可以如图所示。
第一次挥手:客户端发送一个
FIN(seq=u)包
,代表连接释放,并停止发送数据
,客户端进入FIN-WAIT-1(终止等待1)
状态。第二次挥手:服务器收到客户端发送的释放连接报文,发出确认报文ACK包(ack=u+1),并且带上序列号seq=v,服务端进入
CLOSE-WAIT(关闭等待)
状态。客户端收到确认请求后,进入FIN-WAIT-2(终止等待2)
状态。第三次挥手:服务器将最后的数据发送完后,向客户端发送
释放连接报文FIN包(seq=w)
。且由于服务器处于半关闭状态,服务器会像第二次挥手过程中一样,发送ACK包(ack=u+1)。服务器就进入了LAST-ACK(最后确认)
状态,等待客户端的确认。第四次挥手:客户端收到服务器的连接释放报文后,发出确认报文
ACK包(ack=w+1)
,且带上序列号seq=u+1,发送完后,客户端进入TIME-WAIT(时间等待)
状态,。而服务器收到客户端发出的确认,立即进入CLOSED状态
。
2.4 UDP协议概述
UDP(User Datagram Protocol):用户数据报协议。是一种无连接
的传输层协议
,不会创建连接
,所以是一种不可靠
的协议。它的优点为速度快
,缺点为会丢包、会出错
。关于UDP数据报文的格式,可以参考博客:UDP协议的详细解析
由于UDP协议的特点,所以UPD协议的使用场景如下:
不需要可靠机制,只需要速度快。
资源消耗小
2.5 TCP协议与UDP协议对比
根据是否连接
、传输可靠性
、应用场景
、速度
这几个特点,TCP协议和UDP协议有以下几点不同。
特征点 | TCP | UDP |
---|---|---|
是否连接 | 面向连接 | 面向非连接 |
传输可靠性 | 可靠 | 会丢包,不可靠 |
应用场景 | 数据量很大,防止丢包 | 量小 |
速度 | 慢 | 快 |
常见的应用层协议中,基于TCP协议
的有:HTTP、HTTPS、FTP
。基于UDP协议
的有:DNS(域名解析协议)
等。
三、HTTP、HTTPS协议详解
3.1 HTTP协议概述
HTTP协议:超文本传输协议
,是基于TCP
的协议,默认为80端口
。它的作用是用来规定客户端和服务器的数据传输格式。是一种用于请求与响应
模式的、无状态
、无连接
的应用层协议。由于HTTP协议是一种请求-响应模式,所以一般需要关注HTTP请求
和HTTP响应
。
3.2 HTTP协议之请求报文
HTTP请求的报文分为四部分:请求行
、请求头
、空一行
、请求体
,其中前三个是所有HTTP请求都有的部分,请求体不是所有的HTTP请求都有(例如GET请求没有请求体
)。下图为一个HTTP请求的报文信息:
请求行:请求行由 请求方法
、统一资源定位符(URL)
、HTTP协议及版本
。
请求方法
:HTTP请求中,有八种请求方式,分别为GET、POST 、HEAD、OPTIONS、PUT、DELETE、TRACE 、CONNECT
。其中最后常用的就是GET、POST请求方法。统一资源定位符(URL)
:统一资源定位符用于描述网上的资源,格式如下:协议://host[:port#]/path/../[?query-string]
。HTTP协议及版本
:通常为HTTP/1.1。
请求头:包含若干个属性,格式为“属性名:属性值”,服务端根据此获取客户端的信息。下图为常见的请求头及作用,还可以自定义请求头。
请求头名称 | 作用 |
---|---|
Host | 主机IP地址或域名 |
User-Agent | 客户端相关信息,如操作系统,浏览器等信息 |
Accept | 指定客户端接收信息类型,如image/jpg等 |
Accept-Charset | 客户端接收的字符集 |
Accept-Encoding | 可接受的内容编码 |
Accept-Language | 接收的语言 |
Authorization | 客户端提供给服务器,进行权限认证的信息 |
Cookie | 携带的Cookie信息 |
Referer | 当前文档的URL, 防止盗链 |
Content-Type | 实体头内容类型 |
Content-Length | 数据长度 |
Cache-Control | 缓存机制 |
Pragma | 防止页面被缓存 |
空一行:发送回车符和换行符,通知服务器以下不再有请求头
。
请求体:即为请求参数,通常为以键值对的形式数据。一般在POST请求中才有请求体。
3.3 HTTP协议之响应报文
HTTP响应的报文分为四部分:状态行
、响应头
、空一行
、响应体
,其中前三个是所有HTTP响应都有的部分,响应体不是所有的HTTP响应都有。下图为一个HTTP响应的报文信息:
状态行:状态行由 协议及版本
、状态码
、状态码解释
。
协议及版本
:通常为HTTP/1.1。状态码
:常用状态码根据数字大小可以分为以下几大类。常用的响应状态码为:200:请求成功、302:重定向、403:服务器拒绝请求、404:服务器找不到请求的网页、503:服务不可用
。响应状态码范围 含义 100~199 提示信息,请求被成功接收 200~299 成功接收请求并已完成整个处理过程。常用200 300~399 重定向相关 400~499 客户端的请求有错误 500~599 服务器端出现错误 描述
:即为响应信息的描述。
响应头:响应头用于描述服务器的基本信息,以及数据的描述,服务器通过这些数据的描述信息,可以通知客户端如何处理等一会儿它回送的数据。
响应头名称 | 作用 |
---|---|
Server | HTTP服务器的软件信息 |
Date | 响应报文的时间 |
Expires | 指定缓存过期时间 |
Set-Cookie | 设置Cookie |
Last-Modified | 资源最后修改时间 |
Content-Type | 响应的类型和字符集 |
Content-Length | 内容长度 |
Connection | 如Keep-Alive,表示保持tcp连接不关闭 |
Location | 指定重定向的位置,新的URL路径 |
空一行:发送回车符和换行符,代表后面不再有响应头。
响应体:响应的消息体。
3.4 HTTP协议 无状态、无连接特点及解决方案
在最前面介绍HTTP协议的时候,说到HTTP协议是一个
无状态
、无连接
的协议。那么何为无状态、无连接,以及该特点的优势及所带来的问题。
无状态:
含义
:(1)对事务处理没有记忆能力,服务器不知道客户端是什么状态,给服务器发送HTTP请求之后,服务器回应之后,不会有任何记录;(2)每个请求都是独立的;优点
:释放服务器压力
。缺点
:服务器处理后续请求,需要重传。例如登录系统后,如果不记录登录的相关信息,后续进行添加购物车操作的时候,需要登录的相关信息。解决方案
:(1)Cookie
:将前面的请求信息保存在一个临时位置。cookies值存在浏览器
里,关闭浏览器后被删除,也可以手动去删除。(2)Session
:可以理解为永久的cookie值,保存在服务器
上,并传递给客户端,并保存在内存中。问题:资源占用,session超时时间,清除session ID。
无连接:
含义
:(1)限制每次连接只处理一个请求;(2)服务器处理客户端的请求、并接受客户端的应答后,即断开连接;初衷
:用户量(十万、上百万)页面请求、单个用户间歇性大(很长时间上没有交互),有突发性、瞬时性。数据没有关联,导致资源浪费,从而服务器压力很大。设计
:从而设计为处理完请求后,释放连接。问题
:网页越来越复杂了,页面中有很多图片,如果每次都要建立一次TCP连接,效率就会很低。解决方案
:connection响应头字段值 Keep-Alive 表示保持tcp连接不关闭,不会永久保持连接,服务器可设置
3.5 HTTPS协议详解
HTTP协议存在的问题:发送的数据都是明文的,存在第三方窃听,截取数据包、伪装客户端的情况,存在安全隐患。
HTTPS协议:超文本传输安全协议
,是以网络安全为目标的HTTP通道,简单来讲就是HTTP的安全版。它加密数据并确保其机密性,可保护用户在网站交互时免于窃取个人信息及计费数据。可以理解为:(1)HTTPS=HTTP+SSL
(2)HTTPS=HTTP+加密+身份认证+完整性
。其中加密:密钥;身份认证
: 证书(申请)双向认证
; 完整性保护:哈希算法
计算一个hash值,验证消息的完整性 摘要=摘要 保证数据没有被篡改 ;
HTTPS=HTTP+SSL
HTTPS之SSL连接详解
3.6 HTTP协议与HTTPS协议对比
对面特点 | HTTP协议 | HTTPS协议 |
---|---|---|
安全性 | 安全性低——明文传输、易受攻击,无法确认双方身份,也无法确保数据的完整性 | 安全性高——使用ssl加密传输协议,信息是密文,可以认证双方的身份,防止信息被截取篡改 |
默认TCP端口 | 80端口 | 443端口 |
灵活度或技术门槛 | 简单快速,使用很灵活 | 技术门槛:多数个人或私人网站难以支撑 |
速度 | 协议简单,HTTP服务器的程序规模小,因而通信速度很快 | 加重服务端的负担,需要资源来支撑,降低用户的访问速度 |
费用 | 没有额外的费用 | CA机构颁发的证书都是需要年费的 |
四、常见面试题
在面试中常见的问题有:(1)HTTP请求响应报文(2)HTTP与HTTPS的区别(3)TCP三次握手与四次挥手(4)HTTP常见状态码(5)HTTP八种请求方式(6)简述OSI七层网络模型(7)HTTP无状态、无连接特点及解决方案(8)cookie和session的区别。上述的这些问题再前面都已经写到了,下面将前面没有写到的写照后面。
浏览器输入url按回车背后经历了哪些?
1、首先,在浏览器地址栏中输入url,先解析url,检测url地址是否合法
2、浏览器先查看浏览器缓存-系统缓存-路由器缓存,如果缓存中有,会直接在屏幕中显示页面内容。若没有,则跳到第三步操作。
浏览器缓存:浏览器会记录DNS一段时间,因此,只是第一个地方解析DNS请求;
操作系统缓存:如果在浏览器缓存中不包含这个记录,则会使系统调用操作系统,获取操作系统的记录(保存最近的DNS查询缓存);
路由器缓存:如果上述两个步骤均不能成功获取DNS记录,继续搜索路由器缓存;
ISP缓存:若上述均失败,继续向ISP搜索。
3、在发送http请求前,需要域名解析(DNS解析),解析获取相应的IP地址。
4、浏览器向服务器发起tcp连接,与浏览器建立tcp三次握手。
5、握手成功后,浏览器向服务器发送http请求,请求数据包。
6、服务器处理收到的请求,将数据返回至浏览器
7、浏览器收到HTTP响应
8、浏览器解码响应,如果响应可以缓存,则存入缓存。
9、 浏览器发送请求获取嵌入在HTML中的资源(html,css,javascript,图片,音乐······),对于未知类型,会弹出对话框。
10、 浏览器发送异步请求。
11、页面全部渲染结束。GET和POST的区别?
参考链接:GET和POST两种基本请求方法的区别什么是socket?简述基于tcp协议的套接字通信流程
Socket 又称”套接字”,是系统提供的用于网络通信的方法.
TCP编程的客户端一般步骤是:
1、创建一个socket,用函数socket();
2、设置socket属性,用函数setsockopt();* 可选
3、绑定IP地址、端口等信息到socket上,用函数bind();* 可选
4、设置要连接的对方的IP地址和端口等属性;
5、连接服务器,用函数connect();
6、收发数据,用函数send()和recv(),或者read()和write();
7、关闭网络连接;
5
本文来自网络因学习而整理,如有侵权请联系删除,谢谢!
五、结语
工作从来不是让你作为人生的赌注,
只是年轻的时候我们要懂得全力以赴!
加油呀,期待你们的好消息!
2021软件测试项目实训组
正在火热报名
你还在等什么
关于我们
海学通教育是艺霖科技基于对IT产业的理解和IT教育实践的洞察,整合国内外众多优秀合作伙伴的教育资源和产品,依托前沿软件技术,通过与高校、政府合作,面向大学生、毕业生及社会个体提供更加符合IT行业发展需求的实训服务,包含IT企业内训,个体软件测试技术项目实训。并为企业提供技术过硬,职业化本领更强的可持续化发展人才。
开设的重点专业为全栈软件测试开发工程师。并与华为、软通、中软、阿里云、浪潮、IBM等知名企业及众多的高新产业信息技术企业建立了紧密的合作关系,保证人才的培养和输出。