阅读 161

HTTP、HTTPS基础及原理

一、HTTP

1.1 HTTP协议发展历程

HTTP/0.9

HTTP 是基于 TCP/IP 协议的应用层协议。它不涉及数据包(packet)传输,主要规定了客户端和服务器之间的通信格式,默认使用80端口。

最早版本是1991年发布的0.9版。该版本极其简单,只有一个命令GET,并且协议规定,服务器只能回应HTML格式的字符串,不能回应别的格式,服务器发送完毕,就关闭TCP连接。

HTTP/1.0

简介

1996年5月,HTTP/1.0 版本发布,内容大大增加。 首先,任何格式的内容都可以发送,其次,除了GET命令,还引入了POST命令和HADE命令,丰富了浏览器与服务器的互动手段。 再次,HTTP请求和回应的格式也变了。除了数据部分,每次通信都必须包括头信息(HTTP header),用来描述一些元数据。 其他的新增功能还包括状态码(status code)、多字符集支持、多部分发送(multi-part type)、权限(authorization)、缓存(cache)、内容编码(content encoding)等。

请求格式

第一行是请求命令,必须在尾部添加协议版本(HTTP/1.0)。后面就是多行信息,描述客户端的情况。

例如:

GET / HTTP/1.0
User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_5)
Accept: */*
复制代码

回应格式

回应的格式是“头信息+一个空行+数据”。其中,第一行是“协议版本+状态码+状态描述”。

例如;

HTTP/1.0 200 OK 
Content-Type: text/plain
Content-Length: 137582
Expires: Thu, 05 Dec 1997 16:00:00 GMT
Last-Modified: Wed, 5 August 1996 15:55:28 GMT
Server: Apache 0.84

<html>
  <body>Hello World</body>
</html>
复制代码

Content-Type字段

关于字符编码,该版本要求头信息必须是ASII码,后面的数据可以是任何格式。

作用:告诉客户端数据是什么格式。

常用的Content-Type字段

text/html
image/png
application/javascript
application/pdf
application/zip
复制代码

客户端请求的时候,可以使用Accept字段声明自己可以接受哪些数据格式。

这些数据类型总称为MIME type,每一个值包括一级类型和二级类型,之间用斜杠分割。MIME type不仅用在HTTP协议,还可以用在其他地方,比如HTML网页中。

<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
<!-- 等同于 -->
<meta charset="utf-8" /> 
复制代码

Content-Encoding 字段 由于发送的数据可以使任何格式,因此可以把数据压缩后在发送。Content-Encoding 字段说明数据的压缩方式。

客户端在请求时,用Accept-Encoding字段说明自己可以接受哪些压缩方法。

缺点

HTTP/1.0 版本的主要缺点是:每个TCP连接只能是发送一个请求。发送完数据之后,连接就关闭,如果还要请求其他资源,就必须再新建一个连接。

TCP连接的新建成本很高,因为需要客户端和服务器三次握手,并且开始时发送速率较慢(slow start)。所以,HTTP 1.0版本的性能比较差。

为了解决这个问题,有些浏览器在请求时,用了一个非标准的Connection字段。

Connection: keep-alive
复制代码

这个字段要求服务器不要关闭TCP连接,以便其他请求复用。服务器同样回应这个字段。

Connection: keep-alive
复制代码

一个可以复用的TCP连接就建立了,直到客户端或服务器主动关闭连接。但是,这不是标准字段,不同实现的行为可能不一致,因此不是根本的解决办法。

HTTP/1.1

1997年1月,HTTP/1.1 版本发布,它进一步完善了 HTTP 协议。

持久连接

1.1 版的最大变化,就是引入了持久连接(persistent connection),即TCP连接默认不关闭,可以被多个请求复用,不用声明Connection: keep-alive

客户端和服务器发现对方一段时间没有活动,就可以主动关闭连接。不过,规范的做法是,客户端在最后一个请求时,发送Connection: close,明确要求服务器关闭TCP连接。

Connection: close
复制代码

目前,对于同一个域名,大多数浏览器允许同时建立6个持久连接。

管道机制

1.1 版还引入了管道机制(pipelining),即在同一个TCP连接里面,客户端可以同时发送多个请求。这样就进一步改进了HTTP协议的效率。

举例来说,客户端需要请求两个资源。以前的做法是,在同一个TCP连接里面,先发送A请求,然后等待服务器做出回应,收到后再发出B请求。管道机制则是允许浏览器同时发出A请求和B请求,但是服务器还是按照顺序,先回应A请求,完成后再回应B请求。

Content-Length字段

一个TCP连接现在可以传送多个回应,势必就要有一种机制,区分数据包是属于哪一个回应的。这就是Content-length字段的作用,声明本次回应的数据长度。

Content-Length: 3495
复制代码

上面代码告诉浏览器,本次回应的长度是3495个字节,后面的字节就属于下一个回应了。

在1.0版中,Content-Length字段不是必需的,因为浏览器发现服务器关闭了TCP连接,就表明收到的数据包已经全了。

分块传输机制

使用Content-Length字段的前提条件是,服务器发送回应之前,必须知道回应的数据长度。

对于一些很耗时的动态操作来说,这意味着,服务器要等到所有操作完成,才能发送数据,显然这样的效率不高。更好的处理方法是,产生一块数据,就发送一块,采用"流模式"(stream)取代"缓存模式"(buffer)。

因此,1.1版规定可以不使用Content-Length字段,而使用"分块传输编码"(chunked transfer encoding)。只要请求或回应的头信息有Transfer-Encoding字段,就表明回应将由数量未定的数据块组成。

Transfer-Encoding: chunked
复制代码

其他功能

1.1版还新增了许多动词方法:PUTPATCHHEADOPTIONSDELETE

另外,客户端请求的头信息新增了Host字段,用来指定服务器的域名。

Host: www.example.com
复制代码

有了Host字段,就可以将请求发往同一台服务器上的不同网站,为虚拟主机的兴起打下了基础。

缺点

虽然服用了TCP连接,但是在同一个TCP连接中,所有的数据通信时按次序进行的。服务器只能处理完一个回应,才会进行下一个回应。要是前面的回应特别慢,后面就会有许多请求排队等着。这称为"队头堵塞"。

HTTP/2

2015年,HTTP/2 发布。它不叫 HTTP/2.0,是因为标准委员会不打算再发布子版本了,下一个新版本将是 HTTP/3。

二进制协议

HTTP/1.1 版的头信息肯定是文本(ASCII编码),数据体可以是文本,也可以是二进制。HTTP/2 则是一个彻底的二进制协议,头信息和数据体都是二进制,并且统称为"帧"(frame):头信息帧和数据帧。

二进制协议的一个好处是,可以定义额外的帧。HTTP/2 定义了近十种帧,为将来的高级应用打好了基础。如果使用文本实现这种功能,解析数据将会变得非常麻烦,二进制解析则方便得多。

多工

HTTP/2 复用TCP连接,在一个连接里,客户端和浏览器都可以同时发送多个请求或回应,而且不用按照顺序一一对应,这样就避免了"队头堵塞"。

举例来说,在一个TCP连接里面,服务器同时收到了A请求和B请求,于是先回应A请求,结果发现处理过程非常耗时,于是就发送A请求已经处理好的部分, 接着回应B请求,完成后,再发送A请求剩下的部分。

这样双向的、实时的通信,就叫做多工(Multiplexing)。

数据流

因为 HTTP/2 的数据包是不按顺序发送的,同一个连接里面连续的数据包,可能属于不同的回应。因此,必须要对数据包做标记,指出它属于哪个回应。

HTTP/2 将每个请求或回应的所有数据包,称为一个数据流(stream)。每个数据流都有一个独一无二的编号。数据包发送的时候,都必须标记数据流ID,用来区分它属于哪个数据流。另外还规定,客户端发出的数据流,ID一律为奇数,服务器发出的,ID为偶数。

数据流发送到一半的时候,客户端和服务器都可以发送信号(RST_STREAM帧),取消这个数据流。1.1版取消数据流的唯一方法,就是关闭TCP连接。这就是说,HTTP/2 可以取消某一次请求,同时保证TCP连接还打开着,可以被其他请求使用。

客户端还可以指定数据流的优先级。优先级越高,服务器就会越早回应。

头信息压缩

HTTP 协议不带有状态,每次请求都必须附上所有信息。所以,请求的很多字段都是重复的,比如Cookie和User Agent,一模一样的内容,每次请求都必须附带,这会浪费很多带宽,也影响速度。

HTTP/2 对这一点做了优化,引入了头信息压缩机制(header compression)。一方面,头信息使用gzipcompress压缩后再发送;另一方面,客户端和服务器同时维护一张头信息表,所有字段都会存入这个表,生成一个索引号,以后就不发送同样字段了,只发送索引号,这样就提高速度了。

服务器推送

HTTP/2 允许服务器未经请求,主动向客户端发送资源,这叫做服务器推送(server push)。

常见场景是客户端请求一个网页,这个网页里面包含很多静态资源。正常情况下,客户端必须收到网页后,解析HTML源码,发现有静态资源,再发出静态资源请求。其实,服务器可以预期到客户端请求网页后,很可能会再请求静态资源,所以就主动把这些静态资源随着网页一起发给客户端了。

1.2 HTTP工作原理

原理

HTTP协议定义Web客户端如何从Web服务器请求Web页面,以及服务器如何把Web页面传送给客户端。HTTP协议采用了请求/响应模型。客户端向服务器发送一个请求报文,请求报文包含请求的方法、URL、协议版本、请求头部和请求数据。服务器以一个状态行作为响应,响应的内容包括协议的版本、成功或者错误代码、服务器信息、响应头部和响应数据。

步骤

以下是 HTTP 请求/响应的步骤:

1、客户端连接到Web服务器

一个HTTP客户端,通常是浏览器,与Web服务器的HTTP端口(默认为80)建立一个TCP套接字连接。例如,www.oakcms.cn

2、发送HTTP请求

通过TCP套接字,客户端向Web服务器发送一个文本的请求报文,一个请求报文由请求行、请求头部、空行和请求数据4部分组成。

3、服务器接受请求并返回HTTP响应

Web服务器解析请求,定位请求资源。服务器将资源复本写到TCP套接字,由客户端读取。一个响应由状态行、响应头部、空行和响应数据4部分组成。

4、释放连接TCP连接

connection 模式为close,则服务器主动关闭TCP连接,客户端被动关闭连接,释放TCP连接;若connection 模式为keepalive,则该连接会保持一段时间,在该时间内可以继续接收请求;

5、客户端浏览器解析HTML内容

客户端浏览器首先解析状态行,查看表明请求是否成功的状态代码。然后解析每一个响应头,响应头告知以下为若干字节的HTML文档和文档的字符集。客户端浏览器读取响应数据HTML,根据HTML的语法对其进行格式化,并在浏览器窗口中显示。

1.3 HTTP的缺点

  • 通信使用明文(不加密),内容可能会被窃听。

  • 不验证通信方的身份,因此可能遭遇伪装

  • 无法证明报文的完整性,所以有可能已遭篡改。

二、HTTPS

2.1 HTTPS定义

HTTPS并非是应用层的一种新协议,只是 HTTP 通信接口部分用SSL(Secure Socket Layer)和 TLS (Transport Layer Security)协议代替而已。 通常,HTTP直接和 TCP 通信。当使用 SSL 时,则演变成先和 SSL 通信,再有SSL 和 TCP 通信了。简言之,所谓的HTTPS,其实就是身披 SSL 协议这层外壳的 HTTP。 在采用SSL后,HTTP就拥有了 HTTPS 的加密、证书和完整性保护这些功能。

SSL 是独立于HTTP的协议,所以不光是HTTP协议,其他运行在应用层的 SMTPTelnet 等协议均可配合 SSL 协议使用。可以说 SSL 是当今世界应用最为广泛的网络安全技术。

2.2 HTTPS加密

HTTPS采用共享密钥加密和公开密钥加密的混合加密机制。

共享密钥加密

加密和解密同用一个密钥的方式称为共享密钥加密,也被称为 对称密钥加密。 以共享密钥方式加密时必须将密钥也发给对方。可究竟怎样才能安全地转交?在互联网上转发密钥时,如果通信被监听那么密钥就可会落入攻击者之后,同时也就失去了加密的意义,另外还得设法安全地保管接收到的密钥。

使用两把密钥的公开密钥加密

公开密钥加密的方式很好的解决了共享密钥加密的问题。 公开密钥加密使用一对非对称的密钥。一把为私钥(私有密钥),一把为公钥(公开密钥),其中私有密钥不能让任何人得知,而公开密钥则可以随意公布。 发送密文的那一端,使用对方的公开密钥进行加密处理,对方接收到被加密的信息后,使用私钥对此密文进行解密。 利用这种方式,不需要发送用来解密的私钥。从而解决了共享密钥加密存在的问题。

使用混合加密机制的HTTPS

HTTPS采用共享密钥加密和公开密钥加密的混合加密机制。如果为了实现密钥的安全,那么可以考虑仅使用公开密钥加密技术。(公开密钥加密比共享密钥加密处理速度要慢) 所以,应当充分利用两者的优势,将多种方法组合起来进行通信: 在交换密钥环节,使用公开密钥加密技术(比如说,从客户端到服务器,那么在这样一个安全的通信中,客户端可以将共享密钥加密中的密钥用公开密钥加密中的公钥进行加密,发送给服务器,然后服务器使用公开密钥加密技术的私钥进行解密,就拿到了共享密钥加密技术中的私钥),之后建立通信报文交换的阶段则可使用共享密钥加密技术。

2.3 HTTPS的原理(通信步骤)

  • 1.客户端首先会将自己支持的加密算法,打个包告诉服务器端。

  • 2.服务器端从客户端发来的加密算法中,选出一组加密算法和HASH算法(注,HASH也属于加密),并将自己的身份信息以证书的形式发回给客户端。而证书中包含了网站的地址,加密用的公钥,以及证书的颁发机构等;

  • 3.客户端收到了服务器发来的数据包后,验证一下证书是否合法,如果证书合法,或者客户端接受和信任了不合法的证书,则客户端就会随机产生一串序列号,使用服务器发来的公钥进行加密。这时候,一条返回的消息就基本就绪。最后使用服务器挑选的HASH算法,将刚才的消息使用刚才的随机数进行加密,生成相应的消息校验值,与刚才的消息一同发还给服务器。

  • 4.服务器接受到客户端发来的消息后,使用私钥解密上面公钥加密的消息,得到客户端产生的随机序列号。使用该随机序列号,对该消息进行加密,验证得到的校验值是否与客户端发来的一致。如果一致则说明消息未被篡改,可以信任。最后,使用该随机序列号,加上之前选择的加密算法,加密一段握手消息,发还给客户端。同时HASH值也带上。

  • 5.客户端收到服务器端的消息后,计算HASH值是否与发回的消息一致,检查消息是否为握手消息。

  • 6.握手结束后,客户端和服务器端使用握手阶段产生的随机数以及挑选出来的算法进行对称加解密的传输。

参考文献:图解HTTP

关注下面的标签,发现更多相似文章
评论