《图解HTTP》读书笔记

348 阅读15分钟

《图解HTTP》读书笔记

第一章:了解Web及网路基础

TCP/IP协议

把互联网想关联的协议集合起来总称为TCP/IP协议 TCP/IP 协议族按层次分为:应用层,传输层,网络层,数据链路层

应用层

决定了向用户提供应用服务时通信的活动。 TCP/IP 协议族内预存了各类通用的应用服务,比如:FTPDNS 服务就是其中两类 HTTP 协议也处于该层

传输层

传输层对上层应用层,提供处于网络连接中的两台计算机之间的数据传输。 在传输层有两个性质不同的协议:TCP(Transmission Control Protocol,传输控制协议)和 UDP(User Data Protocol,用户数据报协议)

网路层(又名网络互联层)

网路层用来处理网络上流动的数据包。数据包是网络传输的最小数据单位,该层规定了通过怎样的路径(所谓的传输路线)到达对方的计算机,并把数据包传送给对方。与对方计算机之间通过多台计算机或网络设备进行传输时,网络层所起的作用就是在众多的选项内选择一条传输路线。

链路层(又名数据链路层,网络接口层)

用来处理连接网络的硬件部分。包括操作系统、硬件的设备驱动、NIC(Network Interface Card,网络适配器,即网卡),及光纤等物理可见部分,硬件上的范畴均在链路层的作用范围之内。

TCP/IP 通信传输流

Xnip2019-08-15_08-10-59

利用TCP/IP 协议族进行通信时,会通过分层顺序与对方进行通信,发送端从应用层往下走,接收端则从应用层往上走。 发送端在层与层之间传输数据时,没经过一层时必定会被打上一个该层所属的首部信息,反之,接收端在层与层之间传输数据时,每经过一层时会把对应的首部消去。- 这种把数据信息包装起来的做法称为封装。

确保可靠性的 TCP 协议

按层次分,TCP位于传输层,提供可靠的字节流服务(字节流:为了方便传输,将大块数据分割成以报文段为单位的数据包进行管理)。 TCP 协议为了更容易传送大数据才把数据分割,而且 TCP 协议能够确认数据最终是否送达到对方。

如何确保数据能到达目标?

TCP 协议采用了三次握手策略。用TCP协议把数据包送出去以后,TCP不会对传送后的情况置之不理,它一定会向对方确认是否成功送达,握手过程使用了TCP的标志:SYN(synchronize)和 ACK(acknowledgement)。 发送端首先先发送一个带SYN标志的数据包给对方,接收端收到后,回传一个带有 SYN/ACK 标志的数据包以示传达确认信息,最后,发送端再回传一个带 ACK 标志的数据包,代表握手结束。若捂手过程中在某个阶段莫名中断,TCP协议会在此以相同的顺序发送相同的数据包



Xnip2019-08-15_13-49-34

负责域名解析的 DNS 服务

DNS(Domain Name System)服务是和HTTP协议一样位于应用层的协议,它提供域名到IP地址之间的解析服务。

浏览一个网址的全过程:

Xnip2019-08-16_07-03-22

URL(Uniform Resource Locator,统一资源定位符) 和 URI(统一资源标示符)

URL 是访问web页面需要输入的网页地址 URI 是由某个协议方案表示的资源的定位标示符,协议方案是指访问资源所使用的协议类型名称

URI 用字符串标识某一互联网资源,而URL表示资源的地点(互联网上所处的位置),可见 URL 是 URI 的子集。

第二章:简单的HTTP协议

HTTP请求报文由:请求方法、请求URI、协议版本、可选的请求首部字段和内容实体 构成

Xnip2019-08-16_07-24-28

HTTP 是一种不保存状态,即无状态协议。

HTTP 协议自身不对请求和响应之间的通信状态进行保存。目的是为了更快的处理大量事务,确保协议的可伸缩性。 后来有一些场景需要保存客户端的状态,比如登录状态,于是引入了 Cookie 技术。有了 Cookie 再用HTTP协议通信,就可以管理状态了。

告知服务器意图的HTTP方法

  • GET : 获取
  • POST: 传输实体主体
  • PUT : 传输文件
  • HEAD: 获得报文首部
  • DELETE: 删除文件
  • OPTIONS: 询问支持的方法
  • TRACE:追踪路径
  • CONNECT:要求用隧道协议连接代理

持久连接节省通信量

HTTP 初始版本,每进行一次HTTP通信就要断开一次TCP连接,当年数据小没问题,但随着HTTP的普及,HTTP所传输的内容愈来愈多,每次请求都会造成无谓的TCP连接建立和断开,增加通信量的开销。

为解决上述TCP连接的问题,HTTP/1.1 和 一部分 HTTP/1.0 相处了持久连接的方法,特点是:只要任意一端没有明确的提出断开连接,则保持TCP连接状态。

管线化

持久连接使得多数请求以管线化(pipelining)方式发送成为可能,以前发送请求后需等待并受到响应,才能发送下一个请求。管线化技术出现后,不用等待响应亦可直接发送下一个请求。这样就能做到同时并行发送多个请求。而不需要一个接一个地等待响应了。

第三章:HTTP报文内的HTTP信息

请求报文和响应报文的首部内容由以下数据组成:

  • 请求行 包含用于请求的方法,请求 URI 和 HTTP 版本

  • 状态行 包含响应结果的状态码,原因短语和HTTP版本

  • 首部字段 包含请求和响应的各种条件和属性的各类首部 一般有四种首部:通用首部,请求首部,响应首部和实体首部

  • 其他 可能包含HTTP的RFC 里未定义的首部(Cookie等)

编码提升传输速率

报文

是HTTP通信中的基本单位,由8位字节流组成,通过 HTTP 通信传输

实体

作为请求或响应的有效载荷数据(补充项)被传输,其内容由实体首部和实体主体组成

HTTP 报文的主体用于传输请求或响应的实体主体。通常,报文主体等于实体主体。只有当传输中进行编码操作时,实体主体的内容发生变化,才导致它和报文主体产生差异。

第四章:返回结果的HTTP状态码

状态码的类别

类别 原因短语
1xx Infomational(信息性状态码) 接收的请求正常处理
2xx Success(成功状态码) 请求正常处理完毕
3xx Redirection(重定向状态码) 需要进行附加操作以完成请求
4xx Client Error(客户端状态错误码) 服务器无法处理请求
5xx Server Error(服务器状态码) 服务器处理请求出错

常见错误码

2xx - 成功

  • 200 OK : 请求被正常处理。
  • 204 No Content : 请求成功但返回的响应报文中不含实体的主体部分,一般只需要从客户端往服务器发送信息,而对客户端不需要发送新信息内容的情况下使用。
  • 206 Partial Content : 客户端进行了范围请求,服务器成功执行了这部分GET请求,响应报文中包含由 Content-Range 指定范围的实体内容

3xx - 重定向

  • 301 Moved Permanently : 永久性重定向,该状态码表示请求的资源已被分配了新的URI,以后应使用资源现在所指的URI。
  • 302 Found : 临时性重定向,表示请求的资源已被分配了新的URI,希望用户本次能使用新的URI访问
  • 303 See Other : 表示由于请求对应的资源存在着另一个URI,应使用GET方法定向获取请求的资源。
  • 304 Not Modified : 表示客户端发送附带条件的请求时,服务端允许请求访问资源,但未满足条件的情况。
  • 307 Temporary Redirect : 临时重定向

4xx - 客户端错误

  • 400 Bad Request : 请求报文中存在语法错误,当错误发生时,需修改请求的内容后再次发送请求。
  • 401 Unauthorized : 表示发送的请求需要有同感HTTP认证的认证信息。
  • 403 Forbidden : 表明对请求资源的访问被服务器拒绝了。例如未获取到文件系统的访问权限
  • 404 Not Found : 表明服务器上无法找到请求的资源。

5xx - 服务器错误

  • 500 Internal Server Error : 服务器端在执行请求时发生了错误。
  • 503 Service Unavailable :表明服务器暂时处于超负载或正在进行停机去维护,现在无法处理请求。

第五章:与 HTTP 协作的 Web 服务器

一台 Web 服务器可搭建多个独立域名的 Web 网站,也可作为通信路径上的中转服务器提升传输速率

代理

代理是一种由转发功能的应用程序,扮演了位于服务器和客户端中间人的角色,接收由客户端发送的请求并转发给服务器,同时也接收服务器返回的响应并转发给客户端 分缓存代理(缓存从源服务器获取的数据)和透明代理(对请求不做任何加工)

网关

网关是转发其他服务器通信数据的服务器,接收从客户端发送来的请求时,它像自己拥有资源的源服务器一样对请求进行处理。 工作机制和代理类似,而网关能够使通信线路上的服务器提供非HTTP协议服务。利用网关能够提高通信的安全性,因为可以在客户端与网关之间的通信线路上加密以确保连接的安全。

隧道

隧道是在相隔甚远的客户端和服务器两者之间进行中转,并保持双方通信连接的应用程序。 可按要求建立一条与其他服务器的通信线路,届时使用 SSL 等加密手段进行通信。隧道的目的是确保客户端与服务器进行安全的通信。

第六章:HTTP首部

HTTP 协议的请求和响应报文中必含HTTP首部,首部内容为客户端和服务器分别处理请求和响应提供所需要的信息。

请求报文

HTTP请求报文由:方法,URI,HTTP版本,HTTP首部字段等部分构成。

响应报文

HTTP响应报文由:HTTP版本,状态码(数字和原因短语),HTTP首部字段等3部分构成。

HTTP首部字段

首部字段由首部字段名和字段值构成,中间用冒号 :分割。 例如HTTP首部中以 Content-Type 这个字段来表示报文主体的对象类型。

通用首部字段

Xnip2019-08-18_10-53-07

请求首部字段

Xnip2019-08-18_10-56-54

响应首部字段

Xnip2019-08-18_11-07-46

实体首部字段

Xnip2019-08-18_11-08-27

其他首部字段: HTTP 首部字段是可以自行扩展的

第七章:确保Web安全的HTTPS

HTTP 的缺点

  • 通信使用明文(不加密),内容可能会被窃听
  • 不验证通信方的身份,因此有可能遭遇伪装
  • 无法证明报文的完整性,所以有可能已遭篡改

####加密处理防止被窃听

通信的加密

HTTP 协议中没有加密机制,但可以通过和SSL(Secure Socket Layer,安全套接层)或 TLS(Transport Layer Security,安全传输层协议)的组合使用,加密HTTP的通信内容。

用SSL建立安全通信线路之后,就可以在这条线路上进行HTTP通信的。与SSL组合使用的HTTP被称为 HTTPS(HTTP Secure,超文本传输安全协议)

内容的加密

通过使用证书,以证明通信方就是意料中的服务器。

HTTP+加密+认证+完整性保护 = HTTPS

通常,HTTP直接和TCP通信,当使用 SSL 时,则演变成先和 SSL 通信,再由SSL 和 TCP 通信了。

SSL 是独立于HTTP的协议,所以不光是HTTP协议,其他运行在应用层的SMTP和Telnet等协议均可配合SSL协议使用。可以说 SSL 是当今世界上应用最为广泛的网络安全技术。

HTTPS 采用共享密钥加密和公开密钥加密两者并用的混合加密机制。

使用SSL速度不可避免的会变慢:1.通信慢 2.大量消耗CPU和内存等资源,导致处理速度变慢。

第八章:确认访问用户身份的认证

认证的几种常见方式:

  • 密码:只有本人才会知道的字符串信息
  • 动态令牌:仅限本人持有的设备内显示的一次性密码
  • 数字证书:仅限本人(终端)持有的信息
  • 生物认证:指纹和虹膜等本人的生理信息
  • IC卡等:仅限本人持有的信息

HTTP/1.1 使用的认证方式:

  1. BASIC认证(基本认证)
  2. DIGEST认证(摘要认证)
  3. SSL客户端认证
  4. FormBase认证(基于表单认证)

第九章:基于HTTP的功能追加协议

使用HTTP协议存在如下瓶颈:

  • 一条连接上只可发送一个请求
  • 请求只能从客户端开始,客户端不可以接收除响应以外的指令
  • 请求/响应首部未经压缩就发送。首部信息越多延迟越大
  • 发送冗长的首部,每次互相发送相同的首部造成的浪费较多
  • 可任意选择数据压缩格式。非强制压缩发送

Ajax 的解决方法

Ajax(Asynchronous JavaScript and XML, 异步JavaScript与XML技术) 是一种有效利用JavaScript 和 DOM(Document Object Model) 的操作,以达到局部Web页面替换加载的异步通信手段。由于它只更新一部分界面,响应中传输的数据量会因此而减少。

Comet 的解决方法

通常,服务端接收到请求,在处理完毕后就会立即返回响应,但为了实现推送功能,Comet会先将响应置于挂起状态,当服务端有内容更新时,再返回该响应。因此,服务端一旦有更新,就可以立即反馈给客户端。

SPDY 的目标

SPDY 没有完全改写HTTP协议,而是再TCP/IP的应用层与传输层之间通过新加会话层的形式运作。同时,考虑到安全性问题,SDPY规定通信中使用SSL。

Xnip2019-08-22_08-54-17

SDPY的设计图示

使用 SDPY后,HTTP协议额外获得以下功能:

多路复用流

通过单一的TCP连接,可以无限制处理多个HTTP请求。所有请求的处理都在一条TCP连接上完成,因此TCP处理效率得到提高

赋予请求优先级
压缩HTTP首部
推送功能
服务器提示功能

服务器可以主动提示客户端请求所需的资源。

WebSocket

Web 浏览器与 Web 服务器之间全双工通信标准。一旦Web服务器与客户端之间建立起 WebSocket 协议的通信连接,之后所有的通信都依赖这个专用协议进行,通信过程中可互相发送JSON,XML,HTML或图片等任意格式的数据。

WebSocket 通信的主要特点:

  • 推送功能
  • 减少通信量

第十章:构建Web内容的技术

HTML (HyperText Markup Language,超文本标记语言)。

CSS(Cascading Style Sheets,层叠样式表),可以指定如何展现HTML内的各种元素,属于样式表标准之一。

动态HTML(Dynamic HTML)

通过调用客户端脚本语言JavaScript,实现对HTML的Web页面的动态改造。利用 DOM(Document Object Model,文档对象模型)可指定欲发生动态变化的HTML元素。

Web应用

数据发布的格式及语言·

  • XML
  • RSS
  • JSON

第十一章:Web的攻击技术

HTTP 不具备必要的安全功能

SQL注入攻击

对Web应用使用的数据库,通过运行非法的SQL而产生的攻击。

HTTP首部注入攻击

攻击者通过在响应首部字段内插入换行,添加任意响应首部或主体的一种攻击。

  • 设置任何Cookie信息
  • 重定向至任意URL
  • 显示任意的主体(HTTP响应截断攻击)

目标遍历攻击

对本无意公开的文件目录通过非法截断其目录路径后,达成访问目的的一种攻击。

因设置或设计上的缺陷引发的安全漏洞

密码破解

算出密码,突破认证

DoS攻击

一种让运行中的服务呈停止状态的攻击。

  • 集中利用访问请求造成资源过载,资源用尽的同时,实际上服务也就呈停止状态
  • 通过攻击安全漏洞使服务停止

单纯来讲就是发生大量合法请求,服务器很难分辨何为正常请求,何为攻击请求,因此很难防止DoS攻击。 多态计算机发起的DoS攻击成为 DDoS攻击(Distributed Denial of Service attack)。