这位大侠，这是我的公众号：程序员江湖。

分享程序员面试与技术的那些事。干货满满，关注就送。

深入web请求过程

Web2.0时代到来，互联网架构从C/S升级到B/S架构

B/S架构的好处主要有两方面：

一是客户端统一采用浏览器，非常简单易用。

二是服务端基于统一的HTTP，与传统C/S架构采用自定义协议的方式不同，基于HTTP更加方便，降低成本。

B/S网络架构概述

前后端基于http协议进行交互，一次请求以后就可以断开，保证请求是无状态的，因为这样可以为更多用户同时提供服务，也不必担心状态存储的问题。

基本访问过程

1 用户在浏览器输入www.taobao.com这个url

2 它会请求DNS把这个域名解析成ip地址

3 然后根据这个IP找到对应主机，发送get请求。

4 服务器可能有多台，会进行负载均衡

5 数据可能存在缓存里，也可能是在数据库

6 当数据返回给浏览器时，解析数据可能发现还有一些静态资源，比如css和js，此时可能会再次发起http请求去CDN中请求这些数据，因为比起直接从服务器获取，从CDN访问静态资源要快得多。

不变应万变

1 URL是统一资源定位符。http服务通过url定位资源。

2 必须基于http协议进行前后端交互。

3 数据必须展示在浏览器，浏览器才知道怎么渲染页面。

如何发起一个请求

我们平时点一下链接其实就发起了一个请求了，但是这是浏览器帮你封装好的请求，实际上到底是怎么回事呢。如何不借助浏览器来发送http请求呢。

1 发起一个HTTP请求需要先建立socket连接。

只不过要求输入流和输出流的二进制数据格式要符合HTTP协议。

2 浏览器在建立socket连接之前，先用把url通过dns解析出ip地址，然后根据ip地址和默认的80端口建立起socket连接。

3 然后根据这个url（http请求头里有url，没有ip)组装成一个get类型的HTTP请求头（get请求没有请求体)，然后通过输出流发送到目标服务器。浏览器收到输入流的读取结果后，就会断开连接。

4 不同浏览器对于这个socket连接有不同的处理方式。既然浏览器可以发送http请求，那么不通过浏览器是否也能自己实现http请求发送呢。

5 因为http请求本质上就是socket通信，所以我们基于socket进行请求发送，比如使用HttpClient，在Java环境中实现HTTP请求发送，它封装了实现细节。实际上我们也可以自己拼装http请求，只不过比较麻烦，而且要求你对HTTP协议非常熟悉。

6 除了HttpClient， Linux的curl命令也可以简单地发起HTTP请求。

HTTP解析

B/S架构的核心是HTTP，关键就在于理解HTTP协议。

其中最重要的就是HTTP header。

HTTP header控制着所有请求的传输，控制着用户浏览器的执行逻辑。比如渲染，状态码，缓存等等。

常见http请求头主要有

1 accept-encoding：接收编码内容

2 host：一般是url

3 connection：keep-alive保持连接，默认自动断开

常见响应头

1 server：服务器名称

2 content-type：实体正文的类型，比如text/html json等。

3 content-length：实体长度

4 keep-alive：保持连接的时间

常见状态码

1 200 请求成功

2 302 临时跳转

3 400 请求语法错误

4 403 服务器拒绝提供服务（可能是权限问题）

5 404 请求资源不存在

6 500 服务器内部错误

查看HTTP信息的工具

使用一些浏览器插件可以很好地查看请求内容和响应内容，比如firebug，自带调试工具等。

浏览器缓存机制

浏览器缓存是一个比较复杂的机制，在很多地方都可以做缓存。

1 首先在浏览器端，如果使用ctrl+f5刷新，则浏览器会直接发送请求，不会访问缓存。

2 其次，在应用服务器端，也可能会有缓存服务器，用户请求会先访问缓存服务器，所以为了不访问缓存，我们必须在http请求上做手脚。

3 使用ctrl+f5的组合键，实际上是组装了一个特别的http请求，其中请求头会增加两个字段，一个是pragma：no-cache，一个是cache-control：no-cahce。

4 cache-control/pragma字段要求整个http请求过程必须服从该指令，从而可以控制浏览器甚至服务端的缓存使用。

5 HTTP header有一些可选值，比如public，会让所有内容被缓存，是响应头的字段。

no-cache要求所有内容都不缓存，可以在请求头和响应头中设置。

6 cache-control的优先级很高，和expire这类字段同时出现时，会覆盖他们。pragma和这个类似。

7 expire表示缓存的过期时间，但是会被上述字段覆盖。

last-modified字段用于表示资源的最后修改时间，可以通过它来判断当前资源是否是最新的。这字段是响应头携带的，下次再请求该页面时，请求体会携带该字段，以便让服务器判断是否更新了这个资源，如果没有更新直接返回304即可，表示资源已是最新。

DNS域名解析

DNS解析过程

输入www.abc.com

1 浏览器检查缓存中是否有解析过该url，有的话结束解析。（可以设置缓存时间）

2 如果浏览器没有，则让操作系统在本地缓存中查找，这个过程是查找hosts文件。如果有的话，则直接返回即可。

有的黑客利用这个特点修改你的hosts文件来劫持域名。

3 如果在本机无法解析，则需要求助DNS服务器，本地局域网内一般会有一个DNS服务器，不会很远。

这个本地dns服务器也叫ldns，同样会缓存解析结果，可以处理80%的域名解析。

4 如果ldns没有命中，则需要到root server请求解析了。

5 rootserver是最高级的域名服务器，它会返回给我们一个主域名服务器的地址，主域名服务器一半对应.com,.cn,.org等。全球只有13台左右。

6 ldns请求主域名服务器解析域名

7 主域名服务器返回一个name server域名服务器，该服务器通常就是我们注册的域名服务器，比如我们注册了sina的微博，有一个带有sina的域名，这个域名解析就由sina域名提供商进行解析。

8 nameserver解析出url和ip的映射关系，然后返回ip和过期时间ttl。

9 ldns得到url和ip以后，会缓存这个解析结果，缓存时间就是

ttl。

10 把解析的结果返回给用户，缓存在本地系统中。

跟踪域名解析过程

linux和Windows都可以用nslookup来查询域名解析的结果

linux还可以用dig来查询dns的解析过程

清除缓存的域名

1 LDNS的缓存我们没办法请求，但是可以清除本机的缓存

2 Windows可以使用ipconfig/flushdns来刷新缓存

linux可以通过nscd restart来清除缓存

3 事实上JVM也会缓存DNS解析结果，是在InetAddress类中完成的。

这里要强调一点，如果要用InetAddress解析域名，必须使用单例模式，否则每次都会重新创建实例并且重新解析，非常耗时。

几种域名解析方式

域名解析主要分为A记录，MX记录，CNAME记录以及NS记录和TXT记录等。

1 A记录用来之定义域名对应的ip地址，可把多个域名解析到一个ip，但是不能把一个域名解析到多个ip

2 MX记录用于邮件服务器，略

3 CNAME记录全称是别名解析，可以把一个域名解析成多个别名，比如www.taobao.com别名设置为www.hellotb.com。

4 NS记录，为某个域名指定DNS服务器

5 TXT记录，为某个主机名或者域名设置说明，比如h2p.com设置TXT位“黄蓬龙的博客”

CDN工作机制

CDN就是内容分布网络，是一种先进的流量分布网络，为用户提供最近距离节点的快速响应服务。有别于镜像，CDN可以说是镜像+缓存+整体负载均衡的结合物。

CDN目前主要用于缓存静态数据为主，比如CSS,JS,图片等资源。http请求先响应动态结果，再来访问这些静态资源，速度飞快。

CDN架构

由于DNS请求最终会落到域名对应的服务器上，比如taobao.com最终会落在淘宝的dns服务器上，此时淘宝dns会cname解析到另外一个域名，一般会指向CDN的DNS负载均衡服务器，由该dns决定访问哪一个CDN节点，一般是离用户最近的。

负载均衡

负载均衡可以避免单点失效。解决网络拥堵。通常有三种负载均衡架构。同时一般分为软件负载均衡和硬件负载均衡。

1 链路负载均衡

2 集群负载均衡

3 操作系统负载均衡