概念
HTTP 短连接 (非持久连接) 是指, 客户端和服务端进行一次 HTTP 请求 / 响应之后, 就关闭连接. 所以, 下一次的 HTTP 请求 / 响应操作就需要重新建立连接.
HTTP 长连接 (持久连接) 是指, 客户端和服务端建立一次连接之后, 可以在这条连接上进行多次请求 / 响应操作. 持久连接可以设置过期时间, 也可以不设置.
我为什么没有说 HTTP/1.0 默认短连接, HTTP/1.1 起, 默认长连接呢? 因为我第一次看这个说法的时候, 以为自己懂了, 其实并没有懂. 长短连接操作上有什么区别, 有的地方出现的持久连接又是怎么回事?
使用设置
这里的设置, 我们都以 HTTP1.1 协议为例子.
设置 HTTP 短连接
在首部字段中设置 Connection:close, 则在一次请求 / 响应之后, 就会关闭连接.
设置 HTTP 长连接, 有过期时间
在首部字段中设置 Connection:keep-alive 和 Keep-Alive: timeout=60, 表明连接建立之后, 空闲时间超过 60 秒之后, 就会失效. 如果在空闲第 58 秒时, 再次使用此连接, 则连接仍然有效, 使用完之后, 重新计数, 空闲 60 秒之后过期.
设置 HTTP 长连接, 无过期时间
在首部字段中只设置 Connection:keep-alive, 表明连接永久有效.
实现原理
了解怎么设置之后, 就开始用起来. 然而, 问题来了. 在请求头中设置 Connection:keep-alive, 为什么连接空闲一段时间之后, 还是断开了呢? 这是因为 connection 字段只有服务端设置才有效.
HTTP 操作是请求 / 响应成对出现的, 即先有客户端发出请求, 后有服务端处理请求. 所以, 一次 HTTP 操作的终点操作在服务端上, 关闭也是由服务端发起的.
接下来我们做做测试, 以及 show code. 下面的测试都是使用 Spring RestTemplate, 封装 apache http client 进行的. 为方便讲解代码, 先说明长连接的情况, 最后再对其他形式做测试总结.
客户端连接失效时间大于服务端失效时间
如下, 为请求日志. 客户端设置 Connection: Keep-Alive 和 Keep-Alive: timeout=60, 服务端设置 Connection: Keep-Alive 和 Keep-Alive: timeout=5.
- ## 客户端设置有效期为 60s
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0>> "POST /adx-api/api/creative/upload HTTP/1.1[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0>> "Accept: application/json, application/*+json, text/html, application/json, text/javascript[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0>> "Content-Type: application/json;charset=UTF-8[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0>> "User-Agent: Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.16 Safari/537.36[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0>> "Accept-Encoding: gzip,deflate[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0>> "Accept-Language: zh-CN[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0>> "Connection: keep-alive[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0>> "Keep-Alive: timeout=60[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0>> "Content-Length: 396[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0>> "Host: bizdomain[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0>> "[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0>> "request data"
- ## 服务端设置有效期为 5s
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0 <<"HTTP/1.1 200 OK[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0 << "Date: Wed, 26 Apr 2017 06:07:58 GMT[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0 << "Server: Apache-Coyote/1.1[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0 << "Content-Type: text/html;charset=utf-8[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0 << "Keep-Alive: timeout=5, max=100[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0 << "Connection: Keep-Alive[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0 << "Transfer-Encoding: chunked[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0 << "[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0 << "63[\r][\n]"
- [2017-04-26 14:08:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0 << "response data"
客户端设置的有效期大于服务端的, 那么实际连接的有效期呢? 三分钟之后再次请求, 从连接池中 lease 连接的时候, 提示 Connection expired @ Wed Apr 26 14:08:05, 即在上一次请求之后的 5s 失效, 说明是服务端的设置生效了.
- [2017-04-26 14:11:00 DEBUG] (org.apache.http.impl.conn.PoolingHttpClientConnectionManager:?) - Connection request: [route: {
- }->http://bizdomain:80][total kept alive: 1; route allocated: 1 of 32; total allocated: 1 of 200]
- [2017-04-26 14:11:00 DEBUG] (org.apache.http.impl.conn.CPool:?) - Connection [id:2][route:{
- }->http://bizdomain:80][state:null] expired @ Wed Apr 26 14:08:05 GMT+08:00 2017
源码分析
通过源代码了解一下连接失效时间的设置过程.
- //org.apache.http.impl.execchain.MainClientExec#execute
- ......
- // 从连接池中 lease connection
- final HttpClientConnectionmanagedConn = connRequest.get(timeout> 0 ? timeout : 0, TimeUnit.MILLISECONDS);
- ......
- // 将 conenction 封装在 ConnectionHolder 中
- final ConnectionHolder connHolder = new ConnectionHolder(this.log, this.connManager, managedConn);
- ......
- // The connection is in or can be brought to a re-usable state.
- // 如果返回值消息头中 connection 设置为 close, 则返回 false
- if (reuseStrategy.keepAlive(response, context)) {
- // Set the idle duration of this connection
- // 取出 response 消息头中, keep-alive 的 timeout 值
- final long duration = keepAliveStrategy.getKeepAliveDuration(response, context);
- if (this.log.isDebugEnabled()) {
- final String s;
- if (duration> 0) {
- s = "for" + duration + " " + TimeUnit.MILLISECONDS;
- } else {
- s = "indefinitely";
- }
- this.log.debug("Connection can be kept alive" + s);
- }
- // 设置失效时间
- connHolder.setValidFor(duration, TimeUnit.MILLISECONDS);
- connHolder.markReusable();
- } else {
- connHolder.markNonReusable();
- }
待读取响应之后, 释放连接, 即: connHolder.releaseConnection(). 调用 org.apache.http.impl.conn.PoolingHttpClientConnectionManager#releaseConnection 方法.
- @Override
- public void releaseConnection(final HttpClientConnection managedConn,
- final Object state,final long keepalive, final TimeUnit tunit) {
- Args.notNull(managedConn, "Managed connection");
- synchronized (managedConn) {
- final CPoolEntry entry = CPoolProxy.detach(managedConn);
- if (entry == null) {
- return;
- }
- final ManagedHttpClientConnection conn = entry.getConnection();
- try {
- if (conn.isOpen()) {
- final TimeUnit effectiveUnit = tunit != null ? tunit : TimeUnit.MILLISECONDS;
- entry.setState(state);
- // 设置失效时间
- entry.updateExpiry(keepalive, effectiveUnit);
- }
- } finally {
- ......
- }
- }
- }
- }
然后再下一次 HTTP 操作, 从连接池中获取连接时
- //org.apache.http.impl.conn.PoolingHttpClientConnectionManager#requestConnection 调用 org.apache.http.pool.AbstractConnPool#lease,
- // 调用 getPoolEntryBlocking, 调用 org.apache.http.impl.conn.CPoolEntry#isExpired
- @Override
- public boolean isExpired(final long now) {
- final boolean expired = super.isExpired(now);
- if (expired && this.log.isDebugEnabled()) {
- // 日志中看到的内容
- this.log.debug("Connection" + this + "expired @" + new Date(getExpiry()));
- }
- return expired;
- }
综上, 连接的实际有效时间, 是根据 response 的设置来决定的.
其他情况测试
客户端设置 Connection: Close
- ##connection:close 请求, kept alive 的连接为 0
- [2017-04-26 13:57:00 DEBUG] (org.apache.http.impl.conn.PoolingHttpClientConnectionManager:?) - Connection request: [route: {
- }->http://bizdomain:80][total kept alive: 0; route allocated: 0 of 32; total allocated: 0 of 200]
- [2017-04-26 13:57:00 DEBUG] (org.apache.http.impl.conn.PoolingHttpClientConnectionManager:?) - Connection leased: [id: 0][route: {
- }->http://bizdomain:80][total kept alive: 0; route allocated: 1 of 32; total allocated: 1 of 200]
- [2017-04-26 13:57:00 DEBUG] (org.apache.http.impl.execchain.MainClientExec:?) - Opening connection {
- }->http://bizdomain:80
- [2017-04-26 13:57:00 DEBUG] (org.apache.http.impl.conn.DefaultHttpClientConnectionOperator:?) - Connecting to bizdomain/127.0.0.195:80
- ## 建立新连接
- [2017-04-26 13:57:00 DEBUG] (org.apache.http.impl.conn.DefaultHttpClientConnectionOperator:?) - Connection established 127.0.0.191:49239<->127.0.0.195:80
- ## 客户端设置短连接
- [2017-04-26 13:57:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0>> "Connection: Close[\r][\n]"
- ## 服务端返回的也是短连接
- [2017-04-26 13:57:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0 <<"Connection: close[\r][\n]"
- ## 请求完之后, 关闭连接
- [2017-04-26 13:57:00 DEBUG] (org.apache.http.impl.conn.DefaultManagedHttpClientConnection:?) - http-outgoing-0: Close connection
- [2017-04-26 13:57:00 DEBUG] (org.apache.http.impl.execchain.MainClientExec:?) - Connection discarded
- [2017-04-26 13:57:00 DEBUG] (org.apache.http.impl.conn.PoolingHttpClientConnectionManager:?) - Connection released: [id: 0][route: {
- }->http://bizdomain:80][total kept alive: 0; route allocated: 0 of 32; total allocated: 0 of 200]
如上, 当服务端返回 Connection: Close 时, 客户端接收完响应, 便会关闭连接.
客户端设置 60s 超时, 服务端设置 5s 超时
- ##Keep-Alive: timeout=60 第一次请求, 与 connection:close 无差别
- [2017-04-26 10:57:00 DEBUG] (org.apache.http.impl.conn.PoolingHttpClientConnectionManager:?) - Connection request: [route: {
- }->http://bizdomain:80][total kept alive: 0; route allocated: 0 of 32; total allocated: 0 of 200]
- [2017-04-26 10:57:00 DEBUG] (org.apache.http.impl.conn.PoolingHttpClientConnectionManager:?) - Connection leased: [id: 0][route: {
- }->http://bizdomain:80][total kept alive: 0; route allocated: 1 of 32; total allocated: 1 of 200]
- [2017-04-26 10:57:00 DEBUG] (org.apache.http.impl.execchain.MainClientExec:?) - Opening connection {
- }->http://bizdomain:80
- ## 客户端设置超时时间 60s
- [2017-04-26 10:57:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0>> "Connection: keep-alive[\r][\n]"
- [2017-04-26 10:57:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0>> "Keep-Alive: timeout=60[\r][\n]"
- ## 服务端设置超时时间 5s
- [2017-04-26 10:57:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0 <<"Keep-Alive: timeout=5, max=100[\r][\n]"
- [2017-04-26 10:57:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0 << "Connection: Keep-Alive[\r][\n]"
- ## 服务端设置生效, 连接可以保持 5s
- [2017-04-26 10:57:00 DEBUG] (org.apache.http.impl.execchain.MainClientExec:?) - Connection can be kept alive for 5000 MILLISECONDS
- [2017-04-26 10:57:00 DEBUG] (org.apache.http.impl.conn.PoolingHttpClientConnectionManager:?) - Connection [id: 0][route: {
- }->http://bizdomain:80] can be kept alive for 5.0 seconds
- [2017-04-26 10:57:00 DEBUG] (org.apache.http.impl.conn.PoolingHttpClientConnectionManager:?) - Connection released: [id: 0][route: {
- }->http://bizdomain:80][total kept alive: 1; route allocated: 1 of 32; total allocated: 1 of 200]
- ##Keep-Alive: timeout=60 非第一次请求
- [2017-04-26 14:11:00 DEBUG] (org.apache.http.impl.conn.PoolingHttpClientConnectionManager:?) - Connection request: [route: {
- }->http://bizdomain:80][total kept alive: 1; route allocated: 1 of 32; total allocated: 1 of 200]
- ## 连接在上一次请求结束后 5s 失效
- [2017-04-26 14:11:00 DEBUG] (org.apache.http.impl.conn.CPool:?) - Connection [id:2][route:{
- }->http://bizdomain:80][state:null] expired @ Wed Apr 26 14:10:05 GMT+08:00 2017
客户端设置失效时间, 服务端设置不失效
- ## 客户端设置 30s 超时
- [2017-04-26 17:45:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0>> "Connection: keep-alive[\r][\n]"
- [2017-04-26 17:45:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0>> "Keep-Alive: timeout=30[\r][\n]"
- ## 服务端设置永久连接
- [2017-04-26 17:45:00 DEBUG] (org.apache.http.wire:?) - http-outgoing-0 << "Connection: keep-alive[\r][\n]"
- ## 连接将一直保持
- [2017-04-26 17:45:00 DEBUG] (org.apache.http.impl.execchain.MainClientExec:?) - Connection can be kept alive indefinitely
综上, http 连接保持时间是由服务端的消息头 connection 字段和 keep-alive 字段定的.
在上面前两种情况, 请求的是同一个服务端, 那么为什么一个返回的是短连接, 一个返回的是长连接呢? 这里转一下 这篇文章的解释:
不论 request 还是 response 的 header 中包含了值为 close 的 connection, 都表明当前正在使用的 tcp 链接在请求处理完毕后会被断掉. 以后 client 再进行新的请求时就必须创建新的 tcp 链接了. HTTP Connection 的 close 设置允许客户端或服务器中任何一方关闭底层的连接, 双方都会要求在处理请求后关闭它们的 TCP 连接.
补充
TCP 长短连接
在网上搜资料的时候, 看到很多 "HTTP 协议的长连接和短连接, 实质上是 TCP 协议的长连接和短连接". HTTP 和 TCP 是不同两层的东西, 它们怎么会是一样的呢? HTTP 是请求 / 响应模式的, 就是说我们发一个请求一定要有一个回应. 最直观的就是, 浏览器上发请求, 得不到响应就会一直转圈圈. 而 TCP 并不是一定要有响应. 大家以前使用 socket 模拟一个 IM 聊天, A 跟 B 打完招呼, 完全可以不用等待 B 的回应, 就自己关掉连接的.
TCP keep-alive
另外还有 HTTP 协议的 keep-alive 和 TCP 的 keep-alive 含义是有差别的. HTTP 的 keep-alive 是为了维持连接, 以便复用连接. 通过使用 keep-alive 机制, 可以减少 tcp 连接建立次数, 也意味着可以减少 TIME_WAIT 状态连接, 以此提高性能和提高 httpd 服务器的吞吐率 (更少的 tcp 连接意味着更少的系统内核调用, socket 的 accept() 和 close()调用). 但是, 长时间的 tcp 连接容易导致系统资源无效占用. 配置不当的 keep-alive, 有时比重复利用连接带来的损失还更大.
而 tcp keep-alive 是 TCP 的一种检测 TCP 连接状况的机制, 涉及到三个参数 tcp_keepalive_time, tcp_keepalive_intvl, tcp_keepalive_probes.
当网络两端建立了 TCP 连接之后, 闲置 (双方没有任何数据流往来) 了 tcp_keepalive_time 后, 服务器内核就会尝试向客户端发送侦测包, 来判断 TCP 连接状况(有可能客户端崩溃, 强制关闭了应用, 主机不可达等等). 如果没有收到对方的回答(ack 包), 则会在 tcp_keepalive_intvl 后再次尝试发送侦测包, 直到收到对方的 ack. 如果一直没有收到对方的 ack, 一共会尝试 tcp_keepalive_probes 次. 如果尝试 tcp_keepalive_probes, 依然没有收到对方的 ack 包, 则会丢弃该 TCP 连接. TCP 连接默认闲置时间是 2 小时, 一般设置为 30 分钟足够了. 参考这里.
来源: http://www.bubuko.com/infodetail-3233128.html