一 前言
应用执行 SQL 请求完成的过程中, 数据库连接占很重要一部分. 尤其是涉及到流量瞬间暴涨, 需要创建大量连接, 或者网络异常导致重连时, 从业务端来看, sql 执行缓慢的问题, 此时 sql 执行并非真的慢. 本文是基于我们自己的生产环境的 Durid 最佳实践, 仅供各位参考, 当然不同公司的链路 / 业务压力可能不一样. 具体到个别参数需要区别对待.
二 具体实践
从整体系统的角度, 我们要考虑几个点 , 数据库连接数配置多少合适 , 针对空闲连接 , 网络异常的超时时间 , 如何高效复用连接 ,druid 版本选择这几个方面来介绍.
2.1 如何设置连接池大小
合适的连接池大小和业务请求的 QPS 和 单个请求的 RT(单位为毫秒).
基本公式:
连接数 = QPS /(1000/RT) + N = QPS * RT /1000 + N
注意: 此处 QPS 和 RT 为单个应用端统计. 假定随连接数量增加, 客户端能处理的请求数线性增加.
举个例子
比如 一个请求的耗时 rt=2ms, 每个连接能处理的请求数量
S = 1000/2 =500 ,
业务层总请求量是 M=5000 , 那么合理的连接数为
M/S=5000/500=10
为了避免连接数被占满, 我们会在上面的连接数的基础上再加上 N , 最终的连接数为 10+N .
统计平时的最大 QPS 和此时的 RT, 以此计算 minIdle, 并设置 initialSize = minIdle.
统计峰值时的 QPS 和此时的 RT, 以此计算 maxActive.
可以通过以下方法, 通过 jmx 观察 Druid 实际的连接池状况, 重点关注 ActiveCount: 活动连接数, PoolingCount: 池子中的连接数. 并根据实际情况考虑调整.
java -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+TieredCompilation -XX:TieredStopAtLevel=1 -Xverify:none -client -jar /PATH/cmdline-jmxclient-0.10.3.jar - 127.0.0.1:7777 'com.alibaba.druid:type=DruidDataSourceStat' DataSourceList |& grep -E 'ActiveCount|PoolingCount'
2.2 如何设置超时时间
连接池中的超时时间主要有:
connectTimeout 建立 TCP 连接的超时时间
maxWait 从连接池获取连接的最长等待时间
socketTimeout 发送请求后等待响应的超时时间
其中,
connectTimeout 建议不要小于 1200ms.TCP 在建立连接时, SYN 包的超时重传时间为 1s.connectTimeout 设置过短, 很可能造成应用发布时, 初始化连接池过程中由于网络抖动, 或中间网络设备需要初始化状态发生丢包触发超时, 从而造成连接池初始化失败而导致发布失败.
socketTimeout 可以根据应用最长的查询返回时间设置. 过长会造成生网络问题, 或数据库服务有问题时雪崩; 过短也会造成频繁请求超时. 不要短于 300ms.TCP 的最小 RTO 为 200ms, 并根据延迟动态调整. 过短的超时时间会造成单个丢包就造成请求超时. 生产环境数据库都配置有 SQL Killer, 会自动杀死执行时间过长的请求. 因此, 设置过长的 socketTimeout 也是没有意义的.
maxWait 可以根据应用期待的等待时间设置. 为避免在发生网络问题, 或数据库服务有问题时雪崩, 这个时间设置不要过大. 下面的默认值 800ms 是个保守的设置. 应用可以设置一个更短的时间, 如 300ms. 过短的时间也会造成在连接池中连接数不足, 需要新建连接时造成大量超时. 建议不要低于 100ms.
2.3 如何设置连接保持时间
设置连接保持活跃的时间需要考虑是直连还是通过数据库中间件 proxy 连接. 一般现在的生产环境大多为:
App -> LVS -> Proxy -> DB
其中应用到 RDS 的访问路径为 App -> LVS -> Proxy .
其中, LVS 空闲连接保留时间为 90s.Proxy 为了避免访问到已被关闭的连接, 自身的空闲连接保留时间为 [70, 85) s. 因此, 应用程序为了避免从连接池获取到已被关闭的连接, 应当设置自身保留空闲连接时间不能超过 70s. 打开 KeepAlive 之后的效果
初始化连接池时会填充到 minIdle 数量.
连接池中的 minIdle 数量以内的连接, 空闲时间超过
minEvictableIdleTimeMillis, 则会执行 keepAlive 操作.
当网络断开等原因产生的由 ExceptionSorter 检测出来的死连接被清除后, 自动补充连接到 minIdle 数量.
- timeBetweenEvictionRunsMillis=10000,
- minEvictableIdleTimeMillis=44000,
- maxEvictableIdleTimeMillis=55000.
2.4 必选配置项
以下默认配置可以根据实际情况调整.
- <bean id="cartDataSource" class="com.alibaba.druid.pool.DruidDataSource"
- init-method="init" destroy-method="close">
- <property name="url" value="${cluster.jdbc.url}"/>
- <property name="username" value="${cluster.jdbc.username}"/>
- <property name="password" value="${cluster.jdbc.password}"/>
- <property name="connectionInitSqls" value="set names utf8mb4"/>
- <!-- 连接池初始连接数 -->
- <property name="initialSize" value="5" />
- <!-- 允许的最大同时使用中 (在被业务线程持有, 还没有归还给 druid) 的连接数 -->
- <property name="maxActive" value="20" />
- <!-- 允许的最小空闲连接数, 空闲连接超时踢除过程会最少保留的连接数 -->
- <property name="minIdle" value="5" />
- <!-- 从连接池获取连接的最大等待时间 800 毫秒; 业务方根据可以自行调整 -->
- <property name="maxWait" value="800" />
- <!-- 一条物理连接的最大存活时间 120 分钟 -->
- <property name="phyTimeoutMillis" value="7200000"/>
- <!-- 强行关闭从连接池获取而长时间未归还给 druid 的连接 (认为异常连接)-->
- <property name="removeAbandoned" value="true"/>
- <!-- 异常连接判断条件, 超过 180 秒 则认为是异常的, 需要强行关闭 -->
- <property name="removeAbandonedTimeout" value="180"/>
- <!-- 从连接池获取到连接后, 如果超过被空闲剔除周期, 是否做一次连接有效性检查 -->
- <property name="testWhileIdle" value="true"/>
- <!-- 从连接池获取连接后, 是否马上执行一次检查 -->
- <property name="testOnBorrow" value="false"/>
- <!-- 归还连接到连接池时是否马上做一次检查 -->
- <property name="testOnReturn" value="false"/>
- <!-- 连接有效性检查的 SQL -->
- <property name="validationQuery" value="SELECT 1"/>
- <!-- 连接有效性检查的超时时间 1 秒 -->
- <property name="validationQueryTimeout" value="1"/>
- <!-- 周期性剔除长时间呆在池子里未被使用的空闲连接, 10 秒一次 -->
- <property name="timeBetweenEvictionRunsMillis" value="10000"/>
- <!-- 空闲多久可以认为是空闲太长而需要剔除 44 秒 -->
- <property name="minEvictableIdleTimeMillis" value="44000"/>
- <!-- 如果空闲时间太长即使连接池所剩连接 <minIdle 也会被剔除 55 秒 -->
- <property name="maxEvictableIdleTimeMillis" value="55000"/>
- <!-- 是否设置自动提交, 相当于每个语句一个事务 -->
- <property name="defaultAutoCommit" value="true"/>
- <!-- 记录被判定为异常的连接 -->
- <property name="logAbandoned" value="true"/>
- <!-- 网络读取超时, 网络连接超时
- socketTimeout : 对于线上业务小于 5s, 对于 BI 等执行时间较长的业务的 SQL, 需要设置大一点
- -->
- <property name="connectionProperties" value="socketTimeout=3000;connectTimeout=1200"/>
- <property name="proxyFilters">
- <list>
- <ref bean="log-filter"/>
- </list>
- </property>
- </bean>
1.0.28 版本之后, 新加入 keepAlive 配置, 缺省关闭. 使用 keepAlive 功能, 建议使用 1.1.16 或者更高版本. 一般业务无需打开, 除非分钟请求量在个位数或者启动时间超长导致初始连接都过期.
2.5 druid 版本
建议使用最新版本, 不要使用太老的版本, 以免遇到 bug.
e.g. Maven 配置:
- <dependency>
- <groupId>com.alibaba</groupId>
- <artifactId>druid</artifactId>
- <version>1.0.27</version>
- </dependency>
三 小结
本文算是 的一个补充, 希望对需要关注数据库连接配置的朋友有所帮助.
来源: http://www.tuicool.com/articles/feiA3uy