背景
测试 mysql5.7 和 mysql8.0 分别在读写, 只读, 只写模式下不同并发时的性能(tps,qps)
前提
测试使用版本为 mysql5.7.22 和 mysql8.0.15
sysbench 测试前先重启 MySQL 服务, 并清空 os 的 cache(避免多次测试时命中缓存)
每次进行测试都是新生成测试数据后再进行 mysql5.7 和 mysql8.0 的测试
每次测试时保证 mysql5.7 和 mysql8.0 的配置参数一致
环境
机器
cat /etc/RedHat-release | xargs echo '版本' && dmidecode -s system-product-name | xargs echo '是否虚拟化' && cat /proc/cpuinfo |grep "processor"|wc -l | xargs echo 'cpu 核数'
版本 CentOS Linux release 7.5.1804 (Core)
是否虚拟化 KVM
CPU 核数 4
- myql5.7.22
- 5.7.22-log
- innodb_buffer_pool_size 128M
- innodb_log_buffer_size 64M
- innodb_log_file_size 48M
- binlog_format ROW
- log_bin ON
- transaction_isolation REPEATABLE-READ
- mysql8.0.15
- 8.0.15
- innodb_buffer_pool_size 128M
- innodb_log_buffer_size 64M
- innodb_log_file_size 48M
- binlog_format ROW
- log_bin ON
- transaction_isolation REPEATABLE-READ
- sysbench
- sysbench -V
- sysbench 1.1.0 (using bundled LuaJIT 2.1.0-beta3)
测试
在不同的持久化策略下 (binlog, redo log 持久化)mysql5.7 和 mysql8.0 在读写模式, 只读模式, 只写模式(oltp_read_write,oltp_read_only,oltp_write_only) 下的性能表现
sysbench 测试时间为 60s, 测试的表数量为 20
测试分别在双 1 模式 (安全性) 和 0 2 模式 (高性能) 下进行
参数 | 可选值 | 含义 |
---|---|---|
sync_binlog | 0 | binlog 刷盘持久化由操作系统完成,性能好,存在丢失 binlog 的风险 |
sync_binlog | 1 | 事务提交后刷盘持久化,最安全 |
sync_binlog | N | 在每 N 个事务提交后进行刷盘持久化 |
innodb_flush_log_at_trx_commit | 0 | 每秒钟写 redo log 并刷盘持久化 |
innodb_flush_log_at_trx_commit | 1 | 事务提交后写 redo log 并刷盘持久化,最安全 |
innodb_flush_log_at_trx_commit | 2 | 事务提交后写 redo log , 每秒刷盘持久化 |
双 1 模式下
- SHOW GLOBAL VARIABLES WHERE Variable_name IN('sync_binlog','innodb_flush_log_at_trx_commit');
- +--------------------------------+-------+
- | Variable_name | Value |
- +--------------------------------+-------+
- | innodb_flush_log_at_trx_commit | 1 |
- | sync_binlog | 1 |
- +--------------------------------+-------+
mysql5.7 和 mysql8.0 在读写模式下的表现
双 1 配置, 读写模式下, mysql5.7.22 和 mysql8.0.15 tps ,qps 性能差不多, mysql8.0.15 在 120 线程并发时, 性能出现了下降抖动
mysql5.7 和 mysql8.0 在只读模式下的表现
双 1 配置, 只读模式下, mysql5.7.22 的 tps,qps 比 mysql8.0.15 好 1/3 左右; 并发线程数增加后, tps,qps 并没有随着增加, 反而出现了下降的趋势
mysql5.7 和 mysql8.0 在只写模式下的表现
双 1 配置, 只写模式下, 随着并发数的上升, mysql5.7.22 的性能比 mysql8.0.15 好 1/4 左右
0 2 模式下
- SHOW GLOBAL VARIABLES WHERE Variable_name IN('sync_binlog','innodb_flush_log_at_trx_commit');
- +--------------------------------+-------+
- | Variable_name | Value |
- +--------------------------------+-------+
- | innodb_flush_log_at_trx_commit | 2 |
- | sync_binlog | 0 |
- +--------------------------------+-------+
mysql5.7 和 mysql8.0 在读写模式下的表现
0 2 配置, 读写模式下, 并发数低时, mysql5.7.22 性能好于 mysql8.0.15; 并发数比较高时, mysql8.0.15 性能好于 mysql5.7.22; 在 80 线程的并发以上时, 性能开始下降
mysql5.7 和 mysql8.0 在只读模式下的表现
0 2 配置, 只读模式下, mysql5.7.22 性能比 mysql8.0.15 好 1/3 左右; 随着并发数的上升, 性能也没有上升, 反而有下降的趋势
mysql5.7 和 mysql8.0 在只写模式下的表现
0 2 配置, 只写模式下, mysql5.7.22 的 tps 抖动比较大; mysql5.7.22 的 qps 比 mysql8.0.15 好 1/3 左右
结论
整体来看, mysql5.7.22 在读写模式, 只读模式, 只写模式下的表现是优于 mysql8.0.15 的
随着并行数的增加, 性能表现不会也跟着增加, 还会出现下降
本次测试结果是在配置很低的情况下进行的, 不代表绝对
注意
sysbench 需要设置 --db-ps-mode=disable 禁用预编译语句, 不然并发测试线程多时会报下面的错误
- FATAL: mysql_stmt_prepare() failed
- FATAL: MySQL error: 1461 "Can't create more than max_prepared_stmt_count statements (current value: 16382)"
- FATAL: mysql_stmt_prepare() failed
- FATAL: MySQL error: 1461 "Can't create more than max_prepared_stmt_count statements (current value: 16382)"FATAL: thread_init' function failed: /usr/local/share/sysbench/oltp_common.lua:288: SQL API error FATAL: mysql_stmt_prepare() failed FATAL: MySQL error: 1461 "Can't create more than max_prepared_stmt_count statements (current value: 16382)"FATAL:thread_init' function failed: /usr/local/share/sysbench/oltp_common.lua:288: SQL API error
- FATAL: mysql_stmt_prepare() failed
使用脚本
- cat sysbench_test_mysql5.7_8.0_tps_qps.sh
- #!/bin/bash
- # 用于 sysbench 测试在读写模式, 只读模式, 只写模式下 mysql5.7 和 mysql8.0 的 tps,qps
- #nohup bash $0>/tmp/sysbench_test 2>& 1 &
- #
- user=admin
- passwd=admin
- ports="8015 57222"
- host=127.0.0.1
- sysbench_test_mode="oltp_read_write oltp_read_only oltp_write_only"
- sysbench_test_info_path=/tmp/sysbench-test
- function red_echo () {
- local what="$*"
- echo -e "$(date +%F-%T) \e[1;31m ${what} \e[0m"
- }
- function check_las_comm(){
- if [ $1 -ne 0 ];then
- red_echo $2
- exit 1
- fi
- }
- function restart_mysqld(){
- service mysqld${1} restart
- sleep 2
- }
- function purge_binlog(){
- port=$1
- MySQL -u$user -p$passwd -P$port -h$host<<EOF
- purge binary logs before now();
- EOF
- }
- function clean_os_cache(){
- echo 3> /proc/sys/vm/drop_caches
- }
- function sysbench_with_diff_thread(){
- thread_num=$1
- port=$2
- order=$3
- test_mode=$4
- sysbench /usr/local/share/sysbench/${test_mode}.lua --mysql_storage_engine=innodb --table-size=100000 --tables=20 --MySQL-db=test_1 --MySQL-user=$user --MySQL-password=$passwd --MySQL-port=$port --MySQL-host=$host --threads=$thread_num --time=60 --report-interval=2 --db-ps-mode=disable --events=0 --db-driver=MySQL $order
- }
- function main(){
- for test_mode in $sysbench_test_mode;do
- for port in $ports;do
- for thread_num in {5,10,20,30,40,80,120,200};do
- restart_mysqld "$port"
- check_las_comm "$?" "restart mysqld${port} failed"
- clean_os_cache
- purge_binlog "$port"
- red_echo "sysbench $thread_num threads cleanup mysqld${port}"
- sysbench_with_diff_thread "$thread_num" "$port" "cleanup" "$test_mode">/dev/null
- red_echo "sysbench $thread_num threads prepare mysqld${port}"
- sysbench_with_diff_thread "$thread_num" "$port" "prepare" "$test_mode">/dev/null
- mkdir -p $sysbench_test_info_path
- red_echo "sysbench $thread_num threads run mysqld${port} $test_mode"
- sysbench_with_diff_thread "$thread_num" "$port" "run" "$test_mode"> $sysbench_test_info_path/${test_mode}_${thread_num}_$port
- # service mysqld{port} stop
- done
- done
- done
- }
- main
来源: http://www.linuxidc.com/Linux/2019-07/159522.htm