##QPS相关
QPS,每秒处理请求数。可以在一定程度上反映某个服务此时的压力情况。下面可以通过一个案例来分析下如何大致的估算一个服务的QPS。
背景:昨天上线的一个活动,会根据唱歌时间来进行送券行为,计算下此送券行为的QPS。
分析:每隔送券行为都会有一条日志进行记录,如下。
- 2017 - 10 - 27 15 : 10 : 16 songtime = 355 userid = 56135899 giftid = 20331 addednumbers = 1
因此计算出每秒的songtime请求就可以作为目标值了。
因此可以使用如下命令:
- developer@hosttx:~$ sudo devpssh -i -h /opt/iplist.all.svn
- 'grep songtime /home/log/baofang-yanzhishengdian.log'
- | grep 10-27 | cut
- -d
- " "
- -f
- 2 | uniq -c
由于访问人数比较少,所以基本上QPS为2~3。
解释:也许你会好奇,这是怎么计算出来的呢?下面来解释一下,我们的目标就是查看某一秒下有songtime日志的条数。
,可以使用grep命令。
- songtime
- sudo devpssh -i -h /opt/iplist.all.svn 'grep songtime /home/log/baofang-yanzhishengdian.log'
用于指定分隔字符,
- -d "delimiter"
用于显示哪一个field字段,默认从1开始计数。
- -fN
参数就是用于统计的,但是只有相邻的两行同样的日志才会被累加在第一条前面的序号上。
- -c
先看看目前电脑上有没有启动redis服务:
看来是没有,那么我们就可以启动几个redis-server,因为是在一台机器上,所以指定不同的端口就好了。
同样,使用
再开启一个redis服务。
- redis-server --port 7777
最后再来看下服务到底有没有启动吧。
好了,现在是两个全新的redis服务了,在开始准备具体的主从复制,同步操作前,先指定下主从关系。
然后通过一个redis-cli的monitor命令监视下slave,看看在master中的某些key发生变化的时候,slave会做出什么样的反应。
下面让7777作为6666的slave。
同时在7777server的终端下会出现其作为6666的slave的一些输出。
而同时刻作为master的6666也会对7777发来的同步请求做出相应的反应。
模拟同步,这个时候只需要在master中随便set几个key,看看slave的monitor窗口中的输出即可。
可以看出,slave会实时将master上的数据同步过来,达到数据的一致性。这样,简单的主从同步,就算是完成了。
但是需要注意的是,作为slave的redis是不能被写入的。比如我们随便在slave上set几个key,看看能否成功,不出意外的话,你会看到如下结果。
这是因为redis的从
默认是
- slave-read-only
即只读状态的,所以同步完成后要修改这个变量,
- yes
就可以。
- config set slave-read-only no
对slave的操作不会对master产生影响,这是必须的了。
最后同步完成之后,如果不想让7777作为6666的slave了,就可以使用
来实现。
- slaveof no one
线上跑的redis一般为了稳定性,版本都不会很高。但是也不能太低了不是,因此有时候升级redis是很有必要的,这也是不可避免的。但是线上的redis通常会包含大量的数据,有可能多达N个多G,而且不能直接进行主从同步,这样来自slave的同步请求会挤垮来自外部的用户请求。导致服务出现报警。
通常对线上
做升级的话,有这样的思路: 找个替身,然后做如下步骤。
- Redis
成为线上机器,同步完成后,将
- slave
设置为
- slave-read-only
。
- no
上, 此时
- slave
成为线上机器,查看线上机器的
- slave
,直至为0。
- QPS
,然后安装新版本的
- 旧Redis
。
- Redis
作为
- Redis
同步线上
- slave
的数据,同步完成后同样将
- Redis
设置为
- slave-read-only
, 然后将线上流量引回来,此时查看刚才的
- no
的
- 替身Redis
为0即可。
- QPS
在这个过程中,查看
请求的
- redis
最好的方法就是通过
- QPS
来实现。
- monitor
- redis - cli - h 127.0.0.1 - p 6379 monitor | cut - d "." - f1 | uniq - c
而在升级线上
的时候,尤其要注意外部连接数,有时是正常的业务请求,有时是
- Redis
统计数据跑的脚本,反正情况多样,可以通过
- crontab
命令 查看连接情况。
- ss -anp | grep redis:port
需要注意的是要使用root权限,才能看得到具体的PID信息。
然后可以通过
命令找到具体是那条命令在跑着。然后对症下药,完成整个操作。
- ps aux
回顾一下,这篇文章主要是为了谈谈对线上
升级的体会,以及一些常识性的内容的叙述。为了循序渐进,讲了
- redis
和
- QPS
的主从同步的具体操作步骤,最后引出升级的步骤和过程。
- Redis
其实步骤什么的不重要,重要的在于整体的思路,还有对工具的使用的熟练程度。
来源: https://juejin.im/post/59f2ee29f265da43346f297e