能坚持别人不能坚持的, 才能拥有别人未曾拥有的.
关注编程大道公众号, 让我们一同坚持心中所想, 一起成长!!
在这个系列里, 我会整理一些面试题与大家分享, 帮助年后和我一样想要在金三银四准备跳槽的同学.
我们一起巩固, 突击面试官常问的一些面试题, 加油!!
《[面试突击] - Redis 篇》--Redis 数据类型? 适用于哪些场景?
《[面试突击] - Redis 篇》--Redis 的线程模型了解吗? 为啥单线程效率还这么高?
《[面试突击] - Redis 篇》-- Redis 的主从复制? 哨兵机制?
前两次因为时间原因面试官暂时中止了面试, 觉得上次你对 Redis 的主从复制, 哨兵机制的知识掌握的还可以, 于是今天面试官想看看你到底对 Redis 了解有多深, 又加大了攻势, 你准备好了吗?
上次因为时间问题面试草草收场今天我还有几个哨兵的问题要问. 首先说一下 Redis Sentinel 是怎么工作的? 重点描述一下故障转移的过程
好的.
1)每个 Sentinel 以每秒钟一次的频率向它所知的 Master,Slave 以及其他 Sentinel 实例发送一个 PING 命令.
2)如果一个实例 (instance) 距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值, 则这个实例会被当前 Sentinel 标记为主观下线.
3)如果一个 Master 被标记为主观下线, 则正在监视这个 Master 的所有 Sentinel 要以每秒一次的频率确认 Master 的确进入了主观下线状态.
4)当有足够数量的 Sentinel(大于等于配置文件指定的值)在指定的时间范围内确认 Master 的确进入了主观下线状态, 则 Master 会被标记为客观下线 .
5)当 Master 被 Sentinel 标记为客观下线时, Sentinel 向下线的 Master 的所有 Slave 发送 INFO 命令的频率会从 10 秒一次改为每秒一次 (在一般情况下, 每个 Sentinel 会以每 10 秒一次的频率向它已知的所有 Master,Slave 发送 INFO 命令 ).
6)若没有足够数量的 Sentinel 同意 Master 已经下线, Master 的客观下线状态就会变成主观下线. 若 Master 重新向 Sentinel 的 PING 命令返回有效回复, Master 的主观下线状态就会被移除.
7)sentinel 节点会与其他 sentinel 节点进行 "沟通", 投票选举一个 sentinel 节点进行故障处理, 在从节点中选取一个主节点, 其他从节点挂载到新的主节点上自动复制新主节点的数据.
故障转移时会从剩下的 slave 选举一个新的 master, 被选举为 master 的标准是什么?
如果一个 master 被认为 odown 了, 而且 majority 哨兵都允许了主备切换, 那么某个哨兵就会执行主备切换操作, 此时首先要选举一个 slave 来, 会考虑 slave 的一些信息.
(1)跟 master 断开连接的时长.
如果一个 slave 跟 master 断开连接已经超过了 down-after-milliseconds 的 10 倍, 外加 master 宕机的时长, 那么 slave 就被认为不适合选举为 master.
( down-after-milliseconds * 10) + milliseconds_since_master_is_in_SDOWN_state
(2)slave 优先级.
按照 slave 优先级进行排序, slave priority 越低, 优先级就越高
(3)复制 offset.
如果 slave priority 相同, 那么看 replica offset, 哪个 slave 复制了越多的数据, offset 越靠后, 优先级就越高
(4)run id
如果上面两个条件都相同, 那么选择一个 run id 比较小的那个 slave
执行切换的那个哨兵在完成故障转移后会做什么?
会进行 configuraiton 配置信息传播.
哨兵完成切换之后, 会在自己本地更新生成最新的 master 配置, 然后通过 pub/sub 消息机制同步给其他的哨兵.
同步配置的时候其他哨兵根据什么更新自己的配置呢?
执行切换的那个哨兵, 会从要切换到的新 master(salve->master)那里得到一个 configuration epoch, 这就是一个 version 号, 每次切换的 version 号都必须是唯一的.
如果第一个选举出的哨兵切换失败了, 那么其他哨兵, 会等待 failover-timeout 时间, 然后接替继续执行切换, 此时会重新获取一个新的 configuration epoch 作为新的 version 号.
这个 version 号就很重要了, 因为各种消息都是通过一个 channel 去发布和监听的, 所以一个哨兵完成一次新的切换之后, 新的 master 配置是跟着新的 version 号的, 其他的哨兵都是根据版本号的大小来更新自己的 master 配置的.
好, 上次哨兵的问题暂时就到这吧, 接下来说说 Redis 的持久化方面的问题吧. 首先, 生产上 Redis 要不要持久化? 如果要, 说说为什么需要, 或者说持久化对生产系统的意义何在?
要.
Redis 持久化主要是做灾难恢复, 数据恢复, 也可以归类到高可用的范畴.
比如 Redis 整个挂了, 导致 Redis 不可用了, 这时候首先要做的事情是让 Redis 尽快变得可用. 那么就会去重启 Redis, 尽快让它对外提供服务. 但是如果没做持久化没有数据备份, 这个时候 Redis 启动了, 也不可用啊, 数据都没了!
这时候很可能, 大量的请求过来, 在缓存全部无法命中, 这个时候就死定了, 可能会导致缓存雪崩问题, 所有的请求, 没有在 Redis 命中, 就会去数据库中去找, 数据库一下子承接高并发, 然后就挂了. 数据库挂掉, 你都没法去找数据恢复到 Redis 里面去.
Redis 持久化机制有哪些?
Redis 有两种持久化机制, AOF 和 RDB.
AOF, 记录每次写请求的命令, 以追加的方式在文件尾部追加, 直接在尾部追加, 效率比较高.
对于操作系统来说, 不是每次写都直接写到磁盘, 操作系统自己会有一层 cache,Redis 写磁盘的数据会先缓存在 os cache 里, Redis 每隔 1 秒调用一次操作系统的 fsync 操作, 强制将 os cache 中的数据刷入 AOF 文件中.
当 Redis 重启的时候, 就把 AOF 中记录的命令重新执行一遍就可以了, 但是如果文件很大的话, 执行会耗费较多的时间, 对于数据恢复来说耗时会多一点.
RDB, 是快照文件, 每隔一定时间将 Redis 内存中的数据生成一份完整的 RDB 快照文件, 当 Redis 重启的时候直接加载数据即可, 同样的数据比 AOF 恢复的要快.
说说这两种持久化机制各自的特点, 优缺点吧
好的.
RDB 的优点
第一点就是他会生成多个数据文件, 每个数据文件都代表了某一时刻 Redis 中的数据, 非常适合做冷备.
第二点, RDB 持久化机制对 Redis 对外提供的读写服务影响非常小, 可以让 Redis 保持高性能, 因为 Redis 主进程只需要 fork 一个子进程, 让子进程执行磁盘 IO 操作来进行 RDB 持久化即可.
第三点, 相对于 AOF 持久化机制来说, 直接基于 RDB 数据文件来重启和恢复 Redis 进程, 更加快速.
AOF, 存放的指令日志, 做数据恢复的时候, 其实是要回放和执行所有的指令日志, 来恢复出来内存中的所有数据的.
RDB, 就是一份数据文件, 恢复的时候, 直接加载到内存中即可.
RBD 的缺点
1)故障时可能数据丢失的比 AOF 要多.
一般来说, RDB 数据快照文件, 都是每隔 5 分钟或者更长时间生成一次, 这个时候一旦 Redis 进程宕机, 那么会丢失最近 5 分钟的数据.
这个问题, 也是 rdb 最大的缺点, 就是不适合做第一优先的恢复方案, 如果你依赖 RDB 做第一优先恢复方案, 会导致数据丢失的比较多
2)RDB 每次在 fork 子进程来执行 RDB 快照数据文件生成的时候, 如果数据文件特别大, 可能会导致对客户端提供的服务暂停数毫秒, 或者甚至数秒.
所以一般不要让 RDB 的间隔太长, 否则每次生成的 RDB 文件太大了, 对 Redis 本身的性能可能会有影响的.
AOF 的优点
1)AOF 可以更好的保护数据不丢失
一般 AOF 会每隔 1 秒, 通过一个后台线程执行一次 fsync 操作, 最多丢失 1 秒钟的数据.
每隔 1 秒, 就执行一次 fsync 操作, 保证 os cache 中的数据写入磁盘中.
Redis 进程挂了, 最多丢掉 1 秒钟的数据.
2)AOF 持久化性能高
AOF 日志文件以 append-only 模式写入, 所以没有任何磁盘寻址的开销, 写入性能非常高, 而且文件不容易破损, 即使文件尾部破损, 也很容易修复.
3)AOF 日志文件即使过大的时候, 出现后台重写操作, 也不会影响客户端的读写.
因为在 rewrite log 的时候, 会对其中的指令进行压缩, 创建出一份需要恢复数据的最小日志出来. 再创建新日志文件的时候, 老的日志文件还是照常写入. 当新的 merge 后的日志文件 ready 的时候, 再交换新老日志文件即可.
4)AOF 日志文件的命令通过非常可读的方式进行记录, 这个特性非常适合做灾难性的误删除的紧急恢复.
比如某人不小心用 flushall 命令清空了所有数据, 只要这个时候后台 rewrite 还没有发生, 那么就可以立即拷贝 AOF 文件, 将最后一条 flushall 命令给删了, 然后再将该 AOF 文件放回去, 就可以通过恢复机制, 自动恢复所有数据.
AOF 的缺点
(1)对于同一份数据来说, AOF 日志文件通常比 RDB 数据快照文件更大
(2)AOF 开启后, 支持的写 QPS 会比 RDB 支持的写 QPS 低, 因为 AOF 一般会配置成每秒 fsync 一次日志文件, 当然, 每秒一次 fsync, 性能也还是很高的.
如果你要保证一条数据都不丢, 也是可以的, AOF 的 fsync 设置成没写入一条数据, fsync 一次, 但是那样导致 Redis 的 QPS 大幅度下降.
(3)以前 AOF 发生过 bug, 就是通过 AOF 记录的日志, 进行数据恢复的时候, 没有恢复一模一样的数据出来.
所以说, 类似 AOF 这种较为复杂的基于命令日志 / merge / 回放的方式, 比基于 RDB 每次持久化一份完整的数据快照文件的方式, 更加脆弱一些, 容易有 bug.
不过 AOF 就是为了避免 rewrite 过程导致的 bug, 因此每次 rewrite 并不是基于旧的指令日志进行 merge 的, 而是基于当时内存中的数据进行指令的重新构建, 这样健壮性会好很多.
(4)唯一的比较大的缺点, 其实就是做数据恢复的时候, 会比较慢, 做冷备不太合适.
你刚才提到冷备, 那你具体说说为啥 AOF 不适合 RDB 适合?
其实两个都可以做, 只不过 RDB 更适合.
RDB 可以做冷备, 是因为它会生成多个文件, 每个文件都代表了某一个时刻的完整的数据快照, 我们可以将这种完整的数据文件发送到一些远程的安全存储上去, 比如可以是阿里云的 ODPS 分布式存储上, 以预定好的备份策略来定期备份 Redis 中的数据.
AOF 也可以做冷备, 只不过它只有一个文件, 但是我们可以去自己写程序, 每隔一定时间, 去 copy 一份这个文件出来.
RDB 做冷备, 优势在于由 Redis 去控制固定时长生成快照文件的事情, 比较方便, 而 AOF, 还需要我们自己写一些脚本去做这个事情, 各种定时, 比较麻烦.
RDB 数据做冷备, 在最坏的情况下, 提供数据恢复的时候, 速度比 AOF 快.
说了那么多 AOF 和 RDB, 那么生产系统对于这俩持久化机制到底该如何选择呢?
至于, RDB 和 AOF 到底该如何选择, 我觉得两种都选择,
1)不要仅仅使用 RDB, 因为那样会导致你丢失很多数据.
2)也不要仅仅使用 AOF, 因为那样有两个问题,
第一, 你通过 AOF 做冷备, 没有 RDB 做冷备, 来的恢复速度更快;
第二, RDB 每次简单粗暴生成数据快照, 更加健壮, 可以避免 AOF 这种复杂的备份和恢复机制的 bug.
3)综合使用 AOF 和 RDB 两种持久化机制, 用 AOF 来保证数据不丢失, 作为数据恢复的第一选择; 用 RDB 来做不同程度的冷备, 在 AOF 文件都丢失或损坏不可用的时候, 还可以使用 RDB 来进行快速的数据恢复, 作为数据恢复的最后一道防线.
好, 今天就到这里, 下次我们继续聊
终于结束了.
其实如果你的简历上写了掌握 Redis, 那么如果面试官也比较精通 Redis 的话, 他就会抓住你这一个 Redis 从浅入深的一直追着问, 看看你到底对 Redis 了解多少, 是不是平时自己真的积累过这些知识, 是不是比别人要懂得多一点, 经过一层一层的深挖, 看看你能过几关. 相对于其他竞争者可能几个回合就招架不住了, 你要是能多战几个回合, 面试官对你的印象也会越深, 你的机会也就越大.
如果说就 Redis 问你几个基础的问题, 那面试官要么对 Redis 了解不多, 要么就看中了你简历中的其他亮点.
本系列文章在于面试突击, 不是教程, 要是细挖能讲好多, 而面试你只需要把这个原理说出来就行了, 如果边讲边画图那就更好了.
该系列文章在于快速突击, 快速拾遗, 温习.
来源: https://www.cnblogs.com/ibigboy/p/12205889.html