本文由葡萄城技术团队编撰并首发
在 web 应用发展的初期, 那时关系型数据库受到了较为广泛的关注和应用, 原因是因为那时候 Web 站点基本上访问和并发不高, 交互也较少. 而在后来, 随着访问量的提升, 使用关系型数据库的 Web 站点多多少少都开始在性能上出现了一些瓶颈, 而瓶颈的源头一般是在磁盘的 I/O 上. 而随着互联网技术的进一步发展, 各种类型的应用层出不穷, 这导致在当今云计算, 大数据盛行的时代, 对性能有了更多的需求, 主要体现在以下四个方面:
低延迟的读写速度: 应用快速地反应能极大地提升用户的满意度
支撑海量的数据和流量: 对于搜索这样大型应用而言, 需要利用 PB 级别的数据和能应对百万级的流量
大规模集群的管理: 系统管理员希望分布式应用能更简单的部署和管理
庞大运营成本的考量: IT 部门希望在硬件成本, 软件成本和人力成本能够有大幅度地降低
为了克服这一问题, NoSQL 应运而生, 它同时具备了高性能, 可扩展性强, 高可用等优点, 受到广泛开发人员和仓库管理人员的青睐.
Redis 是什么
Redis 是现在最受欢迎的 NoSQL 数据库之一, Redis 是一个使用 ANSI C 编写的开源, 包含多种数据结构, 支持网络, 基于内存, 可选持久性的键值对存储数据库, 其具备如下特性:
基于内存运行, 性能高效
支持分布式, 理论上可以无限扩展
key-value 存储系统
开源的使用 ANSI C 语言编写, 遵守 BSD 协议, 支持网络, 可基于内存亦可持久化的日志型, Key-Value 数据库, 并提供多种语言的 API
相比于其他数据库类型, Redis 具备的特点是:
C/S 通讯模型
单进程单线程模型
丰富的数据类型
操作具有原子性
持久化
高并发读写
支持 lua 脚本
哪些大厂在使用 Redis?
GitHub
微博
Stack Overflow
阿里巴巴
百度
美团
搜狐
Redis 的应用场景有哪些?
Redis 的应用场景包括: 缓存系统 ("热点" 数据: 高频读, 低频写), 计数器, 消息队列系统, 排行榜, 社交网络和实时系统.
Redis 的数据类型及主要特性
Redis 提供的数据类型主要分为 5 种自有类型和一种自定义类型, 这 5 种自有类型包括: String 类型, 哈希类型, 列表类型, 集合类型和顺序集合类型.
String 类型:
它是一个二进制安全的字符串, 意味着它不仅能够存储字符串, 还能存储图片, 视频等多种类型, 最大长度支持 512M.
对每种数据类型, Redis 都提供了丰富的操作命令, 如:
- GET/MGET
- SET/SETEX/MSET/MSETNX
- INCR/DECR
- GETSET
- DEL
哈希类型:
该类型是由 field 和关联的 value 组成的 map. 其中, field 和 value 都是字符串类型的.
Hash 的操作命令如下:
- HGET/HMGET/HGETALL
- HSET/HMSET/HSETNX
- HEXISTS/HLEN
- HKEYS/HDEL
- HVALS
列表类型:
该类型是一个插入顺序排序的字符串元素集合, 基于双链表实现.
List 的操作命令如下:
- LPUSH/LPUSHX/LPOP/RPUSH/RPUSHX/RPOP/LINSERT/LSET
- LINDEX/LRANGE
- LLEN/LTRIM
集合类型:
Set 类型是一种无顺序集合, 它和 List 类型最大的区别是: 集合中的元素没有顺序, 且元素是唯一的.
Set 类型的底层是通过哈希表实现的, 其操作命令为:
- SADD/SPOP/SMOVE/SCARD
- SINTER/SDIFF/SDIFFSTORE/SUNION
Set 类型主要应用于: 在某些场景, 如社交场景中, 通过交集, 并集和差集运算, 通过 Set 类型可以非常方便地查找共同好友, 共同关注和共同偏好等社交关系.
顺序集合类型:
ZSet 是一种有序集合类型, 每个元素都会关联一个 double 类型的分数权值, 通过这个权值来为集合中的成员进行从小到大的排序. 与 Set 类型一样, 其底层也是通过哈希表实现的.
ZSet 命令:
- ZADD/ZPOP/ZMOVE/ZCARD/ZCOUNT
- ZINTER/ZDIFF/ZDIFFSTORE/ZUNION
Redis 的数据结构
Redis 的数据结构如下图所示:
关于上表中的部分释义:
压缩列表是列表键和哈希键的底层实现之一. 当一个列表键只包含少量列表项, 并且每个列表项要么就是小整数, 要么就是长度比较短的字符串, Redis 就会使用压缩列表来做列表键的底层实现
整数集合是集合键的底层实现之一, 当一个集合只包含整数值元素, 并且这个集合的元素数量不多时, Redis 就会使用整数集合作为集合键的底层实现
如下是定义一个 Struct 数据结构的例子:
简单动态字符串 SDS (Simple Dynamic String)
基于 C 语言中传统字符串的缺陷, Redis 自己构建了一种名为简单动态字符串的抽象类型, 简称 SDS, 其结构如下:
SDS 几乎贯穿了 Redis 的所有数据结构, 应用十分广泛.
SDS 的特点
和 C 字符串相比, SDS 的特点如下:
1. 常数复杂度获取字符串长度
Redis 中利用 SDS 字符串的 len 属性可以直接获取到所保存的字符串的长
度, 直接将获取字符串长度所需的复杂度从 C 字符串的 O(N) 降低到了 O(1).
2. 减少修改字符串时导致的内存重新分配次数
通过 C 字符串的特性, 我们知道对于一个包含了 N 个字符的 C 字符串来说, 其底层实现总是 N+1 个字符长的数组 (额外一个空字符结尾)
那么如果这个时候需要对字符串进行修改, 程序就需要提前对这个 C 字符串数组进行一次内存重分配 (可能是扩展或者释放)
而内存重分配就意味着是一个耗时的操作.
Redis 巧妙的使用了 SDS 避免了 C 字符串的缺陷. 在 SDS 中, buf 数组的长度不一定就是字符串的字符数量加一, buf 数组里面可以包含未使用的字节, 而这些未使用的字节由 free 属性记录.
与此同时, SDS 采用了空间预分配的策略, 避免 C 字符串每一次修改时都需要进行内存重分配的耗时操作, 将内存重分配从原来的每修改 N 次就分配 N 次 --> 降低到了修改 N 次最多分配 N 次.
如下是 Redis 对 SDS 的简单定义:
Redis 特性 1: 事务
命令序列化, 按顺序执行
原子性
三阶段: 开始事务 - 命令入队 - 执行事务
命令: MULTI/EXEC/DISCARD
Redis 特性 2: 发布订阅 (Pub/Sub)
Pub/sub 是一种消息通讯模式
Pub 发送消息, Sub 接受消息
Redis 客户端可以订阅任意数量的频道
"fire and forgot", 发送即遗忘
命令: Publish/Subscribe/Psubscribe/UnSub
Redis 特性 3:Stream
Redis 5.0 新增
等待消费
消费组 (组内竞争)
消费历史数据
FIFO
以上就是 Redis 的基本概念, 下面我们将介绍在开发过程中可能会踩到的 "坑".
Redis 常见问题解析: 击穿
概念: 在 Redis 获取某一 key 时, 由于 key 不存在, 而必须向 DB 发起一次请求的行为, 称为 "Redis 击穿".
引发击穿的原因:
第一次访问
恶意访问不存在的 key
Key 过期
合理的规避方案:
服务器启动时, 提前写入
规范 key 的命名, 通过中间件拦截
对某些高频访问的 Key, 设置合理的 TTL 或永不过期
Redis 常见问题解析: 雪崩
概念: Redis 缓存层由于某种原因宕机后, 所有的请求会涌向存储层, 短时间内的高并发请求可能会导致存储层挂机, 称之为 "Redis 雪崩".
合理的规避方案:
使用 Redis 集群
限流
Redis 在产品开发中的应用实践
为此, 我很高兴的为大家介绍, 葡萄城架构师 Jim 将在 2019-11-27 14:00 为大家带来一场公开课, 其中 Jim 除了为大家讲解 Redis 的基础, 同时也会实际演示他所在的项目组使用 Redis 时碰到的问题以及解决方案, 对于刚接触 Redis 的同学来说, 更具参考意义和学习价值, 欢迎大家届时参加, 公开课地址: https://live.vhall.com/661463644 .
后端采用 Node.JS
使用 Azure 的 Redis 服务
Redis 的使用场景
- token 缓存, 用于令牌验证
- IP 白名单
碰到的问题
"网络抖动" 或者 Redis 服务异常导致 Redis 访问超时
Redis 客户端驱动稳定性问题
- 连接池 "Broken connection" 问题
- JS 的 Promise 引出的 Redis 重置问题
下面我们来简单了解一下 Redis 的进阶知识.
进阶之 Redis 协议简介
Redis 客户端通讯协议: RESP(Redis Serialization Protocol), 其特点是:
简单
解析速度快
可读性好
Redis 集群内部通讯协议: RECP(Redis Cluster Protocol ) , 其特点是:
每一个 node 两个 tcp 连接
一个负责 client-server 通讯 (P: 6379)
一个负责 node 之间通讯 (P: 10000 + 6379)
Redis 协议支持的数据类型:
简单字符 (首字节: "+")
"+OK\r\n"
错误 (首字节: "-")
"-error msg\r\n"
数字 (首字节: ":")
":123\r\n"
批量字符 (首字节: "$")
"&hello\r\nWhoa re you\r\n"
数组 (首字节: "*")
- "*0\r\n"
- "*-1\r\n"
除了 Redis, 还有什么 NoSQL 型数据库
市面上类似于 Redis, 同样是 NoSQL 型的数据库有很多, 如下图所示, 除了 Redis, 还有 MemCache,Cassadra 和 Mongo. 下面, 我们就分别对这几个数据库做一下简要的介绍:
Memcache: 这是一个和 Redis 非常相似的数据库, 但是它的数据类型没有 Redis 丰富. Memcache 由 LiveJournal 的 Brad Fitzpatrick 开发, 作为一套分布式的高速缓存系统, 被许多网站使用以提升网站的访问速度, 对于一些大型的, 需要频繁访问数据库的网站访问速度的提升效果十分显著.
Apache Cassandra:(社区内一般简称为 C*) 这是一套开源分布式 NoSQL 数据库系统. 它最初由 Facebook 开发, 用于储存收件箱等简单格式数据, 集 Google BigTable 的数据模型与 Amazon Dynamo 的完全分布式架构于一身. Facebook 于 2008 将 Cassandra 开源, 由于其良好的可扩展性和性能, 被 Apple,Comcast,Instagram,Spotify,eBay,Rackspace,Netflix 等知名网站所采用, 成为了一种流行的分布式结构化数据存储方案.
MongoDB: 是一个基于分布式文件存储, 面向文档的 NoSQL 数据库, 由 C++ 编写, 旨在为 Web 应用提供可扩展的高性能数据存储解决方案. MongoDB 是一个介于关系数据库和非关系数据库之间的产品, 是非关系数据库当中功能最丰富, 最像关系型数据库的, 它支持的数据结构非常松散, 是一种类似 JSON 的 BSON 格式.
总结
以上就是 Redis 入门介绍教程, 如果各位还想了解更多, 欢迎通过评论和私信的方式告诉我.
来源: https://www.cnblogs.com/powertoolsteam/p/redis.html