本文是《Redis设计与实现》的阅读笔记。
基本数据结构
简单动态字符串
Redis中的字符串使用“简单动态字符串”(SDS)表示,无论是字符串值还是键底层都采用“简单动态字符串”。
free
:未使用空间大小;len
:字符串长度;buf
:以空字符结尾的char数组。
为了减少内存重新分配次数,SDS做出了以下优化:
- 空间预分配:额外分配的未使用空间数量由以下公式决定:
- 如果对SDS进行修改之后,SDS的长小于1MB,那么程序分配和
len
属性同样大小的未使用空间, - 如果对SDS进行修改之后,SDS的长度将大于等千1MB, 那么程序会分配 1MB 的未使用空间。
- 如果对SDS进行修改之后,SDS的长小于1MB,那么程序分配和
- 惰性空间释放:程序并不立即使用内存重分配来回收缩短后多出来的字节,而是使用
free
属性将这些字节的数量记录起来,并等待将来使用。
链表
链表是Redis列表键实现之一,也是很多其他功能实现的基础,链表节点定义如下:
链表的完整结构体定义如下
head
为表头指针;tail
为表尾指针;len
为链表长度计数器;dup
为函数指针,用于复制链表节点所保存的值;free
为函数指针,用于释放链表节点所保存的值;match
为函数指针,则用于对比链表节点所保存的值和另一个输入值是否相等。
字典
字典将键和值进行关联,当哈希键中的键值对数量比较多,或者键值对中的元素比较大的时候,采用字典作为底层实现。字节的数据结构如下
哈希表结构dict
中,table
属性是一个数组,每个元素都是指向dictEntry
结构的指针,size
属性记录了哈希表的大小,sizemask
属性的值总是等于size-1
,而used
属性则记录了哈希表目前已有节点(键值对)的数量。
字典结构dictType
中有两个哈希表ht[0]
和ht[1]
,ht[l]
哈希表只会在对 ht[0]
哈希表进行rehash时使用,rehashidx
它记录了rehash目前的进度。type
属性是一个指向dictType
结构的指针,dictType
结构保存了一簇用于操作特定类型键值对的函数,例如计算哈希值、复制键、复制值、对比键、销毁键和销毁值的函数。而privdata
属性则保存了需要传给那些类型特定函数的可选参数。
为了让哈希表的负载因子维持在一个合理的范围之内,当哈希表保存的键值对数量太多或者太少时,程序需要对哈希表的大小进行相应的扩展或者收缩。
- 如果执行的是扩展操作,那么ht[l]的大小为第一个大于等于
ht[0].used*2
的; - 如果执行的是收缩操作,那么ht[1]的大小为第一个大于等于
ht[O].used
的。
字典采用渐进式rehash,好处在千它采取分而治之的方式,将 rehash键值对所需的计算工作均摊到对字典的每个添加、删除、查找和更新操作上。
跳跃表
跳跃表可以用于有序集合键的底层实现,数据结构如下
zskiplist
结构包含以下属性:
header
: 指向跳跃表的表头节点。tail
: 指向跳跃表的表尾节点。level
: 记录目前跳跃表内,层数最大的那个节点的层数。length
: 记录跳跃表的长度。
zskiplistNode 结构,该结构包含以下属性:
- 层 (
level
) : 每个层都带有两个属性:前进指针和跨度。前进指针用于 访问位于表尾方向的其他节点,而跨度则记录了前进指针所指向节点和当前节点的 距离。 - 后退 (
backward
) 指针:指向位于当前节点的前一个节点。 - 分值 (
score
): 节点按各自所保存的分值从小到大排列。 - 成员对象 (
obj
): 节点所保存的成员对象。
整数集合
当一个集合只包含整数值元素,并且这个集合的元素数董不多时, Redis 就会使用整数集合作为集合键的底层实现。
contents
数组是整数集合的底层数据存放位置,各个项在数组中按值的大小从小到大有序地排列,并且数组中不包含任何重复项。length
属性记录了整数集合包含的元素数量,encoding
属性决定了整数类型(INTSET_ENC_INT16
/INTSET_ENC_INT32
/INTSET_ENC_INT64
)。新元素的类型比整数集合现有所有元素的类型都要长时,整数集合需要先进行升级。
压缩链表
如果列表键或者哈希键包含的元素比较少,那么会采用压缩列表作为底层实现。
属性 | 说明 |
---|---|
zlbytes |
记录整个压缩列表占用的内存字节数 |
zltail |
记录压缩列表表尾节点距离压缩列表的起始地址有多少字节 |
zllen |
记录了压缩列表包含的节点数量 |
entryX |
压缩列表包含的各个节点 |
zlend |
特殊值 OxFF (十进制 255), 用于标记压缩列表的末端 |
entryX的数据结构如下
节点的previous_entry_length
记录了压缩列表中前一个节
点的长度,节点的encoding
属性记录了节点的content
属性所保存数据的类型以及长度,节点的content
属性负责保存节点的值。
数据结构和对象
Redis对象的结构体定义如下
type为对象类型,encoding为底层使用的数据结构,而ptr是指向底层数据结构的指针。Redis一共支持了五种数据类型,可以使用TYPE
命令查看对象的类型。
对象 | 对象type属性的值 | TYPE命令的输出 |
---|---|---|
字符串对象 | REDIS_STRING | "string" |
列表对象 | REDIS_LIST | "list" |
哈希对象 | REDIS_HASH | "hash" |
集合对象 | REDIS_SET | "set" |
有序集合对象 | REDIS_ZSET | "zset" |
而对象具体使用的数据结构可以用OBJECT ENCODING
命令获取。
类型 | 编码 | 对象 |
---|---|---|
REDIS_STRING | REDIS_ENCODING_INT | 使用整数值实现的字符串对象 |
REDIS_STRING | REDIS_ENCODING_EMBSTR | 使用 embstr 编码的简单动态字符串实现的字符串对象 |
REDIS_STRING | REDIS_ENCODING_RAW | 使用简单动态字符串实现的字符串对象 |
REDIS_LIST | REDIS_ENCODING_ZIPLIST | 使用压缩列表实现的列表对象 |
REDIS_LIST | REDIS_ENCODING_LINKEDLIST | 使用双端链表实现的列表对象 |
REDIS_HASH | REDIS_ENCODING_ZIPLIST | 使用压缩列表实现的哈希对象 |
REDIS_HASH | REOIS_ENCODING_HT | 使用字典实现的哈希对象 |
REDIS_SET | REDIS_ENCODING_INTSET | 使用整数集合实现的集合对象 |
REDIS_SET | REDIS_ENCODING_HT | 使用字典实现的集合对象 |
REDIS_ZSET | REDIS_ENCODING_ZIPLIST | 使用压缩列表实现的有序集合对象 |
REDIS_ZSET | REDIS_ENCODING_SKIPLIST | 使用跳跃表和字典实现的有序集合对象 |
不同类型的对象的编码选择规则如下:
字符串对象
- 如果一个字符串对象保存的是整数值,并且这个整数值可以用 long 类型来表示,那么 字符串对象会将整数值保存在字符串对象结构的 ptr 属性里面
- 如果字符串对象保存的是一个字符串值,并且这个字符串值的长度大于 32 字节,那么 字符串对象将使用一个简单动态字符串 (SDS) 来保存这个字符串值
- 如果字符串对象保存的是一个字符串值,并且这个字符串值的长度小千等于 32 字节, 那么字符串对象将使用 embstr 编码的方式来保存这个字符串值。
列表对象
当列表对象可以同时满足以下两个条件时,列表对象使用ziplist
编码:
- 列表对象保存的所有字符串元素的长度都小千 64 字节;
- 列表对象保存的元素数量小千 512 个;
不能满足这两个条件的列表对象需要使用 linkedlist 编码。
恰希对象
当哈希对象可以同时满足以下两个条件时,哈希对象使用 ziplist 编码:
- 哈希对象保存的所有键值对的键和值的字符串长度都小千 64 字节;
- 哈希对象保存的键值对数量小千 512 个;
不能满足这两个条件的哈希对象需要使用 hash able 编码。
集合对象
当集合对象可以同时满足以下两个条件时,对象使用 intset 编码: 集合对象保存的所有元素都是整数值;
- 集合对象保存的元素数量不超过 512 个。
不能满足这两个条件的集合对象需要使用 hash table 编码。
有序集合对象
当有序集合对象可以同时满足以下两个条件时,对象使用ziplist
编码:
- 有序集合保存的元素数量小于 128 个;
- 有序集合保存的所有元素成员的长度都小于 64 字节;
不能满足以上两个条件的有序集合对象将使用skiplist
编码。
有序集合对象在维护skiplist
的同时,使用了dict
,使得能够快速完成成员查询。