电工应用技术网站资源建设,wordpress %2$s,建设通网站会员免费吗,莱芜网站优化平台 本系列教程持续更新#xff0c;可以微信搜索「 IT可乐 」第一时间阅读。回复《电子书》有我为大家特别筛选的书籍资料前面两篇博客#xff0c;第一篇介绍了五大数据类型的基本用法#xff0c;第二篇介绍了Redis底层的六种数据结构。在Redis中#xff0c;并没有直接使用… 本系列教程持续更新可以微信搜索「 IT可乐 」第一时间阅读。回复《电子书》有我为大家特别筛选的书籍资料前面两篇博客第一篇介绍了五大数据类型的基本用法第二篇介绍了Redis底层的六种数据结构。在Redis中并没有直接使用这些数据结构来实现键值对数据库而是基于这些数据结构创建了一个对象系统这些对象系统也就是前面说的五大数据类型每一种数据类型都至少用到了一种数据结构。通过这五种不同类型的对象Redis可以在执行命令之前根据对象的类型判断一个对象是否可以执行给定的命令而且可以针对不同的场景为对象设置多种不同的数据结构从而优化对象在不同场景下的使用效率。1、对象的类型与编码Redis使用前面说的五大数据类型来表示键和值每次在Redis数据库中创建一个键值对时至少会创建两个对象一个是键对象一个是值对象而Redis中的每个对象都是由 redisObject 结构来表示typedef struct redisObject{//类型unsigned type:4;//编码unsigned encoding:4;//指向底层数据结构的指针void *ptr;//引用计数int refcount;//记录最后一次被程序访问的时间unsigned lru:22;}robj①、type属性 对象的type属性记录了对象的类型这个类型就是前面讲的五大数据类型 可以通过如下命令来判断对象类型type key 注意在Redis中键总是一个字符串对象而值可以是字符串、列表、集合等对象所以我们通常说的键为字符串键表示的是这个键对应的值为字符串对象我们说一个键为集合键时表示的是这个键对应的值为集合对象。*②、encoding 属性和 prt 指针 对象的 prt 指针指向对象底层的数据结构而数据结构由 encoding 属性来决定。 而每种类型的对象都至少使用了两种不同的编码 可以通过如下命令查看值对象的编码OBJECT ENCODING key比如 string 类型可以是 embstr编码的简单字符串或者是 int 整数值实现2、字符串对象字符串是Redis最基本的数据类型不仅所有key都是字符串类型其它几种数据类型构成的元素也是字符串。注意字符串的长度不能超过512M。①、编码字符串对象的编码可以是intraw或者embstr。1、int 编码保存的是可以用 long 类型表示的整数值。2、raw 编码保存长度大于44字节的字符串redis3.2版本之前是39字节之后是44字节。3、embstr 编码保存长度小于44字节的字符串redis3.2版本之前是39字节之后是44字节。 由上可以看出int 编码是用来保存整数值raw编码是用来保存长字符串而embstr是用来保存短字符串。其实 embstr 编码是专门用来保存短字符串的一种优化编码raw 和 embstr 的区别 embstr与raw都使用redisObject和sds保存数据区别在于embstr的使用只分配一次内存空间因此redisObject和sds是连续的而raw需要分配两次内存空间分别为redisObject和sds分配空间。因此与raw相比embstr的好处在于创建时少分配一次空间删除时少释放一次空间以及对象的所有数据连在一起寻找方便。而embstr的坏处也很明显如果字符串的长度增加需要重新分配内存时整个redisObject和sds都需要重新分配空间因此redis中的embstr实现为只读。psRedis中对于浮点数类型也是作为字符串保存的在需要的时候再将其转换成浮点数类型。②、编码的转换当 int 编码保存的值不再是整数或大小超过了long的范围时自动转化为raw。对于 embstr 编码由于 Redis 没有对其编写任何的修改程序embstr 是只读的在对embstr对象进行修改时都会先转化为raw再进行修改因此只要是修改embstr对象修改后的对象一定是raw的无论是否达到了44个字节。3、列表对象list 列表它是简单的字符串列表按照插入顺序排序你可以添加一个元素到列表的头部左边或者尾部右边它的底层实际上是个链表结构。①、编码列表对象的编码可以是 ziplist(压缩列表) 和 linkedlist(双端链表)。 关于链表和压缩列表的特性可以看我前面的这篇博客。比如我们执行以下命令创建一个 key ‘numbers’value ‘1 three 5’ 的三个值的列表。rpush numbers 1 three 5ziplist 编码表示如下 linkedlist表示如下②、编码转换当同时满足下面两个条件时使用ziplist压缩列表编码1、列表保存元素个数小于512个2、每个元素长度小于64字节不能满足这两个条件的时候使用 linkedlist 编码。上面两个条件可以在redis.conf 配置文件中的 list-max-ziplist-value选项和 list-max-ziplist-entries 选项进行配置。4、哈希对象哈希对象的键是一个字符串类型值是一个键值对集合。①、编码哈希对象的编码可以是 ziplist 或者 hashtable。当使用ziplist也就是压缩列表作为底层实现时新增的键值对是保存到压缩列表的表尾。比如执行以下命令:hset profile name Tom
hset profile age 25
hset profile career Programmer如果使用ziplistprofile 存储如下 当使用 hashtable 编码时上面命令存储如下 hashtable 编码的哈希表对象底层使用字典数据结构哈希对象中的每个键值对都使用一个字典键值对。在前面介绍压缩列表时我们介绍过压缩列表是Redis为了节省内存而开发的是由一系列特殊编码的连续内存块组成的顺序型数据结构相对于字典数据结构压缩列表用于元素个数少、元素长度小的场景。其优势在于集中存储节省空间。②、编码转换和上面列表对象使用 ziplist 编码一样当同时满足下面两个条件时使用ziplist压缩列表编码1、列表保存元素个数小于512个2、每个元素长度小于64字节不能满足这两个条件的时候使用 hashtable 编码。第一个条件可以通过配置文件中的 set-max-intset-entries 进行修改。5、集合对象集合对象 set 是 string 类型整数也会转换成string类型进行存储的无序集合。注意集合和列表的区别集合中的元素是无序的因此不能通过索引来操作元素集合中的元素不能有重复。①、编码集合对象的编码可以是 intset 或者 hashtable。intset 编码的集合对象使用整数集合作为底层实现集合对象包含的所有元素都被保存在整数集合中。hashtable 编码的集合对象使用 字典作为底层实现字典的每个键都是一个字符串对象这里的每个字符串对象就是一个集合中的元素而字典的值则全部设置为 null。这里可以类比Java集合中HashSet 集合的实现HashSet 集合是由 HashMap 来实现的集合中的元素就是 HashMap 的key而 HashMap 的值都设为 null。SADD numbers 1 3 5SADD Dfruits apple banana cherry②、编码转换当集合同时满足以下两个条件时使用 intset 编码1、集合对象中所有元素都是整数2、集合对象所有元素数量不超过512不能满足这两个条件的就使用 hashtable 编码。第二个条件可以通过配置文件的 set-max-intset-entries 进行配置。6、有序集合对象和上面的集合对象相比有序集合对象是有序的。与列表使用索引下标作为排序依据不同有序集合为每个元素设置一个分数score作为排序依据。①、编码有序集合的编码可以是 ziplist 或者 skiplist。ziplist 编码的有序集合对象使用压缩列表作为底层实现每个集合元素使用两个紧挨在一起的压缩列表节点来保存第一个节点保存元素的成员第二个节点保存元素的分值。并且压缩列表内的集合元素按分值从小到大的顺序进行排列小的放置在靠近表头的位置大的放置在靠近表尾的位置。ZADD price 8.5 apple 5.0 banana 6.0 cherry skiplist 编码的有序集合对象使用 zet 结构作为底层实现一个 zset 结构同时包含一个字典和一个跳跃表typedef struct zset{//跳跃表zskiplist *zsl;//字典dict *dice;
} zset;字典的键保存元素的值字典的值则保存元素的分值跳跃表节点的 object 属性保存元素的成员跳跃表节点的 score 属性保存元素的分值。这两种数据结构会通过指针来共享相同元素的成员和分值所以不会产生重复成员和分值造成内存的浪费。说明其实有序集合单独使用字典或跳跃表其中一种数据结构都可以实现但是这里使用两种数据结构组合起来原因是假如我们单独使用 字典虽然能以 O(1) 的时间复杂度查找成员的分值但是因为字典是以无序的方式来保存集合元素所以每次进行范围操作的时候都要进行排序假如我们单独使用跳跃表来实现虽然能执行范围操作但是查找操作有 O(1)的复杂度变为了O(logN)。因此Redis使用了两种数据结构来共同实现有序集合。②、编码转换当有序集合对象同时满足以下两个条件时对象使用 ziplist 编码1、保存的元素数量小于1282、保存的所有元素长度都小于64字节。不能满足上面两个条件的使用 skiplist 编码。以上两个条件也可以通过Redis配置文件zset-max-ziplist-entries 选项和 zset-max-ziplist-value 进行修改。7、五大数据类型的应用场景对于string 数据类型因为string 类型是二进制安全的可以用来存放图片视频等内容另外由于Redis的高性能读写功能而string类型的value也可以是数字可以用作计数器INCR,DECR比如分布式环境中统计系统的在线人数秒杀等。对于 hash 数据类型value 存放的是键值对比如可以做单点登录存放用户信息。对于 list 数据类型可以实现简单的消息队列另外可以利用lrange命令做基于redis的分页功能对于 set 数据类型由于底层是字典实现的查找元素特别快另外set 数据类型不允许重复利用这两个特性我们可以进行全局去重比如在用户注册模块判断用户名是否注册另外就是利用交集、并集、差集等操作可以计算共同喜好全部的喜好自己独有的喜好等功能。对于 zset 数据类型有序的集合可以做范围查找排行榜应用取 TOP N 操作等。8、内存回收和内存共享①、内存回收 前面讲 Redis 的每个对象都是由 redisObject 结构表示typedef struct redisObject{//类型unsigned type:4;//编码unsigned encoding:4;//指向底层数据结构的指针void *ptr;//引用计数int refcount;//记录最后一次被程序访问的时间unsigned lru:22;}robj其中关键的 type属性encoding 属性和 ptr 指针都介绍过了那么 refcount 属性是干什么的呢因为 C 语言不具备自动回收内存功能那么该如何回收内存呢于是 Redis自己构建了一个内存回收机制通过在 redisObject 结构中的 refcount 属性实现。这个属性会随着对象的使用状态而不断变化1、创建一个新对象属性 refcount 初始化为12、对象被一个新程序使用属性 refcount 加 13、对象不再被一个程序使用属性 refcount 减 14、当对象的引用计数值变为 0 时对象所占用的内存就会被释放。在 Redis 中通过如下 API 来实现 学过Java的应该知道引用计数的内存回收机制其实是不被Java采用的因为不能克服循环引用的例子比如 A 具有 B 的引用B 具有 C 的引用C 具有 A 的引用除此之外这三个对象没有任何用处了这时候 A B C 三个对象会一直驻留在内存中造成内存泄露。那么 Redis 既然采用引用计数的垃圾回收机制如何解决这个问题呢在前面介绍 redis.conf 配置文件时在 MEMORY MANAGEMENT 下有个 maxmemory-policy 配置maxmemory-policy 当内存使用达到最大值时redis使用的清楚策略。有以下几种可以选择1volatile-lru 利用LRU算法移除设置过过期时间的key (LRU:最近使用 Least Recently Used )2allkeys-lru 利用LRU算法移除任何key3volatile-random 移除设置过过期时间的随机key4allkeys-random 移除随机key5volatile-ttl 移除即将过期的key(minor TTL)6noeviction noeviction 不移除任何key只是返回一个写错误 默认选项通过这种配置也可以对内存进行回收。 ②、内存共享 refcount 属性除了能实现内存回收以外还能用于内存共享。比如通过如下命令 set k1 100,创建一个键为 k1值为100的字符串对象接着通过如下命令 set k2 100 创建一个键为 k2值为100 的字符串对象那么 Redis 是如何做的呢1、将数据库键的值指针指向一个现有值的对象2、将被共享的值对象引用refcount 加 1 注意Redis的共享对象目前只支持整数值的字符串对象。之所以如此实际上是对内存和CPU时间的平衡共享对象虽然会降低内存消耗但是判断两个对象是否相等却需要消耗额外的时间。对于整数值判断操作复杂度为O(1)对于普通字符串判断复杂度为O(n)而对于哈希、列表、集合和有序集合判断的复杂度为O(n^2)。虽然共享对象只能是整数值的字符串对象但是5种类型都可能使用共享对象如哈希、列表等的元素可以使用。9、对象的空转时长在 redisObject 结构中前面介绍了 type、encoding、ptr 和 refcount 属性最后一个 lru 属性该属性记录了对象最后一次被命令程序访问的时间。使用 OBJECT IDLETIME 命令可以打印给定键的空转时长通过将当前时间减去值对象的 lru 时间计算得到。 lru 属性除了计算空转时长以外还可以配合前面内存回收配置使用。如果Redis打开了maxmemory选项且内存回收算法选择的是volatile-lru或allkeys—lru那么当Redis内存占用超过maxmemory指定的值时Redis会优先选择空转时间最长的对象进行释放。参考文章《Redis设计与实现》本系列教程持续更新可以微信搜索「 IT可乐 」第一时间阅读。回复《电子书》有我为大家特别筛选的书籍资料
