文登网站建设,推荐o2o网站建设,wap百度,自动做设计的网站面试题#xff1a;
阿里广告平台#xff0c;海量数据里查询某一固定前缀的key小红书#xff0c;你如何生产上限制keys*/flushdb/flushall等危险命令以防止误删误用#xff1f;美团#xff0c;MEMORY USAGE命令你用过吗#xff1f;BigKey问题#xff0c;多大算big#…面试题
阿里广告平台海量数据里查询某一固定前缀的key小红书你如何生产上限制keys*/flushdb/flushall等危险命令以防止误删误用美团MEMORY USAGE命令你用过吗BigKey问题多大算big你如何发现如何删除如何处理BigKey你做过调优吗惰性释放lazyfree了解过吗Morekey问题生产上redis数据库有1000W记录你如何遍历key*可以吗...... MoreKey案例很多key
大批量往redis里面插入2000W测试数据key
1、Linux Bash下面执行插入100WB 理解生成100W条redis批量设置kv的语句(keykn,valuevn)写入到/tmp目录下的redisTest.txt文件中。
for((i1;i100*10000;i)); do echo set k$i v$i /tmp/redisTest.txt ;done;
2、通过redis提供的管道 - pipe命令插入100W大批量数据
cat /tmp/redisTest.txt | /opt/redis-7.0.0/src/redis-cli -h 127.0.0.1 -p 6379 -a 111111 --pipe 某快递巨头真实生产案例新闻 尝试keys * 试试100W花费多少秒遍历查询 结果key * 这个指令有致命的弊端在实际环境中最好不要使用 这个指令没有offset、limit参数是要一次性吐出所有满足条件的key由于redis是单线程的其所有操作都是原子的而keys算法是遍历算法复杂度是O(n)如果实例中有千万级以上的key这个指令就会导致Redis服务卡顿所有读写Redis的其它的指令都会被延后甚至会超时报错可能会引起缓存雪崩甚至数据库宕机。
生产上如何限制操作命令
生产上限制keys*/flushdb/flushall等危险命令以防止误删误用 通过配置禁用这些命令redis.conf在SECURITY这一项中其实就是重命名的方式。 不用keys*避免卡顿那该用什么
答案使用scan命令。一句话类似mysql limit。但不完全相同。
官网地址SCAN | Redis
中文地址Redis SCAN 命令 递增地遍历key空间 Redis SCAN 命令及其相关命令 SSCAN、HSCAN、 ZSCAN 命令都是用于增量遍历集合中的元素。
SCAN 用于遍历当前数据库中的键。SSCAN 用于遍历集合键中的元素。HSCAN 用于遍历哈希键中的键值对。ZSCAN 用于遍历有序集合中的元素包括元素成员和元素分值。
语法 SCAN cursor [MATCH pattern] [COUNT count] cursor - 游标。pattern - 匹配的模式。count - 指定从数据集里返回多少元素默认值为 10 。 理解基于游标的迭代器需要基于上一次的游标延续之前的迭代过程以0作为游标开始一次新的迭代直到命令返回游标0完成一次遍历不保证每次执行都返回某个给定数量的元素支持模糊查询一次返回的数量不可控只能是大概率符合count参数。 SCAN 命令是一个基于游标的迭代器每次被调用之后 都会向用户返回一个新的游标 用户在下次迭代时需要使用这个新游标作为 SCAN 命令的游标参数 以此来延续之前的迭代过程。 SCAN 返回一个包含两个元素的数组 第一个元素是用于进行下一次迭代的新游标 第二个元素则是一个数组 这个数组中包含了所有被迭代的元素。如果新游标返回零表示迭代已结束。
SCAN的遍历顺序 非常特别它不是从第一维数组的第零位一直遍历到末尾而是采用了高位进位加法来遍历。之所以使用这样特殊的方式进行遍历是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。
使用 BigKey案例
多大算Big
参考《阿里云Redis?开发规范》 string和二级结构
1、string是value最大512MB但是≥10KB就是bigkey
2、Iist、hash、set和zset个数超过5000就是bigkey
list一个列表最多可以包含2^32-1个元素(4294967295每个列表超过40亿个元素)hashRedis中每个hash可以存储2^32-1键值对(40多亿)set集合中最大的成员数为2^32-1(4294967295每个集合可存储40多亿个成员)...
一般Iist、hash、set这些数据存储不到这么大规定存到超5000就是大key。
哪些危害
内存不均集群迁移困难超时删除大key删除作梗网络流量阻塞
如何产生
社交类王心凌粉丝列表典型案例粉丝逐步递增
汇总统计某个报表月日年经年累月的积累
如何发现
命令redis-cli --bigkeys
好处给出每种数据结构Top 1 bigkey同时给出每种数据类型的键值个数平均大小。
不足想查询大于10kb的所有key--bigkeys参数就无能为力了需要用到memory usage来计算每个键值的字节数。
示例 redis-cli -h 127.0.0.1 -p 6379 -a 111111 --bigkeys redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1 每隔 100 条 scan 指令就会休眠 0.1sops 就不会剧烈抬升但是扫描的时间会变长 MEMORY USAGE键
官网Redis MEMORY USAGE 命令 估计key的内存使用情况 MEMORY USAGE 命令给出一个 key 和它的值在 RAM 中所占用的字节数。 返回的结果是 key 的值以及为管理该 key 分配的内存总字节数。 对于嵌套数据类型可以使用选项 SAMPLES其中 count 表示抽样的元素个数默认值为 5 。当需要抽样所有元素时使用 SAMPLES 0 。 语法MEMORY USAGE key [SAMPLES count]
如何删除
参考《阿里云Redis开发规范》 String 一般用del如果过于庞大unlink hash 使用hscan每次获取少量field-value再使用hdel删除每个field 阿里手册 list 使用trim新进式逐步删除直到全部删除完成 阿里手册 set 使用sscan每次获取部分元素再使用srem命令删除每个元素 阿里手册 zset 使用zscan每次获取部分元素再使用ZREMRANGEBYRANK命令删除每个元素 阿里手册 BigKey生产调优
主要是在redis.conf配置文件LAZY FREEING。
阻塞和非阻塞删除命令 优化配置
