深入理解Redis BigKey_Redis

morekey

大批量往redis里面插入2000w测试数据key

linuxbash下面执行，插入100w数据脚本

# 生成100w条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redistest.txt文件中

for((i=1;i<=100*10000;i++)); 
do echo "set k$i v$i" >> /tmp/redistest.txt ;
done;

通过redis提供的管道–pipe命令插入100w大批量数据

结合自己机器的地址：

cat /tmp/redistest.txt | redis-cli -h 127.0.0.1 -p 6379 -a 111111 --pipe

请添加图片描述

尝试keys * 花费时间

请添加图片描述

key * 这个指令有致命的弊端，在实际环境中最好不要使用

请添加图片描述

生产上限制keys */flushdb/flushall等危险命令以防止误删误用

通过配置设置禁用这些命令，redistribution。conf在security这一项中

请添加图片描述

scan命令

1.语法

请添加图片描述

2.特点

redis scan命令基本语法如下：

scan cursor [match pattern] [count count]

cursor -游标

pattern -匹配的模式

count -指定从数据集里返回多少元素，默认值为10。

scan 命令是一个基于游标的迭代器，每次被调用之后，都会向用户返回一个新的游标，用户在下次迭代时需要使用这个新游标作为 scan 命令的游标参数，以此来延续之前的迭代过程。

scan 返回一个包含两个元素的数组，

第一个元素是用于进行下一次迭代的新游标，

第二个元素则是一个数组，这个数组中包含了所有被迭代的元素。如果新游标返回零表示迭代已结束。

scan的遍历顺序

非常特别，它不是从第一维数组的第零位一直遍历到末尾，而是采用了高位进位加法来遍历。之所以使用这样特殊的方式进行遍历，是考虑到字典的扩容和缩容时避免槽位的遍历重复和遗漏。

3.使用

请添加图片描述

bigkey

多大算big

参考《阿里云redis开发规范》

请添加图片描述

string和二级结构

string是value，最大512mb但是≥10kb就是bigkey

list、hash、set和zset，个数超过5000就是bigkey

list:一个列表最多可以包含2^32-1个元素(4294967295,每个列表超过40亿个元素)。

hash:redis中每个hash可以存储2^32-1键值对(40多亿)

set:集合中最大的成员数为2^32-1 (4294967295,每个集合可存储40多亿个成员)。

…

危害

1.内存不均，集群迁移困难

2.超时删除，大key删除作梗

3.网络流量阻塞

找出bigkey

redis-cli --bigkeys

好处

给出每种数据结构top 1 bigkey，同时给出每种数据类型的键值个数+平均大小

不足

想查询大于10kb的所有key，–bigkeys参数就无能为力了，需要用到memory usage来计算每个键值的字节数

redis-cli --bigkeys -a 111111

redis-cli -h 127.0.0.1 -p 6379 -a 111111 --bigkeys
每隔 100 条 scan 指令就会休眠 0.1s，ops 就不会剧烈抬升，但是扫描的时间会变长redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1

redis-cli -h 127.0.0.1 -p 6379 -a 111111 --bigkeys
每隔 100 条 scan 指令就会休眠 0.1s，ops 就不会剧烈抬升，但是扫描的时间会变长redis-cli -h 127.0.0.1 -p 7001 –-bigkeys -i 0.1

请添加图片描述