Redis集群设置maxmemory参数的实现_Redis

在 redis 集群中设置内存限制需要为每个节点单独配置 maxmemory 参数。以下是详细的操作指南：

设置步骤

1. 连接到每个集群节点

# 获取所有集群节点信息
redis-cli -c cluster nodes

# 示例输出：
d1861060fe6a534d42d8a19aeb36600e18785e04 127.0.0.1:7001@17001 master - 0 1620000000000 1 connected 0-5460
289279eb7dbfa1b2d5e7e9c3e8d4f5a6b7c8d9e0 127.0.0.1:7002@17002 master - 0 1620000000000 2 connected 5461-10922

2. 为每个节点设置 maxmemory

# 连接到第一个节点
redis-cli -h 127.0.0.1 -p 7001

# 设置 2gb 内存限制
127.0.0.1:7001> config set maxmemory 2gb
ok

# 设置淘汰策略（推荐 allkeys-lru）
127.0.0.1:7001> config set maxmemory-policy allkeys-lru
ok

# 验证设置
127.0.0.1:7001> config get maxmemory
1) "maxmemory"
2) "2147483648"

# 对其他节点重复相同操作

3. 修改配置文件（永久生效）

在每个节点的 redis.conf 文件中添加：

# 设置最大内存为 2gb
maxmemory 2gb

# 设置内存淘汰策略
maxmemory-policy allkeys-lru

# 集群模式特定配置
cluster-enabled yes
cluster-node-timeout 15000
cluster-config-file nodes.conf

4. 批量设置脚本

#!/bin/bash

# 节点列表
nodes=(
    "127.0.0.1:7001"
    "127.0.0.1:7002"
    "127.0.0.1:7003"
    "127.0.0.1:7004"
    "127.0.0.1:7005"
    "127.0.0.1:7006"
)

memory_limit="2gb"  # 内存限制
policy="allkeys-lru" # 淘汰策略

for node in "${nodes[@]}"; do
    ip=${node%:*}
    port=${node#*:}
    
    echo "configuring $ip:$port"
    
    redis-cli -h $ip -p $port config set maxmemory $memory_limit
    redis-cli -h $ip -p $port config set maxmemory-policy $policy
    redis-cli -h $ip -p $port config rewrite
    
    # 验证配置
    redis-cli -h $ip -p $port config get maxmemory
    redis-cli -h $ip -p $port config get maxmemory-policy
done

集群内存管理最佳实践

1. 内存分配策略

节点类型	推荐内存比例	说明
主节点	70-80% 系统内存	存储实际数据
从节点	等同主节点	保证故障转移能力
集群管理节点	1-2gb	运行集群管理进程

2. 监控关键指标

# 查看集群内存使用概览
redis-cli -c --cluster check 127.0.0.1:7001

# 检查单个节点内存
redis-cli -h 127.0.0.1 -p 7001 info memory

关键指标：

used_memory_human：当前使用内存
maxmemory_human：配置的最大内存
mem_fragmentation_ratio：内存碎片率
evicted_keys：因内存不足被淘汰的键数量

3. 内存优化技巧

使用 hash 分片：

# 大键分片示例
hset user:1000 profile:basic "name,age"
hset user:1000 profile:contact "email,phone"

启用内存压缩：

# redis.conf
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2

定期执行内存整理：

# redis 4.0+ 内存碎片整理
redis-cli -h 127.0.0.1 -p 7001 memory purge

4. 集群扩容策略

当内存使用超过 80% 时考虑扩容：

# 添加新节点
redis-cli --cluster add-node 127.0.0.1:7007 127.0.0.1:7001

# 迁移槽位
redis-cli --cluster reshard 127.0.0.1:7001

高级配置

1. 不同节点设置不同内存限制

# 高负载节点设置更大内存
redis-cli -h 127.0.0.1 -p 7001 config set maxmemory 4gb

# 低负载节点设置较小内存
redis-cli -h 127.0.0.1 -p 7002 config set maxmemory 1gb

2. 动态调整策略

#!/bin/bash
# 自动调整内存脚本

threshold=90 # 内存使用阈值%

for node in "${nodes[@]}"; do
    ip=${node%:*}
    port=${node#*:}
    
    # 获取内存使用率
    usage=$(redis-cli -h $ip -p $port info memory | grep -op 'mem_allocated_percent:\k\d+')
    
    if [ $usage -gt $threshold ]; then
        # 增加 10% 内存
        current_mem=$(redis-cli -h $ip -p $port config get maxmemory | tail -1)
        new_mem=$((current_mem * 11 / 10))
        redis-cli -h $ip -p $port config set maxmemory $new_mem
        echo "increased memory on $ip:$port to $new_mem"
    fi
done

3. 使用 redis 模块优化内存

# 加载内存优化模块
loadmodule /path/to/redisbloom.so
loadmodule /path/to/redisearch.so

# 使用 bloom 过滤器
bf.reserve users 0.01 1000000

故障排除

常见问题及解决方案

问题	症状	解决方案
内存不足	oom command not allowed 错误	增加 maxmemory 或优化数据结构
高内存碎片	mem_fragmentation_ratio > 1.5	执行 memory purge 或重启节点
淘汰率过高	evicted_keys 快速增加	调整淘汰策略或增加内存
槽位不均衡	部分节点内存使用率高	重新分配槽位 redis-cli --cluster rebalance

诊断命令

# 查找内存消耗大的键
redis-cli -h 127.0.0.1 -p 7001 --bigkeys

# 内存分析
redis-cli -h 127.0.0.1 -p 7001 memory stats

# 监控淘汰事件
redis-cli -h 127.0.0.1 -p 7001 monitor | grep evicted

生产环境建议

监控系统：
- 使用 prometheus + grafana 监控集群内存使用
- 设置警报规则（内存 > 85% 时报警）

备份策略：

# 定期备份集群配置
redis-cli cluster nodes > cluster-backup-$(date +%f).txt

安全配置：

# redis.conf
rename-command config "redisconfig"
requirepass "strongpassword"
masterauth "replicationpassword"

滚动重启：

# 安全重启集群节点
for port in {7001..7006}; do
  redis-cli -h 127.0.0.1 -p $port cluster failover takeover
  redis-cli -h 127.0.0.1 -p $port shutdown
  sleep 5
  redis-server /path/to/redis-$port.conf
  sleep 10
done

配置示例文件

redis-cluster-node.conf：

# 基本配置
port 7001
cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 15000

# 内存管理
maxmemory 4gb
maxmemory-policy allkeys-lru

# 持久化
appendonly yes
appendfilename "appendonly.aof"
aof-rewrite-incremental-fsync yes

# 安全
requirepass "your_strong_password"
masterauth "replication_password"

# 优化
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
activerehashing yes