1. 高可用不是“装个集群”就完事:四个组件的选型逻辑先理清
很多人一提高可用,脑子里第一反应就是“上集群”。mysql 搞个主从、redis 弄个哨兵、mq 搭个镜像队列、es 配个副本分片,然后觉得万事大吉。我早期也这么干过,结果一次机房级故障直接把四个组件全打挂了——因为我把它们全塞在同一个机柜里,交换机一抖,整条链路全断。从那以后我才真正理解,高可用的核心不是“有没有副本”,而是“故障域有没有被真正隔离”。
先把这四个组件的高可用定位说清楚,不然后面全是白搭。mysql 是 有状态的关系型数据库 ,它的高可用核心矛盾在于“数据一致性”和“切换速度”之间的取舍;redis 是 内存型缓存/存储 ,高可用的关键在于“主节点挂了之后,从节点能不能快速顶上,且尽量少丢数据”;mq 是 异步消息中间件 ,高可用要解决的是“消息不丢、不重、顺序不乱”这三件事在节点故障时的表现;es 是 分布式搜索引擎 ,它的高可用天然依赖分片和副本机制,但真正难的是“脑裂”和“主节点选举”的稳定性。
这四个组件的高可用方案,市面上讲的人很多,但大多数文章只告诉你“怎么配”,不告诉你“为什么这么配”。比如 redis 哨兵为什么至少需要三个节点?mysql 半同步复制到底要不要开?mq 的镜像队列和 quorum 队列怎么选?es 的 discovery.seed_hosts 和 cluster.initial_master_nodes 到底有什么区别?这些问题的答案,直接决定了你的高可用方案是“真高可用”还是“看起来高可用”。
我写这篇东西的出发点很简单:把我这些年在这四个组件上踩过的坑、做过的取舍、验证过的方案,一次性讲透。不管你是刚接触高可用的小白,还是已经搭过几套集群但总在故障切换时翻车的老手,都能从里面找到能直接抄作业的配置和能避开雷区的思路。全文会围绕四个组件分别展开,每个组件都会讲清楚核心原理、实操配置、验证方法和踩坑经验,最后再聊一下跨组件的高可用协同问题。
注意:本文所有配置和方案均基于通用实践,具体参数需要根据你的业务量、网络环境和硬件条件做调整。不要直接复制粘贴到生产环境,先在小规模环境验证。
2. mysql 高可用:从主从复制到组复制,到底该选哪条路
2.1 主从复制:最基础但也最容易翻车的方案
mysql 主从复制是所有高可用方案的基石。原理不复杂:主库把 binlog 发给从库,从库重放 binlog 来保持数据同步。但就是这么一个看似简单的机制,在实际生产环境里能翻出无数种花样。
先说过滤规则。很多人配主从的时候只写 binlog-do-db 或者 replicate-do-db ,觉得这样就能只同步某个库。但这里有个大坑: 跨库操作时,基于语句的复制(sbr)会导致过滤规则失效 。比如你在主库执行 use db1; update db2.table1 set ... , binlog-do-db=db1 的规则下,这条语句会被记录,但从库重放时可能因为当前数据库上下文不对而报错或者同步错数据。我的建议是: 生产环境一律用基于行的复制(rbr) ,也就是 binlog_format=row 。rbr 下每条变更都记录具体行的前后镜像,过滤规则基于实际变更的表,不会出现跨库上下文问题。
再说复制模式。异步复制是默认的,主库提交事务后立刻返回,不等从库确认。性能最好,但主库挂了可能丢数据。半同步复制(semi-sync)要求至少一个从库确认收到 binlog 后主库才返回,能减少丢数据风险,但会增加延迟。这里有个经验值: 如果你的业务能容忍秒级延迟,半同步是值得开的 。配置上需要安装 rpl_semi_sync_master 和 rpl_semi_sync_slave 插件,然后设置 rpl_semi_sync_master_enabled=on 和 rpl_semi_sync_master_timeout (超时后自动降级为异步)。注意这个 timeout 不要设太小,否则网络抖动时频繁降级,反而增加主库压力。
主从切换是另一个大坑。早期我用 mha(master high availability)做切换,它能自动检测主库故障并提升从库,但 mha 有个致命问题: 它依赖 ssh 免密登录,而且切换过程中如果原主库没彻底挂掉,可能出现脑裂 。后来我转向 orchestrator,它用 raft 协议做集群管理,支持自动故障检测和切换,还能通过 web 界面手动干预。orchestrator 的核心优势是 它不依赖 ssh,而是通过 mysql 协议和 http api 来管理节点 ,部署和运维都更干净。
但不管用哪个工具,切换后的 数据一致性校验 都不能省。我习惯在切换后立刻跑一遍 pt-table-checksum 来对比主从数据,确认没有差异后再把流量切过去。这个步骤很多人会跳过,觉得“切换成功就行了”,但实际上一旦有数据差异,后续业务逻辑可能直接错乱。
2.2 组复制(mgr):原生高可用的正确打开方式
mysql 5.7.17 引入的组复制(mysql group replication,mgr)是官方原生的高可用方案。它基于 paxos 协议实现多节点数据一致性,支持自动故障检测和成员管理。mgr 有两种模式: 单主模式 和 多主模式 。单主模式下只有一个节点可写,其他节点只读,适合大多数业务场景;多主模式所有节点都可写,但需要应用层处理冲突检测,实际用得比较少。
mgr 的核心配置项不多,但每个都很关键。 group_replication_group_name 必须是一个合法的 uuid,所有节点必须一致; group_replication_start_on_boot=off 建议关掉,避免节点重启后自动加入组导致意外; group_replication_local_address 和 group_replication_group_seeds 要配成节点的实际通信地址。这里有个容易忽略的点: mgr 的通信端口和 mysql 服务端口是分开的 ,默认是 33061,防火墙规则要单独放行。
mgr 的故障检测是基于心跳的,默认 group_replication_member_expel_timeout 是 5 秒。如果网络抖动超过这个时间,节点会被踢出组。我踩过的坑是: 在跨机房部署时,这个值必须调大 ,否则机房之间的网络延迟波动会导致节点频繁被踢。一般建议跨机房场景调到 30 秒以上,同时配合 group_replication_autorejoin_tries 设置自动重加入次数。
mgr 的另一个坑是 流控(flow control) 。当某个节点落后太多时,mgr 会触发流控,限制其他节点的写入速度,等落后节点追上。这个机制本意是好的,但在高写入场景下会导致整个集群性能骤降。我的经验是: 如果业务对写入延迟敏感,可以适当调大 group_replication_flow_control_applier_threshold 和 group_replication_flow_control_certifier_threshold ,让流控不那么激进。但调太大又可能导致落后节点永远追不上,需要根据实际写入量做权衡。
2.3 读写分离与代理层:别让应用直连数据库
高可用方案里,应用层怎么访问数据库是个容易被忽视的问题。很多团队的做法是应用直连主库,从库只做备份。这种模式在主库故障时,应用需要改配置重启,切换时间完全取决于运维响应速度。
更好的做法是 引入数据库代理层 ,比如 proxysql 或 mysql router。proxysql 支持读写分离、查询缓存、连接池和自动故障切换。它的核心配置是 mysql_servers 表里定义后端节点, mysql_query_rules 表里定义路由规则。比如你可以设置所有 select 语句走从库组, insert/update/delete 走主库组。当主库故障时,proxysql 会自动检测到并切换到新的主库,应用层完全无感知。
proxysql 的坑在于 它的健康检查机制 。默认情况下,proxysql 通过 select 1 来检测后端节点是否存活,但这个检测只能发现“mysql 进程挂了”这种硬故障,发现不了“主从延迟过大”这种软故障。我的做法是: 在 proxysql 里配置 mysql_replication_hostgroups 表,把主库和从库分组,然后设置 max_replication_lag 参数 。当从库延迟超过这个值时,proxysql 会自动把它从读组里摘掉,避免读到过期数据。
mysql router 是官方出的轻量级代理,配置比 proxysql 简单,但功能也少一些。它主要配合 mgr 使用,能自动发现组内的主节点和从节点。如果你的架构是 mgr + mysql router,基本可以做到应用层零配置切换。但 mysql router 不支持查询缓存和复杂的路由规则,适合对代理层功能要求不高的场景。
3. redis 高可用:哨兵、集群和云托管的三岔路口
3.1 哨兵模式:三个节点是底线,但配置细节决定成败
redis 哨兵(sentinel)是经典的高可用方案,核心思路是:用一组哨兵进程监控 redis 主从节点,当主节点故障时,哨兵们通过投票选出新主节点,并通知应用层切换。哨兵模式的关键在于 哨兵数量必须是奇数,且至少三个 。两个哨兵的话,一个挂了另一个无法形成多数派,整个系统就失去故障检测能力。
哨兵的配置有几个关键参数。 sentinel monitor mymaster <ip> <port> <quorum> 里的 quorum 是判定主节点客观下线的票数。比如三个哨兵,quorum 设为 2,意味着至少两个哨兵认为主节点挂了,才会触发故障转移。这个值不能设太小,否则单个哨兵的网络抖动就会触发误切换;也不能设太大,否则故障时无法及时切换。 三个哨兵配 quorum=2 是最常见的组合 。
sentinel down-after-milliseconds 是主观下线的时间阈值,默认 30 秒。这个值决定了哨兵多久没收到主节点心跳就认为它挂了。如果设得太短,网络抖动会导致误判;设得太长,故障切换时间会拉长。我的经验是: 内网环境可以设 10 到 15 秒,跨机房环境设 30 秒以上 。
sentinel failover-timeout 是故障转移的超时时间,默认 180 秒。这个值影响的是:如果一次故障转移失败,多久后重新尝试。设得太短会导致频繁重试,增加系统负担;设得太长会导致故障恢复时间过长。一般保持默认或者稍微调小到 120 秒都可以。
哨兵模式最大的坑是 客户端重定向 。哨兵只负责通知应用层新主节点的地址,但应用层需要自己实现重连逻辑。很多客户端库(比如 jedis)支持哨兵模式,会自动订阅哨兵的事件通知并重连。但如果你用的是原生 redis 命令,就需要自己处理 moved 和 ask 重定向。我见过不少团队在哨兵切换后应用报错,就是因为客户端没有正确处理重定向。
3.2 redis cluster:分片和高可用的双刃剑
redis cluster 是官方原生的分布式方案,它同时解决了 分片 和 高可用 两个问题。cluster 把数据分成 16384 个槽位,每个主节点负责一部分槽位,每个主节点可以有多个从节点。当主节点故障时,从节点会自动提升为主节点,接管对应的槽位。
cluster 的配置比哨兵复杂得多。 cluster-enabled yes 开启集群模式, cluster-config-file 指定集群配置文件, cluster-node-timeout 是节点超时时间。这个 timeout 很关键: 它决定了节点多久没响应就被认为故障 。默认 15000 毫秒,内网环境可以调到 5000 到 8000 毫秒,跨机房环境建议保持 15000 毫秒以上。
cluster 的坑主要集中在 槽位迁移 和 脑裂 上。槽位迁移是扩容或缩容时的操作,如果迁移过程中有大量写入,可能导致部分 key 丢失或重复。我的做法是: 在业务低峰期做槽位迁移,并且迁移前先做一次全量备份 。脑裂问题在 cluster 里比哨兵更复杂,因为 cluster 的节点间通信是 gossip 协议,网络分区时可能出现多个主节点同时认为自己是某个槽位的主人。redis 通过 cluster-require-full-coverage 参数来控制:设为 yes 时,只要有一个槽位不可用,整个集群就拒绝服务;设为 no 时,部分槽位不可用不影响其他槽位。 生产环境建议设为 no ,避免单点故障导致全集群不可用。
cluster 的另一个坑是 客户端兼容性 。不是所有 redis 客户端都支持 cluster 模式。比如一些老版本的 jedis 需要额外配置 jediscluster 类,而且不支持 pipeline 和事务跨槽位操作。如果你的业务大量使用 pipeline 或 multi/exec,cluster 可能不是最佳选择,需要评估改造成本。
3.3 云托管 redis:省心但别当甩手掌柜
现在很多团队直接用云厂商的托管 redis,比如阿里云 redis、腾讯云 redis 等。托管服务的好处是: 高可用、备份、监控、扩容都由云厂商负责 ,你只需要关注业务逻辑。但托管服务也有坑: 你无法控制底层的高可用策略 ,比如故障切换的触发条件、切换时间、数据丢失窗口等,都是云厂商预设的。
我用过某云厂商的托管 redis,有一次主节点故障,切换过程中出现了大约 30 秒的服务不可用。后来查文档才发现,他们的切换策略是“先摘除故障节点,再提升从节点”,这个过程中客户端会收到连接错误。如果你的业务对可用性要求极高,需要在应用层做重试和降级逻辑,不能完全依赖托管服务。
另外,托管 redis 的 性能上限 往往受限于你购买的规格。比如基础版可能只有单节点,标准版才是主从,集群版才有分片。如果你的业务写入量很大,基础版或标准版可能撑不住,需要提前评估。我的建议是: 在选托管 redis 之前,先做一次压力测试,确认规格能满足业务峰值 。
4. mq 高可用:消息不丢、不重、不乱的三重考验
4.1 镜像队列 vs quorum 队列:rabbitmq 的路线选择
rabbitmq 的高可用方案主要有两种:**镜像队列(mirrored queue)**和 quorum 队列 。镜像队列是经典方案,它把队列的数据复制到多个节点上,主节点故障时从节点接管。quorum 队列是 rabbitmq 3.8 引入的新方案,基于 raft 协议实现,提供更强的一致性保证。
镜像队列的配置很简单:在策略里设置 ha-mode: exactly 和 ha-params: 2 ,表示队列镜像到两个节点。但镜像队列有个致命问题: 它不保证强一致性 。在主节点故障时,如果从节点还没收到最新的消息,这些消息就会丢失。而且镜像队列在节点加入或退出时,会触发全量数据同步,如果队列里消息很多,同步过程会阻塞整个队列。
quorum 队列解决了这些问题。它基于 raft 协议,写入时需要多数派确认,保证数据不丢。但 quorum 队列也有代价: 它不支持部分 rabbitmq 特性,比如优先级队列、ttl 队列、死信队列的某些配置 。而且 quorum 队列的写入延迟比镜像队列高,因为需要等待多数派确认。
我的建议是: 新项目一律用 quorum 队列 ,除非你的业务依赖镜像队列特有的功能。quorum 队列的配置也很简单:声明队列时设置 x-queue-type: quorum 即可。但要注意,quorum 队列的节点数也必须是奇数,且至少三个,否则无法形成多数派。
4.2 kafka 的副本机制:isr 和最小同步副本
kafka 的高可用核心是 副本(replica)机制 。每个分区可以有多个副本,其中一个 leader 负责读写,其他 follower 负责同步。当 leader 故障时,kafka 从 isr(in-sync replica)列表中选出一个新的 leader。
isr 是 kafka 高可用的关键概念。它表示“与 leader 保持同步的副本集合”。如果一个 follower 落后太多,会被踢出 isr。 replica.lag.time.max.ms 参数控制这个阈值,默认 10000 毫秒。如果 follower 超过这个时间没追上 leader,就会被踢出 isr。
min.insync.replicas 是另一个关键参数。它表示写入时至少需要多少个副本确认。比如你设置 min.insync.replicas=2 ,那么当 isr 里只剩一个副本时,生产者写入会失败。这个参数配合 acks=all 使用,能保证消息不丢。但代价是: 如果 isr 缩到小于 min.insync.replicas ,整个分区就不可写 。所以这个值不能设得太大,一般设为副本数减一。
kafka 的坑主要在 副本同步 和 leader 选举 上。如果副本同步跟不上,isr 会频繁收缩和扩张,导致 leader 频繁切换。我的经验是: 适当调大 replica.lag.time.max.ms ,比如调到 30000 毫秒,给 follower 更多追赶时间。同时要监控 isr 的变化频率,如果频繁变化,说明集群的 i/o 或网络有问题,需要排查。
4.3 消息不丢的完整链路:从生产者到消费者
mq 的高可用不只是 broker 端的事,生产者、broker、消费者三端都要配合。生产者端要设置 acks=all (kafka)或 publisher-confirms=true (rabbitmq),确保消息被 broker 确认后才认为发送成功。broker 端要配置足够的副本和 min.insync.replicas 。消费者端要关闭自动提交 offset,改为手动提交,确保消息处理完成后再提交 offset。
这里有个容易被忽略的点: 消费者手动提交 offset 的时机 。如果你在处理消息的过程中提交了 offset,但处理失败了,这条消息就丢了。正确的做法是: 处理完业务逻辑后再提交 offset 。但这样又可能导致重复消费:如果处理成功但提交 offset 失败,下次会重新消费这条消息。所以消费者端还需要做 幂等处理 ,比如用消息 id 去重,或者用数据库的唯一约束来防止重复写入。
我踩过的一个坑是: rabbitmq 的 publisher-confirms 和 publisher-returns 要同时开启 。 publisher-confirms 只能确认消息到达 broker,但如果消息无法路由到队列(比如路由键写错了),broker 会返回 basic.return ,这时候需要 publisher-returns 来捕获。如果只开 confirms 不开 returns,消息可能静默丢失。
5. es 高可用:分片、副本和脑裂的三重博弈
5.1 分片和副本:es 高可用的基石
es 的高可用天然依赖**分片(shard) 和 副本(replica)**机制。每个索引被分成多个主分片,每个主分片可以有多个副本分片。主分片和副本分片不会在同一个节点上,这样单个节点故障时,副本分片可以提升为主分片,保证数据不丢。
分片数的设置是个关键决策。分片太少,单个分片太大,查询和写入性能都会下降;分片太多,集群管理开销增加,而且每个分片都是一个 lucene 实例,会消耗文件句柄和内存。我的经验是: 单个分片的大小控制在 10gb 到 50gb 之间 。比如你有 500gb 数据,可以设置 10 到 20 个主分片。副本数一般设为 1,也就是每个主分片有一个副本,这样集群总节点数至少是 2。如果要求更高可用性,可以设副本数为 2,但存储成本会翻倍。
分片和副本的分配由 es 的 分配决策器 自动完成。它会考虑节点的磁盘使用率、分片数量、节点属性等因素。你可以通过 cluster.routing.allocation.* 系列参数来调整分配策略。比如 cluster.routing.allocation.disk.threshold_enabled=true 开启磁盘水位线控制,当节点磁盘使用率超过 cluster.routing.allocation.disk.watermark.high (默认 90%)时,es 会把分片迁走。这个机制能防止磁盘写满导致节点故障,但也要注意: 如果所有节点磁盘都超过水位线,分片就无法分配,集群会变成红色状态 。
5.2 脑裂问题:es 集群最危险的故障
脑裂是 es 集群最危险的故障模式。当集群网络分区时,如果两边都选出了主节点,就会形成两个独立的集群,各自接受写入,导致数据不一致。es 7.x 之前,脑裂问题比较常见,因为主节点选举是基于 minimum_master_nodes 参数的。如果这个参数设得太小,网络分区时两边都可能选出主节点;设得太大,主节点故障时又无法选出新主节点。
es 7.x 引入了 基于 raft 的集群协调层 ,彻底解决了脑裂问题。新的协调层不再依赖 minimum_master_nodes ,而是通过 cluster.initial_master_nodes 来指定初始主节点候选列表。这个列表只在集群第一次启动时使用,之后集群会自己维护主节点列表。配置上要注意: cluster.initial_master_nodes 只在第一次启动时设置,之后必须删掉 ,否则集群重启时可能出问题。
discovery.seed_hosts 是另一个关键参数,它指定了集群发现时的种子节点列表。这个列表不需要包含所有节点,但至少要包含部分主节点候选。es 节点启动时会通过这个列表找到其他节点,然后加入集群。如果这个列表配错了,节点可能无法加入集群,或者加入错误的集群。
5.3 快照和恢复:高可用的最后一道防线
不管你的集群多稳定,**快照(snapshot)**都是必须的。快照是 es 的备份机制,它把索引数据备份到外部存储(比如 s3、hdfs、nfs)。当集群发生不可恢复的故障时,可以从快照恢复数据。
快照的配置需要先注册一个 快照仓库 。比如用 s3 作为仓库,需要安装 repository-s3 插件,然后在 elasticsearch.yml 里配置 s3 的访问密钥和区域。注册仓库的命令是 put _snapshot/my_backup ,指定仓库类型和配置。创建快照的命令是 put _snapshot/my_backup/snapshot_1?wait_for_completion=true ,可以指定要备份的索引。
快照的坑主要在 恢复过程 上。恢复快照时,es 会把快照里的分片分配到集群节点上。如果集群的节点数少于快照里的分片数,恢复会失败。所以恢复前要确保集群有足够的节点。另外,恢复过程中会占用大量 i/o 和网络带宽,建议在业务低峰期做。我的经验是: 定期做快照恢复演练 ,确保快照是可用的,而不是等到真出事了才发现快照损坏。
6. 跨组件协同:高可用的最后一公里
6.1 故障域隔离:别把鸡蛋放在一个篮子里
前面讲的都是单个组件的高可用,但真正的高可用需要 跨组件协同 。最基本的原则是: 故障域隔离 。如果你的 mysql 主库、redis 主节点、mq 主节点、es 主节点都在同一台物理机上,那这台机器一挂,四个组件全挂。所以部署时要确保: 同一组件的不同角色节点分布在不同物理机、不同机柜、甚至不同机房 。
跨机房部署时,网络延迟是个大问题。mysql 的半同步复制在跨机房时延迟会明显增加,可能需要降级为异步复制。redis 的哨兵在跨机房时, down-after-milliseconds 要调大,否则网络抖动会导致误切换。mq 的副本同步在跨机房时,isr 收缩会更频繁,需要调大 replica.lag.time.max.ms 。es 的跨机房部署更复杂,因为分片分配要考虑机架感知( cluster.routing.allocation.awareness.attributes ),确保主分片和副本分片不在同一个机架。
6.2 监控和告警:高可用的眼睛
没有监控的高可用就是盲人摸象。每个组件都需要监控关键指标:mysql 要监控主从延迟、连接数、慢查询;redis 要监控内存使用率、命中率、主从偏移量;mq 要监控队列深度、消息堆积、isr 变化;es 要监控集群状态、分片分配、jvm 堆内存。
告警阈值要根据业务特点来设。比如 mysql 主从延迟超过 10 秒告警,redis 内存使用率超过 80% 告警,mq 队列深度超过 10 万告警,es 集群状态变成黄色或红色告警。告警要分级: 警告级别 可以发邮件或即时通讯消息, 严重级别 要发短信或打电话。我见过不少团队监控配了一堆,但告警发到群里没人看,最后故障了才发现。所以告警一定要有 明确的责任人 和 升级机制 。
6.3 演练:高可用的试金石
最后也是最重要的一点: 定期做故障演练 。你可以手动杀掉 mysql 主库进程,看切换是否正常;可以断开 redis 主节点网络,看哨兵是否触发切换;可以停掉 mq 的一个 broker,看消息是否丢失;可以关掉 es 的一个节点,看分片是否重新分配。
演练的目的是 发现高可用方案里的隐藏问题 。比如你可能发现:mysql 切换后应用没有重连、redis 哨兵切换后客户端没有更新配置、mq 副本同步太慢导致消息丢失、es 分片恢复时间太长影响查询。这些问题在平时不会暴露,只有演练时才会浮现。我的经验是: 每季度至少做一次全链路故障演练 ,把发现的问题记录下来,逐个修复,然后下次演练再验证。
提示:演练前一定要做好数据备份,并且选择业务低峰期进行。演练过程中要有回滚方案,一旦影响业务,立刻恢复。
这四个组件的高可用方案,每一个都有无数细节可以深挖。我在这篇里尽量把核心原理、关键配置和踩坑经验都讲到了,但受限于篇幅,还有一些高级话题没有展开,比如 mysql 的 mgr 流控调优、redis cluster 的槽位迁移策略、kafka 的机架感知配置、es 的冷热分层架构等。如果你对某个点特别感兴趣,可以顺着本文提到的参数和工具去查官方文档,或者在小规模环境里自己动手验证。高可用这件事,看再多文章都不如自己搭一遍、挂一次、修一次来得深刻。
总结
以上为个人经验,希望能给大家一个参考,也希望大家多多支持代码网。
发表评论