基于Zookeeper 简单实现分布式任务协调组件_开源

一、什么是 zookeeper

zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是google的chubby一个开源的实现，是hadoop和hbase的重要组件。

它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。zookeeper的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

二、分布式任务协调组件的需求是什么

【1】现在有名称为ecas的应用并集群运行在两台服务器上，分别为ecas_1和cas_2。而我们希望有一个任务task_1可以在两台ecas应用中的任何一个应用来运行，可以是ecas_1也可以是ecas_2。

【2】假设task_1运行在ecas_1上，而此时ecas_1所在的服务器由于某些原因宕机了，ecas_2需要接管任务task_1，使其可以继续运行。

需求分析：
a) 任务task_1既可以运行在ecas_1上，也可以运行在ecas_2上，任务吭启动时，由ecas_1和cas_2竞争运行权
b) 当ecas集群中某台服务器宕机了，原来运行在这台服务器上的ecas运行的应用应该由另外一台接管运行

三、基于zookeeper实现需求

【1】可能需要使用到的zookeeper的特性：监听节点发化，当有节点被增加、删除、修改时，通知关注节点发化的客户端

【2】实现需求一
a) 在zookeeper上新增root/tasks节点，用于存放任务子节点（ps：root节点是根节点，用于存放本次功能实现相关的子节点）
b) 所有客户端客户端关注节点root/tasks的子节点变化情况。
1、当有节点被新增进来时，触发竞争任务执行权操作
2、当有节点被移除时，触发任务停止操作
c) 如何竞争子任务，zookeeper提供了基于version的乐观锁操作，多个客户端尝试修改任务节点的属性时，叧有一个客户端可以修改成功，修改成功的客户端既竞争到了任务的执行权

【3】实现需求二
a）在zookeeper上新增root/workers节点，用于存放当前存活的客户端实例（ps：root节点是根节点，用于存放本次功能实现相关的子节点）
b) 所有客户端在workers节点下添加代表自身的临时子节点，在zookeeper中，临时子节点的特性是，当所属客户端断开了与zookeeper的连接，子节点会被移除。
c) 所有客户端关注节点root/workers的子节点发化情况
1. 当有新的节点添加进来时，表示集群中有新的客户端启动了
2. 当有节点被移除时，表示有客户端离开了集群，此时遍历root/tasks下所有子节点，接管离开客户端所属的任务。

【4】下面是一个简单的 zookeeper上的节点层次图
在这里插入图片描述