zookeeper 在项目中的实际应用
ZooKeeper所提供的服务主要是通过:数据结构Node+原语+watcher机制
ZooKeeper是一个分布式小文件系统,通过选举算法和集群复制可以避免单点故障,
由于是文件系统,所以即使所有的ZooKeeper节点全部挂掉,数据也不会丢失,
重启服务器之后,数据即可恢复。
ZooKeeper所实现的一切功能,都是由ZK节点的性质和该节点所关联的数据实现的,
至于关联什么数据那就要看你干什么事了
① 集群管理:利用临时节点特性,节点关联的是机器的主机名、IP地址等相关信息,集群单点故障也属于该范畴。
② 统一命名:主要利用节点的唯一性和目录节点树结构。
③ 配置管理:节点关联的是配置信息。
④ 分布式锁:节点关联的是要竞争的资源。
以下为项目中的实际应用
1.利用watcher机制:
vqsapi 往6个接口发数据的时候,可以用zookeeper来监控目前存活的mongodb与api,
vqsapi 动态获取,往mongodb与api都存活的接口发数据
2.利用临时节点的特性
运维接口探测,可以每个服务器在zookeeper注册一个临时节点,当接口挂了时候,
session断开,达到监控的目的
3.利用节点唯一性的特性
分布式锁,同时操作同一资源,可能出现并发问题时候,上一把锁
因为原生的zookeeper 语句比较繁琐,难以理解,所以curator 框架很好的实现了,下面为加锁操作
String path = String.format(LockPathScheme.STRATEGY_MODEL_ROUTE, modelId, isp,province,value); //加锁操作 CuratorFramework curator = CuratorFrameworkFactory.builder().retryPolicy(new ExponentialBackoffRetry(10000, 3)).connectString(zookeeperserver).build(); curator.start(); InterProcessMutex lock = new InterProcessMutex(curator, path); try { boolean b = lock.acquire(3, TimeUnit.SECONDS); if (!b) { resultMap.put("statusCode", 300); resultMap.put("message", "记录正在被操作!"); return resultMap; } //加锁后,该干嘛干嘛了 resultMap = this.strategyRoute_dnspod_save_detail(request, id, modelId, modelName, category, province, isp, containCname, type, remark, node, value, ttl, weight, status,customerViewId); return resultMap; }catch(Exception e){ e.printStackTrace(); resultMap.put("statusCode", 300); resultMap.put("message", "内部错误!"); return resultMap; }finally { //记得一定要释放锁 try{ lock.release(); }catch (Exception e){ System.out.println(path + "释放锁失败" + e); } CloseableUtils.closeQuietly(curator); }
最后上一个非常完美的例子,很好的使用了zookeeper 框架的各种特性
转自 http://www.cnblogs.com/wuxl360/p/5817549.html
假设我们的集群有:
(1) 20个搜索引擎的服务器:每个负责总索引中的一部分的搜索任务。
① 搜索引擎的服务器中的15个服务器现在提供搜索服务。
② 5个服务器正在生成索引。
这20个搜索引擎的服务器,经常要让正在提供搜索服务的服务器停止提供服务开始生成索引,或生成索引的服务器已经把索引生成完成可以搜索提供服务了。
(2) 一个总服务器:负责向这20个搜索引擎的服务器发出搜索请求并合并结果集。
(3) 一个备用的总服务器:负责当总服务器宕机时替换总服务器。
(4) 一个web的cgi:向总服务器发出搜索请求。
使用Zookeeper可以保证:
(1) 总服务器:自动感知有多少提供搜索引擎的服务器,并向这些服务器发出搜索请求。
(2) 备用的总服务器:宕机时自动启用备用的总服务器。
(3) web的cgi:能够自动地获知总服务器的网络地址变化。
(4) 实现如下:
① 提供搜索引擎的服务器都在Zookeeper中创建znode,zk.create("/search/nodes/node1", "hostname".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateFlags.EPHEMERAL);
② 总服务器可以从Zookeeper中获取一个znode的子节点的列表,zk.getChildren("/search/nodes", true);
③ 总服务器遍历这些子节点,并获取子节点的数据生成提供搜索引擎的服务器列表;
④ 当总服务器接收到子节点改变的事件信息,重新返回第二步;
⑤ 总服务器在Zookeeper中创建节点,zk.create("/search/master", "hostname".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateFlags.EPHEMERAL);
⑥ 备用的总服务器监控Zookeeper中的"/search/master"节点。当这个znode的节点数据改变时,把自己启动变成总服务器,并把自己的网络地址数据放进这个节点。
⑦ web的cgi从Zookeeper中"/search/master"节点获取总服务器的网络地址数据,并向其发送搜索请求。
⑧ web的cgi监控Zookeeper中的"/search/master"节点,当这个znode的节点数据改变时,从这个节点获取总服务器的网络地址数据,并改变当前的总服务器的网络地址。