视频网站自己怎么做的,淮南网备查询,百度推广客户端手机版,教育网站怎么做弹窗的前些天发现了一个巨牛的人工智能学习网站#xff0c;通俗易懂#xff0c;风趣幽默#xff0c;忍不住分享一下给大家。点击跳转到教程。
zookeeper介绍 zookeeper是一个为分布式应用提供一致性服务的软件#xff0c;它是开源的Hadoop项目中的一个子项目#xff0c;并且根据…前些天发现了一个巨牛的人工智能学习网站通俗易懂风趣幽默忍不住分享一下给大家。点击跳转到教程。
zookeeper介绍 zookeeper是一个为分布式应用提供一致性服务的软件它是开源的Hadoop项目中的一个子项目并且根据google发表的The Chubby lock service for loosely-coupled distributed systems论文来实现的接下来我们首先来安装使用下这个软件然后再来探索下其中比较重要一致性算法。 zookeeper安装和使用 zookeeper的安装基本上可以按照 http://hadoop.apache.org/zookeeper/docs/current/ zookeeperStarted.html 这个页面上的步骤完成安装这里主要介绍下部署一个集群的步骤因为这个官方页面似乎讲得并不是非常详细(Running Replicated Zookeeper)。 由于手头机器不足所以在一台机器上部署了3个server,如果你手头也比较紧也可以这么做。那么我建了3个文件夹如下server1 server2 server3 然后每个文件夹里面解压一个zookeeper的下载包并且还建了几个文件夹总体结构如下,最后那个是下载过来压缩包的解压文件data dataLog logs zookeeper-3.3.2 那么首先进入data目录创建一个myid的文件里面写入一个数字比如我这个是server1,那么就写一个1server2对应myid文件就写入2server3对应myid文件就写个3 然后进入zookeeper-3.3.2/conf目录那么如果是刚下过来会有3个文件configuration.xml, log4j.properties,zoo_sample.cfg,这3个文件我们首先要做的就是在这个目录创建一个zoo.cfg的配置文件当然你可以把zoo_sample.cfg文件改成zoo.cfg配置的内容如下所示 tickTime2000 initLimit5 syncLimit2 dataDirxxxx/zookeeper/server1/data dataLogDirxxx/zookeeper/server1/dataLog clientPort2181 server.1127.0.0.1:2888:3888 server.2127.0.0.1:2889:3889 server.3127.0.0.1:2890:3890 标红的几个配置应该官网讲得很清楚了只是需要注意的是clientPort这个端口如果你是在1台机器上部署多个server,那么每台机器都要不同的clientPort比如我server1是2181,server2是2182server3是2183dataDir和dataLogDir也需要区分下。 最后几行唯一需要注意的地方就是 server.X 这个数字就是对应 data/myid中的数字。你在3个server的myid文件中分别写入了123那么每个server中的zoo.cfg都配server.1,server.2,server.3就OK了。因为在同一台机器上后面连着的2个端口3个server都不要一样否则端口冲突其中第一个端口用来集群成员的信息交换第二个端口是在leader挂掉时专门用来进行选举leader所用。 进入zookeeper-3.3.2/bin 目录中./zkServer.sh start启动一个server,这时会报大量错误其实没什么关系因为现在集群只起了1台serverzookeeper服务器端起来会根据zoo.cfg的服务器列表发起选举leader的请求因为连不上其他机器而报错那么当我们起第二个zookeeper实例后leader将会被选出从而一致性服务开始可以使用这是因为3台机器只要有2台可用就可以选出leader并且对外提供服务(2n1台机器可以容n台机器挂掉)。 接下来就可以使用了我们可以先通过 zookeeper自带的客户端交互程序来简单感受下zookeeper到底做一些什么事情。进入zookeeper-3.3.2/bin3个server中任意一个下./zkCli.sh –server 127.0.0.1:2182,我连的是开着2182端口的机器。 那么首先我们随便打个命令因为zookeeper不认识他会给出命令的help,如下图 ls(查看当前节点数据), ls2(查看当前节点数据并能看到更新次数等数据) , create(创建一个节点) , get(得到一个节点包含数据和更新次数等数据), set(修改节点) delete(删除一个节点) 通过上述命令实践我们可以发现zookeeper使用了一个类似文件系统的树结构数据可以挂在某个节点上可以对这个节点进行删改。另外我们还发现当改动一个节点的时候集群中活着的机器都会更新到一致的数据。 zookeeper的数据模型 在简单使用了zookeeper之后我们发现其数据模型有些像操作系统的文件结构结构如下图所示 (1) 每个节点在zookeeper中叫做znode,并且其有一个唯一的路径标识如/SERVER2节点的标识就为/APP3/SERVER2 (2) Znode可以有子znode并且znode里可以存数据但是EPHEMERAL类型的节点不能有子节点 (3) Znode中的数据可以有多个版本比如某一个路径下存有多个数据版本那么查询这个路径下的数据就需要带上版本。 (4) znode 可以是临时节点一旦创建这个 znode 的客户端与服务器失去联系这个 znode 也将自动删除Zookeeper 的客户端和服务器通信采用长连接方式每个客户端和 服务器通过心跳来保持连接这个连接状态称为 session如果 znode 是临时节点这个 session 失效znode 也就删除了 (5) znode 的目录名可以自动编号如 App1 已经存在再创建的话将会自动命名为 App2 (6) znode 可以被监控包括这个目录节点中存储的数据的修改子节点目录的变化等一旦变化可以通知设置监控的客户端这个功能是zookeeper对于应用最重要的特性通过这个特性可以实现的功能包括配置的集中管理集群管理分布式锁等等。 通过java代码使用zookeeper Zookeeper的使用主要是通过创建其jar包下的Zookeeper实例并且调用其接口方法进行的主要的操作就是对znode的增删改操作监听znode的变化以及处理。 以下为主要的API使用和解释
//创建一个Zookeeper实例第一个参数为目标服务器地址和端口第二个参数为Session超时时间第三个为节点变化时的回调方法ZooKeeper zk new ZooKeeper(127.0.0.1:2181, 500000,new Watcher() { // 监控所有被触发的事件 public void process(WatchedEvent event) { //dosomething } });//创建一个节点root数据是mydata,不进行ACL权限控制节点为永久性的(即客户端shutdown了也不会消失)zk.create(/root, mydata.getBytes(),Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);//在root下面创建一个childone znode,数据为childone,不进行ACL权限控制节点为永久性的zk.create(/root/childone,childone.getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.PERSISTENT);//取得/root节点下的子节点名称,返回ListStringzk.getChildren(/root,true);//取得/root/childone节点下的数据,返回byte[]zk.getData(/root/childone, true, null);//修改节点/root/childone下的数据第三个参数为版本如果是-1那会无视被修改的数据版本直接改掉zk.setData(/root/childone,childonemodify.getBytes(), -1);//删除/root/childone这个节点第二个参数为版本1的话直接删除无视版本zk.delete(/root/childone, -1); //关闭sessionzk.close();Zookeeper的主流应用场景实现思路除去官方示例 (1)配置管理 集中式的配置管理在应用集群中是非常常见的一般商业公司内部都会实现一套集中的配置管理中心应对不同的应用集群对于共享各自配置的需求并且在配置变更时能够通知到集群中的每一个机器。Zookeeper很容易实现这种集中式的配置管理比如将APP1的所有配置配置到/APP1 znode下APP1所有机器一启动就对/APP1这个节点进行监控(zk.exist(/APP1,true)),并且实现回调方法Watcher那么在zookeeper上/APP1 znode节点下数据发生变化的时候每个机器都会收到通知Watcher方法将会被执行那么应用再取下数据即可(zk.getData(/APP1,false,null)); 以上这个例子只是简单的粗颗粒度配置监控细颗粒度的数据可以进行分层级监控这一切都是可以设计和控制的。 (2)集群管理 应用集群中我们常常需要让每一个机器知道集群中或依赖的其他某一个集群哪些机器是活着的并且在集群机器因为宕机网络断链等原因能够不在人工介入的情况下迅速通知到每一个机器。Zookeeper同样很容易实现这个功能比如我在zookeeper服务器端有一个znode叫/APP1SERVERS,那么集群中每一个机器启动的时候都去这个节点下创建一个EPHEMERAL类型的节点比如server1创建/APP1SERVERS/SERVER1(可以使用ip,保证不重复)server2创建/APP1SERVERS/SERVER2然后SERVER1和SERVER2都watch /APP1SERVERS这个父节点那么也就是这个父节点下数据或者子节点变化都会通知对该节点进行watch的客户端。因为EPHEMERAL类型节点有一个很重要的特性就是客户端和服务器端连接断掉或者session过期就会使节点消失那么在某一个机器挂掉或者断链的时候其对应的节点就会消失然后集群中所有对/APP1SERVERS进行watch的客户端都会收到通知然后取得最新列表即可。另外有一个应用场景就是集群选master,一旦master挂掉能够马上能从slave中选出一个master,实现步骤和前者一样只是机器在启动的时候在APP1SERVERS创建的节点类型变为EPHEMERAL_SEQUENTIAL类型这样每个节点会自动被编号例如
zk.create(/testRootPath/testChildPath1,1.getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL_SEQUENTIAL); zk.create(/testRootPath/testChildPath2,2.getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL_SEQUENTIAL); zk.create(/testRootPath/testChildPath3,3.getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL_SEQUENTIAL); // 创建一个子目录节点zk.create(/testRootPath/testChildPath4,4.getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL_SEQUENTIAL);System.out.println(zk.getChildren(/testRootPath, false));打印结果[testChildPath10000000000, testChildPath20000000001, testChildPath40000000003, testChildPath30000000002] zk.create(/testRootPath, testRootData.getBytes(),Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);// 创建一个子目录节点zk.create(/testRootPath/testChildPath1,1.getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL); zk.create(/testRootPath/testChildPath2,2.getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL); zk.create(/testRootPath/testChildPath3,3.getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL); // 创建一个子目录节点zk.create(/testRootPath/testChildPath4,4.getBytes(), Ids.OPEN_ACL_UNSAFE,CreateMode.EPHEMERAL);System.out.println(zk.getChildren(/testRootPath, false));打印结果:[testChildPath2, testChildPath1, testChildPath4, testChildPath3] 我们默认规定编号最小的为master,所以当我们对/APP1SERVERS节点做监控的时候得到服务器列表只要所有集群机器逻辑认为最小编号节点为master那么master就被选出而这个master宕机的时候相应的znode会消失然后新的服务器列表就被推送到客户端然后每个节点逻辑认为最小编号节点为master这样就做到动态master选举。总结 我们初步使用了一下zookeeper并且尝试着描述了几种应用场景的具体实现思路接下来的文章我们会尝试着去探究一下zookeeper的高可用性与leaderElection算法。
