zookeeper框架——Java API開發
阿新 • • 發佈:2019-01-10
一、基本運用
org.apache.zookeeper.Zookeeper是客戶端入口主類,負責建立與server的會話。它提供了表 1 所示幾類主要方法 :
功能 |
描述 |
create |
在本地目錄樹中建立一個節點 |
delete |
刪除一個節點 |
exists |
測試本地是否存在目標節點 |
get/set data |
從目標節點上讀取 / 寫資料 |
get/set ACL |
獲取 / 設定目標節點訪問控制列表資訊 |
get children |
檢索一個子節點上的列表 |
sync |
等待要被傳送的資料 |
下面以基本的增刪改查來演示,首先主體框架為:
public class SimpleZkClient { private static final String connectString="Hadoop003:2181,hadoop004:2181,hadoop005:2181"; private static final int sessionTimeout = 2000; ZooKeeper zkClient = null; @Before public void init() throws Exception { //Watcher 看基本介紹裡面的監聽講解,這裡在初始化時就建立監聽事件,然後在執行下面的程式時,如果node有改變就會把監聽事件打印出來 zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() { @Override public void process(WatchedEvent event) { // 收到事件通知後的回撥函式(應該是我們自己的事件處理邏輯) System.out.println(event.getType() + "---" + event.getPath()); try { zkClient.getChildren("/", true);//true為啟動監聽,false不見他,後面都是 } catch (Exception e) { } } }); } }
注意:在這裡不能配成Ip+port,因為zookeeper繫結的是hostname,而不是Ip,否則會報錯
- 建立資料節點到zk中
@Test public void testCreate() throws KeeperException, InterruptedException { // 引數1:要建立的節點的路徑 引數2:節點大資料 引數3:節點的許可權 引數4:節點的型別 String nodeCreated = zkClient.create("/eclipse", "hellozk".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT); //上傳的資料可以是任何型別,但都要轉成byte[] }
- 判斷znode是否存在
@Test
public void testExist() throws Exception{
Stat stat = zkClient.exists("/eclipse", false);
System.out.println(stat==null?"not exist":"exist");
}
- 獲取子節點
@Test
public void getChildren() throws Exception {
List<String> children = zkClient.getChildren("/", true);
for (String child : children) {
System.out.println(child);
}
Thread.sleep(Long.MAX_VALUE);
}
- 獲取znode的資料
@Test
public void getData() throws Exception {
byte[] data = zkClient.getData("/eclipse", false, null);
System.out.println(new String(data));
}
- 刪除znode
@Test
public void deleteZnode() throws Exception {
//引數2:指定要刪除的版本,-1表示刪除所有版本
zkClient.delete("/eclipse", -1);
}
- 修改znode
@Test
public void setData() throws Exception {
zkClient.setData("/app1", "imissyou angelababy".getBytes(), -1);
byte[] data = zkClient.getData("/app1", false, null);
System.out.println(new String(data));
}
二、zookeeper應用案例
1、實現分散式應用的(主節點HA)及客戶端動態更新主節點狀態
某分散式系統中,主節點可以有多臺,可以動態上下線,任意一臺客戶端都能實時感知到主節點伺服器的上下線。就是在伺服器端,每次伺服器端上線(啟動)時,就會到zookeeper上註冊自己(就是建立node節點)注意這個node節點應該是短暫型的,即服務端斷開連線後就刪除(設定的超時時間);然後在客戶端,就監聽服務端建立node節點的父節點,然後啟動監聽,就可以用來感知伺服器端動態上下線了。
- 首先伺服器端實現如下:
public class DistributedServer {
private static final String connectString="hadoop003:2181,hadoop004:2181,hadoop005:2181";
private static final int sessionTimeout = 2000;
private static final String parentNode = "/servers";
private ZooKeeper zk = null;
/**
* 建立到zk的客戶端連線
*
* @throws Exception
*/
public void getConnect() throws Exception {
zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override
public void process(WatchedEvent event) {
// 收到事件通知後的回撥函式(應該是我們自己的事件處理邏輯)
System.out.println(event.getType() + "---" + event.getPath());
try {
zk.getChildren("/", true);
} catch (Exception e) {
}
}
});
}
/**
* 向zk叢集註冊伺服器資訊
*
* @param hostname
* @throws Exception
*/
public void registerServer(String hostname) throws Exception {
String create = zk.create(parentNode + "/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
System.out.println(hostname + "is online.." + create);
}
/**
* 業務功能,這裡沒有
*
* @throws InterruptedException
*/
public void handleBussiness(String hostname) throws InterruptedException {
System.out.println(hostname + "start working.....");
Thread.sleep(Long.MAX_VALUE);
}
public static void main(String[] args) throws Exception {
// 獲取zk連線
DistributedServer server = new DistributedServer();
server.getConnect();
// 利用zk連線註冊伺服器資訊
server.registerServer(args[0]);
// 啟動業務功能
server.handleBussiness(args[0]);
}
}
說明:這裡我們把伺服器的名字放在了/server目錄下面,要先建立該目錄才行,然後在執行時main要傳入服務名的引數,eclipse執行main傳入引數
然後客戶端實現如下:
public class DistributedClient {
private static final String connectString="hadoop003:2181,hadoop004:2181,hadoop005:2181";
private static final int sessionTimeout = 2000;
private static final String parentNode = "/servers";
// 注意:加volatile的意義何在?就會操作堆記憶體,也就是當客戶端有多個時,所有客戶端使用的該記憶體一樣,保證資料一致性。
private volatile List<String> serverList;
private ZooKeeper zk = null;
/**
* 建立到zk的客戶端連線
*
* @throws Exception
*/
public void getConnect() throws Exception {
zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
@Override
public void process(WatchedEvent event) {
// 收到事件通知後的回撥函式(應該是我們自己的事件處理邏輯)
try {
//重新更新伺服器列表,並且註冊了監聽
getServerList();
} catch (Exception e) {
}
}
});
}
/**
* 獲取伺服器資訊列表
*
* @throws Exception
*/
public void getServerList() throws Exception {
// 獲取伺服器子節點資訊,並且對父節點進行監聽
List<String> children = zk.getChildren(parentNode, true);
// 先建立一個區域性的list來存伺服器資訊
List<String> servers = new ArrayList<String>();
for (String child : children) {
// child只是子節點的節點名,所以不監聽,監聽父節點,得子節點的改變情況;監聽子節點得子節點裡面的資料改變情況
byte[] data = zk.getData(parentNode + "/" + child, false, null);
servers.add(new String(data));
}
// 把servers賦值給成員變數serverList,已提供給各業務執行緒使用
serverList = servers;
//列印伺服器列表
System.out.println(serverList);
}
/**
* 業務功能
*
* @throws InterruptedException
*/
public void handleBussiness() throws InterruptedException {
System.out.println("client start working.....");
Thread.sleep(Long.MAX_VALUE);
}
public static void main(String[] args) throws Exception {
// 獲取zk連線
DistributedClient client = new DistributedClient();
client.getConnect();
// 獲取servers的子節點資訊(並監聽),從中獲取伺服器資訊列表
client.getServerList();
// 業務執行緒啟動
client.handleBussiness();
}
}
2、分散式共享鎖的簡單實現
當多個客戶端同時競爭某一資源時就要進行加鎖操作,但是在分散式系統中應該如何加鎖呢?可以採用zookeeper來輔助完成,下面是其實現思路:
public class DistributedClientLock {
// 會話超時
private static final int SESSION_TIMEOUT = 2000;
// zookeeper叢集地址
private String hosts = "hadoop003:2181,hadoop004:2181,hadoop005:2181";
private String groupNode = "locks";
private String subNode = "sub";
private boolean haveLock = false;
private ZooKeeper zk;
// 記錄自己建立的子節點路徑
private volatile String thisPath;
/**
* 連線zookeeper
*/
public void connectZookeeper() throws Exception {
zk = new ZooKeeper(hosts, SESSION_TIMEOUT, new Watcher() {
public void process(WatchedEvent event) {
try {
// 判斷事件型別,此處只處理子節點變化事件
if (event.getType() == EventType.NodeChildrenChanged && event.getPath().equals("/" + groupNode)) {
//獲取子節點,並對父節點進行監聽
List<String> childrenNodes = zk.getChildren("/" + groupNode, true);
String thisNode = thisPath.substring(("/" + groupNode + "/").length());
// 去比較是否自己是最小id
Collections.sort(childrenNodes);
if (childrenNodes.indexOf(thisNode) == 0) {
//訪問共享資源處理業務,並且在處理完成之後刪除鎖
doSomething();
//重新註冊一把新的鎖
thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
CreateMode.EPHEMERAL_SEQUENTIAL);
}
}
} catch (Exception e) {
e.printStackTrace();
}
}
});
// 1、程式一進來就先註冊一把鎖到zk上
thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
CreateMode.EPHEMERAL_SEQUENTIAL);
// wait一小會,便於觀察
Thread.sleep(new Random().nextInt(1000));
// 從zk的鎖父目錄下,獲取所有子節點,並且註冊對父節點的監聽
List<String> childrenNodes = zk.getChildren("/" + groupNode, true);
//如果爭搶資源的程式就只有自己,則可以直接去訪問共享資源
if (childrenNodes.size() == 1) {
doSomething();
thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
CreateMode.EPHEMERAL_SEQUENTIAL);
}
}
/**
* 處理業務邏輯,並且在最後釋放鎖
*/
private void doSomething() throws Exception {
try {
System.out.println("gain lock: " + thisPath);
Thread.sleep(2000);
// do something
} finally {
System.out.println("finished: " + thisPath);
zk.delete(this.thisPath, -1);
}
}
public static void main(String[] args) throws Exception {
DistributedClientLock dl = new DistributedClientLock();
dl.connectZookeeper();
Thread.sleep(Long.MAX_VALUE);
}
}