1. 程式人生 > >zookeeper框架——Java API開發

zookeeper框架——Java API開發

一、基本運用

         org.apache.zookeeper.Zookeeper是客戶端入口主類,負責建立與server的會話。它提供了表 1 所示幾類主要方法 :

功能

描述

create

在本地目錄樹中建立一個節點

delete

刪除一個節點

exists

測試本地是否存在目標節點

get/set data

從目標節點上讀取 / 寫資料

get/set ACL

獲取 / 設定目標節點訪問控制列表資訊

get children

檢索一個子節點上的列表

sync

等待要被傳送的資料

下面以基本的增刪改查來演示,首先主體框架為:

public class SimpleZkClient {

	private static final String connectString="Hadoop003:2181,hadoop004:2181,hadoop005:2181";
	private static final int sessionTimeout = 2000;

	ZooKeeper zkClient = null;
	@Before
	public void init() throws Exception {
        //Watcher 看基本介紹裡面的監聽講解,這裡在初始化時就建立監聽事件,然後在執行下面的程式時,如果node有改變就會把監聽事件打印出來
		zkClient = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
			@Override
			public void process(WatchedEvent event) {
				// 收到事件通知後的回撥函式(應該是我們自己的事件處理邏輯)
				System.out.println(event.getType() + "---" + event.getPath());
				try {
					zkClient.getChildren("/", true);//true為啟動監聽,false不見他,後面都是
				} catch (Exception e) {
				}
			}
		});
	}	
}

注意:在這裡不能配成Ip+port,因為zookeeper繫結的是hostname,而不是Ip,否則會報錯

  • 建立資料節點到zk中
@Test
public void testCreate() throws KeeperException, InterruptedException {
	// 引數1:要建立的節點的路徑 引數2:節點大資料 引數3:節點的許可權 引數4:節點的型別
	String nodeCreated = zkClient.create("/eclipse", "hellozk".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
	//上傳的資料可以是任何型別,但都要轉成byte[]
}
  • 判斷znode是否存在
@Test	
public void testExist() throws Exception{
	Stat stat = zkClient.exists("/eclipse", false);
	System.out.println(stat==null?"not exist":"exist");
}
  • 獲取子節點
@Test
public void getChildren() throws Exception {
	List<String> children = zkClient.getChildren("/", true);
	for (String child : children) {
		System.out.println(child);
	}
	Thread.sleep(Long.MAX_VALUE);
}
  • 獲取znode的資料
@Test
public void getData() throws Exception {
	byte[] data = zkClient.getData("/eclipse", false, null);
	System.out.println(new String(data));
}
  • 刪除znode
@Test
public void deleteZnode() throws Exception {
	//引數2:指定要刪除的版本,-1表示刪除所有版本
	zkClient.delete("/eclipse", -1);
}
  • 修改znode
@Test
public void setData() throws Exception {
	zkClient.setData("/app1", "imissyou angelababy".getBytes(), -1);
	byte[] data = zkClient.getData("/app1", false, null);
	System.out.println(new String(data));
}

二、zookeeper應用案例

1、實現分散式應用的(主節點HA)及客戶端動態更新主節點狀態

        某分散式系統中,主節點可以有多臺,可以動態上下線,任意一臺客戶端都能實時感知到主節點伺服器的上下線。就是在伺服器端,每次伺服器端上線(啟動)時,就會到zookeeper上註冊自己(就是建立node節點)注意這個node節點應該是短暫型的,即服務端斷開連線後就刪除(設定的超時時間);然後在客戶端,就監聽服務端建立node節點的父節點,然後啟動監聽,就可以用來感知伺服器端動態上下線了。

  • 首先伺服器端實現如下:
public class DistributedServer {
	private static final String connectString="hadoop003:2181,hadoop004:2181,hadoop005:2181";
	private static final int sessionTimeout = 2000;
	private static final String parentNode = "/servers";

	private ZooKeeper zk = null;

	/**
	 * 建立到zk的客戶端連線
	 * 
	 * @throws Exception
	 */
	public void getConnect() throws Exception {

		zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
			@Override
			public void process(WatchedEvent event) {
				// 收到事件通知後的回撥函式(應該是我們自己的事件處理邏輯)
				System.out.println(event.getType() + "---" + event.getPath());
				try {
					zk.getChildren("/", true);
				} catch (Exception e) {
				}
			}
		});

	}

	/**
	 * 向zk叢集註冊伺服器資訊
	 * 
	 * @param hostname
	 * @throws Exception
	 */
	public void registerServer(String hostname) throws Exception {

		String create = zk.create(parentNode + "/server", hostname.getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.EPHEMERAL_SEQUENTIAL);
		System.out.println(hostname + "is online.." + create);

	}

	/**
	 * 業務功能,這裡沒有
	 * 
	 * @throws InterruptedException
	 */
	public void handleBussiness(String hostname) throws InterruptedException {
		System.out.println(hostname + "start working.....");
		Thread.sleep(Long.MAX_VALUE);
	}
	
	public static void main(String[] args) throws Exception {

		// 獲取zk連線
		DistributedServer server = new DistributedServer();
		server.getConnect();

		// 利用zk連線註冊伺服器資訊
		server.registerServer(args[0]);

		// 啟動業務功能
		server.handleBussiness(args[0]);

	}
}

說明:這裡我們把伺服器的名字放在了/server目錄下面,要先建立該目錄才行,然後在執行時main要傳入服務名的引數,eclipse執行main傳入引數

然後客戶端實現如下:

public class DistributedClient {

	private static final String connectString="hadoop003:2181,hadoop004:2181,hadoop005:2181";
	private static final int sessionTimeout = 2000;
	private static final String parentNode = "/servers";
	// 注意:加volatile的意義何在?就會操作堆記憶體,也就是當客戶端有多個時,所有客戶端使用的該記憶體一樣,保證資料一致性。
	private volatile List<String> serverList;
	private ZooKeeper zk = null;

	/**
	 * 建立到zk的客戶端連線
	 * 
	 * @throws Exception
	 */
	public void getConnect() throws Exception {

		zk = new ZooKeeper(connectString, sessionTimeout, new Watcher() {
			@Override
			public void process(WatchedEvent event) {
				// 收到事件通知後的回撥函式(應該是我們自己的事件處理邏輯)
				try {
					//重新更新伺服器列表,並且註冊了監聽
					getServerList();

				} catch (Exception e) {
				}
			}
		});

	}

	/**
	 * 獲取伺服器資訊列表
	 * 
	 * @throws Exception
	 */
	public void getServerList() throws Exception {

		// 獲取伺服器子節點資訊,並且對父節點進行監聽
		List<String> children = zk.getChildren(parentNode, true);

		// 先建立一個區域性的list來存伺服器資訊
		List<String> servers = new ArrayList<String>();
		for (String child : children) {
			// child只是子節點的節點名,所以不監聽,監聽父節點,得子節點的改變情況;監聽子節點得子節點裡面的資料改變情況
			byte[] data = zk.getData(parentNode + "/" + child, false, null);
			servers.add(new String(data));
		}
		// 把servers賦值給成員變數serverList,已提供給各業務執行緒使用
		serverList = servers;
		
		//列印伺服器列表
		System.out.println(serverList);
		
	}

	/**
	 * 業務功能
	 * 
	 * @throws InterruptedException
	 */
	public void handleBussiness() throws InterruptedException {
		System.out.println("client start working.....");
		Thread.sleep(Long.MAX_VALUE);
	}
	
	
	public static void main(String[] args) throws Exception {

		// 獲取zk連線
		DistributedClient client = new DistributedClient();
		client.getConnect();
		// 獲取servers的子節點資訊(並監聽),從中獲取伺服器資訊列表
		client.getServerList();

		// 業務執行緒啟動
		client.handleBussiness();
		
	}
}

2、分散式共享鎖的簡單實現

        當多個客戶端同時競爭某一資源時就要進行加鎖操作,但是在分散式系統中應該如何加鎖呢?可以採用zookeeper來輔助完成,下面是其實現思路:

public class DistributedClientLock {
	

	// 會話超時
	private static final int SESSION_TIMEOUT = 2000;
	// zookeeper叢集地址
	private String hosts = "hadoop003:2181,hadoop004:2181,hadoop005:2181";
	private String groupNode = "locks";
	private String subNode = "sub";
	private boolean haveLock = false;

	private ZooKeeper zk;
	// 記錄自己建立的子節點路徑
	private volatile String thisPath;

	/**
	 * 連線zookeeper
	 */
	public void connectZookeeper() throws Exception {
		zk = new ZooKeeper(hosts, SESSION_TIMEOUT, new Watcher() {
			public void process(WatchedEvent event) {
				try {

					// 判斷事件型別,此處只處理子節點變化事件
					if (event.getType() == EventType.NodeChildrenChanged && event.getPath().equals("/" + groupNode)) {
						//獲取子節點,並對父節點進行監聽
						List<String> childrenNodes = zk.getChildren("/" + groupNode, true);
						String thisNode = thisPath.substring(("/" + groupNode + "/").length());
						// 去比較是否自己是最小id
						Collections.sort(childrenNodes);
						if (childrenNodes.indexOf(thisNode) == 0) {
							//訪問共享資源處理業務,並且在處理完成之後刪除鎖
							doSomething();
							
							//重新註冊一把新的鎖
							thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
									CreateMode.EPHEMERAL_SEQUENTIAL);
						}
					}
				} catch (Exception e) {
					e.printStackTrace();
				}
			}
		});

		// 1、程式一進來就先註冊一把鎖到zk上
		thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
				CreateMode.EPHEMERAL_SEQUENTIAL);

		// wait一小會,便於觀察
		Thread.sleep(new Random().nextInt(1000));

		// 從zk的鎖父目錄下,獲取所有子節點,並且註冊對父節點的監聽
		List<String> childrenNodes = zk.getChildren("/" + groupNode, true);

		//如果爭搶資源的程式就只有自己,則可以直接去訪問共享資源 
		if (childrenNodes.size() == 1) {
			doSomething();
			thisPath = zk.create("/" + groupNode + "/" + subNode, null, Ids.OPEN_ACL_UNSAFE,
					CreateMode.EPHEMERAL_SEQUENTIAL);
		}
	}

	/**
	 * 處理業務邏輯,並且在最後釋放鎖
	 */
	private void doSomething() throws Exception {
		try {
			System.out.println("gain lock: " + thisPath);
			Thread.sleep(2000);
			// do something
		} finally {
			System.out.println("finished: " + thisPath);
			zk.delete(this.thisPath, -1);
		}
	}

	public static void main(String[] args) throws Exception {
		DistributedClientLock dl = new DistributedClientLock();
		dl.connectZookeeper();
		Thread.sleep(Long.MAX_VALUE);
	}
}