在Azure中Hadoop被拆成了兩個服務: Azure Data Lake Store 和 HDinsight Clusters

Azure Data Lake Store 即HDFS, 按儲存量/小時 和 讀寫次數收費

HDinsight Clusters 即YARN以及SPARK, hive等各種計算框架和應用元件, 和普通VPS一樣按照配置收費

Hive執行在10001埠 ,只可以用beeline連結

beeline -u 'jdbc:hive2://headnodehost:10001/;transportMode=http'

可以ssh上master節點, 然後再通過master節點ssh到slaver上去, slaver 的 IP 地址可以到 Ambari Views 裡去找, 點右上Hosts可以看到所有節點的IP

通過ssh可以在所有node上安裝python的libraries, 當然也可以通過Azure自帶的script action來完成批量執行scripts到所有節點的操作, 但是script action不推薦, 原因是一旦報錯, 錯誤資訊非常模糊

此外需要執行:

sudo chmod -R 777 /usr/local/lib/python2.7

來開啟目錄許可權, 否則pip都不能執行

官方文件:

hadoop2 job list & status & kill

yarn application -list
yarn application -kill appid
yarn application -status appid
 

Azure的HDInsight其實是基於另一個公司的產品: https://hortonworks.com/products/data-platforms/hdp/