Phoenix安裝、連線Hbase、配置
目錄:
一、Phoenix安裝
二、Phoenix安裝及連線Hbase
三、phoenix 配置
—————————————————————————————
一、Phoenix安裝
1、首先去官網下載Phoenix的壓縮包
下載地址:http://mirror.bit.edu.cn/apache/phoenix/
由於我們系統的Hbase版本是1.1版本的,故下載4.7版本的Phoenix。
2、解壓縮Phoenix的壓縮包
tar –zxvf phoenix-4.7.0-HBase-1.1-bin.tar.gz
3、將phoenix-4.7.0-HBase-1.1-bin/目錄下phoenix-*.jar包複製到hbase的lib目錄下
cp phoenix-*.jar $HBASE_HOME/lib
4、重啟Hbase
$HBASE_HOME/bin/stop-hbase.sh
$HBASE_HOME/bin/start-hbase.sh
二、Phoenix安裝及連線Hbase
1、在IDE中pom.xml檔案中的配置
<dependency>
<groupId>org.apache.phoenix</groupId>
<artifactId>phoenix-spark</artifactId>
<version>4.7.0-HBase-1.1</version>
<scope >provided</scope>
</dependency>
2、在伺服器上每臺spark機器上的spark-defaults.conf檔案中的配置(在Phoenix4.7或以後的版本用phoenix-4.7.0-HBase-1.1-client-spark.jar,而在之前用phoenix-4.7.0-HBase-1.1-client.jar)
spark.driver.extraClassPath /spark/phoenix-client/lib/phoenix-4.7.0-HBase-1.1-client-spark.jar:/spark/phoenix-client /lib/libthrift-0.9.0.jar
spark.executor.extraClassPath /spark/phoenix-client/lib/phoenix-4.7.0-HBase-1.1-client-spark.jar:/spark/phoenix-client/lib/libthrift-0.9.0.jar
注意:官網上只說明需要將phoenix-4.7.0-HBase-1.1-client-spark.jar包匯入,而實際工作環境中需要將libthrift-0.9.0.jar包匯入,否則會報找不到包的錯
三、phoenix 配置
1、phoenix和spark整合:
在spark-conf/spark-env.sh中配置
SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000/lib/phoenix/phoenix-4.7.0-clabs-phoenix1.3.0-client.jar"
export SPARK_YARN_USER_ENV="CLASSPATH=$HADOOP_CONF_DIR"
2、phoenix 二級索引需要的配置
<property><name>hbase.regionserver.wal.codec</name><value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value></property>
3、phoenix 4.8 中使用 schema 和 Namespace 對應的配置
<property><name>phoenix.schema.isNamespaceMappingEnabled</name><value>true</value></property>
What is namespace and benefits of mapping table to namespace?
A namespace is a logical grouping of tables analogous to a database in relation database systems. This abstraction lays the groundwork for upcoming multi-tenancy related features:
Quota Management - Restrict the amount of resources (i.e. regions, tables) a namespace can consume.
Namespace Security Administration - Provide another level of security administration for tenants.
Region server groups - A namespace/table can be pinned onto a subset of RegionServers thus guaranteeing a course level of isolation.
如果您喜歡我寫的博文,讀後覺得收穫很大,不妨小額贊助我一下,讓我有動力繼續寫出高質量的博文,感謝您的讚賞!!!
相關推薦
Phoenix安裝、連線Hbase、配置
目錄: 一、Phoenix安裝 二、Phoenix安裝及連線Hbase 三、phoenix 配置 ————————————————————————————— 一、Phoenix安裝 1、首先去官網下載Phoenix的壓縮包
21.26 mongodb介紹、 mongodb安裝、連線mongodb、mongodb使用者管理
21.26 mongodb介紹 l官網www.mongodb.com, 當前最新版3.4 lC++編寫,基於分散式的,屬於NoSQL的一種 l在NoSQL中是最像關係型資料庫的 lMongoDB 將資料儲存為一個文件,資料結構由鍵值(key=>value)對組成。MongoDB 文件類似於
分頁、連線查詢、自關聯、子查詢
分頁 limit 開始位置, 查詢數目 或者 limit 查詢數目 -- 限制查詢出來的資料個數 select * from
Spring AOP:原理、 通知、連線點、切點、切面、表示式
0:Spring AOP 原理 簡單說說 AOP 的設計: 每個 Bean 都會被 JDK 或者 Cglib 代理。取決於是否有介面。 每個 Bean 會有多個“方法攔截器”。注意:攔截器分為兩層,外層由 Spring 核心控制流程,內層攔截器是使用者設定,也就是 AOP。
mysql(一)——更改密碼、連線資料庫、常用命令
13.1 設定更改root密碼 13.2 連線mysql 13.3 mysql常用命令 13.1 設定更改root密碼 預設root密碼為空,一定要設定一個密碼多一層保障。 沒有密碼時使用root登入mysql:/usr/local/mysql/bin/mysql -uroo
mysql筆記五之分頁、連線查詢、自關聯、子查詢
1.-- 分頁 -- limit start, count -- 表示獲取多少條資料 -- start 預設值為0 可以省略 -- 表示跳過多少
設定更改root密碼、連線mysql、mysql常用命令、mysql使用者管理、常用sql語句、mysql資料庫備份恢復
一、設定更改root密碼 首次直接使用mysql會提示‘該命令不存在’,原因是還沒有將該命令加入環境變數,如果要使用該命令,需要使用其絕對路徑:/usr/local/mysql/bin/mysql,為了方便,先將其加入系統環境變數: [[email p
【Ubuntu】Windows 遠端桌面連線ubuntu及xrdp的一些小問題(遠端桌面閃退、連線失敗、tab補全功能,無選單欄,error - problem connecting )【轉】
轉:https://blog.csdn.net/u014447845/article/details/80291678 1、遠端桌面閃退,shell可以用的問題:(1)需要在該使用者目錄建立一個.xsession:touch .xsession(2)裡面寫“xfce4-session”一句話就行:echo
python_11(format、轉義字元、連線字元、字串操作函式、字串反轉)
——————–資料格式化—————————- #!/usr/bin/python # -*- coding: UTF-8 -*- # 格式化字串 str1 = "version" num = 1
Windows 遠端桌面連線ubuntu的一些小問題(遠端桌面閃退、連線失敗、tab補全功能,無選單欄)
可以修改會話設定 :將最大會話限制該大 MaxSessions=50; 將KillDisconnected=1;則每次斷開連線時,linux都會關閉會話程序。 然後重啟/etc/init.d/xrdp restart 就可解決問題
python爬蟲案例——根據網址爬取中文網站,獲取標題、子連線、子連線數目、連線描述、中文分詞列表
全棧工程師開發手冊 (作者:欒鵬) 其中使用到了urllib、BeautifulSoup爬蟲和結巴中文分詞的相關知識。 除錯環境python3.6 # 根據連線爬取中文網站
專業詞彙之物件池、連線池、執行緒池
在絕大多數的JavaWeb的應用系統開發過程中,經常會聽到或見到這樣的三個專業名詞:物件池、連線池、執行緒池。下面就這三個專業知識做一個簡單的小結: 1.物件池 物件池技術通常是在伺服器端開發使用的技術,使用該項技術的主要原因
Spark、BulkLoad Hbase、單列、多列
背景 之前的部落格:Spark:DataFrame寫HFile (Hbase)一個列族、一個列擴充套件一個列族、多個列 用spark 1.6.0 和 hbase 1.2.0 版本實現過spark BulkLoad Hbase的功能,並且擴充套件了其只能操作單列的不便性。 現在要用spark 2.3.2 和 h
單機安裝Hbase、Phoenix
Hbase安裝 http://www.bigdata234.com/2018/03/17/hbase單機版的安裝/ 注意兩點: 1.啟動hbase的時候注意要將我們外部的zk停掉 2.將Phoenix中phoenix-4.8.2-HBase-1.2-server.jar、phoe
MySQL的下載、安裝配置、連線視覺化介面。
MySQL: 一、下載: 2. 找到頁面最下方,點選 Community(GPL)Downloads》 3.在MySQL Community Server(GPL)部分點選 DOWNLOAD 4.在下載頁面選擇作業系統
Centos 7.2 安裝Apache、PHP、Mysql、連線Mysql資料庫的包、安裝VSFTP、並配置
一、安裝Apache、PHP、Mysql、連線Mysql資料庫的包: yum install httpd yum -y install php yum -y install php-fpm yum -y install php-mysql yum -y inst
PLSQL和instantclient的下載、安裝、連線Oracle配置
PLSQL和instantclient的下載、安裝、連線Oracle配置 PLSQL作為Oracle資料視覺化工具,在Oracle資料庫或者Oracle伺服器的基礎上,才可以實現使用PLSQL Developer工具連線到Oracle資料庫進行開發。 1 PLSQL下載 下載
Ubuntu默認防火墻安裝、啟用、配置、端口、查看狀態相關信息
stat dsm var mtp ng- -h wall 修改 打開 最簡單的一個操作: sudo ufw version防火墻版本: ufw 0.29-4ubuntu1 Copyright 2008-2009 Canonical Ltd. ubuntu 系
Randoop介紹、安裝及環境變量配置
you 套件 文件路徑 令行 sts dt.jar 開發 通知 一個 大體來說,開發人員開發源程序,測試人員找bug,中間人產品經理。 黑盒測試:(不看代碼) 白盒測試: 1、基於覆蓋:語句、分支(if、for、真假)、方法 結構:順序、分支(T or F,
Linux安裝Nginx1.7.4、php5.5.15和配置
5.5 x86 針對 dsm open params 決定 最新 apt-get Nginx是一個輕量級的高性能Webserver、反向代理server、郵件(IMAP/POP3/SMTP)server,是Igor Sysoev為俄羅斯訪問量第二的Rambler.r