1. 程式人生 > >Phoenix安裝、連線Hbase、配置

Phoenix安裝、連線Hbase、配置

目錄:

一、Phoenix安裝

二、Phoenix安裝及連線Hbase

三、phoenix 配置

—————————————————————————————

一、Phoenix安裝

1、首先去官網下載Phoenix的壓縮包
下載地址:http://mirror.bit.edu.cn/apache/phoenix/
由於我們系統的Hbase版本是1.1版本的,故下載4.7版本的Phoenix。

2、解壓縮Phoenix的壓縮包
tar –zxvf phoenix-4.7.0-HBase-1.1-bin.tar.gz

3、將phoenix-4.7.0-HBase-1.1-bin/目錄下phoenix-*.jar包複製到hbase的lib目錄下
cp phoenix-*.jar $HBASE_HOME/lib

4、重啟Hbase

$HBASE_HOME/bin/stop-hbase.sh
$HBASE_HOME/bin/start-hbase.sh

二、Phoenix安裝及連線Hbase

1、在IDE中pom.xml檔案中的配置

<dependency>
  <groupId>org.apache.phoenix</groupId>
  <artifactId>phoenix-spark</artifactId>
  <version>4.7.0-HBase-1.1</version>
  <scope
>
provided</scope> </dependency>

2、在伺服器上每臺spark機器上的spark-defaults.conf檔案中的配置(在Phoenix4.7或以後的版本用phoenix-4.7.0-HBase-1.1-client-spark.jar,而在之前用phoenix-4.7.0-HBase-1.1-client.jar)

spark.driver.extraClassPath /spark/phoenix-client/lib/phoenix-4.7.0-HBase-1.1-client-spark.jar:/spark/phoenix-client
/lib/libthrift-0.9.0.jar spark.executor.extraClassPath /spark/phoenix-client/lib/phoenix-4.7.0-HBase-1.1-client-spark.jar:/spark/phoenix-client/lib/libthrift-0.9.0.jar

注意:官網上只說明需要將phoenix-4.7.0-HBase-1.1-client-spark.jar包匯入,而實際工作環境中需要將libthrift-0.9.0.jar包匯入,否則會報找不到包的錯

三、phoenix 配置

1、phoenix和spark整合:

在spark-conf/spark-env.sh中配置

SPARK_DIST_CLASSPATH="$SPARK_DIST_CLASSPATH:/opt/cloudera/parcels/CLABS_PHOENIX-4.7.0-1.clabs_phoenix1.3.0.p0.000/lib/phoenix/phoenix-4.7.0-clabs-phoenix1.3.0-client.jar"

export SPARK_YARN_USER_ENV="CLASSPATH=$HADOOP_CONF_DIR"

2、phoenix 二級索引需要的配置

<property><name>hbase.regionserver.wal.codec</name><value>org.apache.hadoop.hbase.regionserver.wal.IndexedWALEditCodec</value></property>

3、phoenix 4.8 中使用 schema 和 Namespace 對應的配置

<property><name>phoenix.schema.isNamespaceMappingEnabled</name><value>true</value></property>

What is namespace and benefits of mapping table to namespace?
A namespace is a logical grouping of tables analogous to a database in relation database systems. This abstraction lays the groundwork for upcoming multi-tenancy related features:

Quota Management - Restrict the amount of resources (i.e. regions, tables) a namespace can consume.

Namespace Security Administration - Provide another level of security administration for tenants.

Region server groups - A namespace/table can be pinned onto a subset of RegionServers thus guaranteeing a course level of isolation.

       如果您喜歡我寫的博文,讀後覺得收穫很大,不妨小額贊助我一下,讓我有動力繼續寫出高質量的博文,感謝您的讚賞!!!

相關推薦

Phoenix安裝連線Hbase配置

目錄: 一、Phoenix安裝 二、Phoenix安裝及連線Hbase 三、phoenix 配置 ————————————————————————————— 一、Phoenix安裝 1、首先去官網下載Phoenix的壓縮包

21.26 mongodb介紹 mongodb安裝連線mongodbmongodb使用者管理

21.26 mongodb介紹 l官網www.mongodb.com, 當前最新版3.4 lC++編寫,基於分散式的,屬於NoSQL的一種 l在NoSQL中是最像關係型資料庫的 lMongoDB 將資料儲存為一個文件,資料結構由鍵值(key=>value)對組成。MongoDB 文件類似於

分頁連線查詢自關聯子查詢

分頁   limit 開始位置, 查詢數目 或者 limit 查詢數目          -- 限制查詢出來的資料個數        select * from

Spring AOP:原理 通知連線切點切面表示式

0:Spring AOP 原理 簡單說說 AOP 的設計: 每個 Bean 都會被 JDK 或者 Cglib 代理。取決於是否有介面。 每個 Bean 會有多個“方法攔截器”。注意:攔截器分為兩層,外層由 Spring 核心控制流程,內層攔截器是使用者設定,也就是 AOP。

mysql(一)——更改密碼連線資料庫常用命令

13.1 設定更改root密碼 13.2 連線mysql 13.3 mysql常用命令 13.1 設定更改root密碼 預設root密碼為空,一定要設定一個密碼多一層保障。 沒有密碼時使用root登入mysql:/usr/local/mysql/bin/mysql -uroo

mysql筆記五之分頁連線查詢自關聯子查詢

1.-- 分頁     -- limit start, count     -- 表示獲取多少條資料     -- start 預設值為0 可以省略     -- 表示跳過多少

設定更改root密碼連線mysqlmysql常用命令mysql使用者管理常用sql語句mysql資料庫備份恢復

一、設定更改root密碼 首次直接使用mysql會提示‘該命令不存在’,原因是還沒有將該命令加入環境變數,如果要使用該命令,需要使用其絕對路徑:/usr/local/mysql/bin/mysql,為了方便,先將其加入系統環境變數: [[email p

【Ubuntu】Windows 遠端桌面連線ubuntu及xrdp的一些小問題(遠端桌面閃退連線失敗tab補全功能,無選單欄,error - problem connecting )【轉】

轉:https://blog.csdn.net/u014447845/article/details/80291678 1、遠端桌面閃退,shell可以用的問題:(1)需要在該使用者目錄建立一個.xsession:touch .xsession(2)裡面寫“xfce4-session”一句話就行:echo

python_11(format轉義字元連線字元字串操作函式字串反轉)

——————–資料格式化—————————- #!/usr/bin/python # -*- coding: UTF-8 -*- # 格式化字串 str1 = "version" num = 1

Windows 遠端桌面連線ubuntu的一些小問題(遠端桌面閃退連線失敗tab補全功能,無選單欄)

        可以修改會話設定  :將最大會話限制該大  MaxSessions=50; 將KillDisconnected=1;則每次斷開連線時,linux都會關閉會話程序。        然後重啟/etc/init.d/xrdp restart    就可解決問題

python爬蟲案例——根據網址爬取中文網站,獲取標題連線連線數目連線描述中文分詞列表

全棧工程師開發手冊 (作者:欒鵬) 其中使用到了urllib、BeautifulSoup爬蟲和結巴中文分詞的相關知識。 除錯環境python3.6 # 根據連線爬取中文網站

專業詞彙之物件池連線執行緒池

       在絕大多數的JavaWeb的應用系統開發過程中,經常會聽到或見到這樣的三個專業名詞:物件池、連線池、執行緒池。下面就這三個專業知識做一個簡單的小結:        1.物件池        物件池技術通常是在伺服器端開發使用的技術,使用該項技術的主要原因

SparkBulkLoad Hbase單列多列

背景 之前的部落格:Spark:DataFrame寫HFile (Hbase)一個列族、一個列擴充套件一個列族、多個列 用spark 1.6.0 和 hbase 1.2.0 版本實現過spark BulkLoad Hbase的功能,並且擴充套件了其只能操作單列的不便性。 現在要用spark 2.3.2 和 h

單機安裝HbasePhoenix

Hbase安裝 http://www.bigdata234.com/2018/03/17/hbase單機版的安裝/ 注意兩點: 1.啟動hbase的時候注意要將我們外部的zk停掉 2.將Phoenix中phoenix-4.8.2-HBase-1.2-server.jar、phoe

MySQL的下載安裝配置連線視覺化介面。

MySQL: 一、下載: 2. 找到頁面最下方,點選 Community(GPL)Downloads》 3.在MySQL Community Server(GPL)部分點選 DOWNLOAD 4.在下載頁面選擇作業系統

Centos 7.2 安裝ApachePHPMysql連線Mysql資料庫的包安裝VSFTP配置

一、安裝Apache、PHP、Mysql、連線Mysql資料庫的包: yum install httpd yum -y install php yum -y install php-fpm yum -y install php-mysql yum -y inst

PLSQL和instantclient的下載安裝連線Oracle配置

PLSQL和instantclient的下載、安裝、連線Oracle配置 PLSQL作為Oracle資料視覺化工具,在Oracle資料庫或者Oracle伺服器的基礎上,才可以實現使用PLSQL Developer工具連線到Oracle資料庫進行開發。 1 PLSQL下載 下載

Ubuntu默認防火墻安裝啟用配置端口查看狀態相關信息

stat dsm var mtp ng- -h wall 修改 打開 最簡單的一個操作: sudo ufw version防火墻版本: ufw 0.29-4ubuntu1 Copyright 2008-2009 Canonical Ltd. ubuntu 系

Randoop介紹安裝及環境變量配置

you 套件 文件路徑 令行 sts dt.jar 開發 通知 一個 大體來說,開發人員開發源程序,測試人員找bug,中間人產品經理。 黑盒測試:(不看代碼) 白盒測試:     1、基於覆蓋:語句、分支(if、for、真假)、方法     結構:順序、分支(T or F,

Linux安裝Nginx1.7.4php5.5.15和配置

5.5 x86 針對 dsm open params 決定 最新 apt-get Nginx是一個輕量級的高性能Webserver、反向代理server、郵件(IMAP/POP3/SMTP)server,是Igor Sysoev為俄羅斯訪問量第二的Rambler.r