在Linux 中安裝hive資料倉庫
hive正是實現了這個,hive是要類SQL語句(HiveQL)來實現對hadoop下的資料管理。hive屬於資料倉庫的範疇,那麼,資料庫和資料倉庫到底有什麼區別了,這裡簡單說明一下:資料庫側重於OLTP(線上事務處理),資料倉庫側重OLAP(線上分析處理);
首先確定 已經安裝好了hadoop叢集!
在linux安裝mysql
sudo apt install mysql-server
增加使用者並設定密碼:
sudo mysql -u root
配置密碼:
GRANT ALL PRIVILEGES ON *.* TO [email protected] IDENTIFIED BY "123"; flush privileges;
詳細示意圖:
建立資料庫:(為了安全最好再去建立一個使用者,然後賦予許可權。這裡直接將root作為使用者)
mysql> CREATE DATABASE user0;
檢視自己建立的資料庫:
再安裝hive:
然後在Hive官網上下載需要的版本,hive.apache.org archive.apache.org
解壓和配置:
sudo tar -zxvf apache-hive-3.1.0-bin.tar.gz
解壓到指定的資料夾下:示意圖
修改資料夾的許可權:
sudo chmod -R 777 /usr/local/hadoop/hive/apache-hive-3.1.0-bin
然後配置hive,cd apache-hive-3.1.0-bin/conf/ sudo vi hive-site.xml (如果沒有這個檔案就新建一個!同樣式使用這個命令新建)
<?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>hive.metastore.warehouse.dir</name> <value>/usr/local/hadoop/hive/warehouse</value> <description>location of default database for the warehouse</description> </property> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionPassword </name> <value>填上你自己的連線資料庫的密碼</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>Username to use against metastore database</description> </property> </configuration>
命令列輸入:
cp hive-env.sh.template hive-env.sh
cp hive-log4j2.properties.template hive-log4j2.properties
啟動hive:
配置環境變數:
sudo vi /etc/profile
在/etc/profile檔案中最後加入:
export HIVE_HOME=/usr/local/hadoop/hive/apache-hive-3.1.0-bin
export PATH=$PATH:$HIVE_HOME/bin
使得配置檔案生效:
source /etc/profile
複製依賴包:cp mysql-connector-java-5.1.43-bin.jar apache-hive-1.2.1-bin/lib/
啟動hive: 任何位置輸入hive (notice:啟動前確保hadoop單機或者叢集已經啟動了!!!)
出現 hive> 表示啟動成功!!!!
相關推薦
在Linux 中安裝hive資料倉庫
hive正是實現了這個,hive是要類SQL語句(HiveQL)來實現對hadoop下的資料管理。hive屬於資料倉庫的範疇,那麼,資料庫和資料倉庫到底有什麼區別了,這裡簡單說明一下:資料庫側重於OLTP(線上事務處理),資料倉庫側重OLAP(線上分析處理); 首先確定
Hive資料倉庫工具安裝
一.Hive介紹 Hive是基於Hadoop的一個數據倉庫工具,可以將結構化的資料檔案對映為一張資料庫表,並提供簡單SQL查詢功能,SQL語句轉換為MapReduce任務進行執行。 優點是可以通過類SQL語句快速實現簡單的MapReduce統計,不必開發專門的MapReduce應用,十分適合資料倉庫的統計分
linux docker容器中安裝maven nexus倉庫
1.docker安裝,參考上一篇rancher2.0搭建簡單的k8s叢集 2.建立資料夾:/usr/local/work/maven 3.執行docker,拉取nexus映象。 docker search nexus; #拉取nexus映象 docker pull sonatyp
linux docker容器中安裝maven nexus倉庫
2.建立資料夾:/usr/local/work/maven 3.執行docker,拉取nexus映象。 docker search nexus; #拉取nexus映象 docker pull sonatype/nexus; #執行 docker run -i
快速查詢hive資料倉庫表中的總條數
Author: kwu 快速查詢hive資料倉庫中的條數,在查詢hive表的條數,通常使用count(*),但是資料量大的時候,mr跑count(*)往往需要幾分鐘的時間。 1、傳統方式獲得總條
linux中安裝和配置 jdk
jdk1 png images 下載 配置環境變量 ftp 當前 bsp 官網 01.去官網下載指定的jdk 02.使用xftp把下載好的文件 傳遞到 linux指定文件夾中03.進入指定的文件夾輸入tar -zxvf 文件名稱04.發現文件 05.進入文件c
在 Linux 中安裝最新的 Thunderbird 郵件客戶端
添加 說明 ppa 郵件客戶端 enum www font 訪問 targe 摘要: Thunderbird是一個開源自由的跨平臺的基於 web 的電子郵件、新聞和聊天客戶端應用程序,其旨在用於管理多個電子郵件帳戶和新聞源。 在 2016 年 12 月 28 日,Mozil
linux中安裝mysql
mage xftp sta 下載 解決 mysql 設置密碼 內容 刪除文件夾 01.搜索 mysql linux 02.把下載好的mysql 使用 xftp傳到 linux中 software 文件夾下 03.切換到指定的目錄 之後 拆包! 04
linux中安裝eclipse--CnetOS6.5
xftp 命令 ips cli bsp 官網 分享 http 文件夾 01.去官網下載指定的eclipse安裝包 02.使用xftp把下載的eclipse安裝包放入到linux系統的指定位置03.到指定的目錄下!使用命令解壓下載的文件tar -zxvf
Linux中安裝MongoDB出現的問題記錄
狀態 fail align linu operation 出現 ted 啟動 mongodb mongoDB安裝完成後,運行sudo service mongod start 查看程序狀態:ps ajx | grep mongod ,啟動失敗 查看失敗信息提示,終端命令
Redis在Linux中安裝使用
local /usr 保存 -- com errors red 出現 bsp 一、安裝$ wget http://download.redis.io/releases/redis-x.x.x.tar.gz $ tar xzf redis-x.x.x.tar.gz $ c
Linux中安裝jdk
linux .tar.gz 目錄 lib 立即生效 oracle官網 文件 scp path 1、登錄oracle官網,找對應的下載版本。 2、下載包。我這裏下載 jdk-8u101-linux-x64.tar.gz 。你也可以下載其他版本。 3、上傳jdk包
linux 中安裝mysql8.0
password mys 存儲 轉載 安裝 mysql gre brep 隨機 lan 轉載自:http://www.linuxidc.com/Linux/2016-11/137608.htm 可能有人會驚奇MySQL為何從5.x一下跳躍到了8.0。事實上,MySQL 5.
Linux中安裝JDK8
Linux Java1.首先去Oracle網站下載最新版本的JDK ,這裏貼出下載地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html ,如下圖所示,一定要選擇“Accept License
Linux中安裝mysql數據庫
數據庫Linux安裝mysql數據庫系統1、卸載原有的mysql(rpm -e mysql --nodeps)2、安裝mysql之前,需要安裝軟件開發軟件包,如果安裝操作系統的時候勾選過“軟件開發”,就不用安裝了這個步驟是安裝沒有安裝軟件開發的依賴包,如安裝的話可以省略3.1、掛載mysql軟件包的光盤2、安
linux中安裝程序及賬號管理
linux程序安裝及管理 Linux 應用程序基礎Linux命令與應用程序的關系1):文件位置系統命令:一般在/bin和/sbin目錄中,或為Shell內部指令應用程序:通常在/usr/bin和/usr/sbin目錄中2):主要用途系統命令:完成對系統的基本管理工作,例如IP配置工具應用程序:完成相對獨立的
linux中安裝程序
linux實驗:為 Linux 主機安裝應用程序 環境:vmware workstation 14 . redhad-server-6.4需求:1.使用 RPM 包的方式安裝 Mozilla Firefox 瀏覽器2.使用源代碼包編譯的方式安裝 Apache3.使用 RPM 包的方式安裝Webmin管理軟件
在Linux中安裝MongoDB,MongoDB開啟遠程訪問和設置管理員賬戶
-c 安裝 方便 新建 新博 相關 mongo window .config 寫在前面: 好久沒更更新博客了,主要因為我現在在頭條寫博客文章。大家可以關註下我的頭條號:我是樂樂樂樂呀 之前寫過在windows環境下安裝MongoDB,同時也寫了個在windows環境下用
Linux中安裝Python2.7
目錄 ron 文件 red ftw The find ack 並且 原文地址:http://www.jianshu.com/p/6425d18d3e47 安裝依賴的庫 yum -y install python-devel openssl openssl-devel
Arch Linux中安裝Anaconda
roo source bin arch con 通過 步驟 arc dea 安裝步驟 通過AUR安裝yaourt -S anaconda 激活Anaconda環境source /opt/anaconda/bin/activate root 關閉Anaconda環境sour