hadoop-hive本地和偽分散式模式的安裝
前言：關於虛擬機器安裝hive,hadoop的資料林林總總,對於初學者很難甄別;
如下是按照官方doc,一步步經過實踐的一種方法,思路比我搜到網上的帖子更清晰；
初學，難免有錯誤的地方，敬請指正。
一、虛擬機器hadoop的安裝
1.虛擬機器安裝linux-redhat作業系統，虛擬機器網路型別設定為網橋模式，保證虛擬機器可以訪問Internet外網
2.安裝jdk：
解壓jdk檔案（我的jdk是jdk1.8.0_05）至某個目錄：如/software下面
#add by clark,20160525
export JAVA_HOME=/software/jdk1.8.0_05
export CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
3.下載hadoop-2.7.3
[1]安裝wget
Yum install wget
|
注：yum的配置： [1]將redhat的安裝ISO映象檔案掛載或者複製到/iso目錄下面 [2]配置yum源,建立ios.repo檔案 [[email protected] yum.repos.d]# vi /etc/yum.repos.d/ios.repo [ios] name=ios baseurl=file:///ios enabled=1 gpgcheck=0 gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release |
[2]下載hadoop-2.7.3
[3]解壓安裝包
tar -zxvf hadoop-2.7.3.tar.gz 解壓到當前目錄或者其他目錄下面
[4]配置環境變數
echo ‘export HADOOP_HOME=/software/hadoop-2.7.3’ >>/etc/profile
echo ‘export PATH=$PATH:$HADOOP_HOME/bin’>>/etc/profile
4.使用本地模式
[2]測試：
|
[[email protected] hadoop-2.7.3]# mkdir input [[email protected] hadoop-2.7.3]# cp etc/hadoop/*.xml input [[email protected] hadoop-2.7.3]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+' [[email protected] hadoop-2.7.3]# cat output/* 1 dfsadmin |
5.使用偽分散式模式
[1]修改etc/hadoop/core-site.xml
|
[[email protected] hadoop-2.7.3]# tail -n 6 etc/hadoop/core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> |
[2]修改 etc/hadoop/hdfs-site.xml
|
[[email protected] hadoop-2.7.3]# tail -n 6 etc/hadoop/hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> |
[3]修改 etc/hadoop/hadoop-env.sh 增加JAVA_HOME
|
[[email protected] hadoop-2.7.3]# find -name hadoop-env.sh ./etc/hadoop/hadoop-env.sh [[email protected] hadoop-2.7.3]# echo "export JAVA_HOME=/software/jdk1.8.0_05" >>etc/hadoop/hadoop-env.sh 注： 如果不配置JAVA_HOME,則執行sbin/start-dfs.sh報錯 Starting namenodes on [localhost] localhost: Error: JAVA_HOME is not set and could not be found. localhost: Error: JAVA_HOME is not set and could not be found. |
[4]配置本身的ssh互信
|
[[email protected] hadoop-2.7.3]# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa Generating public/private rsa key pair. Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. The key fingerprint is: 82:c9:b0:f9:3a:0b:e0:4a:ee:e8:ea:df:e4:ee:3d:c4 [email protected] The key's randomart image is: +--[ RSA 2048]----+ | | | | | . | | = o | |. o + o S | |o . E | |.o ... | |=...+ .. | |O=++o= .. | +-----------------+ [[email protected] hadoop-2.7.3]# cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys [[email protected] hadoop-2.7.3]# chmod 0600 ~/.ssh/authorized_keys [[email protected] hadoop-2.7.3]# ssh localhost Last login: Sat Oct 15 22:48:35 2016 from localhost |
[5]namenode format
|
[[email protected] hadoop-2.7.3]# hdfs namenode -format 16/10/15 22:52:48 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = m01/192.168.1.6 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 2.7.3 |
[6]啟動hdfs
|
[[email protected] hadoop-2.7.3]# sbin/start-dfs.sh Starting namenodes on [localhost] localhost: starting namenode, logging to /software/hadoop-2.7.3/logs/hadoop-root-namenode-m01.out localhost: starting datanode, logging to /software/hadoop-2.7.3/logs/hadoop-root-datanode-m01.out ./start-dfs.sh Starting secondary namenodes [0.0.0.0] 0.0.0.0: starting secondarynamenode, logging to /software/hadoop-2.7.3/logs/hadoop-root-secondarynamenode-m01.out 注：事先修改etc/hadoop/hadoop-env.sh 配置JAVA_HOME環境變數 |
6.網路瀏覽器檢視hdfs執行情況：
截圖如下：
二、虛擬機器HIVE的安裝
1.首先在虛擬機器上安裝部署好hadoop
2.下載hive:
|
[[email protected] software]# wget http://mirrors.cnnic.cn/apache/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz --2016-10-15 23:24:29-- http://mirrors.cnnic.cn/apache/hive/hive-2.1.0/apache-hive-2.1.0-bin.tar.gz Resolving mirrors.cnnic.cn... 218.241.113.17 Connecting to mirrors.cnnic.cn|218.241.113.17|:80... connected. HTTP request sent, awaiting response... 200 OK Length: 149599799 (143M) [application/octet-stream] Saving to: “apache-hive-2.1.0-bin.tar.gz” 100%[======================================================================================================================>] 149,599,799 2.97M/s in 50s 2016-10-15 23:25:19 (2.87 MB/s) - “apache-hive-2.1.0-bin.tar.gz” saved [149599799/149599799] |
3.解壓（假設在/software目錄下面）
[[email protected] software]# tar -zxvf apache-hive-2.1.0-bin.tar.gz
4.配置環境變數
[[email protected] apache-hive-2.1.0-bin]# echo "export HIVE_HOME=`pwd`" >> /etc/profile
[[email protected] apache-hive-2.1.0-bin]# echo ‘export PATH=$HIVE_HOME/bin:$PATH’>>/etc/profile
[[email protected] apache-hive-2.1.0-bin]# source /etc/profile
5.建立HIVE的工作目錄
|
[[email protected] software]# hadoop fs -mkdir /tmp [[email protected] software]# hadoop fs -mkdir /user/hive/warehouse mkdir: `/user/hive/warehouse': No such file or directory [[email protected] software]# hadoop fs -mkdir /user mkdir: `/user': File exists [[email protected] software]# hadoop fs -mkdir /user/hive [[email protected] software]# hadoop fs -mkdir /user/hive/warehouse [[email protected] software]# hadoop fs -chmod g+w /tmp [[email protected] software]# hadoop fs -chmod g+w /user/hive/warehouse |
6.設定hive metadata
注：
Starting from Hive 2.1, we need to run the schematool command below as an initialization step. For example, we can use "derby" as db type.
$ $HIVE_HOME/bin/schematool -dbType <db type> -initSchema
預設使用derby資料庫作為元資料資料庫
|
[[email protected] lib]# schematool -dbType derby -initSchema which:no hbase in (/software/apache-hive-2.1.0-bin/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/software/jdk1.8.0_05/bin:/software/jdk1.8.0_05/jre/bin:/root/bin:/software/jdk1.8.0_05/bin:/software/jdk1.8.0_05/jre/bin:/software/hadoop-2.7.3/bin:/software/jdk1.8.0_05/bin:/software/jdk1.8.0_05/jre/bin:/software/hadoop-2.7.3/bin) SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/software/apache-hive-2.1.0-bin/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/software/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] Metastore connection URL: jdbc:derby:;databaseName=metastore_db;create=true Metastore Connection Driver : org.apache.derby.jdbc.EmbeddedDriver Metastore connection User: APP Starting metastore schema initialization to 2.1.0 Initialization script hive-schema-2.1.0.derby.sql Initialization script completed schemaTool completed |
7.開始使用hive
|
[[email protected] lib]# hive which: no hbase in (/software/apache-hive-2.1.0-bin/bin:/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/software/jdk1.8.0_05/bin:/software/jdk1.8.0_05/jre/bin:/root/bin:/software/jdk1.8.0_05/bin:/software/jdk1.8.0_05/jre/bin:/software/hadoop-2.7.3/bin:/software/jdk1.8.0_05/bin:/software/jdk1.8.0_05/jre/bin:/software/hadoop-2.7.3/bin) SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/software/apache-hive-2.1.0-bin/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: Found binding in [jar:file:/software/hadoop-2.7.3/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class] SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation. SLF4J: Actual binding is of type [org.apache.logging.slf4j.Log4jLoggerFactory] Logging initialized using configuration in jar:file:/software/apache-hive-2.1.0-bin/lib/hive-common-2.1.0.jar!/hive-log4j2.properties Async: true Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases. hive> |
相關推薦
hadoop-hive本地和偽分散式模式的安裝
前言：關於虛擬機器安裝hive,hadoop的資料林林總總,對於初學者很難甄別; 如下是按照官方doc,一步步經過實踐的一種方法,思路比我搜到網上的帖子更清晰； 初學，難免有錯誤的地方，敬請指正。 一、虛擬機器hadoop的安
Windows 下 Zookeeper 單機模式和偽分散式模式安裝
安裝jdk 安裝Zookeeper. 在官網http://mirrors.hust.edu.cn/apache/zookeeper/下載zookeeper.我下載的是zookeeper-3.4.10版本。 解壓zookeeper-3.4.10至D:\dev\zookeep
Hadoop 3.1.1偽分散式模式安裝
Hadoop 3.1.1偽分散式模式安裝 更多資源 github: https://github.com/opensourceteams/hadoop-java-maven-3.1.1 視訊 Hadoop 3.1.1偽分散式模式安裝(bilibili視訊) : htt
Hadoop偽分散式模式安裝
環境資訊作業系統：Ubuntu 17.04 64bit安裝步驟1. 安裝配置JDK1.1 複製到/opt/bigdata/目錄下，解壓cp ~/Downloads/jdk-8u161-linux-x64.tar.gz /opt/bigdata/ cd /opt/bigdata
【分散式】hadoop安裝篇（4）Hadoop 2.x的偽分佈模式安裝
Hadoop偽分佈模式，是在一個單機上模擬Hadoop分散式環境，需要安裝的包括： HDFS：包括NameNode和DataNode Yarn：是執行mapReducede容器，包括ResourceManager和NodeManager準備$ sudo apt-get ins
hadoop單機版和偽分散式搭建
單機版：使用的是linux上的檔案系統，用於測試 使用過程： 解壓到 /usr/local/ 配置/etc/profile下的環境變數 source /etc/profile ,然後修改 /usr/local/etc/hadoop/hadoop-env.sh 中的JAVA_HOME為jd
zookeeper執行環境2、3：單節點安裝和偽分散式叢集安裝
轉載：http://www.aboutyun.com/thread-9097-1-1.html 問題導讀： 1.什麼是zookeeper 2.zookeeper有幾種安裝方式？ 3.zookeeper偽分佈如何配置myid？ 4.zookeeper包含哪些常用操作命令？ 前
【HBase基礎教程】1、HBase之單機模式與偽分散式模式安裝
在這篇blog中，我們將介紹Hbase的單機模式安裝與偽分散式的安裝方式，以及通過瀏覽器檢視Hbase的使用者介面。搭建hbase偽分散式環境的前提是我們已經搭建好了hadoop完全分散式環境，搭建hadoop環境請參考：【Hadoop基礎教程】4、Hadoop
Hadoop3-偽分散式模式安裝
今天無意間看到Hadoop3去年年底就release了，今天就準備裝個環境看看。 安裝配置 首先從下面的地址下載安裝包 這裡我下載的是hadoop-3.0.0.tar.gz包，解壓安裝。 $ tar zxvf hadoop-3.0.0.tar
Hadoop本地模式、偽分散式和全分散式叢集安裝與部署
<link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/
Hadoop-2.9.2單機版安裝（偽分散式模式）
一、環境 硬體：虛擬機器VMware、win7 作業系統：Centos-7 64位 主機名： hadoopServerOne 安裝使用者：root軟體：jdk1.8.0_181、Hadoop-2.9.2 二、安裝jdk 1.建立hadoop目錄，並賦許可權chmod 777 hadoop2.下載jdk-
Hadoop從入門到精通系列之--2.本地模式和偽分佈模式
目錄 一 Hadoop本地模式和偽分散式模式概述 二 Hadoop偽分散式環境搭建 2.1步驟分析 2.2配置叢集 2.3啟動叢集 2.4 配置YARN 2.5啟動叢集（帶YARN） 2.6檢視YARN 三 在叢集上執行第一個程式 3.1 準備
Hadoop：Hadoop單機偽分散式的安裝和配置
因為lz的linux系統已經安裝好了很多開發環境，可能下面的步驟有遺漏。之前是在docker中配置的hadoop單機偽分散式[ ]，並且在docker只有root使用者，所有沒有許可權問題存在。這裡直接在linux下配置，主要是為了能用netbeans ide除錯had
Hadoop CDH5 手動安裝偽分散式模式
CDH5已經使用了Hadoop2.2.0 重新弄個虛擬機器重頭裝一下 由於Cloudera強烈建議使用rmp包或者apt-get的方式安裝，一時半刻我都沒有找到手動安裝的說明，在安裝的遇到多個問題，稍作記錄 首先環境要求 JDK1.7_u25+
【分散式】hadoop安裝篇（7）Hadoop 3的偽分佈模式安裝
準備$ sudo apt-get install ssh $ sudo apt-get install pdsh我們還需要設定pdsh的rcmd，執行下面內容。或建立/etc/pdsh/rcmd_default，裡面填入sshecho "ssh" > /etc/pdsh
cdh版本的hadoop安裝及配置(偽分散式模式) MapReduce配置 yarn配置
安裝hadoop需要jdk依賴，我這裡是用jdk8jdk版本：jdk1.8.0_151hadoop版本：hadoop-2.5.0-cdh5.3.6hadoop下載地址：連結：https://pan.baidu.com/s/1qZNeVFm 密碼：cilnjdk下載地址：連結：
安裝Hadoop及配置偽分散式模式的Hadoop
一．實驗目的 1. 掌握Linux虛擬機器的安裝方法。 2. 掌握Hadoop的偽分散式安裝方法。 二．實驗內容 （一）Linux基本操作命令 Linux常用基本命令包括： ls,cd,mkdir,rm,man,cat,ssh,yum,vim,vi等。 （二）安裝JDK Hadoop是Java實現的，執行在J
linux搭建單機版和偽分散式hadoop
前提:我使用的window作業系統，然後下載的VMware建立虛擬機器，然後在xshell中進行操作，並使用filezilla進行檔案的上傳。這些可以自行百度搜索下載。 單機版hadoop環境搭建 首先我們用VMware建立一個新的虛擬機器。建立過程不在細說了。 建立完成後，user
Hadoop的偽分散式的安裝及部署
文章目錄 需要的軟體及原始碼包 安裝JDK Hadoop的部署安裝 Hadoop的配置 Hadoop的使用 做Hadoop的偽分散式我們分為一下幾個步驟 需要的軟體及原始碼包 FileZil
hadoop 偽分散式模式學習筆記
前言 Hadoop在大資料技術體系中的地位至關重要，Hadoop是大資料技術的基礎。 這是一篇記錄我自己學習的文章，Hadoop的學習方法很多，網上也有很多學習路線圖。 hadoop介紹 Hadoop是一個能夠對海量資料進行分散式處理的系統架構。我採用的是hadoop-2.8.0,它主要包含3大塊：