hadoop單機及偽分布式
阿新 • • 發佈：2019-04-19
entos 城市 hba 免密碼 執行 大數據處理 聚集 pla 匯總
hadoop的基本概念
偽分布式hadoop集群安裝
hdfs、MapReduce演示
互聯網正在從IT走向DT時代。
大數據應用分析
1、統計類的分析
2、推薦類的分析
3、機器學習（分類，聚類）
4、人工智能、預測（算法）
一、什麽是hadoop
官網：http://hadoop.apache.org hadoop是apache旗下的一套開源軟件平臺。 是一個可靠的、可擴展的、可分布式計算的開源軟件。 apache hadoop平臺是一個框架，允許使用簡單的編程模型。 該平臺被設計成可以從單個服務器擴展到數千臺服務器，每個服務器都提供本地計算和存儲。 也被設計成可檢測和處理應用層的故障（即高可靠、高容錯），高可用服務是基於計算機集群的，並且其中每一臺計算機都有可能失效。 hadoop提供的功能：利用服務器集群，根據用戶的自定義業務邏輯，對海量數據進行分布式處理 作者：doug cutting hadoop的核心組件： hadoop common：hadoop工具 hadoop distributed file system（HDFS）：分布式文件系統，解決海量數據的存儲 hadoop YARN：運算資源調度系統，解決資源管理調度 hadoop MapReduce：分布式運算編程框架，解決海量數據的分析模型 Hadoop在2.0將資源管理從MapReduce中獨立出來變成通用框架後，就從1.0的三層結構演變為了現在的四層架構： 1. 底層——存儲層，文件系統HDFS 2. 中間層——資源及數據管理層，YARN以及Sentry等 3. 上層——MapReduce、Impala、Spark等計算引擎 4. 頂層——基於MapReduce、Spark等計算引擎的高級封裝及工具，如Hive、Pig、Mahout等等 廣義上來說，hadoop通常是指一個更廣泛的概念——Hadoop生態圈
二、hadoop產生背景
1、hadoop最早起源於Nutch。 Nutch的設計目標是構建一個大型的全網搜索引擎，包括網頁抓取、索引、查詢等功能，但隨著抓取網頁數量的增加，遇到了嚴重的可擴展性問題——如何解決數十億網頁的存儲和索引問題。 2、2003年、2004年谷歌發表的兩篇論文為該問題提供了可行的解決方案。 分布式文件系統（GFS），可用於處理海量網頁的存儲； 分布式計算框架MapReduce，可用於處理海量網頁的索引計算問題。 3、Nutch的開發人員完成了相應的開源實現HDFS和MapReduce，並從Nutch中剝離成為獨立項目hadoop，到2008年1月，hadoop成為apache頂級項目，迎來了快速發展期。
三、hadoop在大數據、雲計算中的位置和關系
1、雲計算是分布式計算、並行計算、網格計算、多核計算、網絡存儲、虛擬化、負載均衡等傳統計算機技術和互聯網技術融合發展的產物。借助Iaas（基礎設施即服務）、Paas（平臺即服務）、Saas（軟件即服務）等業務模式，把強大的計算能力提供給終端用戶 2、現階段，雲計算的底層支撐技術為“虛擬化”和“大數據技術” 3、而hadoop則是雲計算的Paas層的解決方案之一，並不等同於Paas，更不等同於雲計算本身。 四、大數據處理業務應用 1、大型網站web服務器的日誌分析：一個大型網站的web服務器集群 ，每5分鐘收錄的點擊日誌高達800GB左右，峰值點擊每秒達到900萬次，每個5分鐘將數據裝載到內存中，高速計算網站的熱點URL，並將這些信息反饋給前端緩存服務器，以提高緩存命中率。 2、運營商流量分析：每天的流量數據在2TB~5TB左右，拷貝到HDFS上，通過交互式分析引擎框架，能運行幾百個復雜的數據清洗和報表業務，總時間比類似硬件配置的小型機集群和DB2快2~3倍。 3、IPTV收視統計與點播推薦：一個實時收視率統計和點播推薦系統，可以實時收集用戶的遙控器操作，提供實時的收視率榜單；並且根據內容推薦和協同過濾算法，實現了點播推薦服務。 4、城市交通卡口視頻監控信息的實時分析：采用基於流式stream進行全省範圍的交通卡口通過視頻監控收錄的信息進行實時分析、告警和統計（計算實時路況），對全省範圍內未年檢車輛或×××的分析延時在300毫秒左右，可以做出實時告警。 大數據是個復合專業，包括應用開發、軟件平臺、算法、數據挖掘等，因此，大數據技術領域的就業選擇是多樣的，但就hadoop而言，通常都需要具備以下技能或知識： 1、hadoop分布式集群的平臺搭建 2、hadoop分布式文件系統HDFS的原理理解及使用 3、hadoop分布式運算框架MapReduce的原理理解及編程 4、hive數據倉庫工具的熟練應用 5、flume、sqoop、oozie等輔助工具的熟練使用 6、shell、python等腳本語言的開發能力
hadoop對海量數據處理的解決思路：
HDFS的架構：
主從結構：
主節點：namenode
從節點：有很多個datanode
namenode負責：
接受用戶操作請求
存儲文件的元數據以及每個文件的塊列表和塊所在的datanode等
維護文件系統的目錄結構
管理文件與block之間的關系，block與datanode之間關系
datanode負責：
存儲文件
在本地文件系統存儲文件塊數據，以及塊數據的校驗和
文件被分成block存儲在磁盤上
為保證數據安全，文件會有多個副本
secondary namenode(2nn)：用於監控HDFS狀態的輔助後臺程序，每隔一段時間獲取和hdfs元數據的快照。
YARN架構：
1）ResourceManager（RM）主要作用如下：
（1）處理客戶端請求
（2）監控NodeManager
（3）啟動或監控ApplicationMaster
2）NodeManager（nm）主要作用如下：
（1）管理單個節點上的資源
（2）處理來自ResourceManager的命令
（3）處理來自ApplicationMaster的命令
3）ApplicationMaster（AM）作用：
（1）輔助數據的切分
（2）為應用程序申請資源並分配給內部的任務
（3）任務的監控與容錯
4）Container
Container是YARN中的資源抽象，它封裝了某個節點上的多維度資源，如內存、CPU、磁盤、網絡等。
問題：怎麽解決海量數據的計算
Mapreduce架構：
兩個程序：
Map：局部並行處理輸入數據
reduce：匯總局部處理的結果，再統計全局
hadoop1.x和hadoop2.x版本的區別：
安裝部署，運維、開發、測試
HDFS三大核心：HDFS、MapReduce、YARN
四個模塊：
hadoop common：為其他hadoop模塊提供基礎設施
hadoop dfs：一個高可靠、高吞吐量的分布式文件系統
hadoop mapreduce：一個分布式的離線並行計算框架
hadoop yarn：一個新的mapreduce框架，任務調度和資源管理
hadoop安裝:Hadoop三種安裝模式
1.Hadoop單機模式
單機模式是Hadoop默認的安裝模式，這種安裝模式主要就是並不配置更多的配置文件，只是保守的去設置默認的幾個配置文件中的初始化參數，它並不與其他節點進行交互，並且也不使用HDFS文件系統，它主要就是為了調試MapReduce程序而生。
2.Hadoop偽分布式安裝模式
Hadoop偽分布式安裝，需要配置5個常規的配置文件（XML），並且這裏涉及到了NameNode和DataNode節點交互問題，而且NameNode和DataNode在同一個節點上，還需要配置互信。其實從嚴格意義上來講，偽分布式集群，就已經可以稱之為真正意義上的集群了，而且這裏也包含了hdfs和MapReduce所有組件，只不過就是所有組件在同一個節點上而已。
3.Hadoop完全分布式安裝模式
Hadoop完全分布式集群主要分為：常規Hadoop完全分布式集群和Hadoop HA集群（這裏主要針對的是NameNode個數和NameNode的高可用保障機制而言）。由此可知較偽分布式集群而言，完全分布式集群，所有處理節點並不在同一個節點上，而是在多個節點上。
搭建一個偽分布式集群
一、環境搭建
1、系統環境
平臺：VMware Workstation 14
系統：centos 7.4
IP地址如下圖：
2、修改主機名：
hostnamectl set-hostname hadoop
useradd hadoop
passwd hadoop
visodu
hadoop ALL=(ALL) ALL
註：改完主機名後，需要exit退出，重新啟動。
3、修改/etc/hosts域名解析配置文件
vi /etc/hosts
192.168.80.100 hadoop
4、關閉防火墻和selinux
systemctl disable firewalld
systemctl stop firewalld
setenforce 0
sed -i ‘s/SELINUX=enforcing/SELINUX=disabled/g‘ /etc/selinux/config
5、安裝時間同步
yum -y install ntpdate
ntpdate time1.aliyun.com
6、安裝Java環境
1）解壓Java壓縮包
tar -xf jdk-8u11-linux-x64.tar.gz -C /opt
cp -rf jdk1.8.0_11/ /usr/local/java
2）配置Java環境變量
vi /etc/profile
末尾新增：
export JAVA_HOME=/usr/local/java
export JRE_HOME=/usr/local/java/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
3）生效環境變量
source /etc/profile
4）驗證
java -version
出現以下提示，代表java環境部署成功：
java version "1.8.0_11"
Java(TM) SE Runtime Environment (build 1.8.0_11-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.11-b03, mixed mode)
二、hadoop正式部署安裝
官方文檔：http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html#Standalone_Operation
下載地址：http://archive.apache.org/dist/hadoop/core/hadoop-3.1.0/hadoop-3.1.0.tar.gz
1、解壓hadoop軟件包
tar xf hadoop-3.1.0.tar.gz
2、重命名
mv hadoop-3.1.0/ /home/hadoop/hadoop
3、配置環境變量
vi /etc/profile
export HADOOP_HOME=/home/hadoop/hadoop
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native
export HADOOP_COMMON_LIB_NATIVE_DIR=/home/hadoop/hadoop/lib/native
export HADOOP_OPTS="-Djava.library.path=/home/hadoop/hadoop/lib"
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
#hadoop-3.1.0必須添加如下5個變量否則啟動報錯，hadoop-2.x貌似不需要
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
4、生效環境變量
source /etc/profile
5、測試是否配置成功
hadoop version
出現以下信息，代表配置成功：
Hadoop 3.1.0
Source code repository https://github.com/apache/hadoop -r 16b70619a24cdcf5d3b0fcf4b58ca77238ccbe6d
Compiled by centos on 2018-03-30T00:00Z
Compiled with protoc 2.5.0
From source with checksum 14182d20c972b3e2105580a1ad6990
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-3.1.0.jar
7、hadoop目錄認識
修改配置文件之前，先看一下hadoop下的目錄：
bin：hadoop最基本的管理腳本和使用腳本所在目錄，這些腳本是sbin目錄下管理腳本的基礎實現，用戶可以直接使用這些腳本管理和使用hadoop
etc：配置文件存放的目錄，包括core-site.xml,hdfs-site.xml,mapred-site.xml等從hadoop1.x繼承而來的配置文件和yarn-site.xml等hadoop2.x新增的配置文件
include：對外提供的編程庫頭文件（具體動態庫和靜態庫在lib目錄中，這些頭文件軍事用c++定義的，通常用於c++程序訪問hdfs或者編寫mapreduce程序）
Lib：該目錄包含了hadoop對外提供的才變成動態庫和靜態庫，與include目錄中的頭文件結合使用
libexec：各個服務對應的shell配置文件所在目錄，可用於配置日誌輸出目錄、啟動參數等信息
sbin：hadoop管理腳本所在目錄，主要包含hdfs和yarn中各類服務的啟動、關閉腳本
share：hadoop各個模塊編譯後的jar包所在目錄。
cd /home/hadoop/hadoop/etc/hadoop #此目錄是存放配置文件的
vi hadoop-env.sh #hadoop的變量設置腳本
#hadoop-3.1.0是第54行,hadoop-2.7.7是第25行
export JAVA_HOME=/usr/local/java
測試:
mkdir /home/input
hadoop jar /home/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.0.jar wordcount /home/input /home/output
hdfs dfs -ls /
cd /home/hadoop/hadoop/etc/hadoop/
vi core-site.xml #hadoopg公共文件，全局配置文件
添加以下幾行：
<configuration>
<!--指定HADOOP所使用的文件系統schema（URI），HDFS的老大（NameNode）的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop:9000</value>
</property>
<!--指定HADOOP運行時產生文件的存儲目錄-->
<property>
<name>hadoop.tmp.dir</name> #指定臨時數據存儲目錄
<value>/home/hadoop/hadoop/tmp</value> #系統路徑
</property>
</configuration>
註意：在hadoop安裝目錄的文檔中有所有配置文件的默認參數表，用戶可以查看後，根據實際情況進行修改。
uri是使用自己的協議以及自己的地址端口
/usr/local/hadoop/share/doc/hadoop/hadoop-project-dist/hadoop-common/core-default.html文檔中可以看到：
hadoop.tmp.dir的默認值是/tmp/hadoop-${user.name}。/tmp/是Linux系統的臨時目錄，如果我們不重新指定的話，默認Hadoop工作目錄在Linux的臨時目錄，一旦Linux系統重啟，所有文件將會清空，包括元數據等信息都丟失了，需要重新進行格式化，非常麻煩。
vi hdfs-site.xml #hdfs站點配置文件
添加以下幾行：
<configuration>
<!--指定HDFS副本的數量-->
<property>
<name>dfs.replication</name> #指定hdfs的副本數
<value>1</value> #指定副本數量
</property>
<!--設置默認端口，如果不加上會導致啟動hadoop-3.1.0後無法訪問50070端口查看HDFS管理界面，hadoop-2.x可以不加-->
<property>
<name>dfs.http.address</name>
<value>192.168.80.100:50070</value>
</property>
</configuration>
註：
hdfs-default.xml文檔中可以看到：
dfs.replication的默認值是3，由於HDFS的副本數不能大於DataNode數，而我們此時安裝的hadoop中只有一個DataNode，所以將dfs.replication值改為1。
dfs.namenode.http-address在hadoop-3.1.0版本上的默認值是?0.0.0.0:9870 ，在hadoop-2.7.7版本上的默認值是0.0.0.0:50070，所以不同版本可以通過不同端口訪問NameNode。
cp mapred-site.xml.templete mapred-site.xml #重命名，hadoop-3.1.0系統中就是mapred-site.xml不需要改名，hadoop-2.x需要改名
vi mapred-site.xml #添加如下幾行，指定hadoop運行在哪種計算框架上，這裏指定yarn框架。
<!--指定mr運行在yarn上-->
<property>
<name>mapreduce.framework.name</name> #指定MapReduce程序放在哪個服務上去啟用
<value>yarn</value>
</property>
vi yarn-env.xml #2.x版本需要更改jdk路徑
export JAVA_HOME =
vi yarn-site.xml #添加如下幾行
<configuration>
<!-- 指定YARN集群的老大（ResourceManager）的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop</value>
</property>
<!-- 指定reducer獲取數據的方式-->
<property>
<name>yarn.nodemanager.aux-services</name> #
<value>mapreduce_shuffle</value>
</property>
</configuration>
8、免密碼交互
ssh-keygen -t rsa #生成ssh密鑰對
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): #直接回車
Enter passphrase (empty for no passphrase): #直接回車
Enter same passphrase again: #直接回車
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:9NevFFklAS5HaUGJtVrfAlbYk82bStTwPvHIWY7as38 [email protected]
The key‘s randomart image is:
+---[RSA 2048]----+
| |
| |
| |
| . |
| . o S = |
| ..O * = |
| =X.%.E . . |
| *+=%oBo+.o |
| o=B+o++o.oo. |
+----[SHA256]-----+
cd /root/.ssh/
ls
id_rsa id_rsa.pub known_hosts
註：
#id_rsa為私鑰，id_rsa.pub為公鑰
因為搭建的是hadoop偽分布式，所以namenode與datanode都在一個節點上。
cp id_rsa.pub authorized_keys #使主機之間可以免密碼登錄
ssh hadoop date #查看（不需要輸入密碼，直接輸出結果，說明免密成功）
9、啟動hadoop集群
1）首先格式化NameNode
註意：如果格式化NameNode之後運行過hadoop，然後又想再格式化一次NameNode，那麽需要先刪除第一次運行Hadoop後產生的VERSION文件，否則會出錯，詳情見第四部分問題4。
cd
[[email protected] ~]# hdfs namenode -format #中間沒有報錯並且最後顯示如下信息表示格式化成功
...
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at hadoop/192.168.80.100
************************************************************/
格式化完成後，系統會在dfs.data.dir目錄下生成元數據信息。
name/current
data/current
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
或者：
start-dfs.sh
start-yarn.sh
2）輸入 start-all.sh 啟動
start-all.sh
Starting namenodes on [hadoop]
上一次登錄：四 4月 18 23:06:27 CST 2019從 192.168.80.1pts/1 上
Starting datanodes
上一次登錄：四 4月 18 23:53:44 CST 2019pts/1 上
localhost: Warning: Permanently added ‘localhost‘ (ECDSA) to the list of known hosts.
Starting secondary namenodes [hadoop]
上一次登錄：四 4月 18 23:53:46 CST 2019pts/1 上
2019-04-18 23:54:08,969 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting resourcemanager
上一次登錄：四 4月 18 23:54:03 CST 2019pts/1 上
Starting nodemanagers
上一次登錄：四 4月 18 23:54:10 CST 2019pts/1 上
3）執行 jps 驗證集群是否啟動成功
jps #顯示以下幾個進程說明啟動成功
96662 Jps
95273 DataNode #可有可無
95465 SecondaryNameNode #重要
95144 NameNode #重要
95900 NodeManager #可有可無
95775 ResourceManager #非常重要
4）登錄HDFS管理界面（NameNode）：http://ip:50070
5）登錄MR管理界面： http://ip:8088
使用：
上傳文件到hdfs中：
hadoop fs -put aa hdfs://192.168.80.100:9000/
註：aa是要上傳的文件名
簡寫：
hadoop fs -put aa /
從hdfs中下載文件：
hadoop fs -get hdfs://192.168.80.100:9000/aa
在hdfs中創建目錄：
hadoop fs -mkdir hdfs://192.168.80.100:9000/word
也可以簡寫：
hadoop fs -mkdir /word
調用MapReduce程序：
hadoop jar hadoop-mapreduce-examples~ pi 5 5
註：
pi：主類，計算圓周率
5：參數，map的任務數量
5：每個map的取樣數
hadoop jar hadoop-mapreduce-example~ word /word/input /word/output
hadoop fs -ls /word/output
hadoop fs -cat /word/output/part~
HDFS的實現思想：
1、hdfs是通過分布式集群來存儲文件
2、文件存儲到hdfs集群中去的時候是被切分成block的
3、文件的block存放在若幹臺datanode節點上
4、hdfs文件系統中的文件與真實的block之間有映射關系，由namenode管理
5、每一個block在集群中會存儲多個副本，好處是可以提高數據的可靠性，還可以提高訪問的吞吐量
我們可以看到不管是啟動還是關閉hadoop集群，系統都會報如下錯誤：
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
解決方式：先看看我們安裝的hadoop是否是64位的
[[email protected] hadoop]# file /usr/local/hadoop/lib/native/libhadoop.so.1.0.0 #出現以下信息表示我們的hadoop是64位的
/usr/local/hadoop/lib/native/libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, BuildID[sha1]=8d84d1f56b8c218d2a33512179fabffbf237816a, not stripped
永久解決方式：
vi /usr/local/hadoop/etc/hadoop/log4j.properties #在文件末尾添加如下一句，保存退出
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=Error
配置說明
JDK ：Hadoop和Spark 依賴的配置，官方建議JDK版本在1.7以上！！！
Scala：Spark依賴的配置，建議版本不低於spark的版本。
Hadoop: 是一個分布式系統基礎架構。
Spark: 分布式存儲的大數據進行處理的工具。
zookeeper:分布式應用程序協調服務，HBase集群需要。
HBase: 一個結構化數據的分布式存儲系統。
Hive: 基於Hadoop的一個數據倉庫工具，目前的默認元數據庫是mysql。
配置歷史服務器
vi mapred-site.xml
<!-- 歷史服務器端地址 -->
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop:10020</value>
</property>
<!-- 歷史服務器web端地址 -->
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop:19888</value>
<property>
啟動歷史服務器：
sbin/mr-jobhistory-daemon.sh start historyserver
查看歷史服務器是否啟動
jps
查看jobhistory：
192.168.80.100:19888
配置日誌聚集
日誌聚集：應用運行完成以後，將程序運行日誌信息上傳到HDFS系統上
好處：可以方便的查看到程序運行詳情，方便開發調試
註：開啟日誌聚集功能，需要重新啟動NodeManager、ResourceManager和HistoryManager
步驟：
關閉所有
sbin/mr-jobhistory-daemon.sh stop historyserver
sbin/yarn-daemon.sh stop nodemanager
sbin/yarn-daemon.sh stop resourcemanager
jps
vi yarn-site.xml
<!-- 日誌聚集功能使能 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日誌保留時間設置7天 -->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
<property>
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver
測試：
hadoop jar hadoop-mapreduce-examples~ pi 5 5
hadoop單機及偽分布式