1. 程式人生 > >hadoop叢集配置(一,單點配置)

hadoop叢集配置(一,單點配置)

參考書籍:Hadoop+Speak大資料巨量分析與機器學習整合開發實戰。林大貴。不錯  單點 叢集  機器學習都可以。

走一遍hadoop叢集配置在一臺節點上建立新使用者Hadoop      useradd Hadoop   新增密碼  passwd  hadoop 更新包:[email protected]:~$ sudo apt update
安裝JDK:[email protected]:~$ sudo apt install default-jre搞定。安裝SSH   sudo apt install ssh   sudo apt install rsync生成金鑰檔案[email protected]
:~$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa[email protected]:~/.ssh$ cat ~/.ssh/id_dsa.pub >>~/.ssh/authorized_keys下載Hadoop。解壓,sudo tar -zxvf  hadoop-xxxxxxxll
移動到usr/local/hadoop設定hadoop環境變數export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre/bin/java
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-DJava.library.path=$HADOOP_HOME/lib"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH生效:
[email protected]
:/usr/local/hadoop$ source ~/.bashrc修改Hadoop配置設定檔案,包括 hadoop-env.sh  core-site.xml yarn-site.xml mapred-site.xml hdfs-site.xml
sudo gedit /usr/local/hadoop/etc/had                   sudo cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml
其中 chown是把目錄的擁有者改為hdusr,照著書上寫的有錯,usr是不是hadoop,不清楚,先不管。所有人都可以用然後:hadoop namenode -format 將HDFS格式化start-all.sh    就可以用了 但是現在只是單個節點    而且用jps檢視的時候居然沒有nodemanager和namenode啟動,今天又檢查了一遍,第一個是因為有些資訊打錯了,另外一各不知道怎麼的就好了....玄學。

相關推薦

hadoop叢集配置配置

參考書籍:Hadoop+Speak大資料巨量分析與機器學習整合開發實戰。林大貴。不錯  單點 叢集  機器學習都可以。走一遍hadoop叢集配置在一臺節點上建立新使用者Hadoop      useradd Hadoop   新增密碼  passwd  hadoop 更新包:

Color the ball 樹狀陣列區間更新查詢

N個氣球排成一排,從左到右依次編號為1,2,3....N.每次給定2個整數a b(a <= b),lele便為騎上他的“小飛鴿"牌電動車從氣球a開始到氣球b依次給每個氣球塗一次顏色。但是N次以後lele已經忘記了第I個氣球已經塗過幾次顏色了,你能幫他算出每個氣球被塗過幾次顏色嗎? Inpu

樹狀陣列更新和區間更新二維陣列poj2155區間更新查詢已加入區間修改區間查詢

普通的樹狀陣列C[i]=a[i]+a[i-1]+...a[i-2^k+1]+...+a[1]; 但是所有樹狀陣列都是向上更新,向下求和。 1)、單點增減+區間求和 思路:C[x]表示該點的元素:sum(x)=C[1]+C[2]+……C[x] [cpp] view p

學習webpack4.X安裝和配置熱更新

什麼是webpack WebPack可以看做是模組打包機:它做的事情是,分析你的專案結構,找到JavaScript模組以及其它的一些瀏覽器不能直接執行的拓展語言(Sass,TypeScript等),並將其轉換和打包為合適的格式供瀏覽器使用。在3.0出現後

樹狀陣列區間修改查詢

這裡介紹樹狀陣列+差分思想,算是對下面大神的補充吧。 何為差分現在我們有一個從小到大的數列a[] a{1,3,6,8,9}; 然後還有一個差分陣列b[] b{1,2,3,2,1} 相信某些小夥伴已經看

二維樹狀陣列區間修改查詢

好像不管是幾維都和一維原理差不多,多了一個維度也就多了一層迴圈而已(QAQ) #include <cstdio> #include <cstdlib> #include <cstring> #include <cmath&g

hdu2795線段樹修改

/**/ #include <cstdio> #include <cstring> #include <cmath> #include <cctype> #include <iostream> #include <algorithm&

Spring基礎學習XMLnew實力物件

與mybatis和hibernate一樣先匯入架包 建立類,專案大致類和包如下 BookServiceImpl 類 public class BookServiceImpl implements BookService{ //之前開發:介面 = 實現類 (serv

樹狀陣列區間修改查詢洛谷:樹狀陣列2

模版和單點修改區間查詢差不多 樹狀陣列(單點修改區間查詢) https://blog.csdn.net/johnwayne0317/article/details/84927585 然後用到了差分陣列 https://blog.csdn.net/johnwayne0317/a

HDU 1754 I Hate It線段數-更新

原題連結:I Hate It 題目分析:這個是線段樹的基本操作——更新和查詢,屬於基礎題,也就相當於一個模板吧,這裡就不再多說了。 程式碼如下:(PS:特別注意——輸入輸出用  不然會超時) #include <cstdio> #include &

hadoop分散式搭建+zookeeper6臺機器

前期準備(這裡使用的centOS6,hadoop2.2.0【這是64位的hadoop2.2.0的安裝包和原始碼包下載地址:http://download.csdn.net/detail/vinsuan1993/9812599】): 1.修改Linux主機名 2.修改IP

樹狀陣列進階區間修改+查詢

  這篇文章既然是進階的文章,那麼肯定需要一定的基礎知識,所以,如果您對樹狀陣列的基本原理和基本操作(區間查詢和單點修改)不熟悉的話,請先看看我的另一片文章:樹狀陣列趣解,因為有些基本的內容,我在這裡就不會再提了。   我們來看看本次要講的內容和樹狀陣列的基本職

Android鎖屏或滅屏狀態下快速按兩次音量下鍵實現抓拍功能Framework層實現

    WindowManagerService迴圈讀取下面按鍵訊息並分發給視窗,在訊息分發前會在PhoneWindowManager.interceptKeyBeforeQueueing方法中進行訊息的過濾。因此該實現方式為在訊息分發前的interceptKeyBeforeQueueing方法中監聽當前按

CodeForces 91B Queue 線段樹操作

The first line contains an integer n (2 ≤ n ≤ 105) — the number of walruses in the queue. The second line contains integers ai (1 ≤ ai ≤ 109). Note that

HDFS環境搭建節點配置 hadoop叢集搭建hdfs

【參考文章】:hadoop叢集搭建(hdfs) 1. Hadoop下載   官網下載地址:   https://hadoop.apache.org/releases.html,進入官網根據自己需要下載具體的安裝包   清華大學安裝包的映象檔案下載地址:   https://mirrors.tuna.

【Big Data】HADOOP叢集配置

摘要: hadoop叢集配置系列文件,是筆者在實驗室真機環境實驗後整理而得。以便隨後工作所需,做以知識整理,另則與部落格園朋友分享實驗成果,因為筆者在學習初期,也遇到不少問題。但是網上一些文件大多互相抄襲,裡面錯誤百出。筆者結合自學書籍視訊等資料,完成這一套配置資料。實驗結果和過程經過反覆測試無誤後方

【從單體架構到分散式架構】請求增多叢集(2):Nginx

``` 上一個章節,我們學習了負載均衡的理論知識,那麼是不是把應用部署多套,前面掛一個負載均衡的軟體或硬體就可以應對高併發了?其實還有很多問題需要考慮。比如: 1. 當一臺伺服器掛掉,請求如何轉發到其他正常的伺服器上? 2. 掛掉的伺服器,怎麼才能不再訪問? 3. 如何保證負載均衡的高可用性? 等等等等.

Buy Tickets線段樹更新逆向思維

fin eve lang sum free orz cst ssi -s 題目大意:有n個的排隊,每一個人都有一個val來對應,每一個後來人都會插入當前隊伍的某一個位置pos。要求把隊伍最後的狀態輸出。 個人心得:哈哈,用鏈表寫了下,果不其然超時了,後面轉念一想要用靜態數組

在CentOS上安裝Hadoop集群-- Centos系統配置

修改 AD vi命令 分享圖片 命令 wall eth0 host log 在CentOS上安裝Hadoop集群(一) 1、 Centos的系統配置 1.1打開終端方式: 方式1:在桌面單擊右鍵,>>Open in terminal 方式2:Appl

線段樹樹狀數組操作

容易 當前 AI CA src http 開始 搜索 異或運算 考慮一個無限完整的二叉搜索樹(參見下圖),節點中的數字是1,2,3,....在根節點為X的子樹中,我們可以通過重復獲得該子樹中的最小數量沿著左邊的節點往下走,直到最後一層,我們也可以通過沿著右邊的節點找到最大數