1. 程式人生 > >hadoop單機部署

hadoop單機部署

1、安裝java環境(此處省略)

2、解壓hadoop,並配置hadoop環境變數到/etc/profile

解壓hadoop-2.9.0.tar.gz

tar -xzvf hadoop-2.9.0.tar.gz

新增hadoop環境變數

vim /etc/profile

# hadoop path
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.9.0/bin
export PATH=$PATH:$HADOOP_HOME

3、修改Hadoop配置

首先配置ip對映

vim /etc/hosts
因為需要遠端連線,所以這裡ip要設定為本機ip,不能設定成127.0.0.1
172.16.252.150 hadoop

(1).修改hadoop解壓目錄下的 etc/hadoop/hadoop-env.sh檔案

指定java目錄

export JAVA_HOME=/usr/local/jdk1.8.0_131

(2)修改etc/hadoop/core-site.xml:

首先要建立tmp目錄,用於資料持久化

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop:9000</value>
    </property>
    <!--存放資料的公共目錄 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/hadoop-2.9.0/tmp</value>
    </property>
</configuration>

(3)修改etc/hadoop/hdfs-site.xml檔案

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <!-- 開啟許可權,遠端客戶端可以通過指令碼給hdfs建立目錄 -->
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
    <property>
        <name>dfs.datanode.http.address</name>
        <value>0.0.0.0:50075</value>
    </property>
</configuration>

(4)修改etc/hadoop/mapred-site.xml檔案

<configuration>
    <property>
    <name>mapred.job.tracker</name>
    <value>hadoop:9001</value>
  </property>
  <property>
    <name>mapred.child.tmp</name>
    <value>/usr/local/hadoop/hadoop-2.9.0/tmp</value>
  </property>
</configuration>
4、安裝Hadoop分散式檔案系統

(1)格式化檔案系統:

bin/hdfs namenode -format
(2)啟動NameNode程序和DateNode程序
sbin/start-all.sh
(3)檢視hadoop程序是否正常啟動
ps -ef|grep hadoop

5、在web瀏覽器中訪問NameNode的web介面,預設地址為:http://localhost:50070/

 

如果出現上圖所示介面說明hadoop啟動成功。

相關推薦

hadoop單機部署

1、安裝java環境(此處省略)2、解壓hadoop,並配置hadoop環境變數到/etc/profile解壓hadoop-2.9.0.tar.gztar -xzvf hadoop-2.9.0.tar.gz新增hadoop環境變數vim /etc/profile# hadoo

hadoop單機部署,用來測試

2. Hadoop安裝 2.1 安裝java Hadoop是使用JAVA寫的,所以需要先安裝JAVA環境。 本次安裝的是hadoop-2.7.0,需要JDK 7以上版本。 yum

Hadoop 單機部署與eclipse開發

A)版本 hadoop-1.0.3 jdk1.6.0_32eclipse hadoop開發外掛 hadoop-eclipse-plugin-1.0.3.jarhadoop-1.0.3  使用單機模式安裝, 埠 hdfs 9000  mapred 9001B)環境conf/co

Hadoop學習------Hadoop安裝方式之(一):單機部署

root權限 出錯 密碼登錄 例子 .tar.gz sta /usr 成功 tput Hadoop 默認模式為單機(非分布式模式),無需進行其他配置即可運行。非分布式即單 Java 進程,方便進行調試。 1、創建用戶 1.1創建hadoop用戶組和用戶 一般我們不會

centos kafka單包單機部署

centos kafka單包單機部署kafka下載地址http://kafka.apache.org/downloads.html在這裏下載kafka_2.11-0.10.0.0.tgz,kafka和zookeeper都用同一個包裏的安裝和配置jdk(略過)JAVA_HOME=/opt/jdk1.8.0_13

hadoop部署以及應用

hadoop1.基礎環境[[email protected]/* */ ~]$ cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) [[email protected]/* */ ~]$ [[email

RocketMQ 消息隊列單機部署及使用

post final remove crc infa path dsta ssi slf4 轉載請註明來源:http://blog.csdn.net/loongshawn/article/details/51086876 相關文章: 《Rocke

ETL作業調度軟件TASKCTL4.1單機部署

節點 su命令 權限 一次 hat 作業調度 都是 環境變量 file 單機部署,實際上就是將EM節點和一個Server節點安裝到同一個地方。EM節點是TASKCTL服務端的最頂層,主要負責客戶端與服務端之間的通信。Server節點是TASKCTL的調度服務控制層,也有Ag

單機部署Fastfds+nginx

make -m isa entos x64 生成 iptables 創建 可能 一、環境 centos6.5 x64 IP:192.168.66.129 所需軟件包: libfastcommon-1.0.7.zip,FastDFS_v5.05.tar.gz,ngi

kubernetes 1.8 單機部署

kubernetes heapster dashboard docker註:這裏就不科普了,直接開始部署。[這裏使用HTTP來部署]1. 關閉 SeLinux 和 FireWall# sed -i "s/SELINUX=enforcing/SELINUX=disabled" /etc/selinux/co

hadoop單機版安裝及基本功能演示

lis fs基本操作 map jdk1 linu logs tput open etc 本文所使用的Linux發行版本為:CentOS Linux release 7.4.1708 (Core) hadoop單機版安裝 準備工作 創建用戶 useradd -m hado

CentOS 7單機部署Open-Falcon監控

變量 api version rpm包 left 遇到的問題 能夠 pip安裝 vpd 對於Open-Falcon 系統的部署,研究了一段時間才部署成功,文檔主要部署的為v0.2.1版本,參考官網文檔。關於該監控系統的部署分為三個部分,一、環境準備;二、啟動後端;三

centos7單機部署

解壓 pack api .sql txt portal n-n ase 編譯源碼 一、環境準備首先將服務器內部防火墻關閉,並關機開機啟動,並關閉selinux,此處不在贅述。1.1 安裝wget和vim軟件(個人習慣使用vim編輯文件)1yum install -y wge

大數據測試之hadoop單機環境搭建(超級詳細版)

com jvm 末尾 內容 取數 搭建 cluster replicat specific 友情提示:本文超級長,請備好瓜子 Hadoop的運行模式 單機模式是Hadoop的默認模式,在該模式下無需任何守護進程,所有程序都在單個JVM上運行,該模式主要用於開發和調試map

Minikube之Win10單機部署

本地 ror docker集群 我們 dock mirror 文章 hyper-v管理 tor Kubernetes(k8s)是自動化容器操作的開源平臺,基於這個平臺,你可以進行容器部署,資源調度和集群擴容等操作。如果你曾經用過Docker部署容器,那麽可以將Docker看

Hadoop單機版安裝配置

大數據 Hadoop [toc] Hadoop單機版安裝配置 前言 Hadoop單機版本的環境搭建比較簡單,這裏總結一下。 Centos基本配置 網絡配置 IPADDR=192.168.43.101 NETMASK=255.255.255.0 GATEWAY=192.168.43.2 DNS1=202

MySQL5.6單機部署安裝

erro table align log-error pda init his eve selinux MySQL二進制包安裝: 安裝包獲取方式 官網下載url: http://dev.mysql.com/downloads/mysql/ 數據庫下載url

Window下Tomcat單機部署多應用

技術分享 14. 端口 一個tomcat window timeout mage server bin 1. 新增tomcat相關環境變量 如上圖,有兩個tomcat,tomcat1和tomcat2 2.修改catalina.bat 文件 第一個tomcat

通過Hadoop安全部署經驗總結,開發出以下十大建議,以確保大型和復雜多樣環境下的數據信息安全。

同時 數據集 環境 部署 集群 暴露 用戶 控制 特定 通過Hadoop安全部署經驗總結,開發出以下十大建議,以確保大型和復雜多樣環境下的數據信息安全。 1、先下手為強!在規劃部署階段就確定數據的隱私保護策略,最好是在將數據放入到Hadoop之前就確定好保護策略。  2、確

TIDB 單機部署

linu -- 檢查文件完整性 ubuntu lead 命令 shel 令行 clust 單機版的TiDB體驗 註:操作系統是CentOS 7.4 、 Ubuntu 16 # 下載壓縮包 wget http://download.pingcap.org/tidb-lates