本地搭建hadoop叢集--準備階段 JDK安裝
從網上下載 jdk1.8.0 linux版本 tag包
將檔案上傳或者copy到/opt 目錄下
mkdir /opt/module
tar -zxvf 包名Tab補全 -C /opt/module 等待解壓完成
cd /opt/module/jdk1.8.0_131
pwd 複製路勁
root下 vi /etc/profile 或者 sudo vi /etc/profile
最後一行
配置環境變數
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_131
export PATH=$PATH:$JAVA_HOME/bin
export PATH=$PATH:$JAVA_HOME/sbin
退出 :wq 儲存
source /etc/profile 使 環境變數生效
java -version 出現如下 資訊表示 完成配置
相關推薦
本地搭建hadoop叢集--準備階段 JDK安裝
從網上下載 jdk1.8.0 linux版本 tag包 將檔案上傳或者copy到/opt 目錄下 mkdir /opt/module tar -zxvf 包名Tab補全 -C /opt/module 等待解壓完成 cd /opt/module/jdk1.8.0_1
本地搭建hadoop叢集--kylin的安裝(叢集部署)
kylin官方安裝文件 http://kylin.apache.org/cn/docs/install/configuration.html 總結: 1、關於麒麟高可用涉及負載均衡官網都說超出範圍了,安裝只考慮安裝的事情,其餘的先忽略 2、kylin在啟動的時候會自動檢測你本地h
本地搭建hadoop叢集--sqoop的安裝.1.4.7 使用db2
安裝 1、解壓tar包 2、進入conf目錄 3、修改配置檔案 cp -a sqoop-env-template.sh sqoop-env.sh vm sqoop-env.sh export HADOOP_COMMON_HOME=/opt/mo
本地搭建hadoop叢集--hbase和zookeeper的安裝
zookeeper的安裝 1、解壓tar包 2、修改配置檔案 cd conf cp -a zoo_sample.cfg zoo.cfg vim zoo.cfg 配置 dataDir=/opt/module/zookeeper-3.4.12/data 以
本地搭建hadoop叢集--hive安裝2.3.3
2.3.3和2以下的安裝區別就是 如下波浪線 需要在執行hive之前 進入 bin目錄 schematool -dbType derby -initSchema 這裡可以用mysql 。derby都行。 具體支援哪些jdbc 作為元資料底層 這個就不曉得了。目前用的最多的是 mysq
本地搭建hadoop叢集-hive多節點訪問(hive2.3.3)
一、思路 1.安裝hadoop叢集。我這裡使用的是自己編譯的2.7.6 2.元資料使用mysql作為技術支撐 3.配置hive引數分發至各個節點 4.hive服務端啟動 5.各個節點hive客戶端訪問 二、mysql的安裝 rpm -q mysq
本地搭建hadoop叢集--hadoop叢集部署
我的機器 master slave1 salve2 slave3 namenode datanode datanode datanode
本地搭建hadoop叢集--ntp同步叢集時間
使用ntp對外提供伺服器叢集時間同步 一般選擇masterzu作為ntp伺服器 首先檢查機器是否 安裝ntp rpm -qa|grep ntp 如果安裝則編輯文件如下操作 儲存退出 vim /etc/ntp.conf 第一個圈 取消註釋 第二
本地搭建hadoop叢集--設定ssh免登陸及免登原理
ssh免登就是 機器與機器之間通過金鑰相互信任跳過登陸 命令 cd cd .ssh/ ssh-keygen -t rsa 會生成兩個金鑰 id_rsa id_rsa.pub 顧名思義 一個是公鑰 一個是私鑰 A與B
本地搭建hadoop叢集-各種報錯,不斷更新
20180716: Unable to obtain hostName java.net.UnknownHostException: hadoop100: hadoop100 解決方案: vi /etc/hosts 檢視叢集對應ip 名稱 192.168.77.100 mas
本地搭建hadoop叢集--hadoop2.7.6-src在linux上編譯解決downloading過慢教程
第一步:工具的準備 apache-ant-1.9.9-bin.tar.gz apache-maven-3.0.5-bin.tar.gz hadoop-2.7.6-src.tar.gz jdk1.7 就好別用1.8 據說 用1.8 maven 編譯 會報各種錯。 protobuf-2
CentOS 7 搭建hadoop叢集(提供各種安裝包 超值免費)
軟體VMware 點選下載 提取碼:arqc 虛擬機器安裝教程 點選 Xftp 5 提取碼:qqeb hadoop安裝教程 人家寫的挺好 我也就不重複了,安裝測試遇到的什麼問題都可以在下面留言,基本隨時回。 ---------------------
【搭建Hadoop叢集看一篇成高手系列01】hadoop執行環境的搭建篇——虛擬機器準備
版權宣告:本文為博主原創文章,未經博主允許不得轉載。 https://blog.csdn.net/wx1528159409 目錄 1. 在VMware Workstation下安裝CentOs,新建虛擬機器並安裝VMtools 2. 修改虛擬機器IP,聯網並連線Xshell 3
從零搭建Hadoop叢集(一)——離線安裝YUM源搭建
概述 Cloudera版本(Cloudera’s Distribution Including Apache Hadoop,簡稱“CDH”),基於Web的使用者管理介面,支援大部分Hadoop元件,包括HDFS、YARN、Hive、 Hbase、Zookeep
使用Docker在本地搭建Hadoop分散式叢集
學習Hadoop叢集環境搭建是Hadoop入門必經之路。搭建分散式叢集通常有兩個辦法: 要麼找多臺機器來部署(常常找不到機器) 或者在本地開多個虛擬機器(開銷很大,對宿主機器效能要求高,光是安裝多個虛擬機器系統就得搞半天……)。 那麼,問題來了! 有沒有更有可行
如何用CDH快速安裝搭建Hadoop叢集
安裝配置CDH 1、安裝 Cloudera Manager Server&Agent 拷貝cloudera-manager-el6-cm5.4.3_x86_64.tar.gz 到所有 Server、Agent節點 scp cloudera-mana
AWS上搭建Hadoop叢集(一)——單機安裝Hadoop
課堂專案中實現了在AWS上搭建Hadoop叢集進行資料分析,過程中間不免遇到眾多問題,在此總結以供各位參考。 建立EC2例項 亞馬遜AWS服務想必大家都有所瞭解,這裡略過註冊過程(為了拿student credit還是花了一番功夫)。在EC2的介面上,
CentOS 7.4 安裝 Ambari 2.6.0 + HDP 2.6.3 搭建Hadoop叢集
1.安裝環境說明 三臺機器安裝好CentOS-7-x86_64-Minimal-1708.iso 下載地址:https://www.centos.org/download/ 最好在安裝時設定好IP和HOSTNAME 三臺機器的IP和HOSTNAME下載如下 主
Ambari學習筆記:以本地倉庫自動搭建hadoop叢集環境
測試平臺:Ubuntu_server_16.04_x64 準備好一臺虛擬機器,安裝vmtool以設定共享資料夾: sudo mkdir /mnt/cdrom mount -tro iso9660 /dev/cdrom /mnt/cdrom sudo ta
docker中搭建Hadoop叢集
前提:jdk和ssh服務都已經安裝完成,如未完成,請參考博主所寫部落格 1、建立映象容器 -P將容器的所有埠對映到主機埠 docker run -itd -v /c/Users:/root/build -P -h master --name master --net mynetwork --