Hadoop環境搭建(JDK+hadoop+ssh)
hadoop環境搭建 ------------------------- 1.安裝hadoop a)下載hadoop-2.7.3.tar.gz b)tar開 $>su centos ; cd ~ $>cp /mnt/hdfs/downloads/bigdata/hadoop-2.7.3.tar.gz ~/downloads $>tar -xzvf hadoop-2.7.3.tar.gz c)無 d)移動tar開的檔案到/soft下 $>mv ~/downloads/hadoop-2.7.3 /soft/ e)建立符號連線 $>ln -s /soft/hadoop-2.7.3 /soft/hadoop f)驗證jdk安裝是否成功 $>cd /soft/hadoop/bin $>./hadoop version 2.配置hadoop環境變數(包括jdk和hadoop) $>sudo nano /etc/profile ... export JAVA_HOME=/soft/jdk exprot PATH=$PATH:$JAVA_HOME/bin export HADOOP_HOME=/soft/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin 3.使配置檔案生效 $>source /etc/profile 配置hadoop -------------------- 1.standalone(local) nothing ! 不需要啟用單獨的hadoop程序。 2.Pseudodistributed mode 偽分佈模式。 a)進入${HADOOP_HOME}/etc/hadoop目錄 b)編輯core-site.xml <?xml version="1.0"?> <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost/</value> </property> </configuration> c)編輯hdfs-site.xml <?xml version="1.0"?> <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> d)編輯mapred-site.xml 注意:cp mapred-site.xml.template mapred-site.xml <?xml version="1.0"?> <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> e)編輯yarn-site.xml <?xml version="1.0"?> <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> f)配置SSH 1)檢查是否安裝了ssh相關軟體包(openssh-server + openssh-clients + openssh) $yum list installed | grep ssh 2)檢查是否啟動了sshd程序 $>ps -Af | grep sshd 3)在client側生成公私祕鑰對。 $>ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa 4)生成~/.ssh資料夾,裡面有id_rsa(私鑰) + id_rsa.pub(公鑰) 5)追加公鑰到~/.ssh/authorized_keys檔案中(檔名、位置固定) $>cd ~/.ssh $>cat id_rsa.pub >> authorized_keys 6)修改authorized_keys的許可權為644. $>chmod 644 authorized_keys 7)測試 $>ssh localhost
相關推薦
Hadoop環境搭建(JDK+hadoop+ssh)
hadoop環境搭建 ------------------------- 1.安裝hadoop a)下載hadoop-2.7.3.tar.gz b)tar開 $>su centos ; cd ~ $>cp /mnt/hdfs/download
hadoop環境搭建(linux單機版)
mapred 單機 keygen opts -c 配置 驗證 bsp 服務 一、在Ubuntu下創建hadoop用戶組合hadoop用戶 1、創建hadoop用戶組 addgroup hadoop 2、創建hadoop用戶 adduser -ingrou
java web開發環境搭建(jdk+Tomcat+Eclipse)(Eclipse食用方法)
首先-什麼是web應用程式? -可以用瀏覽器直接訪問的應用程式,不需要安裝其他軟體。 軟體開發領域的三大方向:桌面應用程式(C/S)、web應用程式 、嵌入式應用程式(安卓 iphone) 而ja
HDFS環境搭建(單節點配置) hadoop叢集搭建(hdfs)
【參考文章】:hadoop叢集搭建(hdfs) 1. Hadoop下載 官網下載地址: https://hadoop.apache.org/releases.html,進入官網根據自己需要下載具體的安裝包 清華大學安裝包的映象檔案下載地址: https://mirrors.tuna.
Hadoop環境搭建(為分散式)
安裝前準備(centos): 1)設定普通使用者以及設定sudo許可權----------- -----useadd hadoop -----passwd hadoop --[root]--visudo 2)關閉防火牆 ---- service iptables stop 3)設定主
Hadoop環境搭建(為分布式)
分布 site 永久 red 成功 manage 綁定 daemon replicat 安裝前準備(centos): 1)設置普通用戶以及設置sudo權限----------- -----useadd hadoop -----passwd hadoop --[root]--
Hadoop專案開發環境搭建(Eclipse\MyEclipse + Maven)
寫在前面的話 可詳細參考,一定得去看 我這裡,相信,能看此部落格的朋友,想必是有一定基礎的了。我前期寫了大量的基礎性博文。可以去補下基礎。 步驟一:File -> New -> Project -> Maven Project
java開發環境搭建(jdk安裝)和經常出現問題的探討
面對許多java初學者環境搭建出現的問題 第一步: 1,首先在可以百度jdk進入oracle的官網也可以進入這個網站 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2,下載完
騰訊雲CentOS7環境搭建(JDK、MySQL、Tomcat)
準備工作: JDK下載,連結:https://pan.baidu.com/s/18V-JxhPydNSHCaG_OuDNqg 提取碼:ctus Toncat下載,連結:https://pan.baidu.com/s/1dOY0M8-wkrp0Do5NFWNs2g 提
hadoop叢集搭建(超詳細版)
1.準備好需要安裝的軟體虛擬機器VMware12.pro作業系統CentOS 6.5遠端控制虛擬機器的終端SecureCRT8.12.在虛擬機器中安裝CentOS作業系統安裝好虛擬機器,圖形介面如下圖建立新的虛擬機器,選擇自定義(高階),點選下一步虛擬機器硬體相容性預設,瀏覽
Hadoop叢集搭建(三臺電腦)
電腦的作業系統是Ubuntu12.04 32位,ubuntu-12.04.4-desktop-i386.iso。 叢集介紹: 三臺電腦的使用者名稱都為hadoop 主機名:master 10.10.6.176 服務機:sl
javaEE基本環境搭建(JDK 、Tomcat、MySQL、Navicat、maven、git、IDEA)
一、JDK 安裝配置 下載後點擊執行它,一步一步安裝至成功,不要怕就下一步下一步來。 注意:64位和32位按照各自電腦多少位來安裝哈!!! 安裝後並不能直接使用,要配置環境變數,步驟如下: 1、開啟計算機→屬性→高階系統設定→環境變數 2、系統
CentOS7.2環境搭建(JDK、MySQL、Tomcat)
一、JDK安裝配置 1、檔案準備 下載 jdk-8u151-linux-x64.tar.gz 連結:https://pan.baidu.com/s/1JHIHk9bGjgoWaziByhqGdQ 提取碼:lslk 2、目錄準備 命令(進入目錄):cd
jumpserver-0.3.2 堡壘機環境搭建(圖文詳解)
其他 install yum mage -128 req isa 解決 qq密碼 下載安裝包:https://github.com/jumpserver/jumpserver.git 解壓 三、執行快速安裝腳本 cd /opt/jumpserver/install pip
註冊中心 Eureka 源碼解析 —— 調試環境搭建(含源碼)
Java 架構 依賴工具GradleJDKIntelliJ IDEA 源碼拉取https://github.com/Netflix/eureka.git使用 IntelliJ IDEA 從 Fork 出來的倉庫拉取代碼。拉取完成後,Gradle 會下載依賴包,可能會花費一些時間,耐心等待下。 本文基
手機自動化測試環境搭建(eclipse+python+uiautomator)
list fig finish java環境 pda 所有 開發 界面 自己 最近在公司做了一個階段的手機APP自動化測試,是在已有的環境基礎上進行腳本開發,所有對基礎的環境搭建不是很清楚,後來自己閑來無事就在家裏搭建了一下下,接下來和大家分享一下搭建過程。 一:搭建手機A
Appium+python自動化環境搭建(小白適用)
pri 一個 選中 sdk JD size 4.2 KS microsoft 寫在前面: 沒開始搭建前聽好多人說,學習appium80%的人都死於環境搭建,所以一開始很緊張,在搭建環境中也確實遇到了好幾個問題,由於之前本人使用app測試經驗很少,所以相當於app小白,因此有
Kafka:ZK+Kafka+Spark Streaming集群環境搭建(二十五)Structured Streaming:同一個topic中包含一組數據的多個部分,按照key它們拼接為一條記錄(以及遇到的問題)。
eas array 記錄 splay span ack timestamp b- each 需求: 目前kafka的topic上有一批數據,這些數據被分配到9個不同的partition中(就是發布時key:{m1,m2,m3,m4...m9},value:{records
ELK 環境搭建(Elasticsearch+Logstash+Kibana)
官網下載地址 https://www.elastic.co/cn/downloads 在安裝Elk之前,首先需要檢查jdk環境是不是1.8版本的,這個軟體暫時不相容jdk1.9。 java -version Elasticsearch 在/usr/local/目錄下建立elk資料
Spark開發環境搭建(IDEA、Maven)
在搭建開發環境之前,請先安裝好scala開發環境和spark: scala:https://blog.csdn.net/qq_39429714/article/details/84332869 spark:https://blog.csdn.net/qq_39429714/article/d