1. 程式人生 > >hadoop初學之單機模式

hadoop初學之單機模式

第一步:首先確定linux安裝好了java可以檢視安裝的java版本(注安裝時要配置環境變數)

第二步:進入已經解壓好的hadoop目錄中

上圖就是我解壓到的目錄

第三步:配置hadoop

參考hadoop官網給出的步驟:


我自己的配置過程:

      1、進入解壓的hadoop的etc/hadoop目錄裡找到hadoop-env.sh檔案(可以使用xftp5找到,使用Notepad++開啟)

      2、在export JAVA_HOME=寫上自己的路徑:如下圖

            

     3、可以進行本機測試了(參考官網的例子)

          

  我的例子結果   :     

  

 我自己統計單詞例子加深理解

     1、在hadoop-2.9.0目錄下建立個目錄wcinput

     2、在建立的目錄建立個檔案作為輸入檔案如:input2(隨意取)

     3、在input2檔案裡隨意輸入一些單詞

     4、統計出結果:[[email protected] hadoop-2.9.0]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount  wcinput wcoutput

     這裡wordcount統計單詞數

    wcinput就是輸入的檔案目錄

    wcoutput之前沒有建立但會生成這個目錄,輸出結果會在這裡面

    除了上面三個其餘和官網例子一樣,不過我的市hadoop-2.9.0的版本。

    5、結果顯示:

         

最後總結:自己為做畢設也是剛學,很多東西都不懂,學的磕磕碰碰的,加油吧,和我一樣初學的人可以看hadoop官網的hadoop快速入門   

相關推薦

hadoop初學單機模式

第一步:首先確定linux安裝好了java可以檢視安裝的java版本(注安裝時要配置環境變數)第二步:進入已經解壓好的hadoop目錄中上圖就是我解壓到的目錄第三步:配置hadoop參考hadoop官網給出的步驟:我自己的配置過程:      1、進入解壓的hadoop的et

【HBase基礎教程】1、HBase單機模式與偽分布式模式安裝(轉)

service 4.2 zookeepe .tar.gz class href base mem 創建 在這篇blog中,我們將介紹Hbase的單機模式安裝與偽分布式的安裝方式,以及通過瀏覽器查看Hbase的用戶界面。搭建hbase偽分布式環境的前提是我們已經搭建好了had

hadoop環境搭建單機模式

1、確認安裝好jdk2、下載hadoop安裝包http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/SingleCluster.html3、在/usr/local/下建立hadoop檔案   sudo mkdir /usr

【HBase基礎教程】1、HBase單機模式與偽分散式模式安裝

在這篇blog中,我們將介紹Hbase的單機模式安裝與偽分散式的安裝方式,以及通過瀏覽器檢視Hbase的使用者介面。搭建hbase偽分散式環境的前提是我們已經搭建好了hadoop完全分散式環境,搭建hadoop環境請參考:【Hadoop基礎教程】4、Hadoop

Hadoop 2.x環境搭建單機執行模式配置

Hadoop的單機執行模式配置 目錄 1、linux 中的配置 a)  Linux中修改主機名 b)  更改主機對映 (

hadoop 安全模式及SafeModeException

urn 修改 auto 運行 節點 hold -i rep pac 問題: hadoop啟動的時候報錯 HTTP ERROR 500 Problem accessing /nn_browsedfscontent.jsp. Reason: Cannot iss

Druid 大數據分析快速應用(單機模式

uid druid 控制臺 config html static 數據存儲 指定時間 get 1、概述 本節快速安裝基於單機服務器,很多配置可以默認不需要修改,數據存儲在操作系統級別的磁盤。推出快速安裝的目的,便於了解並指導基於Druid進行大數據分析的開發流程。

Hadoop學習路(五)Hadoop集群搭建模式和各模式問題

數據 場景 模式 問題 沒有 問題: 重裝 故障 style 分布式集群的通用問題 當前的HDFS和YARN都是一主多從的分布式架構,主從節點---管理者和工作者 問題:如果主節點或是管理者宕機了。會出現什麽問題? 群龍無首,整個集群不可用。所以在一主多從的架構中都會

Hadoop執行模式

  Hadoop執行模式包括:本地模式、偽分散式以及完全分散式模式。 一、本地執行模式 1、官方Grep案例   1)在hadoop-2.7.2目錄下建立一個 input 資料夾 [[email protected] hadoop-2.7.2]$ mkdir input   2)

hadoop單機模式connect refused問題

所以說這裡一定要寫一下了,由於之前偷懶,在沒有執行hadoop自帶的jar包的情況下就配置了hadoop的core-site.xml和hdfs-site.xml導致單機模式執行hadoop就會出現connection refused的錯誤,因此將以前配置的內容刪除就可以了  

Hadoop安裝standAlone單機

hadoop安裝1.x和2.x有三種安裝架構,本文將介紹第一種安裝模式standAlone 一:standAlone(單機) standAlone安裝將所有服務都安裝在一臺機器上,如下: 執行服務 伺服器IP Name

Hadoop系列hadoop環境搭建本地模式

  1.1 Hadoop環境搭建 Hadoop 的環境可以有多種方式,比如本地模式(standalone)、偽分散式、完全分散式以及 HA 模式。參考:    1.1.1Hadoop安裝包   ​​​​​​​核心配置檔案 Hadoop 主要有四個核心配置檔案,

Hadoop-2.8.0實踐——單機模式和偽分佈模式

一、安裝 1.1 環境 系統:Ubuntu 16.04 LTS 軟體: Java 1.7及以上 ssh 和 sshd 安裝ssh: $ sudo apt-get install ssh $ sudo apt-get install rsync 1.2

hadoop單機模式的構建、配置與執行測試步驟(ubuntu14.04)

PS:全程以root的角色進行配置安裝 本篇文章的前期準備工作可以看我之前的部落格連結: 參照上面兩篇文章,設定好機器環境和準備好檔案包,這篇文章是以下載好相應的jdk、hadoop檔案的

linux centos7 從零搭建Hadoop離線處理平臺(單機模式)詳細

hadoop下載網址 http://archive.cloudera.com/cdh5/cdh/5/cdh-5.7.0 1、關閉防火牆 #停止防火牆,重啟後失效 sudo systemctl stop firewalld.service #禁用防火牆,重啟後依然有效 sudo syst

Hadoop 和 Hbase 的安裝與配置 (單機模式

(一定要看最後我趟過的坑,如果安裝過程有問題,可參考最後我列出的問題及解決方法) 下載Hadoop安裝包 這裡安裝版本:hadoop-1.0.4.tar.gz 在安裝Hadoop之前,伺服器上一定要有安裝的jdk jdk安裝方式之一:在官網上下載Linux下的rpm

hadoop初識三:搭建hadoop環境(配置HDFS,Yarn及mapreduce 執行在yarn)上及三種執行模式(本地模式,偽分散式和分散式介)

--===============安裝jdk(解壓版)================== --root 使用者登入 --建立檔案層級目錄    /opt下分別 建 modules/softwares/datas/tools 資料夾 --檢視是否安裝jdk    rpm -

[Hadoop] 在Ubuntu系統上一步步搭建Hadoop單機模式

1 Hadoop的三種建立模式   單機模式操作是Hadoop的預設操作模式,當首次解壓Hadoop的原始碼包時,Hadoop無法瞭解硬體安裝環境,會保守地選擇最小配置,即單機模式。該模式主要用於開發除錯MapReduce程式的應用邏輯,而不會和守護程序互動,避免增加額外的複雜性。   偽分佈模式操作是指

Hadoop單機模式配置和官方案例

Hadoop單機模式 1.環境準備 0.安裝jdk(自行安裝) 1.配置hadoop環境變數 下載hadoop的Linux的安裝包,並解壓 複製hadoop的解壓後的路徑

Hadoop單機模式安裝-(1)安裝設定虛擬環境

網路上關於如何單機模式安裝Hadoop的文章很多,按照其步驟走下來多數都失敗,按照其操作彎路走過了不少但終究還是把問題都解決了,所以順便自己詳細記錄下完整的安裝過程。 此篇主要介紹如何在Windows環境下設定虛擬機器環境以及一些準備工作,熟悉WMware的朋友可以略過。 我所記錄的筆記適合沒有Linux