Hadoop3.0.3叢集自帶WordCount程式測試MapRedece
Hadoop3.0.3自帶的例項程式路徑在
/usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar
中
在HDFS目錄中建立input目錄
[[email protected]]# hdfs dfs -mkdir /input
[[email protected] hadoop]# hdfs dfs -rm -r /input #刪除HDFS中的input目錄
1.把測試檔案上傳到HDFS目錄中
此處以/usr/local/hadoop/README.txt
為例,把README.txt
檔案上傳到HDFS的/input
[[email protected] hadoop]# hdfs dfs -put README.txt /input
上傳後可用如下命令看到。
[[email protected] hadoop]# hdfs dfs -ls /input
2018-11-26 20:05:11,067 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 items
-rw- r--r-- 3 root supergroup 1366 2018-11-26 20:02 /input/README.txt
[[email protected] hadoop]#
也可在Web端看到。
2.把測試檔案上傳到HDFS目錄中
[[email protected] hadoop]# hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar wordcount /input /output
3.列出輸出目錄
[[email protected] ~ ]# hadoop fs -ls /output
2018-11-27 14:44:13,654 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 2 items
-rw-r--r-- 3 root supergroup 0 2018-11-27 14:27 /output/_SUCCESS
-rw-r--r-- 3 root supergroup 1306 2018-11-27 14:27 /output/part-r-00000
[[email protected] ~]# hdfs dfs -ls /output #或此命令
4.列出輸出結果
[[email protected] ~]# hdfs dfs -cat /output/part-r-00000
[[email protected] ~]# hadoop fs -cat /output/part-r-00000
5.Hadoop常用命令
hadoop fs -mkdir /tmp/input 在HDFS上新建資料夾
hadoop fs -put input1.txt /tmp/input 把本地檔案input1.txt傳到HDFS的/tmp/input目錄下
hadoop fs -get input1.txt /tmp/input/input1.txt 把HDFS檔案拉到本地
hadoop fs -ls /tmp/output 列出HDFS的某目錄
hadoop fs -cat /tmp/ouput/output1.txt 檢視HDFS上的檔案
hadoop fs -rmr /home/less/hadoop/tmp/output 刪除HDFS上的目錄
hadoop dfsadmin -report 檢視HDFS狀態,比如有哪些datanode,每個datanode的情況
hadoop dfsadmin -safemode leave 離開安全模式
hadoop dfsadmin -safemode enter 進入安全模式
相關推薦
Hadoop3.0.3叢集自帶WordCount程式測試MapRedece
Hadoop3.0.3自帶的例項程式路徑在 /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.3.jar中
Hbase2.1.0 on Hadoop3.0.3叢集(基於CentOS7.5)
完全分散式叢集搭建請移步: 在CentOS7.5上搭建Hadoop3.0.3完全分散式叢集 當前CentOS,JDK和Hadoop版本: [[email protected] ~]# cat /etc/redhat-release CentOS Linux rel
Ubuntu16.04環境下搭建Hadoop3.0.3偽分散式叢集
最近剛好趕上雙11騰訊促銷,於是搶購了一個8核16G記憶體的雲伺服器,加上業務上需要用到hadoop,hive,於是想搭建搭建一個hadoop分散式叢集,但是限於自己手頭上伺服器數量不多,因此打算先搭建一個hadoop偽分散式叢集。 首先介紹一下我的安裝
Hadoop3.1.1執行自帶例子wordcount發生的錯誤
錯誤 1 Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster Please check whether your etc/hadoop/mapred-site.xml con
Hadoop自帶WordCount.java程式
位置:{Hadoop_HOME}\hadoop-0.20.1\src\examples\org\apache\hadoop\examples\WordCount.java 其中{Hadoop_HOME}是安裝後的Hadoop所在的目錄 Hadoop自帶WordCount程式
Zabbix4.0.1使用自帶模板監控Linux主機基本選項(CPU、記憶體、硬碟、網絡卡)
zabbix_agent 端 ip : 192.168.1.206 hostname: www.test3.com 1、新增主機
opencv 單目相機標定 自帶例子程式的使用
<link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/
flink安裝以及執行自帶wordcount示例(單機版,無hadoop環境)
1、下載安裝包到/opt目錄 2、解壓安裝包 tar zxf flink-1.6.1-bin-hadoop26-scala_2.11.tgz 3、啟動flink cd /opt/flink-1
CentOS 裝hadoop3.0.3 版本踩坑
java_home sbin mission authorize wan could not secondary 解決 進入 1、but there is no HDFS_NAMENODE_USER defined. Aborting operation. [ro
Windows下用Python 3.4+自帶的venv模組建立虛擬環境
Python 3.4+自帶了venv模組,用於建立虛擬環境,每個虛擬環境都可以安裝一套獨立的第三方模組。 本文在Windows 10上操作。 原文:http://www.cnblogs.com/animalize/p/5868763.html 1、建立一個虛擬環境: D:\>mkdir test_
spark叢集搭建與叢集上執行wordcount程式
Spark 配置 1、master 機器 Spark 配置 進入 Spark 安裝目錄下的 conf 目錄, 拷貝 spark-env.sh.template 到 spark-env.sh。 cp spark-env.sh.template spark-e
hadoop3.0.3版本Linux單機測試版配置
本篇為結合其它博主和個人總結所得。 全篇為複製貼上Linxu虛擬機器上配置所來,所有的檔案路徑視自身而定,僅作參考。 配置檔案在目錄/etc/hadoop下 core-site.xml: <configuration> <prope
Centos7上搭建hadoop3.0.3完全分散式 (.tar.gz)
這裡搭建的是3個節點的完全分散式,即1個nameNode,2個dataNode,分別如下: master nameNode 192.168.0.249 node1 dataNode 192.168.0.251 node2 dataNode
Win7+Qt5.10.0 +MSVC2013 bit64(此編譯器為Qt5.10.0安裝包自帶)+opencv3.0.0配置
筆記目的:最近想實現VS2013中和Qt中都能使用OpenCV,由於之前都是在MinGW編譯器下使用的OpenCV3.0.0。由於MinGW編譯器和MSVC2013 bit64編譯器對於OpenCV庫的呼叫是不一樣的,Mingw編譯器使用OpenCV時需要使用CMake工具將OpenCV進行重新編譯(另一
PHP測試與優化-- Apache自帶的壓力測試工具ab(apache bench) - 簡單使用
一、測試工具: Apache 壓力測試工具ab ab是針對apache的效能測試工具,可以只安裝ab工具。 ubuntu安裝ab apt-get install apache2-utils centos安裝ab yum install httpd-tools 命令:
mysql自帶的壓力測試工具
mysqlslap 是 Mysql 自帶的壓力測試工具,可以模擬出大量客戶端同時操作資料庫的情況,通過結果資訊來了解資料庫的效能狀況 mysqlslap 的一個主要工作場景就是對資料庫伺服器做基準測試 例如我們拿到了一臺伺服器,準備做為資料庫伺服器,那麼這臺伺服器的硬體資源能夠支援多
使用Apache自帶ab工具測試WebService介面
進入<APACHE_HOME>/bin/目錄下,執行ab可以看到如下結果:D:\Apache2.2\bin>ab -h Usage: ab [options] [http://]hostname[:port]/path Options are: -
將Ubuntu 10.04自帶2.6.32核心升級成3.0核心圖文教程
1、完成如下實踐工作,並截圖說明實踐步驟:1)下載安裝虛擬機器VMWare Workstation;2)在虛擬機器中安裝Linux2.x ;3)通過自行編譯,將Linux 2.x核心升級到Linux 3.x。 1) 安裝VMware Workstation 11.1
Ubuntu16.04 上執行 Hadoop2.7.3 自帶example wordCount摸索記錄
首先最最重要的寫在最前面,也是我覺得個人踩得最深的坑,剛接觸hadoop的人,缺少的認識: hdfs的理解:它是一個檔案系統,跟linux的檔案系統是類似的結構,擁有類似的語法,大概就是你在linux上ls檢視檔案列表,那麼hdfs的無非就是hadoop fs -ls。ha
IOS6.0自帶下拉刷新控件UIRefreshControl
ont wid 下拉刷新控件 ble ref 分享 select popu ng- 1.UIRefreshControl必需要在IOS6.0以後才幹使用,同一時候他僅僅能在UITableViewController類中才幹夠使用 2.使用比較簡單 self.r