執行hadoop基準測試

轉自：http://blog.csdn.net/azhao_dn/article/details/6930909

由於需要為hadoop叢集採購新的伺服器，需要對伺服器在hadoop環境下的效能進行測試，所以特地整理了一下hadoop叢集自帶的測試用例：

```
bin/hadoop jar hadoop-*test*.jar
```
執行上述命令，可以得到hadoop-*test*.jar自帶的測試程式
1. An example program must be given as the first argument.
2. Valid program names are:
3. DFSCIOTest: Distributed i/o benchmark of libhdfs.
4. DistributedFSCheck: Distributed checkup of the file system consistency.
5. MRReliabilityTest: A program that tests the reliability of the MR framework by injecting faults/failures
6. TestDFSIO: Distributed i/o benchmark.
7. dfsthroughput: measure hdfs throughput
8. filebench: Benchmark SequenceFile(Input|Output)Format (block,record compressed and uncompressed), Text(Input|Output)Format (compressed and uncompressed)
9. loadgen: Generic map/reduce load generator
10. mapredtest: A map/reduce test check.
11. mrbench: A map/reduce benchmark that can create many small jobs
12. nnbench: A benchmark that stresses the namenode.
13. testarrayfile: A test for flat files of binary key/value pairs.
14. testbigmapoutput: A map/reduce program that works on a very big non-splittable file and does identity map/reduce
15. testfilesystem: A test for FileSystem read/write.
16. testipc: A test for ipc.
17. testmapredsort: A map/reduce program that validates the map-reduce framework's sort.
18. testrpc: A test for rpc.
19. testsequencefile: A test for flat files of binary key value pairs.
20. testsequencefileinputformat: A test for sequence file input format.
21. testsetfile: A test for flat files of binary key/value pairs.
22. testtextinputformat: A test for text input format.
23. threadedmapbench: A map/reduce benchmark that compares the performance of maps with multiple spills over maps with 1 spill
其中最常用到的是DFSCIOTest，DFSCIOTest的命令引數如下：
1. $ bin/hadoop jar hadoop-*test*.jar TestDFSIO
2. TestDFSIO.0.0.4
3. Usage: TestDFSIO -read | -write | -clean [-nrFiles N] [-fileSize MB] [-resFile resultFileName] [-bufferSize Bytes]
```
hadoop jar hadoop-*test*.jar TestDFSIO -write -nrFiles 10 -fileSize 1000 hadoop jar hadoop-*test*.jar TestDFSIO -read -nrFiles 10 -fileSize 1000
hadoop jar hadoop-*test*.jar TestDFSIO -clean
```
1. bin/hadoop jar hadoop-*examples*.jar
執行上述命令，可以得到hadoop-*example*.jar自帶的測試程式
1. An example program must be given as the first argument.
2. Valid program names are:
3. aggregatewordcount: An Aggregate based map/reduce program that counts the words in the input files.
4. aggregatewordhist: An Aggregate based map/reduce program that computes the histogram of the words in the input files.
5. dbcount: An example job that count the pageview counts from a database.
6. grep: A map/reduce program that counts the matches of a regex in the input.
7. join: A job that effects a join over sorted, equally partitioned datasets
8. multifilewc: A job that counts words from several files.
9. pentomino: A map/reduce tile laying program to find solutions to pentomino problems.
10. pi: A map/reduce program that estimates Pi using monte-carlo method.
11. randomtextwriter: A map/reduce program that writes 10GB of random textual data per node.
12. randomwriter: A map/reduce program that writes 10GB of random data per node.
13. secondarysort: An example defining a secondary sort to the reduce.
14. sleep: A job that sleeps at each map and reduce task.
15. sort: A map/reduce program that sorts the data written by the random writer.
16. sudoku: A sudoku solver.
17. teragen: Generate data for the terasort
18. terasort: Run the terasort
19. teravalidate: Checking results of terasort
20. wordcount: A map/reduce program that counts the words in the input files.
其中最常用的是teragen/terasort/teravalidate，一個完整的terasort測試由三個步驟組成：1）teragen產生資料；2）terasort執行排序；3）teravalidate驗證排序結果。其執行命令引數如下：
```
hadoop jar hadoop-*examples*.jar teragen <number of 100-byte rows> <output dir>hadoop jar hadoop-*examples*.jar terasort <input dir> <output dir>hadoop jar hadoop-*examples*.jar teravalidate <terasort output dir (= input data)> <teravalidate output dir>
```
teravalidate執行驗證操作時會輸出排序錯誤的key，當輸出結果為空時，表示排序正確
NameNode基準測試nnbench
1. $ bin/hadoop jar hadoop-*test*.jar nnbench
2. NameNode Benchmark 0.4
3. Usage: nnbench <options>
4. Options:
5. -operation <Available operations are create_write open_read rename delete. This option is mandatory>
6. * NOTE: The open_read, rename and delete operations assume that the files they operate on, are already available. The create_write operation must be run before running the other operations.
7. -maps <number of maps. default is 1. This is not mandatory
  
  相關推薦
  
  執行hadoop基準測試
  
  轉自：http://blog.csdn.net/azhao_dn/article/details/6930909 由於需要為hadoop叢集採購新的伺服器，需要對伺服器在hadoop環境下的效能進行測試，所以特地整理了一下hadoop叢集自帶的測試用例：
  
  Hadoop基準測試HiBench 學習筆記
  
  一、準備工作作業系統 centOS 64 位 JDK 1.7 maven hadoop 2.6 github下載HiBench 4.0 執行 bin/build-all.sh編譯（參考HiBench 的說明，因沒有安裝spark，直接執行run-all.sh 會報
  
  Hadoop基準測試
  
  [[email protected] hadoop-2.6.0]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar An example program must be given as the first
  
  win7 系統eclipse環境下測試執行hadoop 的 wordcount mapreduce。
  
  上篇介紹了在linux下測試執行 hadoop 的wordcount 例子後，就想著怎麼在eclipse 下編寫mapreduce函式，連結hadoop叢集計算呢。 linux下測試執行 hadoop 的wordcount 參考：https://mp.csdn.net/mdeditor/
  
  win7 系統eclipse環境下測試執行hadoop 的 wordcount mapreduce。
  
  上篇介紹了在linux下測試執行 hadoop 的wordcount 例子後，就想著怎麼在eclipse 下編寫mapreduce函式，連結hadoop叢集計算呢。 linux下測試執行 hadoop 的wordcount 參考：https://mp.csdn
  
  怎樣選擇Hadoop的基準測試
  
  我們部署好Hadoop叢集，在測試和學習環境下對通過引數配置來提供叢集資源的利用效率重視不夠，但是在實際工作環境下這一點相當重要，這直接影響線上任務的執行時間，系統的吞吐量和資源利用率等。怎麼才能得到符合實際工作需要的最佳引數配置呢？一般是基於在各種情況下對叢集效能進行測
  
  Mysql基準測試詳細解說（根據慕課網：《打造扛得住Mysql數據庫架構》視頻課程實時筆錄）
  
  status imu 連接線慕課正在 option 並且 nod ces 什麽是基準測試基準測試是一種測量和評估軟件性能指標的活動用於建立某個時刻的性能基準，以便當系統發生軟硬件變化時重新進行基準測試以及評估變化對性能的影響。我們可以這樣認為：基準測試是針對
  
  MYSQL基準測試
  
  mysql 基準測試壓力測試一為什麽需要基準測試唯一方便有效，可以學習系統在給定的工作負載下會發生什麽的方法。可以觀察系統在不同的壓力下的行為，評估系統的容量，掌握哪些是重要的變化，或者觀察系統如何處理不同的數據二基準測試的策略兩種：針對整個系統的整體測試、單獨測試MYSQL三測試何種指
  
  PHP Framework MVC Benchmark 基準測試
  
  它的數量級現在 dex mpm mar case ilo alt 身邊有朋友在用yaf框架，討論的也聲音也比較多，今天沒事看鳥哥的博客，看到一篇現在PHP主流的幾個框架性能對比，比較有意思，給大家分享一下！ Yaf是用PHP擴展的形式寫的一個PHP框架，也就是以C語言的
  
  tpcc-mysql mysql基準測試工具使用文檔
  
  mysql tpcc mysql基準測試工具tpcc-mysql的安裝和使用1.tpcc-mysql介紹：TPC(Tracsaction Processing Performance Council) 事務處理性能協會是一個評價大型數據庫系統軟硬件性能的非盈利的組織,TPC-C是TPC協會制定的，用來
  
  詳解MySQL基準測試和sysbench工具
  
  threads 組件程序原因 str 前言全面無法連接不同前言作為一名後臺開發，對數據庫進行基準測試，以掌握數據庫的性能情況是非常必要的。本文介紹了MySQL基準測試的基本概念，以及使用sysbench對MySQL進行基準測試的詳細方法。文章有疏漏之處，歡迎
  
  詳解MySQL基準測試和sysbench工具(轉)
  
  lua 增刪後臺 simple ads 執行時間 bench 進行響應前言作為一名後臺開發，對數據庫進行基準測試，以掌握數據庫的性能情況是非常必要的。本文介紹了MySQL基準測試的基本概念，以及使用sysbench對MySQL進行基準測試的詳細方法。文章有疏漏
  
  mysql 基準測試
  
  inno img cto mys mage shadow 分享圖片 process 51cto mysql 基準測試
  
  Windows環境下執行hadoop命令出現Error: JAVA_HOME is incorrectly set Please update D:SoftWarehadoop-2.6.0confhadoop-env.cmd錯誤的解決辦法（圖文詳解）
  
  scala software ksum cal .com from 問題 jdk sun 　　　　不多說，直接上幹貨！導讀　　win下安裝hadoop　　大家，別小看win下的安裝大數據組件和使用　　玩過dubbo和disc
  
  數據庫基準測試中應該避免的錯誤
  
  區域增長長時間方便重啟速度性能方法測試數據基準測試可以說是唯一方便有效的、可以學習系統在給定工作負載下會發生什麽的方法。可見基準測試的重要性，在設計基準測試前，我們要了解一下基準測試的常見錯誤，防止自己在測試中犯這些錯誤。數據庫基準測試中常見錯誤：使
  
  MySQL基準測試工具-sysbench安裝測試
  
  MySQL基準測試環境：CentOS6.5，MySQL5.7.221.下載 sysbench下載地址2.安裝 tar -zxvf sysbench-1.1.0.tar.gz yum install automake libtool –y #安裝依賴包 cd sysbench-0.4.12.14 ./au
  
  20180613關於基準測試
  
  char read doc auto HR nod sch drive -o 主要分為兩部分mysqlslap,sysbench mysqlslap https://dev.mysql.com/doc/refman/5.7/en/mysqlslap.htmlhttps://
  
  tsung基準測試方法、理解tsung.xml配置文件、tsung統計報告簡介
  
  理解方法文件 https .com 網上測試方法 ML 報告網上搜集的資料，資料來源於：http://blog.sina.com.cn/ishouke 1、tsung基準測試方法 https://pan.baidu.com/s/1Ne3FYo8XyelnJy8VX-
  
  一圖勝千言 -- SQL Server 基準測試
  
  .com ado PE com ces 分享 png 圖片 AD 一圖勝千言 -- SQL Server 基準測試
  
  聊聊基準測試的MVP方案
  
  inf 最終重點層次基準測試導圖過程 nmon 容量上篇博客介紹了基準測試的一些思路和方法策略，這篇博客，聊聊基準測試的MVP（最小可行性方案）。。。思維導圖一、測試策略策略名稱閾值運行時間性能指標基線註釋並發測試 CPU7

執行hadoop基準測試

相關推薦