1. 程式人生 > >Hibench大資料基準測試使用教程

Hibench大資料基準測試使用教程

本文主要介紹:Hibench的使用以及Hibench測試相關配置
一、安裝Hibench1、下載Hibench2、編譯所有模組(注意:編譯前,確保系統中已經安裝好了maven)命令:mvn -Dspark=2.1 -Dscala=2.11 clean package3、編譯指定模組可根據需求只編譯你需要測試的模組如:只編譯hadoop benchmarksmvn -Phadoopbench -Dspark=2.1 -Dscala=2.11 clean package如:只編譯hadoop 和 Spark benchmarksmvn -Phadoopbench -Psparkbench -Dspark=2.1 -Dscala=2.11 clean package
注意:目前支援的框架,如下:hadoopbench、sparkbench、flinkbench、stormbench、gearpumbench。以上Hibench安裝完成二、Hibench的配置使用1、前提條件1)、需要python2.x(>=2.6)2)、需要linux bc命令,用於生成Hibench 報告,bc解釋詳見:若沒有,則安裝:yum install bc3)、支援的hadoop版本apache hadoop2.x(經實測hadoop3.x也支援)、CDH5.x、HDP4)、已經編譯好了Hibench5)、啟動好hdfs、yarn叢集2、配置hadoop.conf建立並編輯{Hibench_HOME}/conf/hadoop.conf
命令:cp {Hibench_HOME}/conf/hadoop.conf.template {Hibench_HOME}/conf/hadoop.conf配置項說明hibench.hadoop.home:hadoop安裝目錄hibench.hadoop.executable:你的bin/hadoop所在目錄,一般是{HADOOP_HOME}/bin/hadoophibench.hadoop.configure.dir:hadoop配置檔案所在目錄,一般位於HADOOP_HOME}/etc/hadoophibench.hdfs.master:hdfs上儲存Hibench資料的目錄,如:hdfs://localhost:8020/user/hibench
hibench.hadoop.release:hadoop發行版提供者,支援value:apache, cdh5, hdp以下是樣例,vim hadoop.conf# Hadoop homehibench.hadoop.home /opt/hadoop-3.0.0# The path of hadoop executablehibench.hadoop.executable /opt/hadoop-3.0.0/bin/hadoop# Hadoop configraution directoryhibench.hadoop.configure.dir /opt/hadoop-3.0.0/etc/hadoop# The root HDFS path to store HiBench datahibench.hdfs.master hdfs://hadoopmaster:9820# Hadoop release provider. Supported value: apache, cdh5, hdphibench.hadoop.release apache3、執行一個workload以下是一個使用例子bin/workloads/micro/wordcount/prepare/prepare.sh ---產生測試資料(資料位於配置的hibench.hdfs.master指定的目錄裡面)bin/workloads/micro/wordcount/hadoop/run.sh ---執行例子說明:bin/run_all.sh能夠用來執行所有位於conf/benchmarks.lst 和 conf/frameworks.lst中的workloads。4、檢視執行結果報告執行詳情見:{Hibench_HOME}/report/hibench.report5、補充:配置生成資料的大小要改變輸入資料的大小,在conf/hibench.conf配置檔案中hibench.scale.profile屬性的值即可,該值可選為tiny, small, large, huge, gigantic and bigdata。具體數字修改檢視詳見conf/workloads/micro/wordcount.conf6、修改conf/hibench.conf可以控制mapreduce執行時的並行度hibench.default.map.parallelism mapper的數量hibench.default.shuffle.parallelism reducer的數量