1. 程式人生 > >使用Hadoop自帶的例子pi計算圓周率

使用Hadoop自帶的例子pi計算圓周率

Hadoop中自帶的hadoop-mapreduce-examples-2.7.6.jar含有一些事例,本文將用pi計算圓周率。若想了解其計算原理,參考:http://thinkinginhadoop.iteye.com/blog/710847

具體步驟如下:

1. 啟動Hadoop

    切換到Hadoop安裝目錄下的sbin目錄下執行./start-all.sh命令

    或執行./start-dfs.sh./start-yarn.sh兩條命令

2. 使用hadoop-mapreduce-examples-2.7.6.jar計算圓周率

    hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar pi 10 10

    其中:第一個10是執行10次map任務,第二個10是每個map任務投擲次數,所以總投擲次數是10×10=100。

    

相關推薦

使用Hadoop例子pi計算圓周率

Hadoop中自帶的hadoop-mapreduce-examples-2.7.6.jar含有一些事例,本文將用pi計算圓周率。若想了解其計算原理,參考:http://thinkinginhadoop.iteye.com/blog/710847。 具體步驟如下: 1. 啟

hadoop例子wordcount的具體執行步驟

1.在linux系統中,所在目錄“/home/kcm”下建立一個資料夾input [[email protected]~]$ mkdir input 2.在資料夾input中建立兩個文字檔案file1.txt和file2.txt,file1.txt中內容是“hel

HadoopSort例子分析

lan exit more double expr ogr oms lru sort /** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor lic

運行hadoop的wordcount例子程序

inpu art ces put 自帶 tput wordcount ems example 1.準備文件 [root@master ~]# cat input.txt hello java hello python hello c hello java hello js

OPENCV SVM介紹和例子

位置 amp vma width 數據線 degree 當前 來看 get 依據機器學習算法如何學習數據可分為3類:有監督學習:從有標簽的數據學習,得到模型參數,對測試數據正確分類;無監督學習:沒有標簽,計算機自己尋找輸入數據可能的模型;強化學習(reinforcement

Geant4采用make和cmake編譯運行geant4例子的方法

剛才 例子 1-1 build g++ 核數 emp cmake 編譯 該教程介紹如何將geant4中自帶的例子通過camke編譯成可執行文件,並運行程序。 1 在linux主目錄下創建一個geant4_workdir目錄,並將geant4自帶的例子B1復制到該目錄

opencv 單目相機標定 例子程式的使用

<link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/

Hadoop3.1.1執行例子wordcount發生的錯誤

 錯誤 1 Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster Please check whether your etc/hadoop/mapred-site.xml con

利用Hadoopexample實現wordCount Failed to execute operation: No such file or directory(systemctl enable iptables.service)

 上次雖然把環境搭好了,但是實際執行起來一堆錯誤,下面簡述一下踩的坑。   1、hadoop fs -put上傳檔案失敗 報錯資訊:(test資料夾是已經成功建好的) [[email protected] ~]# hadoop fs -put test1.txt /

hadoop的wordcount測試

1、建立檔案example.txt,並將其拷貝到hdfs的/user/root中 ./hadoop fs -put /root/example.txt /user/root 2、執行hadoop-mapreduce-examples-2.8.0.jar

hadoop 示例wordcount 詳細執行步驟

因為機器學習,接觸到了資料探勘;因為資料探勘,接觸到了大資料;因為大資料,接觸到了Hadoop。之前有過hadoop的簡單瞭解,但都是基於別人提供的hadoop來學習和使用,雖然也很好用 ,終究不如自己的使用起來方便 。經過這兩天參考大量網上的經驗,終於成功的搭

HadoopWordCount.java程式

位置:{Hadoop_HOME}\hadoop-0.20.1\src\examples\org\apache\hadoop\examples\WordCount.java 其中{Hadoop_HOME}是安裝後的Hadoop所在的目錄 Hadoop自帶WordCount程式

人臉與人眼識別 opencv例子

所做的工作就是新建了一個VS2010工程,win32控制檯應用程式,空工程。 只新建了一個cpp檔案 拷貝以下程式碼(百度來的,感謝網友。。。) // face_detect.cpp : 定義控制檯應用程式的入口點。 // //#include "stdafx.h"

storm例子詳解 (一)——WordCountTopologyNode

/** * Licensed to the Apache Software Foundation (ASF) under one * or more contributor license agreements. See the NOTICE file * dist

MapReduce-Join中級優化-hadoopdatajoin的解決方法

接著上一篇《MapReuce-Join操作-初級優化》這一篇部落格繼續說明MapReduce對於Join的操作,這裡使用hadoop包中自帶的datajoin包來處理,如果是hadoop1.x則包在${HADOOP_HOME}/contrib/datajoin資料夾下。如果

星環大數據安全組件Guardian與hadoop的安全組件區別

對象 linux 密碼 tro snap 方法 輪廓 control 重要 在進行講解之前,先帶大家學習下hadoop關於hdfs自己的安全如何實現的--------------------------- 名詞: ACL-訪問控制列表(Access Control Li

OpenCV例子(三)兩幅影象相加

#include <cv.h> #include <highgui.h> #include <iostream> using namespace cv; int main( int argc, char** argv ) { doubl

Caffe例子執行

首先說明一點,在caffe中執行所有程式,都必須在CAFFE的根目錄下進行,否則會出錯。 兩個例子分別是mnist和cifar10,mnist被稱為程式設計界的hello world。 1

Hadoop的一些程式示例

一、PiEstimator.java 位置:E:\Hadoop\hadoop-0.20.1\src\examples\org\apache\hadoop\examples /** * Licensed to the Apache Software Foundation (

hadoop mahout 執行例子

The 20 Newsgroups資料集合收集了大約20,000 個新聞群組的文件,它們被劃分成為大約20個新聞組。在機器學習領域,這個資料集合被廣泛的應用與分類和聚類測試資料集。下面是介紹如何利用這個資料集合來進行分類。 準備工作: (1)首先確保安裝了hadoop和m