2. 程式人生 > >關於在hadoop上job執行的幾種方式(不同平臺)

關於在hadoop上job執行的幾種方式(不同平臺)

阿新 • • 發佈：2019-01-20
mr job的幾種執行模式 1、在eclipse中開發好mr程式（windows或linux下都可以），然後打成jar包(wc.jar)，上傳到伺服器 執行命令 hadoop jar wc.jar cn.itheima.hadoop.MainClassRunner 這種方式會將這個job提交到yarn叢集上去執行 2、在Linux的eclipse中直接啟動Runner類的main方法，這種方式可以使job執行在本地，也可以執行在yarn叢集 ----究竟執行在本地還是在叢集，取決於一個配置引數 mapred-site.xml中mapreduce.framework.name == yarn (或者是local) ----如果確實需要在eclipse中提交到yarn執行，必須做好以下兩個設定 a/將mr工程打成jar包(wc.jar)，放在工程目錄下 b/在工程的main方法中，加入一個配置引數 conf.set("mapreduce.job.jar","wc.jar") 3、在windows的eclipse中執行本地模式，步驟為： ----a、在windows中找一個地方放一份hadoop的安裝包，並且將其bin目錄配到環境變數中 ----b、根據windows平臺的版本，替換掉hadoop安裝包中的本地庫(bin,lib) ----c、mr程式的工程中不要有引數mapreduce.framework.name的設定 4、在windows的eclipse中執行main方法來提交job到叢集執行，比較麻煩 ----a、類似於方式3中所描述的對本地庫相容性進行改造 ----b、修改YarnRunner這個類

相關推薦

關於在hadoop上job執行的幾種方式(不同平臺)

mr job的幾種執行模式 1、在eclipse中開發好mr程式（windows或linux下都可以），然後打成jar包(wc.jar)，上傳到伺服器 執行命令 hadoop jar wc.jar cn.itheima.hadoop.MainClassRunner 這種

檔案上傳的幾種方式

一、springmvc中的檔案上傳 1.配置檔案 (1).pom檔案，檔案上傳主要需要如下幾個jar包 <dependency> <groupId>org.springframework</groupId>

web 檔案上傳的幾種方式

問題 檔案上傳在WEB開發中應用很廣泛。 檔案上傳是指將本地圖片、視訊、音訊等檔案上傳到伺服器上，可以供其他使用者瀏覽或下載的過程。 以下總結了常見的檔案（圖片）上傳的方式和要點處理。 表單上傳 這是傳統的form表單上傳，使用form表單的input[type=”file”]控制元

Hadoop-寫入資料的幾種方式

create（新建） import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.Input

不同頁面之間實現參數傳遞的幾種方式

瀏覽器 行存儲 傳遞參數 如何 數據傳遞 序列 由於 文件中 request對象 由於web系統采用http協議在瀏覽器和服務器之間傳輸數據，而http協議是一種無狀態的協議，如何在不同頁面之間傳遞數據，可以有一下幾種方式： 方式一：表單方式傳遞表單傳遞參數是一種最簡單，也

python利用unittest進行測試用例執行的幾種方式

尋找 顯示 成員 使用方式 main down 測試的 支持 ase 利用python進行測試時，測試用例的加載方式有2種： 一種是通過unittest.main()來啟動所需測試的測試模塊； 一種是添加到testsuite集合中再加載所有的被測試對象，而test

讓外界可以訪問電腦上的網站的幾種方式——花生殼，域名，IIS

動態 oca 哈哈哈 手機 log 為什麽 技術 條件 穿透 前話： 每次“養大“一個網站，都有種驕傲地想秀給朋友們看的沖動。 之前可能是困於電腦，實在不方便。 現在，不用克制了！ 該秀就秀，能裝逼就裝逼。 養大孩子就該拉出來秀秀，見見世面。 正題：這次實習，我又雙叒叕

Windows上安裝配置SSH教程（7）——幾種方式對比

由於 客戶端 方案 body open ins 下使用 上傳下載 直接 服務端：Windows XP 客戶端：Windows 10 由於Cygwin也可以安裝OpenSSH，所以客戶端其實可以直接使用Cygwin安裝OpenSSH，那麽在Windows下使用SCP（安全拷貝

js中頁面加載完成後執行的幾種方式及執行順序

class 事件 兩種 在哪裏 log 等待 沒有 cti 完成 1：使用jQuery的$(function){}; 2：使用jquery的$(document).ready(function(){});前兩者本質上沒有區別，第1種是第2種的簡寫方式。兩個是document

hadoop及hbase集群啟停的幾種方式

hadoop hbase1、生產環境集群2、web管理頁面hadoop web管理頁面（主備）http://192.168.10.101:50070http://192.168.10.102:50070hbase web管理頁面（主備）http://192.168.10.101:16010http://192

設計模式之單例模式【內附物件例項化幾種方式、實現執行緒安全幾種方式】

繼續來複習常用的設計模式-單例模式，順便回憶一下執行緒安全的幾種實現方式。 一、什麼是單例模式 單例模式，簡單常用的一種設計模式，也很好的體現了程式碼控制物件在記憶體數量的一種方式，主要分2種實現方式： ①餓漢式，執行緒安全 ②懶漢式，執行緒不安全（新增鎖機制，可以實現執行緒安全）

執行緒同步鎖和非同步鎖的幾種方式

同步鎖：當在一個java虛擬機器多個執行緒操作一個變數的時候就會出現執行緒安全問題，這個時候就會用到同步鎖。 同步鎖的解決方式： 先看下一個執行緒異常的售票 public class ThreadSafe { public static void main(String[] arg

併發程式設計基礎——執行緒狀態，啟動及停止的幾種方式

前言 遙想當年大二，實習面試的時候，面試官一個問題：作業系統最小的排程單元是什麼？當時還沒學過作業系統，只知道程序的概念，於是乎信心滿滿的答道，當然是程序啊，然後......就沒有然後了。 之後再看這個問題，其實就是一個笑話。作業系統排程的最小單元其實是執行緒。現在想想當時，自己大二就敢

無重新整理上傳圖片的幾種方式

背景知識： 無重新整理上傳圖片主要還是為了在提交表單之前進行圖片的預覽。使用者體驗相對於提交表單跳轉顯示圖片的方式總還是要好一些的。 本文主要介紹三種無重新整理上傳圖片的方式   1.使用iframe子頁面的形式達到無重新整理上傳圖片的功能。首先設定一個隱藏的i

Linux虛擬機器上安裝JDK的幾種方式

1、準備工作：下載JDK1.8版本、安裝好Linux系統的環境、已經安裝完成的VM虛擬機器。 2、安裝jdk 方法一：利用yum源來安裝jdk（此方法不需要配置環境變數）   檢視yum庫中的java安裝包 ：yum -y list java* 或者yum search

bat批處理執行python 的幾種方式 ———— 批處理， python打包成 exe檔案

第一種方式: @echo off C: cd C:\Users\ldl\Desktop start python test100.py start python 1.py start python 1.py 10 start python 1.py 100 exit 第二種方

java間執行緒通訊的幾種方式（II）

1.如何讓兩個執行緒嫩能夠交叉執行 要讓執行緒能夠交叉執行，需要用到鎖。看如下程式碼： package Test;/** /** * @author Administrator wangtao * @createdate 2017-10-10 */ public class

java 執行緒間通訊的幾種方式

1.如何讓兩個執行緒依次執行 假設有兩個執行緒，一個執行緒A,一個執行緒B，兩個執行緒分別依次列印 1-3 三個數字即可。 package Test;/** /** * @author Administrator * @createdate 2017-10-10 */ pu

iOS中保證執行緒安全的幾種方式與效能對比

一、前言 前段時間看了幾個開源專案，發現他們保持執行緒同步的方式各不相同，有@synchronized、NSLock、dispatch_semaphore、NSCondition、pthread_mutex、OSSpinLock。後來網上查了一下，發現他們的實現機制各不相同，效能也各不一

Java專案啟動時執行指定方法的幾種方式

很多時候我們都會碰到需要在程式啟動時去執行的方法，比如說去讀取某個配置，預載入快取，定時任務的初始化等。這裡給出幾種解決方案供大家參考。 1. 使用@PostConstruct註解 這個註解呢，可以在Spring載入這個類的時候執行一次。來看一下下方程式碼。