2. 程式人生 > >Hadoop中-put和-copyFromLocal的區別

Hadoop中-put和-copyFromLocal的區別

阿新 • • 發佈：2019-01-26

如下中的stackoverflow的連結。

簡單的說，-put更寬鬆，可以把本地或者HDFS上的檔案拷貝到HDFS中；而-copyFromLocal則更嚴格限制只能拷貝本地檔案到HDFS中。

？？？

PS：“ put would prefer the HDFS scheme instead of the local file system”，也就是說，如果本地和HDFS上都存在相同路徑，則-put跟趨於優先取HDFS的源。

但是我測試了：

hadoop fs -put hdfs:///tmp/hive-XXX/test.txt /user/XXX/test.txt.hdfs

hadoop fs -put /tmp/hive-XXX/test.txt /user/XXX/test.txt.local       

hadoop fs -cat /user/XXX/test.txt.*    

local path:/tmp/hive-XXX
local path:/tmp/hive-XXX

所以。。。。

連結：http://stackoverflow.com/questions/7811284/difference-between-hadoop-fs-put-and-hadoop-fs-copyfromlocal

——————————————————————————————————————————————

-put and -copyFromLocal are documented as identical, while most examples use the verbose variant -copyFromLocal. Why?

Same thing for -get and -copyToLocal

  • copyFromLocal is similar to put command, except that the source is restricted to a local file reference.

So, basically you can do with put, all that you do with copyFromLocal, but not vice-versa.

Similarly,

  • copyToLocal is similar to get command, except that the destination is restricted to a local file
    reference.

Hence, you can use get instead of copyToLocal, but not the other way round.

Let's make an example: If your HDFS contains the path: /tmp/dir/abc.txt And if your local disk also contains this path then the hdfs API won't know which one you mean, unless you specify a scheme like file:// or hdfs://. Maybe it picks the path you did not want to copy.

Therefore you have -copyFromLocal which is preventing you from accidentally copying the wrong file, by limiting the parameter you give to the local filesystem.

Put is for more advanced users who know which scheme to put in front.

It is always a bit confusing to new Hadoop users which filesystem they are currently in and where their files actually are.
1
What do you mean by "the hdfs API won't know which one you mean"? For '-put' the source is always the first argument. Or you mean that some users may confuse '-put' with '-get' ? –  snappy Oct 18 '11 at 17:52
No, neither way. We are speaking about two different file systems here. HDFS and local file system (say ext4). By using bin/hadoop fs -put /tmp/somepath /user/hadoop/somepath the command actually does not know whether /tmp/somepath exists in both filesystems, or just in local filesystem. Same thing with the destination path. –  Thomas Jungblut Oct 18 '11 at 17:58
5
So the first parameter is not always an local fs path so to say. You can put from one HDFS to another if you'd like. -copyFromLocal will ensure that it just picks from the local disk and uploads to HDFS. – Thomas Jungblut Oct 18 '11 at 17:58 
Why does it need to know? Your command example (and the -copyFromLocal variant) always copies /tmp/somepath/* from local to /user/hadoop/somepath/* on HDFS, and creates /user/hadoop/somepath directories if they are not yet created. Right? –  snappy Oct 18 '11 at 18:08
No, put would prefer the HDFS scheme instead of the local file system. copyFromLocal would not do this and pick it from local file system. –  Thomas Jungblut Oct 19 '11 at 8:06

相關推薦

Hadoop中-put和-copyFromLocal的區別

如下中的stackoverflow的連結。 簡單的說，-put更寬鬆，可以把本地或者HDFS上的檔案拷貝到HDFS中；而-copyFromLocal則更嚴格限制只能拷貝本地檔案到HDFS中。 ？？？ PS：“ put would prefer the HDFS schem

HTTP協議中PUT和POST使用區別

摘要： PUT是idempotent的方法，而POST不是。 有的觀點認為，應該用POST來建立一個資源，用PUT來更新一個資源；有的觀點認為，應該用PUT來建立一個資源，用POST來更新一個資源；還有的觀點認為可以用PUT和POST中任何一個來做建立或者更新

Hadoop中sequencefile和mapfile的區別

原文網址：http://blog.csdn.net/javaman_chen/article/details/7241087 Hadoop的HDFS和MapReduce子框架主要是針對大資料檔案來設計的，在小檔案的處理上不但效率低下，而且十分消耗記憶體資源(每一個小檔

mybatis中的#和$的區別

背景 插入 trac sql註入 -m .com article 參數 -s 1. #將傳入的數據都當成一個字符串，會對自動傳入的數據加一個雙引號。如：order by #user_id#，如果傳入的值是111,那麽解析成sql時的值為order by "111", 如果傳

hibernate中hql語句中list和iterate區別

每次 hibernate 寫入 所有 讀取 條件 iter 查詢 hql 1.使用list()方法獲取查詢結果，每次發出一條語句，獲取全部數據。2.使用iterate()方法獲取查詢結果，先發出一條SQL語句用來查詢滿足條件數據的id，然後依次按照這些id查詢記錄，也就是要

java中ArrayList和LinkedList區別

插入 list 新的 查找 arr tro 基於 列表 時間復雜度 ArrayList和LinkedList最主要的區別是基於不同數據結構 ArrayList是基於動態數組的數據結構，LinkedList基於鏈表的數據結構，針對這點，從時間復雜度和空間復雜度來看主要區別：

mysql中replicate_wild_do_table和replicate_do_db區別

lan rep cati mil 多人 pan think lte 避免 使用replicate_do_db和replicate_ignore_db時有一個隱患，跨庫更新時會出錯。 如在Master（主）服務器上設置 replicate_do_db=test（my.conf

linux中 ll 和ls 區別

彩色 顯示文件 時間排序 linux 常用 所有 數字 名稱 sub ll 列出來的結果詳細，有時間，是否可讀寫等信息 ，象windows裏的 詳細信息ls 只列出文件名或目錄名 就象windows裏的 列表ll －t 是降序， ll －t ｜ tac 是升序 ll不是

js中decodeURI()和encodeURI()區別，decodeURIComponent和encodeURIComponent區別

nbsp sch www 問題 encode 替換 副本 字符替換 序列 decodeURI()定義和用法:decodeURI()函數可對encodeURI()函數編碼過的URI進行解碼.語法:decodeURI(URIstring)參數描述:URIstring必需,一個字

HTP協議中URI和URL區別

int 名稱 net form 打開 文件路徑 指定 支持 地址 URL（uniform resource location ）：統一資源定位符 URI（uniform resource identifier）：統一資源標誌符 URI：可以表示一個域，也可以表示一個

mysql中varchar和char區別（思維導圖整理）

var 但是 系統 mysql 由於 varchar .html nbsp 了解 　　由於mysql一直是我的弱項（其實各方面我都是很弱的），所以最近在看msyql，正好看到varchar和char區別，所以整理一下，便於以後遺忘。 　　 　　0.0圖片已經說明一切，但是系

JavaScript中Null和undefind區別

cdc 如何 undefine 只有一個 som pre cnblogs 定義 報錯 公眾號原文 Javascript有5種基本類型：Boolean，Number，Null，Undefined，String；和一種復雜類型：Object（對象）； undef

淺談 Mybatis中的 ${ } 和 #{ }的區別

mybatis sql註入 語句 nbsp 之前 com pre 預編譯 sql 語句 一、舉例說明 1 select * from user where name = "dato"; 2 3 select * from user where name = #

mysql 中delete和trncate區別

重新 sql delet use 它的 刪除 掃描 進行 from mysql中刪除表記錄delete from和truncate table的用法區別: MySQL中有兩種刪除表中記錄的方法:(1)delete from語句，(2)truncate table語句。 d

VBA中字符串連接/字符串拼接中“&”和“+”的區別

運算符 強制 clear arch tle .com 字符串連接 ive 數字 VBA中字符串連接/字符串拼接中“&”和“+”的區別 在VBA中用於字符串連接的只有“&”和“+”兩種運算符。 1、“&”是強制性連接，就是不管什麽都連接。 2、

說一下PHP中die()和exit()區別

選擇 fop class 系統 light 常用 spa ner 終端 PHP手冊：die()Equivalent to exit()。 說明：die()和exit()都是中止腳本執行函數；其實exit和die這兩個名字指向的是同一個函數，die()是exit()函數的別名

Mysql中datetime和timestamp區別

sta mysql -m 時區 日期 timestamp 適應 tex 區別 DATETIME日期和時間的組合。支持的範圍是‘1000-01-01 00:00:00‘到‘9999-12-31 23:59:59‘。MySQL以‘YYYY-MM-DD HH:MM:SS‘格式顯示

js中opener 和parent區別

pen window ner win 就是 引用 窗口 iframe 彈出 1、opener即誰打開我的，比如A頁面利用window.open彈出了B頁面窗口，那麽A頁面所在窗口就是B頁面的opener，在B頁面通過opener對象可以訪問A頁面。 2、parent表示父窗

【轉載】詳解 $_SERVER 函數中QUERY_STRING和REQUEST_URI區別

host dex 執行 sel 實例 server 文件 uri cal 實例：1，http://localhost/aaa/ (打開aaa中的index.php)結果：$_SERVER[‘QUERY_STRING‘] = "";$_SERVER[‘REQUEST_URI‘

Python中__repr__和__str__區別

close 提示 bsp pri urn 創建 pla 不同 並不是 1.先看區別 1 class Test(object): 2 def __init__(self, value=‘hello, world!‘): 3 self.data