Hadoop Operations(Hadoop操作) 詳解(二) HDFS
阿新 • • 發佈：2019-01-03
最初，客戶機發出請求，使用Hadoop檔案系統api開啟指定的檔案。如果使用者有必要的許可權，則將請求傳送到namenode，以建立檔案元資料。新檔案的元資料條目;但是，它最初沒有相關的塊。對客戶機的響應表明開啟的請求是成功的，並且它現在可能開始寫入資料。在API級別，返回一個標準的Java流物件，儘管實現是特定於hdfs的。當客戶端將資料寫入到流中時，它被分割成包(不與TCP包或HDFS塊混淆)，後者在記憶體中排隊。客戶端中的一個單獨的執行緒將從這個佇列中使用資料包，並且，必要時，聯絡namenode，請求一組datanodes，以便編寫下一個塊的副本。然後，客戶端直接連線到列表中的第一個datanode，它連線到第二個，連線到第三個。