datanode非dfs預留空間設定
在使用hdfs儲存的時候可能會遇到一個問題:明明設定hadoop dfs.datanode.du.reserved預留空間的,但是磁碟還是被寫滿了。
當你掛載磁碟作為datanode的儲存空間,如果磁碟大小為500G當你使用df -h 可能會發現上面顯示(舉個例子):總磁碟大小500G,使用了430G,剩餘50G,這裡就會有個問題:500G-(430G+50G)=20G,
還差了20G空間。
就是因為這20G空間的問題導致你磁碟寫滿,如果你配置hadoop dfs.datanode.du.reserved為小於20G的話,那麼磁碟就會被寫滿,預留空間就沒有起到實際的作用,一個解決的辦法就是設定hadoop dfs.datanode.du.reserved的值 = 用總磁碟大小 - 使用的 - 剩餘的得到的差值 + 你想設定的預留空間大小。
比如:
在上面的基礎上你設定預留空間為10G,那麼dfs.datanode.du.reserved就可以設定為:
500G-(430G+50G) + 10G = 30G。
對於datanode配置預留空間的方法 為:在hdfs-site.xml新增如下配置
<property>
<name>dfs.datanode.du.reserved</name>
<value>10737418240</value>
</property>
dfs.datanode.du.reserved的單位為位元組,上面的預留空間為10G,預留30G:32212254720
預留20G:21474836480
預留空間可能遇到的問題:預留了10G,但是該節點磁碟空間去沒有真正剩餘,而是一直會放資料,原因可能是如下方面:
通過 df -h 檢視容量顯示如下:
Filesystem Size Used Avail Use% Mounted on
/dev/sda4 243G 200G 31G 87% /data
注:說明總容量為243G,使用了200G,可用31G 這裡有個問題,使用量+可用量!=總容量,少掉了12G,這就是問題所在。
dfs.datanode.du.reserved設定為10G的話
通過hadoop dfsadmin -report 檢視顯示如下
Configured Capacity: 228260941824 (232.58 GB)
DFS Used: 208414818078 (194.10 GB)
Non DFS Used: 0 (0 B)
DFS Remaining: 19846123746 (38.48 GB)
Configured Capacity顯示的dfs.data.dir指定的目錄空間總容量大小-dfs.datanode.du.reserved的容量,
如果像之前設定 dfs.datanode.du.reserved為10G的話,Configured Capacity為:232.58 GB,DFS Remaining則為38.48G,
但實際/dev/sda4 可用空間才只有31G,所以有資料的話會一直會存入該節點,直到放滿。
解決方法:將dfs.datanode.du.reserved設定更大。目前設定為30G
這樣,hadoop dfsadmin -report 檢視
Configured Capacity: 228260941824 (212.58 GB)
DFS Used: 208414818078 (194.10 GB)
Non DFS Used: 0 (0 B)
DFS Remaining: 19846123746 (18.48 GB)
dfs可用空間18.48<31G,所以當dfs全部用完,磁碟/dev/sda4還是有13G空間空閒,達到要的效果!
相關推薦
datanode非dfs預留空間設定
在使用hdfs儲存的時候可能會遇到一個問題:明明設定hadoop dfs.datanode.du.reserved預留空間的,但是磁碟還是被寫滿了。 當你掛載磁碟作為datanode的儲存空間,如果磁碟大小為500G當你使用df -h 可能會發現上面顯示(舉個例子):總
hadoop dfs.datanode.du.reserved 預留空間配置方法
rep 目錄 可能 dfs sad property pro AI reserve 對於datanode配置預留空間的方法 為:在hdfs-site.xml添加如下配置 <property> <name>dfs.datanode.du.re
非DFS使用空間
占用 可用 文件 ext3 使用 root用戶 ext2 數據存儲 預留空間 非DFS使用空間是指DFS數據存儲目錄所屬卷的非DFS數據占用的空間。計算公式:非DFS使用空間 = 卷的總空間 - hdfs Reserved每個卷的預留空間*卷數 - DFS使用空間 - 剩
關於HDFS中dfs.datanode.du.reserved系統空間預留引數
dfs.datanode.du.reserved 官方解釋為:適用於非分散式檔案系統 (DFS) 使用的保留空間(位元組/卷)。 通俗的意思:預留磁碟的一部分空間給作業系統用,這個引數主要是為了防止磁碟空間被寫滿導致的HDFS異常。通常系統預設保留5%的磁碟空間給作業系統用。 那麼每個
RAC中數據文件創建到了本地路徑(非系統表空間) 使用rman轉移
over art get clas tro number ice log dev 環境: 11.2.0.1 + RHEL5.8 參考文檔ID:1678747.1 1.模擬創建 一節點: SQL> create tablespace tdb datafil
[硬件知識]OP(Over-provisioning)預留空間
映射 def secure -m 包含 www. 擦除 tps copy SSD上的OP指的是用戶不可操作的容量,大小為實際容量減去用戶可用容量,OP區域一般被用於優化操作如:WL,GC和壞塊映射等。 OP一般分三層(見下圖)。第一層容量固定為SSD標稱容量的7.37
全排列-遞迴去重複實現-非DFS
import java.util.*; public class Quanpaifeidigui { public static void main(String args[]){ Scanner in=new Scanner(System.in); whil
全排列-遞迴(不含去重複的操作)非DFS
import java.util.*; public class Quanpaifeidigui { public static void main(String args[]){ Scanner in=new Scanner(System.in); whil
oracle 11g表空間設定
oracle 11g表空間設定 1.檢視使用者對應的表空間 select username,default_tablespace from dba_users; 2.查看錶空間資料檔案 select * from dba_data_files where tablespac
jupyter notebook 的工作空間設定
Jupyter notebook 安裝後,啟動後,預設的工作空間是當前使用者目錄。為了方便對文件進行管理,往往需要自行設定工作空間。下面介紹一種便捷的工作空間設定方法。 對 Jupyter notebook 快捷方式進行修改。右擊 jupyter notebo
非阻塞recvfrom的設定
不知道大家有沒有遇到過這種情況,當socket進行TCP連線的時候(也就是呼叫connect時),一旦網路不通,或者是ip地址無效,就可能使整個執行緒阻塞。一般為30秒(我測的是20秒)。如果設定為非阻塞模式,能很好的解決這個問題,我們可以這樣來設定非阻塞模式:呼叫ioctlsocket函式: unsign
Oracle刪除非空表空間
先前建了一個表空間(tablespace)有大約300個表,後來因為出了一些問題,想刪除重建。如果所有資料表都一個一個的刪除肯定特別麻煩,但是想把整個表空間都刪除,資料庫報了一個ORA-01549的錯誤: ORA-01549: tablespace not empty, u
informix 建表初始空間和擴充套件空間設定不合理導致插入資料時鎖表問題.
話外:在說這個問題前,我先說說昨天說的CSDN的部落格問題,總之,不是很爽,昨天同樣寫了一篇文章,不過是直接在CSDN上面寫的在提交時CSDN後臺出錯啦!!!暈.白寫半天..說起來自己也真夠笨的,希望別的朋友不要和我一樣犯這樣的底級錯誤! 話裡: 今天...不...應該
ORACLE 恢復單個數據檔案 非SYSTEM表空間或者撤銷表空間
ERROR 位於第 1 行: ORA-01113: 檔案 11 需要介質恢復 ORA-01110: 資料檔案 11: 'D:\ORACLE\ORADATA\JOSEPH\XWIKI.ORA' 如果出現上述提示,則說明資料檔案可能發生損壞的情況,需呀進行恢復。 ========================
oracle 12c 多租戶 pdb 恢復(單個pdb數據文件、非系統pdb表空間、整個pdb數據庫)
數據文件 ota ora-01110 創建 正常 方式 cti users rman 環境:數據庫版本 Oracle Database 12c Enterprise Edition Release 12.2.0.1.0 - 64bit Production實驗準備:1.--
dfs.datanode.max.transfer.threads
prop XML data bound tran read code hat pre An HDFS DataNode has an upper bound on the number of files that it will serve at any one time:
ORA-29339 創建數據庫非標準塊表空間方法
ORA-293391、創建非標準塊表空間 說明:直接創建會報錯 SQL> create tablespace DMS_DATA32 datafile ‘+data‘ size 10240m blocksize 32k; create tablespace DMS_DATA32 datafile ‘+da
命名空間的三種引用方式:非限定名稱、限定名稱、完全限定名稱
inf .cn const bsp domain spa 命名空間 turn 使用 1 //命名空間的三種引用方式:非限定名稱、限定名稱、完全限定名稱 2 3 namespace app\home; 4 const SET_NAME = ‘百度‘;
將兩個非遞減的有序連結串列合併為一個非遞增的有序連結串列。要求結果連結串列仍使用原來兩個連結串列的儲存空間,不另外佔用其他的儲存空間。表中允許有重複的資料。
語言:C++ 1、忽略了不另外佔用其他的儲存空間>< #include <iostream> using namespace std; typedef struct LNode { int data; LNode *next; }LNode,*LinkList;
通過tune2fs釋放Linux系統預留的硬碟空間
大多數檔案系統都會預設保留一部分空間用於緊急情況時用(比如硬碟空間滿了),這樣能保證有些關鍵應用(比如資料庫)在硬碟滿的時候有點餘地,不致於馬上就 crash,如果Linux系統有做檔案系統使用率監控的話,那麼這時就會有告警上報了,從而給系統維護人員爭取一點時間去察覺。但如果你覺得這部分預留的硬碟空