ConcurrentHashMap1.8源碼分析
文章簡介
想必大家對HashMap數據結構並不陌生,JDK1.7采用的是數組+鏈表的方式,JDK1.8采用的是數組+鏈表+紅黑樹的方式。雖然JDK1.8對於HashMap有了很大的改進,提高了存取效率,但是線程安全的問題不可忽視,所以就有了線程安全的解決方案,比如在方法上加synchronized同步鎖的HashTable,或者並發包中的ConcurrentHashMap線程安全類,本文就來和大家一起探討一下關於ConcurrentHashMap的源碼,版本是JDK1.8,下面讓我們正式開始吧。
備註:大家需要對HashMap1.8源碼有一些了解,在原來HashMap1.8源碼中比較常見的知識點本文不會具體展開。
內容導航
- 數組初始化線程安全實現
- put(key,value)線程安全實現
- transfer擴容及不同的擴容場景
01 put(key,value)方法
不妨先以一段大家熟悉的代碼開始本文的旅程
ConcurrentHashMap<Integer,String> map=new ConcurrentHashMap<Integer, String>();
map.put(1,"Zhang");
當我們在put元素時,點開put方法的源碼會發現,這裏調用了一個putVal()的方法,同時將key和value作為參數傳入
public V put(K key, V value) {
return putVal(key, value, false);
}
繼續點擊putVal()方法,然後我們看看這裏到底實現了什麽
//key或者value都不能為空
if (key == null || value == null) throw new NullPointerException();
//計算hash值,實際上就是得到一個int類型的數,只是需要對這個數進行處理,目的是為了確定key,value組成的Node節點在數組下標中的位置
int hash = spread(key.hashCode());
不妨先看下spread(key.hashCode())的實現
key.hashCode()實際上調用的是native的方法,目的是得到一個×××數,為了使得這個×××數盡可能不一樣,所以要對高16位和低16位進行異或運算,盡可能利用好每一位的值
static final int spread(int h) {
//對key.hashCode的結果進行高16位和低16位的運算
return (h ^ (h >>> 16)) & HASH_BITS;
}
接下來就是要初始化這個數組的大小,因為數組不初始化,代表key,value的每個Node類也不能放到對應的位置
if (tab == null || (n = tab.length) == 0)
//初始化數組的大小
tab = initTable();
private final Node<K,V>[] initTable() {
Node<K,V>[] tab; int sc;
//只有當數組為空或者大小為0的時候才對數組進行初始化
while ((tab = table) == null || tab.length == 0) {
//這裏其實就是用一個sizeCtl記錄是否已經有線程在進行初始化操作,如果有,則讓出CPU的資源,也就是保證只有一個線程對數組進行初始化操作,從而保證線程安全。
if ((sc = sizeCtl) < 0)
Thread.yield(); // lost initialization race; just spin
//使用CAS樂觀鎖機制比較SIZECTL和sc是否相等,只有當前值和內存中最新值相等的時候,才會將當前值賦值為-1,一旦被賦值為-1,上面有其他線程進來,就直接執行了Thread.yeild()方法了
else if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
try {
if ((tab = table) == null || tab.length == 0) {
//三元運算符得到數組默認大小,點擊DEFAULT_CAPACITY發現是16,這點和HashMap是一樣的
int n = (sc > 0) ? sc : DEFAULT_CAPACITY;
@SuppressWarnings("unchecked")
//創建Node類型的數組,真正初始化的地方
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
table = tab = nt;
//計算擴容的標準,采用的是位移運算,因為效率更高,sc最終結果為12
sc = n - (n >>> 2);
}
} finally {
//不管無論最終將sc賦值為sizeCtl,這時候sizeCtl結果為12
sizeCtl = sc;
}
break;
}
}
return tab;
}
當數組初始化完成之後,就需要將key,value創建出來的Node節點放到數組中對應的位置了,分為幾種情況,下面這種是原來某個位置就沒有元素值,但是為了保證線程安全,放到多個線程同時添加,也使用CAS樂觀鎖的機制進行添加。
//根據(n-1)&hash的結果確認當前節點所在的位置是否有元素,效果和hash%n是一樣的,只是&運算效率更高,這裏hashmap也是這樣做的,就不做更多贅述了
else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {
//使用CAS樂觀鎖機制向對應的下標中添加對應的Node
if (casTabAt(tab, i, null,
new Node<K,V>(hash, key, value, null)))
break; // no lock when adding to empty bin
}
//f實際上是當前數組下標的Node節點,這裏判斷它的hash值是否為MOVED,也就是-1,如果是-1,就調用helpTransfer(tab,f)方法幫助其他線程完成擴容操作,然後再添加元素。
else if ((fh = f.hash) == MOVED)
tab = helpTransfer(tab, f);
接下來就要考慮數組具體下標位置有元素的情況,這時候就需要把Node節點向當前節點下進行順延,形成鏈表或者紅黑樹的結構,還有一種情況就是key值相同,value值不能,這時候只需要進行一個value值的替換即可。
V oldVal = null;
//數組初始化和在數組下標中插入Node時,為了保證線程安全使用的是CAS無鎖化機制
//那元素繼續往下插入時,線程安全的問題怎麽保證呢?可以使用synchronized關鍵字
//發現同步代碼塊中鎖的對象是f,也就是當前數組下標的元素,這樣不同的數組下標之間彼此互相不影響。
synchronized (f) {
//再次確認當前頭結點是否為f
if (tabAt(tab, i) == f) {
if (fh >= 0) {
binCount = 1;
for (Node<K,V> e = f;; ++binCount) {
K ek;
//第一種情況,發現是key值相同,只需要替換掉oldValue即可
if (e.hash == hash &&
((ek = e.key) == key ||
(ek != null && key.equals(ek)))) {
oldVal = e.val;
if (!onlyIfAbsent)
e.val = value;
break;
}
//第二種情況,按照鏈表的方式進行插入
Node<K,V> pred = e;
if ((e = e.next) == null) {
pred.next = new Node<K,V>(hash, key,
value, null);
break;
}
}
}
//第三種情況,按照紅黑樹的方式進行插入
else if (f instanceof TreeBin) {
Node<K,V> p;
binCount = 2;
if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
value)) != null) {
oldVal = p.val;
if (!onlyIfAbsent)
p.val = value;
}
}
}
}
if (binCount != 0) {
//一般鏈表轉紅黑樹是節點數>8的時候,但不是一旦某個數組下標的節點數大於8就轉成紅黑樹,也可以通過調整數組的容量來解決,比如treeifyBin中進行的
if (binCount >= TREEIFY_THRESHOLD)
treeifyBin(tab, i);
//說明上面有需要替換掉舊值的節點
if (oldVal != null)
return oldVal;
break;
}
當添加完一個key,value方式的Node之後,就需要檢查是否整個數據結構中的節點數超過擴容標準比如12,如果超過了就需要進行數組大小的擴容,先調用addCount()方法,因為第二個參數check大於0,所以直接看裏面這段代碼。
if (check >= 0) {
Node<K,V>[] tab, nt; int n, sc;
while (s >= (long)(sc = sizeCtl) && (tab = table) != null &&
(n = tab.length) < MAXIMUM_CAPACITY) {
//通過resizeStamp(n),n是數組大小,得到一個int的結果,賦值給rs保存
int rs = resizeStamp(n);
if (sc < 0) {
if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
sc == rs + MAX_RESIZERS || (nt = nextTable) == null ||
transferIndex <= 0)
break;
if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1))
transfer(tab, nt);
}
//因為sc<0不成立,所以會來到這段代碼
//這裏通過CAS的方式比較SIZECTL和sc的值,當兩者相等時,會執行rs<<RESIZE<STAMP_SHIFT+2賦值操作,這個結果值是一個負數,表示當前正在執行擴容操作的線程數量
else if (U.compareAndSwapInt(this, SIZECTL, sc,
(rs << RESIZE_STAMP_SHIFT) + 2))
//調用transfer方法進行真正的擴容操作
transfer(tab, null);
s = sumCount();
}
}
02 擴容操作tranfer()
在concurrenthashmap中的擴容操作可能不止一個線程,所以每個線程就需要分工合作完成擴容,也就是每個線程需要領取自己負責的task,當然前提是得要有一個新的數組,這樣才能將老數組中的Node節點搬移到新數組中。
int n = tab.length, stride;
//確定線程負責數組大小的範圍
if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE)
stride = MIN_TRANSFER_STRIDE; // subdivide range
//判斷新的數組是否為null,為空則進行創建,比如數組原來的大小是16,2的N次冪,擴容也需要雙倍擴容
if (nextTab == null) { // initiating
try {
@SuppressWarnings("unchecked")
//采用位移運算進行雙倍擴容
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n << 1];
nextTab = nt;
} catch (Throwable ex) { // try to cope with OOME
sizeCtl = Integer.MAX_VALUE;
return;
}
nextTable = nextTab;
//使用transferIndex變量記錄數組的大小,表示線程進行擴容的時候,是從後往前進行的
transferIndex = n;
}
接下來就要進行搬移工作了,我們需要用一些標識記錄一下搬移的完成狀態,同時線程將某個數組下標的節點搬移完成之後也要讓別人知道,同時也能知道有線程正在進行擴容操作。
int nextn = nextTab.length;
//某個下標節點完成之後的節點類型,實際上就是繼承了Node節點,只不過點進去發現它的hash值為MOVED也就是-1
ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);
boolean advance = true;
boolean finishing = false; // to ensure sweep before committing nextTab
Node<K,V> f; int fh;
//i指向當前數組的下標,通過while循環遍歷--i,從而知道當前線程拿到的一個區間範圍
while (advance) {
int nextIndex, nextBound;
//一個數組下標一個數組下標的處理
if (--i >= bound || finishing)
advance = false;
//表示已經沒有需要搬運的節點了,將advance賦值為false
else if ((nextIndex = transferIndex) <= 0) {
i = -1;
advance = false;
}
//不同的線程搬運的內容,不斷地將transferindex的值變小
else if (U.compareAndSwapInt
(this, TRANSFERINDEX, nextIndex,
nextBound = (nextIndex > stride ?
nextIndex - stride : 0))) {
bound = nextBound;
i = nextIndex - 1;
advance = false;
}
}
if (i < 0 || i >= n || i + n >= nextn) {
int sc;
//finishing等於true就表示所有的線程都搬運完了,做最後的收尾工作
//比如將新數組的內容賦值到table,擴容標準由原來的12變成24
if (finishing) {
nextTable = null;
table = nextTab;
sizeCtl = (n << 1) - (n >>> 1);
return;
}
//這裏是每次有一個線程完成搬運工作,就將線程總數量-1
if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {
if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)
return;
finishing = advance = true;
i = n; // recheck before commit
}
}
//如果某個線程的某個數組下標搬運完成,則將該頭節點賦值為fwd類型的,其實就是hash值為MOVED
else if ((f = tabAt(tab, i)) == null)
advance = casTabAt(tab, i, null, fwd);
//表示已經搬運完成
else if ((fh = f.hash) == MOVED)
advance = true; // already processed
接下來就是每個線程真正在搬運代碼的過程,其實這塊和hashmap1.8中的resize後面的過程很類似
synchronized (f) {
//再次檢查當前數組下標的節點是否為f
if (tabAt(tab, i) == f) {
Node<K,V> ln, hn;
if (fh >= 0) {
int runBit = fh & n;
Node<K,V> lastRun = f;
for (Node<K,V> p = f.next; p != null; p = p.next) {
//新節點的位置要麽在原來的位置,要麽在原來的位置+原來數組的大小,這點和hashmap中一樣
//p.hash&n 也就是判斷這個結果是否等於0
int b = p.hash & n;
if (b != runBit) {
runBit = b;
lastRun = p;
}
}
//等於0會走這邊
if (runBit == 0) {
ln = lastRun;
hn = null;
}
//不等於0會走這邊
else {
hn = lastRun;
ln = null;
}
for (Node<K,V> p = f; p != lastRun; p = p.next) {
int ph = p.hash; K pk = p.key; V pv = p.val;
if ((ph & n) == 0)
ln = new Node<K,V>(ph, pk, pv, ln);
else
hn = new Node<K,V>(ph, pk, pv, hn);
}
//將鏈表整體遷移到nextTable中
setTabAt(nextTab, i, ln);
setTabAt(nextTab, i + n, hn);
//標識原桶標識位已經處理,頭節點標記為fw,hash值為-1
setTabAt(tab, i, fwd);
advance = true;
}
//這裏是紅黑樹遷移的情況
else if (f instanceof TreeBin) {
TreeBin<K,V> t = (TreeBin<K,V>)f;
TreeNode<K,V> lo = null, loTail = null;
TreeNode<K,V> hi = null, hiTail = null;
int lc = 0, hc = 0;
for (Node<K,V> e = t.first; e != null; e = e.next) {
int h = e.hash;
TreeNode<K,V> p = new TreeNode<K,V>
(h, e.key, e.val, null, null);
if ((h & n) == 0) {
if ((p.prev = loTail) == null)
lo = p;
else
loTail.next = p;
loTail = p;
++lc;
}
else {
if ((p.prev = hiTail) == null)
hi = p;
else
hiTail.next = p;
hiTail = p;
++hc;
}
}
ln = (lc <= UNTREEIFY_THRESHOLD) ? untreeify(lo) :
(hc != 0) ? new TreeBin<K,V>(lo) : t;
hn = (hc <= UNTREEIFY_THRESHOLD) ? untreeify(hi) :
(lc != 0) ? new TreeBin<K,V>(hi) : t;
setTabAt(nextTab, i, ln);
setTabAt(nextTab, i + n, hn);
setTabAt(tab, i, fwd);
advance = true;
}
}
}
03 其他方式引起的擴容
鏈表轉紅黑樹
前面說到,當鏈表長度超過8會轉成紅黑樹,但是節點總數如果小於64,會用擴容的方式代替轉紅黑樹,代碼如下
private final void treeifyBin(Node<K,V>[] tab, int index) {
Node<K,V> b; int n, sc;
if (tab != null) {
if ((n = tab.length) < MIN_TREEIFY_CAPACITY)
//tryPresize進行擴容
tryPresize(n << 1);
else if ((b = tabAt(tab, index)) != null && b.hash >= 0) {
synchronized (b) {
if (tabAt(tab, index) == b) {
TreeNode<K,V> hd = null, tl = null;
for (Node<K,V> e = b; e != null; e = e.next) {
TreeNode<K,V> p =
new TreeNode<K,V>(e.hash, e.key, e.val,
null, null);
if ((p.prev = tl) == null)
hd = p;
else
tl.next = p;
tl = p;
}
setTabAt(tab, index, new TreeBin<K,V>(hd));
}
}
}
}
}
點擊tryPresize方法,最終也會來到下面這段代碼,和前面addCount中的一樣
else if (U.compareAndSwapInt(this, SIZECTL, sc,
(rs << RESIZE_STAMP_SHIFT) + 2))
//註意這裏的第二個參數為null,表示新的數組還沒有創建,之前也是null
transfer(tab, null);
當前線程協助其他線程
在之前put的時候,中間跳過了這段話,這段話是當前線程發現有其他線程正在進行擴容操作,協助其他線程擴容完成之後再繼續put元素。
else if ((fh = f.hash) == MOVED)
tab = helpTransfer(tab, f);
/**
* Helps transfer if a resize is in progress.
*/
final Node<K,V>[] helpTransfer(Node<K,V>[] tab, Node<K,V> f) {
Node<K,V>[] nextTab; int sc;
if (tab != null && (f instanceof ForwardingNode) &&
(nextTab = ((ForwardingNode<K,V>)f).nextTable) != null) {
int rs = resizeStamp(tab.length);
while (nextTab == nextTable && table == tab &&
(sc = sizeCtl) < 0) {
if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
sc == rs + MAX_RESIZERS || transferIndex <= 0)
break;
//每當來一個線程幫助擴容,此時就會sc+1,表示多了一個線程
//其實這塊也能和transfer方法中的sc-1對應上,一個線程完成之後就數量-1
if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1)) {
//擴容的方法,註意第二個參數有傳入nextTab,原因是當前線程只是協助其他線程擴容
//既然其他線程正在擴容,說明這個新數組已經創建好了
transfer(tab, nextTab);
break;
}
}
return nextTab;
}
return table;
}
總結
到目前為止,我們分析了put過程中會遇到線程安全的點,比如數組初始化,數組頭元素添加,put完成過程等。同時還分析了transfer擴容每個線程領取的任務,搬運結果的方式,協助擴容等方面的內容。如果對大家有幫助,請幫忙轉發。
ConcurrentHashMap1.8源碼分析