HashMap 不是线程安全的,多个线程同时操作会抛出 ConcurrentModificationException 异常。ConcurrentHashMap 是 HashMap 线程安全的一个实现版本。1.8中放弃了 Segment 臃肿的设计,取而代之的是采用 Node + CAS + Synchronized 来保证并发安全进行实现,结构如下:
成员变量:
private transient volatile int sizeCtl;
// ConcurrentHashMap的最大容量 2^30
private static final int MAXIMUM_CAPACITY = 1 << 30;
// ConcurrentHashMap的默认容量 2^4
private static final int DEFAULT_CAPACITY = 16;
// hash值为-1表明线程正在扩容中,会创建hash为-1的fwd结点
static final int MOVED = -1;
// 扩容线程所负责的区间大小最低为16,避免发生大量的内存冲突
private static final int MIN_TRANSFER_STRIDE = 16;
// 用于扩容过程中,指示原数组下一个分割区间的上界位置
private transient volatile int transferIndex;
/*
* 主要用于扩容过程中指向扩容后的新数组
* 只有当数组处于扩容过程时,nextTable才不为null;否则其他时刻,nextTable为null
*/
private transient volatile Node<K,V>[] nextTable;
// 节点数组,用于存储键值对,当第一次插入时进行初始化。
transient volatile Node<K,V>[] table;
sizeCtl 变量表示 ConcurrentHashMap 状态,它包括未初始化、初始化中、正常状态、扩容中这些状态。通过 CAS 告知其他线程 ConcurrentHashMap 的当前状态:
未初始化:
- sizeCtl = 0:表示还没有指定容器容量
- sizeCtl > 0:已初始化容器容量
初始化中:
- sizeCtl = -1(正在初始化)
正常状态:
- sizeCtl = 0.75*n(扩容阈值):表示这次扩容的阈值,每一次扩容会对桶容量 t= n << 1,在扩容过程中,会判断 t < sizeCtl,为真则扩容成功,否则会继续扩容(n << 1,sizeCtl = 0.75*n),直到前面的判断为真或 n >= MAXIMUM_CAPACITY。
扩容中(sizeCtl < 0):
- sizeCtl = (resizeStamp(n) << RESIZE_STAMP_SHIFT) + 2 :表示只有一个线程在扩容
- sizeCtl = (resizeStamp(n) << RESIZE_STAMP_SHIFT) + n + 2:表示有 n 个线程在扩容
构造函数
public ConcurrentHashMap(int initialCapacity,
float loadFactor, int concurrencyLevel) {
if (!(loadFactor > 0.0f) || initialCapacity < 0 || concurrencyLevel <= 0)
throw new IllegalArgumentException();
if (initialCapacity < concurrencyLevel) // Use at least as many bins
initialCapacity = concurrencyLevel; // as estimated threads
// 初始化容量和加载因子相乘
long size = (long)(1.0 + (long)initialCapacity / loadFactor);
// 重算数组槽容量
int cap = (size >= (long)MAXIMUM_CAPACITY) ?
MAXIMUM_CAPACITY : tableSizeFor((int)size);
this.sizeCtl = cap;
}
插入元素
final V putVal(K key, V value, boolean onlyIfAbsent) {
if (key == null || value == null) throw new NullPointerException();
// 计算哈希码
int hash = spread(key.hashCode());
int binCount = 0;
for (Node<K,V>[] tab = table;;) {
Node<K,V> f; int n, i, fh;
if (tab == null || (n = tab.length) == 0)
// 初始化数组槽
tab = initTable();
else if ((f = tabAt(tab, i = (n - 1) & hash)) == null) {
/*
* 当前槽还没有存放结点,存放添加的结点
* 注意存放的索引:(n-1)&hash
*/
if (casTabAt(tab, i, null,
new Node<K,V>(hash, key, value, null)))
break; // no lock when adding to empty bin
}
else if ((fh = f.hash) == MOVED)
tab = helpTransfer(tab, f);
else {
V oldVal = null;
// 槽的第一个结点作为内置锁
synchronized (f) {
// 获得锁
if (tabAt(tab, i) == f) {
// 存放在指定槽的第一个结点引用没有改变
if (fh >= 0) {
binCount = 1;
for (Node<K,V> e = f;; ++binCount) {
K ek;
if (e.hash == hash &&
((ek = e.key) == key ||
(ek != null && key.equals(ek)))) {
// 存在对应的key结点
oldVal = e.val;
if (!onlyIfAbsent)
e.val = value;
break;
}
Node<K,V> pred = e;
if ((e = e.next) == null) {
// 不存在key的结点,添加新结点
pred.next = new Node<K,V>(hash, key,
value, null);
break;
}
}
}
else if (f instanceof TreeBin) {
// 树结点
Node<K,V> p;
binCount = 2;
if ((p = ((TreeBin<K,V>)f).putTreeVal(hash, key,
value)) != null) {
// 已存在key的树结点
oldVal = p.val;
if (!onlyIfAbsent)
p.val = value;
}
}
}
}
if (binCount != 0) {
if (binCount >= TREEIFY_THRESHOLD)
// 如果链表结点大于等于8就树化
treeifyBin(tab, i);
if (oldVal != null)
return oldVal;
break;
}
}
}
addCount(1L, binCount);
return null;
}
/*
* 重构哈希码
*/
static final int spread(int h) {
return (h ^ (h >>> 16)) & HASH_BITS;
}
/*
* 通过CAS获取存放指定位置的首结点
*/
static final <K,V> Node<K,V> tabAt(Node<K,V>[] tab, int i) {
return (Node<K,V>)U.getObjectVolatile(tab, ((long)i << ASHIFT) + ABASE);
}
/*
* CAS保存到指定位置的结点引用
*/
static final <K,V> boolean casTabAt(Node<K,V>[] tab, int i,
Node<K,V> c, Node<K,V> v) {
return U.compareAndSwapObject(tab, ((long)i << ASHIFT) + ABASE, c, v);
}
/*
* 把结点存放到对应的槽(存放的位置与取的位置计算相同)
*/
static final <K,V> void setTabAt(Node<K,V>[] tab, int i, Node<K,V> v) {
U.putObjectVolatile(tab, ((long)i << ASHIFT) + ABASE, v);
}
/*
* 树化操作
*/
private final void treeifyBin(Node<K,V>[] tab, int index) {
Node<K,V> b; int n, sc;
if (tab != null) {
if ((n = tab.length) < MIN_TREEIFY_CAPACITY)
tryPresize(n << 1);
else if ((b = tabAt(tab, index)) != null && b.hash >= 0) {
/*
* 并发处理获取锁
* 需要树化的链表
*/
synchronized (b) {
if (tabAt(tab, index) == b) {
TreeNode<K,V> hd = null, tl = null;
for (Node<K,V> e = b; e != null; e = e.next) {
TreeNode<K,V> p =
new TreeNode<K,V>(e.hash, e.key, e.val,
null, null);
if ((p.prev = tl) == null)
hd = p;
else
tl.next = p;
tl = p;
}
/*
* TreeBin对象在初始化时会构造一棵红黑树
*/
setTabAt(tab, index, new TreeBin<K,V>(hd));
}
}
}
}
}
插入元素流程:
- 当前桶指向的引用为空,使用 CAS 来添加元素,不需要加锁操作。
- 当前桶指向的引用不为空,把指向的引用对象作为锁,执行加锁操作。也就是每个桶都有对应的锁,当多个线程对不同的桶执行插入操作时,并行执行插入。
扩容:
/*
* 扩容后桶的大小总是2的幂次方
* 初始化容量:n=16 sizeCtl=12
* 第一次扩容:n=32 sizeCtl=24
* 第三次扩容:n=64 sizeCtl=48 n<=sizeCtl 退出扩容
*/
private final void tryPresize(int size) {
// 扩大桶的大小,必须是2的幂次方
int c = (size >= (MAXIMUM_CAPACITY >>> 1)) ? MAXIMUM_CAPACITY :
tableSizeFor(size + (size >>> 1) + 1);
int sc;
/*
* sizeCtl=0表示容器没有被初始化
* sizeCtl>0表示容器已初始化,准备扩容
*/
while ((sc = sizeCtl) >= 0) {
Node<K,V>[] tab = table; int n;
// 容器没有被初始化,准备初始化
if (tab == null || (n = tab.length) == 0) {
n = (sc > c) ? sc : c;
if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
try {
if (table == tab) {
@SuppressWarnings("unchecked")
// 创建桶数组
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n];
table = nt;
// 设置扩容阈值
sc = n - (n >>> 2);
}
} finally {
// 设置扩容阈值0.75*n
sizeCtl = sc;
}
}
}
else if (c <= sc || n >= MAXIMUM_CAPACITY)
/*
* 当阈值大于需要扩容的大小时(初始化的 t = n << 1)、
* 容器大于等于最大允许大小时成功,才退出。
* 注意:这里的阈值不是下次需要扩容的大小,是这次扩容的阈值,它是跟初始扩大
* 容量(n<<1)比较,小于则继续扩大容量(n<<1 sizeCtl=0.75*n)
*/
break;
else if (tab == table) {
int rs = resizeStamp(n);
if (sc < 0) {
// 正在扩容中
Node<K,V>[] nt;
if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
sc == rs + MAX_RESIZERS || (nt = nextTable) == null ||
transferIndex <= 0)
// 扩容已经完成
break;
if (U.compareAndSwapInt(this, SIZECTL, sc, sc + 1))
/*
* 当前线程在扩容时发现已存在其他的线程正在执行扩容,
* 则参与进去扩容任务中,不同的线程分配不同的桶的迁移任务,
* 并使用内置锁来处理并发执行的情况
*/
transfer(tab, nt);
}
else if (U.compareAndSwapInt(this, SIZECTL, sc,
(rs << RESIZE_STAMP_SHIFT) + 2))
/*
* 这里设置SIZECTL的值(rs << RESIZE_STAMP_SHIFT) + 2
* 数组槽的容量最大值是(1 << 30)=1073741824
* 当数组槽长度大于(1 << 15)=32767,就会出现负数
*/
transfer(tab, null);
}
}
}
/*
* 扩容过程中,会把旧数组的数据迁移到扩容后新数组上
* 从右到左每次从旧数组迁移stride个桶数据到新数组
*/
private final void transfer(Node<K,V>[] tab, Node<K,V>[] nextTab) {
int n = tab.length, stride;
// 计算每次迁移结点个数,不小于16
if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) < MIN_TRANSFER_STRIDE)
stride = MIN_TRANSFER_STRIDE; // subdivide range
if (nextTab == null) { // initiating
// 容器未初始化则初始化容器
try {
@SuppressWarnings("unchecked")
// 初始化的时候扩容为原来两倍大小
Node<K,V>[] nt = (Node<K,V>[])new Node<?,?>[n << 1];
nextTab = nt;
} catch (Throwable ex) { // try to cope with OOME
sizeCtl = Integer.MAX_VALUE;
return;
}
// 临时交换数组
nextTable = nextTab;
// 设置迁移索引
transferIndex = n;
}
int nextn = nextTab.length;
/*
* 这是一个空的标志节点,当数组结点为null或被转移之后就会把数组槽引用指向ForwardingNode结点
*/
ForwardingNode<K,V> fwd = new ForwardingNode<K,V>(nextTab);
boolean advance = true;
// 是否全部转移标志
boolean finishing = false; // to ensure sweep before committing nextTab
/*
* 会对旧数组槽进项两次全局检查:
* 1、为所有的数组元素指向ForwardingNode对象引用
* 2、提交前再次检查是否都符合第一条规则
*/
for (int i = 0, bound = 0;;) {
Node<K,V> f; int fh;
/*
* while循环主要设置transferIndex标志位,为了迁移旧数组结点
*/
while (advance) {
int nextIndex, nextBound;
/*
* 退出while循环:
* 1:完成扩容
* 2:当前线程完成自己负责的那部分区域
*/
if (--i >= bound || finishing)
advance = false;
// 完成扩容
else if ((nextIndex = transferIndex) <= 0) {
i = -1;
advance = false;
}
else if (U.compareAndSwapInt
(this, TRANSFERINDEX, nextIndex,
nextBound = (nextIndex > stride ?
nextIndex - stride : 0))) {
/*
* 设置transferIndex-=stride,当transferIndex小于0则设为0
* 从右到左迁移标志直到0索引位置
*/
// 记录当前线程迁移哈希桶的最左边界
bound = nextBound;
// 记录当前线程迁移哈希桶的最大索引
i = nextIndex - 1;
advance = false;
}
}
if (i < 0 || i >= n || i + n >= nextn) {
int sc;
if (finishing) {
// 完成扩容
nextTable = null;
// 设置新的数组槽
table = nextTab;
// 设置扩容阈值0.75*n
sizeCtl = (n << 1) - (n >>> 1);
return;
}
if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {
if ((sc - 2) != resizeStamp(n) << RESIZE_STAMP_SHIFT)
return;
// 再次设置i,再次检查迁移是否完成,同时设置完成标志finishing为true
finishing = advance = true;
i = n; // recheck before commit
}
}
else if ((f = tabAt(tab, i)) == null)
/*
* 把数组槽中为null的元素设置为ForwardingNode结点
* ForwardingNode结点的哈希码是MOVED(-1)
*/
advance = casTabAt(tab, i, null, fwd);
else if ((fh = f.hash) == MOVED)
// 当槽的引用的结点的哈希码是MOVED表明已经设置过了
advance = true; // already processed
else {
// 加锁操作
synchronized (f) {
if (tabAt(tab, i) == f) {
// 原位置、新位置结点引用
Node<K,V> ln, hn;
if (fh >= 0) {
int runBit = fh & n;
// 与上一个结点的(hash & n)值不同的最近结点
Node<K,V> lastRun = f;
for (Node<K,V> p = f.next; p != null; p = p.next) {
int b = p.hash & n;
if (b != runBit) {
// 记录不同的结点位置和(hash & n)值
runBit = b;
lastRun = p;
}
}
if (runBit == 0) {
// 原结点标签结束的链表
ln = lastRun;
hn = null;
}
else {
// 新索引结点结束的链表
hn = lastRun;
ln = null;
}
/*
* 拆分的链表顺序与原链表结点顺序相反
*/
for (Node<K,V> p = f; p != lastRun; p = p.next) {
int ph = p.hash; K pk = p.key; V pv = p.val;
if ((ph & n) == 0)
ln = new Node<K,V>(ph, pk, pv, ln);
else
hn = new Node<K,V>(ph, pk, pv, hn);
}
setTabAt(nextTab, i, ln);
setTabAt(nextTab, i + n, hn);
// 原数组索引i指向ForwardingNode对象
setTabAt(tab, i, fwd);
advance = true;
}
else if (f instanceof TreeBin) {
// 与HashMap实现原理相同
}
}
}
}
}
}
多线程并发扩容控制:
链表拆分:
扩容过程中需要注意一下几点:
- 容器大小必须是 2 的幂次方;
- sizeCtl 标志在扩容中的作用:何时才算完成?
- 链表的拆分。
参考文章: