浅谈HashMap
(本文基于jdk1.8)
HashMap概述
昨天写的第一篇居然有人追更了,那今天再给大家整个活儿。大家都知道HashMap是Map接口的实现,HashMap 允许空的 key-value 键值对,HashMap 被认为是 Hashtable 的增强版,HashMap 是一个非线程安全的容器,如果想构造线程安全的 Map 考虑使用 ConcurrentHashMap。HashMap 是无序的,因为 HashMap 无法保证内部存储的键值对的有序性。
顺便看看HashMap的结构
饭前开胃环节
在看源码前我们先简单说一下HashMap的大致实现原理,HashMap底层是数组+链表+红黑树的集合体,数组的大小为 capacity
(默认初始大小为 16,可以通过构造函数传入参数 initialCapacity
来改变)。put
数据时,会根据传入的 key 进行 hash 然后对 capacity
取模得到数组下标 index,然后将 整个 Entry<K,V> 存入到对应的数组下标中去。
整一个图就是这样的
懂得人肯定会说,假的吧 红色树呢?放错图了,上面1.7的,那来个1.8的
HashMap的重要属性
直接整活吧
初始容量
首当其冲的当然是初始容量,在源码里他叫DEFAULT_INITIAL_CAPACITY
static final int DEFAULT_INITIAL_CAPACITY = 1 << 4; // aka 16
HashMap 的默认初始容量是 1 << 4 = 16, << 是一个左移
操作,它相当于是
一个int在Java中占4字节=64位
0000 0000 0000 0000 0000 0000 0000 0001 =1
<< 4 表示左移4位
0000 0000 0000 0000 0000 0000 0001 0000 =16
最大容量
static final int MAXIMUM_CAPACITY = 1 << 30;
这里是不是有个疑问?int 占用四个字节,按说最大容量应该是左移 31 位,为什么 HashMap 最大容量是左移 30 位呢?因为在数值计算中,最高位也就是最左位的位是代表着符号位,0表示正数,1表示 负数,容量不可能是负数,所以 HashMap 最高位只能移位到 2 ^ 30 次幂。
负载因子
static final float DEFAULT_LOAD_FACTOR = 0.75f;
HashMap的负载因子是0.75f,也就是float类型的,负载因子和扩容机制息息相关,其实很简单,当HashMap存储的容量达到当前容量*负载因子(0.75)时,就会将HashMap的容量扩大两倍。Ps:HashMap 的第一次扩容就在 DEFAULT_INITIAL_CAPACITY * DEFAULT_LOAD_FACTOR = 12 时进行。
树化阈值
static final int TREEIFY_THRESHOLD = 8;
听名字就知道了,大家最喜欢的Tree来了,啥时候要变树?当然是在添加元素的时候,一个桶里的元素数量大于8时,它就变成红黑树(JDK1.8特性)了
链表阈值
static final int UNTREEIFY_THRESHOLD = 6;
untree啊,大家不要怕源码,这写的多通俗易懂,就是去树化,啥时候不变树了?删除元素时,把一个桶里的元素删到不足6个的时候,就自动变成链表了,不就是untree?
扩容临界值
static final int MIN_TREEIFY_CAPACITY = 64;
直接翻译是最小树化的容量,也确实就是这个意思,当桶数组的容量小于这个值(64)时,优先进行扩容(*2),而不是树化。
HashMap的构造函数
可以看到下图中,HashMap有四个构造函数,分别来介绍一下他们。
HashMap(int,float)
带有初始容量initialCapacity和负载因子loadFactor的构造函数
public HashMap(int initialCapacity, float loadFactor) {
if (initialCapacity < 0)
throw new IllegalArgumentException("Illegal initial capacity: " + initialCapacity);
//显然初始容量不可能为负值,这里首先判断若为负,直接IllegalArgumentException了。
if (initialCapacity > MAXIMUM_CAPACITY)
initialCapacity = MAXIMUM_CAPACITY;
//如果传递进来的初始容量大于最大容量时,直接让初始容量=最大容量。
if (loadFactor <= 0 || Float.isNaN(loadFactor))
//其次负载因子也不能小于0
throw new IllegalArgumentException("Illegal load factor: " +loadFactor);
this.loadFactor = loadFactor;
this.threshold = tableSizeFor(initialCapacity);
//最后才进行数组的扩容,这个扩容机制很重要,其中tableSizeFor这个方法也很精巧,具体见后文。
}
HashMap(int)
只带有 initialCapacity 的构造函数
public HashMap(int initialCapacity) {
this(initialCapacity, DEFAULT_LOAD_FACTOR);
}
可以发现这里最后还是会调用上面第一个双参构造方法,不过这个负载因子的赋为了DEFAULT_LOAD_FACTOR,前面说了,这就是0.75f
HashMap()
无参构造函数
/**
* Constructs an empty <tt>HashMap</tt> with the default initial capacity
* (16) and the default load factor (0.75).
*/
public HashMap() {
this.loadFactor = DEFAULT_LOAD_FACTOR; // all other fields defaulted
}
这里就是构造一个空的HashMap,默认初试容量(16),默认负载因子(0.75),
看源码中的注释就知道了。
HashMap(Map<? extends K, ? extends V>)
最后是带有map的构造函数
public HashMap(Map<? extends K, ? extends V> m) {
this.loadFactor = DEFAULT_LOAD_FACTOR;
putMapEntries(m, false);
}
这里调用putMapEntries方法,直接将外部元素批量放入HashMap中
putMapEntries
顺便讲一讲这个put进map方法,废话不多说,直接上源码
final void putMapEntries(Map<? extends K, ? extends V> m, boolean evict) {
int s = m.size();
if (s > 0) {
//首先传进来的map大小不能比0小吧
if (table == null) { // pre-size
//sloadFactor 计算传进来的map的长度是否要达到阈值,因为会计算出小数因此+1.0F向上取整
float ft = ((float)s / loadFactor) + 1.0F;
//当不大于最大值时,就用ft的长度
int t = ((ft < (float)MAXIMUM_CAPACITY) ?
(int)ft : MAXIMUM_CAPACITY);
//大于的话就用最大容量
if (t > threshold)
//如果这里的t比下次要扩容的值还大,那只能把这个t作为扩容的标准值再扩容了
threshold = tableSizeFor(t);
}
//若果走这个分支,则表示判断出来传入的map size大于当前map的threshold,这时我们必须先resize,表示先扩容,再装(因为我们已经提前知道了这个map装不下,当然要先扩大了)
else if (s > threshold)
resize();
//循环的时候如果大于阈值,也会触发resize
for (Map.Entry<? extends K, ? extends V> e : m.entrySet()) {
//下面的Entry泛型类对象,只能使用get类型的函数
K key = e.getKey();
V value = e.getValue();
putVal(hash(key), key, value, false, evict);
}
}
}
常用方法
put(K key, V value)
public V put(K key, V value) {
return putVal(hash(key), key, value, false, true);
}
可以看到HashMap并没有直接提供putVal接口给用户调用,而是提供的put函数,而put函数就是通过putVal来插 入元素的,那就直接点过去看看吧
putVal
看到这种不要怕,慢慢来,保证通俗易懂。这种方法一看就面试常客,你确定不认真看看?
final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
boolean evict) {
Node<K,V>[] tab; Node<K,V> p; int n, i;
//首先看table,如果它没有初始化,或者长度为0,那就直接调用resize扩容
if ((tab = table) == null || (n = tab.length) == 0)
n = (tab = resize()).length;// 获取长度(16)
//这里(n-1)&hash是真正的hash方法,确定了元素要放的地方(桶),新生成的节点放入桶中,此时该节点就是放在数组中
if ((p = tab[i = (n - 1) & hash]) == null)
//如果为null(空),就则新建一个结点
tab[i] = newNode(hash, key, value, null);
else {
Node<K,V> e; K k;
//如果新插入的结点和table中p结点的hash值,key值相同的话
//就把第一个元素赋给e,用e来记录
if (p.hash == hash &&
((k = p.key) == key || (key != null && key.equals(k))))
e = p;
// 如果是红黑树结点的话,进行红黑树插入
else if (p instanceof TreeNode)
e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
else {
for (int binCount = 0; ; ++binCount) {
// 代表这个单链表只有一个头部结点,直接新建一个结点即可
if ((e = p.next) == null) {
p.next = newNode(hash, key, value, null);
// 链表长度大于8时,将链表转红黑树
if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
treeifyBin(tab, hash);
break;// 如果找到了同 hash、key 的节点,那么直接退出循环
}
if (e.hash == hash &&
((k = e.key) == key || (key != null && key.equals(k))))
break;
// 更新 p 指向下一节点
p = e;
}
}
// map中含有旧值,返回旧值
if (e != null) { // existing mapping for key
V oldValue = e.value;
// 判断是否允许覆盖,并且oldvalue(旧值)是否为空
if (!onlyIfAbsent || oldValue == null)
//是则用新值来替换旧值
e.value = value;
//访问结束后回调
afterNodeAccess(e);
//返回旧值
return oldValue;
}
}
// map调整次数 + 1
++modCount;
// 键值对的数量达到阈值,需要扩容
if (++size > threshold)
resize();
//插入后回调
afterNodeInsertion(evict);
return null;
}
三个回调感兴趣的请移步https://segmentfault.com/a/1190000009498647
这里的put还有两个动图实现,一并放在这里了
put(K, V)
put(K, V) 相同hash值
图源https://mp.weixin.qq.com/s/Z_UzIX3gbtACyAFtwFD7Pg
放了总得拿吧,整点get吧
get(Object key)
public V get(Object key) {
Node<K,V> e;
return (e = getNode(hash(key), key)) == null ? null : e.value;
}
一看这个又是个小弟,真正的大哥getNode藏在返回值里,跟put一样,我们不能直接调用getNode,只能通过get函数来调用
getNode(int hash, Object key)
final Node<K,V> getNode(int hash, Object key) {
Node<K,V>[] tab; Node<K,V> first, e; int n; K k;
// 这里table已经初始化,长度大于0,根据hash寻找table中的项也不为空
if ((tab = table) != null && (n = tab.length) > 0 &&
(first = tab[(n - 1) & hash]) != null) {
//桶里第一项(first node)相等
if (first.hash == hash && // always check first node
((k = first.key) == key || (key != null && key.equals(k))))
return first;
// 桶中不止一个结点
if ((e = first.next) != null) {
//如果是红黑树节点
if (first instanceof TreeNode)
//那就去红黑树里找
return ((TreeNode<K,V>)first).getTreeNode(hash, key);
//否则就到链表里找
do {
if (e.hash == hash &&
((k = e.key) == key || (key != null && key.equals(k))))
return e;
} while ((e = e.next) != null);
}
}
return null;
}
Node<K,V>[] resize()
最最最重要的resize来了,这个真的通俗易懂,不骗你们,不信你们往里面看
final Node<K,V>[] resize() {
//table把老tab装起来
Node<K,V>[] oldTab = table;
//保存一下老tab的大小
int oldCap = (oldTab == null) ? 0 : oldTab.length;
//再存一下当前阈值
int oldThr = threshold;
int newCap, newThr = 0;
//看看老tab是不是大于0啊
if (oldCap > 0) {
//如果老tab比最大容量还大,那没办法了,只能把阈值也赋为最大整形了
if (oldCap >= MAXIMUM_CAPACITY) {
threshold = Integer.MAX_VALUE;
return oldTab;
}
//<<1就是扩大两倍你不会看不懂吧
else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
oldCap >= DEFAULT_INITIAL_CAPACITY)
//阈值也要翻倍哦
newThr = oldThr << 1; // double threshold
}
//看看之前的阈值是不是比0大
else if (oldThr > 0) // initial capacity was placed in threshold
newCap = oldThr;
//走这个else,那就是old table <= 0 并且 存储的阈值 <= 0了
else { // zero initial threshold signifies using defaults
newCap = DEFAULT_INITIAL_CAPACITY;
newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
}
//如果扩充阈值为0
if (newThr == 0) {
// // 扩容阈值为 初始容量*负载因子
float ft = (float)newCap * loadFactor;
newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
(int)ft : Integer.MAX_VALUE);
}
//重新给负载因子赋值
threshold = newThr;
//获取扩容后的数组
@SuppressWarnings({"rawtypes","unchecked"})
Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
table = newTab;
// 之前的table已经初始化过
if (oldTab != null) {
// 复制元素,重新进行hash
for (int j = 0; j < oldCap; ++j) {
Node<K,V> e;
if ((e = oldTab[j]) != null) {
oldTab[j] = null;
if (e.next == null)
newTab[e.hash & (newCap - 1)] = e;
else if (e instanceof TreeNode)
//重新映射时,需要对红黑树进行拆分,split懂?
((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
else { // preserve order
Node<K,V> loHead = null, loTail = null;
Node<K,V> hiHead = null, hiTail = null;
Node<K,V> next;
//遍历链表,将链表的节点按照原顺序进行分组
do {
next = e.next;
if ((e.hash & oldCap) == 0) {
if (loTail == null)
loHead = e;
else
loTail.next = e;
loTail = e;
}
else {
if (hiTail == null)
hiHead = e;
else
hiTail.next = e;
hiTail = e;
}
} while ((e = next) != null);
// 将分组后的链表放到新桶中
if (loTail != null) {
loTail.next = null;
newTab[j] = loHead;
}
if (hiTail != null) {
hiTail.next = null;
newTab[j + oldCap] = hiHead;
}
}
}
}
}
return newTab;
}
还是一清晰的动图
图源https://mp.weixin.qq.com/s/Z_UzIX3gbtACyAFtwFD7Pg
扩容总结
从putVal里不难发现,每插入一个元素时,size就+1,当size比threshold大的时候,就触发扩容,假设我们当前大小(capacity)是64,负载因子(loadFator)是0.75,那threshold为48= 64 * 0.75。
Ps:
1、JDK1.8之前HashMap是一个链表散列结构,JDK1.8之后则是数组+链表+红黑树的数据结构。
2、通过阅读源码发现HashMap能快速通过key得到value得益于其内部用了hash查找值的方法。
3、HashMap在并发执行put操作时会发生数据覆盖的情况,是其线程不安全的主要原因,其中1.7和1.8的HashMap导致其不安全的原因并不相同,具体移步https://www.cnblogs.com/javastack/p/12801870.html
remove(Object key)
相比前面两个方法,HashMap中的移除方法就很简单了
public V remove(Object key) {
Node<K,V> e;
return (e = removeNode(hash(key), key, null, false, true)) == null ?
null : e.value;
}
老样子小弟先上,最后都得大哥来
removeNode(***)
final Node<K,V> removeNode(int hash, Object key, Object value,
boolean matchValue, boolean movable) {
Node<K,V>[] tab; Node<K,V> p; int n, index;
if ((tab = table) != null && (n = tab.length) > 0 &&
(p = tab[index = (n - 1) & hash]) != null) {
Node<K,V> node = null, e; K k; V v;
if (p.hash == hash &&
((k = p.key) == key || (key != null && key.equals(k))))
node = p;
else if ((e = p.next) != null) {
if (p instanceof TreeNode)
node = ((TreeNode<K,V>)p).getTreeNode(hash, key);
else {
do {
if (e.hash == hash &&
((k = e.key) == key ||
(key != null && key.equals(k)))) {
node = e;
break;
}
p = e;
} while ((e = e.next) != null);
}
}
if (node != null && (!matchValue || (v = node.value) == value ||
(value != null && value.equals(v)))) {
if (node instanceof TreeNode)
((TreeNode<K,V>)node).removeTreeNode(this, tab, movable);
else if (node == p)
tab[index] = node.next;
else
p.next = node.next;
++modCount;
--size;
afterNodeRemoval(node);
return node;
}
}
return null;
}
remove 方法首先会通过 hash 来找到对应的 bucket,然后通过遍历链表,找到键值相等的节点,然后把对应的节点进行删除。
精巧的tableSizeFor
首先我们看看源码
static final int tableSizeFor(int cap) {
int n = cap - 1;
n |= n >>> 1;
n |= n >>> 2;
n |= n >>> 4;
n |= n >>> 8;
n |= n >>> 16;
return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1;
}
这个方法是jdk1.8才加入的,直接告诉大家这个方法的功能,是返回大于输入参数且最近的2的整数次幂的数,比如这样:
public static void main(String[] args) {
System.out.println(tableSizeFor(1));//输出1
System.out.println(tableSizeFor(5));//输出8
System.out.println(tableSizeFor(25));//输出32
System.out.println(tableSizeFor(125));//输出128
System.out.println(tableSizeFor(625));//输出1024
}
稍微抓一个出来讲解一下,当输入n=1<<30 的时候
0100 0000 0000 0000 0000 0000 0000 0000 (n)
0110 0000 0000 0000 0000 0000 0000 0000 (n |= n >>> 1)
0111 1000 0000 0000 0000 0000 0000 0000 (n |= n >>> 2)
0111 1111 1000 0000 0000 0000 0000 0000 (n |= n >>> 4)
0111 1111 1111 1111 1000 0000 0000 0000 (n |= n >>> 8)
0111 1111 1111 1111 1111 1111 1111 1111 (n |= n >>> 16)
其中(n |= n >>> 1)表示,n和右移一位的n进行或运算复制,传入的10(二进制1010),进行n>>>1得5(二进制0101),然后1010|0101=1111。以此类推,就能得到2的n次幂的数了,但仔细看又会发现,最开始是cap(容量)-1的值赋给n,最后又return中又把1加回来了,为什么呢?当你带入0会发现输出为1,显然不合理,所以HashMap的容量要大于1才有意义。
常见面试题
HashMap 的数据结构
JDK1.7 中,HashMap 采用位桶 + 链表
JDK1.8 中,HashMap 采用位桶 + 链表+红黑树
HashMap 为啥线程不安全
HashMap 不是一个线程安全的容器,不安全性体现在多线程并发对 HashMap 进行 put 操作上。如果有两个线程 A 和 B ,首先 A 希望插入一个键值对到 HashMap 中,在决定好桶的位置进行 put 时,此时 A 的时间片正好用完了,轮到 B 运行,B 运行后执行和 A 一样的操作,只不过 B 成功把键值对插入进去了。如果 A 和 B 插入的位置(桶)是一样的,那么线程 A 继续执行后就会覆盖 B 的记录,造成了数据不一致问题。
还有一点在于 HashMap 在扩容时,因 resize 方法会形成环,造成死循环,导致 CPU 飙高。
HashMap 的长度为什么是 2 的幂次方
为了能让 HashMap 存取高效,尽量较少碰撞,也就是要尽量把数据分配均匀。我们上面也讲到了过了,Hash 值的范围值-2147483648到2147483647,前后加起来大概40亿的映射空间,只要哈希函数映射得比较均匀松散,一般应用是很难出现碰撞的。但问题是一个40亿长度的数组,内存是放不下的。所以这个散列值是不能直接拿来用的。用之前还要先做对数组的长度取模运算,得到的余数才能用来要存放的位置也就是对应的数组下标。这个数组下标的计算方法是“ (n - 1) & hash ”。(n代表数组长度)。这也就解释了 HashMap 的长度为什么是2的幂次方。这个算法应该如何设计呢?我们首先可能会想到采用%取余的操作来实现。但是,重点来了:“取余(%)操作中如果除数是2的幂次则等价于与其除数减一的与(&)操作(也就是说 hash%length==hash&(length-1)的前提是 length 是2的 n 次方;)。” 并且 采用二进制位操作 &,相对于%能够提高运算效率,这就解释了 HashMap 的长度为什么是2的幂次方。
HashMap 线程安全的实现有哪些
并发场景下推荐使用 ConcurrentHashMap,还可以使用 HashTable 。
HashMap 的 put 过程
HashMap 的长度为什么是 2 的幂次方
为了能让 HashMap 存取高效,尽量较少碰撞,也就是要尽量把数据分配均匀。我们上面也讲到了过了,Hash 值的范围值-2147483648到2147483647,前后加起来大概40亿的映射空间,只要哈希函数映射得比较均匀松散,一般应用是很难出现碰撞的。但问题是一个40亿长度的数组,内存是放不下的。所以这个散列值是不能直接拿来用的。用之前还要先做对数组的长度取模运算,得到的余数才能用来要存放的位置也就是对应的数组下标。这个数组下标的计算方法是“ (n - 1) & hash ”。(n代表数组长度)。这也就解释了 HashMap 的长度为什么是2的幂次方。这个算法应该如何设计呢?我们首先可能会想到采用%取余的操作来实现。但是,重点来了:“取余(%)操作中如果除数是2的幂次则等价于与其除数减一的与(&)操作(也就是说 hash%length==hash&(length-1)的前提是 length 是2的 n 次方;)。” 并且 采用二进制位操作 &,相对于%能够提高运算效率,这就解释了 HashMap 的长度为什么是2的幂次方。
HashMap 线程安全的实现有哪些
并发场景下推荐使用 ConcurrentHashMap,还可以使用 HashTable 。
HashMap 的 put 过程
见上