Java 7 和 Java 8 中的 HashMap原理解析

HashMap 可能是面試的時候必問的題目了,面試官為什麼都偏愛拿這個問應聘者?因為 HashMap 它的設計結構和原理比較有意思,它既可以考初學者對 Java 集合的瞭解又可以深度的發現應聘者的數據結構功底。

閱讀前提:本文分析的是源碼,所以至少讀者要熟悉它們的接口使用,同時,對於併發,讀者至少要知道 CAS、ReentrantLock、Unsafe 操作這幾個基本的知識,文中不會對這些知識進行介紹。Java8 用到了紅黑樹,不過本文不會進行展開,感興趣的讀者請自行查找相關資料。

Java 7 中 HashMap

HashMap 是最簡單的,一來我們非常熟悉,二來就是它不支持併發操作,所以源碼也非常簡單。

首先,我們用下面這張圖來介紹 HashMap 的結構。

Java 7 和 Java 8 中的 HashMap原理解析

大方向上,HashMap 裡面是一個數組,然後數組中每個元素是一個單向鏈表。為什麼是這種的結構,這涉及到數據結構方面的知識了。

HashMap的數據結構

數據結構中有數組和鏈表來實現對數據的存儲,但這兩者基本上是兩個極端。

數組數組存儲區間是連續的,佔用內存嚴重,故空間複雜的很大。但數組的二分查找時間複雜度小,為O(1);數組的特點是:尋址容易,插入和刪除困難;

鏈表鏈表存儲區間離散,佔用內存比較寬鬆,故空間複雜度很小,但時間複雜度很大,為O(N)。鏈表的特點是:尋址困難,插入和刪除容易。

哈希表那麼我們能不能綜合兩者的特性,做出一種尋址容易,插入刪除也容易的數據結構?答案是肯定的,這就是我們要提起的哈希表。哈希表((Hash table)既滿足了數據的查找方便,同時不佔用太多的內容空間,使用也十分方便。

哈希表有多種不同的實現方法,我接下來解釋的是最常用的一種方法—— 拉鍊法,我們可以理解為“鏈表的數組”,如圖:

Java 7 和 Java 8 中的 HashMap原理解析

當添加數據的時候,整個結構大致如下:

Java 7 和 Java 8 中的 HashMap原理解析

從上圖我們可以發現哈希表是由數組+鏈表組成的,一個長度為16的數組中,每個數組中元素存儲的是一個鏈表的頭結點。

那麼這些元素是按照什麼樣的規則存儲到數組中呢。一般情況我們首先想到的就是元素的 key 的哈希值對數組長度取模得到 ( hash(key)%(length -1) ),這樣一來,元素的分佈相對來說是比較均勻的。但是,“模”運算的消耗還是比較大的,能不能找一種更快速,消耗更小的方式那?java中是這樣做的:

<code>static int indexFor(int h, int length) {  
return h & (length-1);
} /<code>

我們知道每個數據對象的hash對應唯一一個值,但是一個hash值不一定對應唯一的數據對象。如果兩個不同對象的 hashCode 相同,此情況即稱為哈希衝突
比如上述HashMap中,12%16=12,28%16=12,108%16=12,140%16=12。所以12、28、108以及140都存儲在數組下標為12的位置,然後依次放在數組中該位置的鏈表上。

注意:
對於那些 hash 衝突的數據,最新(最後) Put 的值放在鏈表的頭部,為什麼這樣做呢?因為我們程序設計中認為最新放進去的值它的使用率會更高些,放在鏈表頭比較容易查詢獲取到。

HashMap 裡面實現一個靜態內部類 Entry,Entry 包含四個屬性:key,value,hash值和用於單向鏈表的 next。從屬性key,value我們就能很明顯的看出來 Entry 就是 HashMap 鍵值對實現的一個基礎 bean,我們上面說到 HashMap的基礎就是一個線性數組,這個數組就是 Entry[],Map 裡面的內容都保存在 Entry[] 裡面。上圖中,每個綠色的實體是嵌套類 Entry 的實例。

  • capacity:當前數組容量,始終保持 2^n,可以擴容,擴容後數組大小為當前的 2 倍。
  • loadFactor:負載因子,默認為0.75。
  • threshold:擴容的閾值,等於 capacity * loadFactor。
  • 注意問題:

    1、擴容的數組的長度為什麼保持 2^n?其實這是為了保證通過hash方式獲取下標的時候分佈均勻。數組長度為2的n次冪的時候,不同的key 算得得 index 相同的幾率較小,那麼數據在數組上分佈就比較均勻,也就是說碰撞的幾率小,相對的,查詢的時候就不用遍歷某個位置上的鏈表,這樣查詢效率也就較高了。

    2、為什麼負載因子的值默認為 0.75?加載因子是表示Hash表中元素的填滿的程度。

    加載因子越大,填滿的元素越多,空間利用率越高,但衝突的機會加大了。反之,加載因子越小,填滿的元素越少,衝突的機會減小,但空間浪費多了。衝突的機會越大,則查找的成本越高。反之,查找的成本越小。

    因此,必須在 "衝突的機會"與"空間利用率"之間尋找一種平衡與折衷。

    put 過程分析

    還是比較簡單的,跟著代碼走一遍吧。

    <code>public V put(K key, V value) {
    // 當插入第一個元素的時候,需要先初始化數組大小
    if (table == EMPTY_TABLE) {
    inflateTable(threshold);
    }
    // 如果 key 為 null,感興趣的可以往裡看,最終會將這個 entry 放到 table[0] 中
    if (key == null)
    return putForNullKey(value);
    // 1. 求 key 的 hash 值
    int hash = hash(key);
    // 2. 找到對應的數組下標
    int i = indexFor(hash, table.length);
    // 3. 遍歷一下對應下標處的鏈表,看是否有重複的 key 已經存在,
    // 如果有,直接覆蓋,put 方法返回舊值就結束了
    for (Entry e = table[i]; e != null; e = e.next) {
    Object k;
    if (e.hash == hash && ((k = e.key) == key || key.equals(k))) {
    V oldValue = e.value;
    e.value = value;
    e.recordAccess(this);
    return oldValue;
    }
    }

    modCount++;
    // 4. 不存在重複的 key,將此 entry 添加到鏈表中,細節後面說

    addEntry(hash, key, value, i);
    return null;
    }
    /<code>

    數組初始化(inflateTable)

    在第一個元素插入 HashMap 的時候做一次數組的初始化,就是先確定初始的數組大小,並計算數組擴容的閾值。

    <code>private void inflateTable(int toSize) {
    // 保證數組大小一定是 2 的 n 次方。
    // 比如這樣初始化:new HashMap(20),那麼處理成初始數組大小是 32
    int capacity = roundUpToPowerOf2(toSize);
    // 計算擴容閾值:capacity * loadFactor
    threshold = (int) Math.min(capacity * loadFactor, MAXIMUM_CAPACITY + 1);
    // 算是初始化數組吧
    table = new Entry[capacity];
    initHashSeedAsNeeded(capacity); //ignore
    }/<code>

    這裡有一個將數組大小保持為 2 的 n 次方的做法,Java7 和 Java8 的 HashMap 和 ConcurrentHashMap 都有相應的要求,只不過實現的代碼稍微有些不同,後面再看到的時候就知道了。

    計算具體數組位置(indexFor)

    這個簡單,我們自己也能 YY 一個:使用 key 的 hash 值對數組長度進行取模就可以了。

    <code>static int indexFor(int hash, int length) {
    // assert Integer.bitCount(length) == 1 : "length must be a non-zero power of 2";
    return hash & (length-1);
    }/<code>

    這個方法很簡單,簡單說就是取 hash 值的低 n 位。如在數組長度為 32 的時候,其實取的就是 key 的 hash 值的低 5 位,作為它在數組中的下標位置。

    添加節點到鏈表中(addEntry)

    找到數組下標後,會先進行 key 判重,如果沒有重複,就準備將新值放入到鏈表的表頭。

    <code>void addEntry(int hash, K key, V value, int bucketIndex) {
    // 如果當前 HashMap 大小已經達到了閾值,並且新值要插入的數組位置已經有元素了,那麼要擴容
    if ((size >= threshold) && (null != table[bucketIndex])) {
    // 擴容,後面會介紹一下
    resize(2 * table.length);
    // 擴容以後,重新計算 hash 值
    hash = (null != key) ? hash(key) : 0;
    // 重新計算擴容後的新的下標
    bucketIndex = indexFor(hash, table.length);
    }
    // 往下看
    createEntry(hash, key, value, bucketIndex);
    }
    // 這個很簡單,其實就是將新值放到鏈表的表頭,然後 size++
    void createEntry(int hash, K key, V value, int bucketIndex) {
    Entry e = table[bucketIndex];
    table[bucketIndex] = new Entry<>(hash, key, value, e);

    size++;
    }
    /<code>

    這個方法的主要邏輯就是先判斷是否需要擴容,需要的話先擴容,然後再將這個新的數據插入到擴容後的數組的相應位置處的鏈表的表頭。

    數組擴容(resize)

    前面我們看到,在插入新值的時候,如果當前的 size 已經達到了閾值,並且要插入的數組位置上已經有元素,那麼就會觸發擴容,擴容後,數組大小為原來的 2 倍。

    <code>void resize(int newCapacity) {
    Entry[] oldTable = table;
    int oldCapacity = oldTable.length;
    if (oldCapacity == MAXIMUM_CAPACITY) {
    threshold = Integer.MAX_VALUE;
    return;
    }
    // 新的數組
    Entry[] newTable = new Entry[newCapacity];
    // 將原來數組中的值遷移到新的更大的數組中
    transfer(newTable, initHashSeedAsNeeded(newCapacity));
    table = newTable;
    threshold = (int)Math.min(newCapacity * loadFactor, MAXIMUM_CAPACITY + 1);
    }/<code>

    擴容就是用一個新的大數組替換原來的小數組,並將原來數組中的值遷移到新的數組中。

    由於是雙倍擴容,遷移過程中,會將原來 table[i] 中的鏈表的所有節點,分拆到新的數組的 newTable[i]

    和 newTable[i + oldLength] 位置上。如原來數組長度是 16,那麼擴容後,原來 table[0] 處的鏈表中的所有元素會被分配到新數組中 newTable[0] 和 newTable[16] 這兩個位置。代碼比較簡單,這裡就不展開了。

    get 過程分析

    相對於 put 過程,get 過程是非常簡單的。

    • 根據 key 計算 hash 值。
    • 找到相應的數組下標:hash & (length - 1)。
    • 遍歷該數組位置處的鏈表,直到找到相等(==或equals)的 key。
    <code>public V get(Object key) {
    // 之前說過,key 為 null 的話,會被放到 table[0],所以只要遍歷下 table[0] 處的鏈表就可以了
    if (key == null)
    return getForNullKey();
    //
    Entry entry = getEntry(key);

    return null == entry ? null : entry.getValue();
    }
    /<code>

    getEntry(key):

    <code>final Entry getEntry(Object key) { 

    if (size == 0) {
    return null;
    }

    int hash = (key == null) ? 0 : hash(key);
    // 確定數組下標,然後從頭開始遍歷鏈表,直到找到為止
    for (Entry e = table[indexFor(hash, table.length)];
    e != null;
    e = e.next) {
    Object k;
    if (e.hash == hash &&
    ((k = e.key) == key || (key != null && key.equals(k))))
    return e;
    }
    return null;
    }
    /<code>

    Java8 中 HashMap

    Java8 對 HashMap 進行了一些修改,最大的不同就是利用了紅黑樹,所以其由 數組+鏈表+紅黑樹 組成。

    根據 Java7 HashMap 的介紹,我們知道,查找的時候,根據 hash 值我們能夠快速定位到數組的具體下標,但是之後的話,需要順著鏈表一個個比較下去才能找到我們需要的,時間複雜度取決於鏈表的長度,為 O(n)。

    為了降低這部分的開銷,在 Java8 中,當鏈表中的元素達到了 8 個時,會將鏈表轉換為紅黑樹,在這些位置進行查找的時候可以降低時間複雜度為 O(logN)。

    來一張圖簡單示意一下吧:

    Java 7 和 Java 8 中的 HashMap原理解析

    注意,上圖是示意圖,主要是描述結構,不會達到這個狀態的,因為這麼多數據的時候早就擴容了。

    下面,我們還是用代碼來介紹吧,個人感覺,Java8 的源碼可讀性要差一些,不過精簡一些。

    Java7 中使用 Entry 來代表每個 HashMap 中的數據節點,Java8 中使用 Node,基本沒有區別,都是 key,value,hash 和 next 這四個屬性,不過,Node 只能用於鏈表的情況,紅黑樹的情況需要使用 TreeNode。

    我們根據數組元素中,第一個節點數據類型是 Node 還是 TreeNode 來判斷該位置下是鏈表還是紅黑樹的。

    put 過程分析

    <code>public V put(K key, V value) {
    return putVal(hash(key), key, value, false, true);
    }

    // 第三個參數 onlyIfAbsent 如果是 true,那麼只有在不存在該 key 時才會進行 put 操作
    // 第四個參數 evict 我們這裡不關心
    final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
    boolean evict) {
    Node[] tab; Node p; int n, i;
    // 第一次 put 值的時候,會觸發下面的 resize(),類似 java7 的第一次 put 也要初始化數組長度
    // 第一次 resize 和後續的擴容有些不一樣,因為這次是數組從 null 初始化到默認的 16 或自定義的初始容量
    if ((tab = table) == null || (n = tab.length) == 0)
    n = (tab = resize()).length;
    // 找到具體的數組下標,如果此位置沒有值,那麼直接初始化一下 Node 並放置在這個位置就可以了
    if ((p = tab[i = (n - 1) & hash]) == null)
    tab[i] = newNode(hash, key, value, null);

    else {// 數組該位置有數據
    Node e; K k;
    // 首先,判斷該位置的第一個數據和我們要插入的數據,key 是不是"相等",如果是,取出這個節點

    if (p.hash == hash &&
    ((k = p.key) == key || (key != null && key.equals(k))))
    e = p;
    // 如果該節點是代表紅黑樹的節點,調用紅黑樹的插值方法,本文不展開說紅黑樹
    else if (p instanceof TreeNode)
    e = ((TreeNode)p).putTreeVal(this, tab, hash, key, value);
    else {
    // 到這裡,說明數組該位置上是一個鏈表
    for (int binCount = 0; ; ++binCount) {
    // 插入到鏈表的最後面(Java7 是插入到鏈表的最前面)
    if ((e = p.next) == null) {
    p.next = newNode(hash, key, value, null);
    // TREEIFY_THRESHOLD 為 8,所以,如果新插入的值是鏈表中的第 8 個
    // 會觸發下面的 treeifyBin,也就是將鏈表轉換為紅黑樹
    if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
    treeifyBin(tab, hash);
    break;
    }
    // 如果在該鏈表中找到了"相等"的 key(== 或 equals)
    if (e.hash == hash &&
    ((k = e.key) == key || (key != null && key.equals(k))))
    // 此時 break,那麼 e 為鏈表中[與要插入的新值的 key "相等"]的 node
    break;
    p = e;
    }
    }
    // e!=null 說明存在舊值的key與要插入的key"相等"
    // 對於我們分析的put操作,下面這個 if 其實就是進行 "值覆蓋",然後返回舊值
    if (e != null) {
    V oldValue = e.value;
    if (!onlyIfAbsent || oldValue == null)

    e.value = value;
    afterNodeAccess(e);
    return oldValue;
    }
    }
    ++modCount;
    // 如果 HashMap 由於新插入這個值導致 size 已經超過了閾值,需要進行擴容
    if (++size > threshold)
    resize();
    afterNodeInsertion(evict);
    return null;
    }
    /<code>

    和 Java7 稍微有點不一樣的地方就是,Java7 是先擴容後插入新值的,Java8 先插值再擴容,不過這個不重要。

    數組擴容

    resize() 方法用於初始化數組或數組擴容,每次擴容後,容量為原來的 2 倍,並進行數據遷移。

    <code>final Node[] resize() {
    Node[] oldTab = table;
    int oldCap = (oldTab == null) ? 0 : oldTab.length;
    int oldThr = threshold;
    int newCap, newThr = 0;
    if (oldCap > 0) { // 對應數組擴容
    if (oldCap >= MAXIMUM_CAPACITY) {
    threshold = Integer.MAX_VALUE;
    return oldTab;
    }
    // 將數組大小擴大一倍

    else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
    oldCap >= DEFAULT_INITIAL_CAPACITY)
    // 將閾值擴大一倍
    newThr = oldThr << 1; // double threshold
    }
    else if (oldThr > 0) // 對應使用 new HashMap(int initialCapacity) 初始化後,第一次 put 的時候
    newCap = oldThr;
    else {// 對應使用 new HashMap() 初始化後,第一次 put 的時候
    newCap = DEFAULT_INITIAL_CAPACITY;
    newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
    }

    if (newThr == 0) {
    float ft = (float)newCap * loadFactor;
    newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
    (int)ft : Integer.MAX_VALUE);
    }
    threshold = newThr;

    // 用新的數組大小初始化新的數組
    Node[] newTab = (Node[])new Node[newCap];
    table = newTab; // 如果是初始化數組,到這裡就結束了,返回 newTab 即可

    if (oldTab != null) {
    // 開始遍歷原數組,進行數據遷移。
    for (int j = 0; j < oldCap; ++j) {
    Node e;
    if ((e = oldTab[j]) != null) {
    oldTab[j] = null;
    // 如果該數組位置上只有單個元素,那就簡單了,簡單遷移這個元素就可以了
    if (e.next == null)
    newTab[e.hash & (newCap - 1)] = e;
    // 如果是紅黑樹,具體我們就不展開了
    else if (e instanceof TreeNode)

    ((TreeNode)e).split(this, newTab, j, oldCap);
    else {
    // 這塊是處理鏈表的情況,
    // 需要將此鏈表拆成兩個鏈表,放到新的數組中,並且保留原來的先後順序
    // loHead、loTail 對應一條鏈表,hiHead、hiTail 對應另一條鏈表,代碼還是比較簡單的
    Node loHead = null, loTail = null;
    Node hiHead = null, hiTail = null;
    Node next;
    do {
    next = e.next;
    if ((e.hash & oldCap) == 0) {
    if (loTail == null)
    loHead = e;
    else
    loTail.next = e;
    loTail = e;
    }
    else {
    if (hiTail == null)
    hiHead = e;
    else
    hiTail.next = e;
    hiTail = e;
    }
    } while ((e = next) != null);
    if (loTail != null) {
    loTail.next = null;
    // 第一條鏈表
    newTab[j] = loHead;
    }
    if (hiTail != null) {
    hiTail.next = null;
    // 第二條鏈表的新的位置是 j + oldCap,這個很好理解
    newTab[j + oldCap] = hiHead;
    }
    }
    }

    }
    }
    return newTab;
    }
    /<code>

    get 過程分析

    相對於 put 來說,get 真的太簡單了。

    • 計算 key 的 hash 值,根據 hash 值找到對應數組下標: hash & (length-1).
    • 判斷數組該位置處的元素是否剛好就是我們要找的,如果不是,走第三步.
    • 判斷該元素類型是否是 TreeNode,如果是,用紅黑樹的方法取數據,如果不是,走第四步.
    • 遍歷鏈表,直到找到相等(==或equals)的 key.
    <code>public V get(Object key) {
    Node e;
    return (e = getNode(hash(key), key)) == null ? null : e.value;
    }
    /<code>
    <code>final Node getNode(int hash, Object key) {
    Node[] tab; Node
    first, e; int n; K k;
    if ((tab = table) != null && (n = tab.length) > 0 &&
    (first = tab[(n - 1) & hash]) != null) {
    // 判斷第一個節點是不是就是需要的
    if (first.hash == hash && // always check first node
    ((k = first.key) == key || (key != null && key.equals(k))))
    return first;
    if ((e = first.next) != null) {
    // 判斷是否是紅黑樹
    if (first instanceof TreeNode)
    return ((TreeNode)first).getTreeNode(hash, key);

    // 鏈表遍歷
    do {
    if (e.hash == hash &&
    ((k = e.key) == key || (key != null && key.equals(k))))
    return e;
    } while ((e = e.next) != null);
    }
    }
    return null;
    }
    /<code>


    專注於技術熱點大數據,人工智能,JAVA、Python、 C 、GO、Javascript等語言最新前言技術,及業務痛點問題分析,請關注【編程我最懂】共同交流學習。


    分享到:


    相關文章: