提前8小時預測,谷歌提出基於深度學習的降水預測模型MetNet


提前8小時預測,谷歌提出基於深度學習的降水預測模型MetNet

From: Google 編譯:T.R


對未來高精度的長時天氣預報對社會生產生活的方方面面都具有重要意義,但目前精確的長時預測依然是氣象基礎科學領域所面臨的基礎科學問題和重大挑戰。目前絕大多數氣象機構採用的天氣預報系統主要基於大氣的物理模型來進行計算,儘管在過去幾十年數值計算預報取得了長足的進步,但預報的精度仍然受到計算硬件的限制,並對支配大氣現象物理規律的近似十分敏感。
深度學習為氣象學界提供了一種克服上述限制的可行方向:與顯式地探索和利用氣象物理規律不同,DNNs將從輸入的氣象數據中發現天氣的變化模式,並學習出輸入數據到氣象預測間的複雜變換,並利用像GPUs和TPUs等強大的算力工具並行化的處理大規模的氣象數據。

最近來自谷歌的研究人員提出了基於深度學習的降水預測模型MetNet實現了1km空間分辨率以及2min時間分辨率的高精度預測,在實際測試中超過了NOAA使用的大氣模型結果,並實現了全美範圍內提前7-8小時的預測,為深度學習解決複雜的氣象問題提供了新的解決方案。

提前8小時預測,谷歌提出基於深度學習的降水預測模型MetNet

模型的輸入來自動收集的地面雷達站數據和衛星數據,經過計算後輸出概率分佈從而可以計算出每個地理區域降水的不確定性。上圖顯示了美國大陸未來2mins到480mins的降水概率。


基於神經網絡的天氣模型

MetNet的不同在於它不依賴於顯式的大氣動力學模型,而是直接基於氣象觀測數據進行學習。其數據來源於地面雷達站和NOAA的衛星系統,涵蓋了降水和雲層的測量信息。研究人員將這兩類數據通過圖片的方式輸出模型以便高效計算。

模型的預測範圍是1km分辨率下的64kmx64km,由於天氣系統的動力學特性模型實際需要覆蓋的物理範圍卻遠大於預測的區域。模型需要考慮雲層和降水區域的移動和大氣的相關運動。例如雲層的移動速度是60km/h,那麼八小時的預測就需要覆蓋至少480km的區域。綜合考慮後研究人員為每個64kmx64km區域提供了1024kmx1024km範圍的輸入數據。


提前8小時預測,谷歌提出基於深度學習的降水預測模型MetNet

輸入數據的尺寸為1024kmx1024km,預測輸出為64kmx64km.

由於處理1024kmx1024km分辨率需要消耗非常大的內存,研究人員對輸入數據進行下采樣以降低計算需求,同時保持了輸入數據中相關天氣的模式。隨後利用基於LSTM的時域編碼器在時間維度上進行降採樣,將先前90mins的數據以15mins的間隔進行編碼。時域編碼器的輸出隨後被送入到空間聚合器中,並給予自注意力機制高效地抽取數據中長程空間相關性。基於豐富的上下文信息對64kmx64km的區域進行預測。最終的輸出結果為給定降水率下每平方公里的概率分佈。

提前8小時預測,谷歌提出基於深度學習的降水預測模型MetNet

下圖顯示了MetNet的網絡架構 ,輸入觀測數據通過空間降採樣和時間編碼進行處理,而後利用軸注意力層為模型提供輸入數據的全局信息。


提前8小時預測,谷歌提出基於深度學習的降水預測模型MetNet

優異的預報結果

為了驗證這一模型的效果,研究人員在降水量預測基準上進行了測評,同時與NOAA基於氣象模型的高精度預報系統HRRR和基於光流的短時基線模型進行了比較。基於神經網絡的重大優勢在於對計算密集型任務的並行化優化可以在GPU和TPU等專用硬件達到非常高的性能,對於全國或者特定城市都

只需要幾秒鐘的推理時間,而其餘方法則需要超級計算機一個小時的計算。
下圖展示了三種方法的定量結果,MetNet在八小時預測上超過了NOAA的HRRR系統,並比流模型具有更好的連續性。


提前8小時預測,谷歌提出基於深度學習的降水預測模型MetNet

一毫米降雨量下的F1分數,圖中藍線顯示了MetNet的性能十分優異

由於大氣系統的隨機性,預測不確定性隨時間而增長。由於MetNet是概率模型,我們可以可視化呈現不確定性隨時間的增長。而HRRR不能直接預測概率,下圖顯示了兩種模型預測結果的比較。

提前8小時預測,谷歌提出基於深度學習的降水預測模型MetNet

頂部的MetNet、底部的HRRR以及中間的基準進行比較。

HRRR預測的結果更為銳利結構更為豐富,但結構的精確性卻不及MetNet。這主要是由於模型初始條件的不確定性引起的。


提前8小時預測,谷歌提出基於深度學習的降水預測模型MetNet

左側的HRRR結果只輸出了單個可能的結果,而右側的MetNet則考慮了未來結果的不確定性,為所有可能的預測提供了綜合的研判結果。


下面的視頻顯示了模型整體的預測效果:



未來研究人員還系統將這一模型拓展到其他地理區域,並不斷促進機器學習與氣象學界的深入合作,提升天氣預報的精度與預測時間。如果想要了解更多細節,請參考論文:

https://drive.google.com/file/d/15vUBadsK004U7HQ7dLlHuq-oe5uVbUN4/view


提前8小時預測,谷歌提出基於深度學習的降水預測模型MetNet

關於我門

將門是一家以專注於發掘、加速及投資技術驅動型創業公司的新型創投機構,旗下涵蓋將門創新服務、將門技術社群以及將門創投基金。將門成立於2015年底,創始團隊由微軟創投在中國的創始團隊原班人馬構建而成,曾為微軟優選和深度孵化了126家創新的技術型創業公司。

將門創新服務專注於使創新的技術落地於真正的應用場景,激活和實現全新的商業價值,服務於行業領先企業和技術創新型創業公司。

將門技術社群專注於幫助技術創新型的創業公司提供來自產、學、研、創領域的核心技術專家的技術分享和學習內容,使創新成為持續的核心競爭力。

將門創投基金專注於投資通過技術創新激活商業場景,實現商業價值的初創企業,關注技術領域包括機器智能、物聯網、自然人機交互、企業計算。在近四年的時間裡,將門創投基金已經投資了包括量化派、碼隆科技、禾賽科技、寬拓科技、杉數科技、迪英加科技等數十傢俱有高成長潛力的技術型創業公司。

如果您是技術領域的初創企業,不僅想獲得投資,還希望獲得一系列持續性、有價值的投後服務,歡迎發送或者推薦項目給我“門”: [email protected]

提前8小時預測,谷歌提出基於深度學習的降水預測模型MetNet


分享到:


相關文章: