21世紀地球都有哪些變化?AI“天眼”帶您回溯

科技日報記者 張佳星

衛星雖被形象地稱為“天眼”,事實上衛星數據的應用,卻難以做到“盡收盡用”。

中國工程院院士楊小牛就曾經表示,衛星在天上飛來飛去,效能其實並不高,每天只有幾十分鐘時段內採集到的數據是地面需要的。

那些大量的被認為是無效數據的“廢片”,有沒有可能被利用起來?

“我們利用高性能的雲計算和建模的方法,構建了全中國範圍內2000年1月1日到2018年12月31日逐日的無縫數據立方體,基本上填補了同時實現高空間分辨率和高時間頻率遙感觀測的空白。”4月15日,清華大學理學院院長、地球系統科學系主任宮鵬在線介紹,清華大學地球系統科學系通過公共數據資源和時空遙感技術,製作完成首套中國30米逐日無縫遙感觀測數據集,以及逐季節土地覆蓋和逐年土地利用的數據集。

21世纪地球都有哪些变化?AI“天眼”带您回溯

首套中國30米分辨率逐季節土地覆蓋圖

人工智能深度“補片”

“傳統的對地衛星觀測,拍下來的一景一景的照片是不同時間採集的數據,拼在一起並不完整,使用門檻很高。”宮鵬解釋,“衛星直接獲得的圖片不能拿來直接用的,因為衛星圖片不會是自然連續的,很可能像100塊的拼圖,少了50塊的效果,但也有可能同樣的拼圖來了好幾塊。”

不止如此,衛星軌道的偏差會造成同一地方不同時間拍攝的圖片難以重疊,雲彩的遮擋、霧氣不均勻的散射都會導致大量的衛星遙感數據難以反映地表的真實情況,而成為難用的“廢片”。

21世纪地球都有哪些变化?AI“天眼”带您回溯

衛星獲取的圖像不能直接拿來用

基於此前完成的世界上唯一一個10米分辨率全球地表覆蓋製圖數據處理過程中積累的經驗,清華大學地球系統科學系團隊自主研發了時空數據融合重建的技術。

“我們構建了人工智能需要的知識庫,其中包括世界首套全球全季節普適樣本庫和相關領域知識。庫中分為訓練樣本庫和完全獨立的驗證樣本庫。”清華大學博士生劉涵介紹,結合亞馬遜雲服務(AWS)上面一整套完善的人工智能和機器學習的套件和服務,團隊設計和訓練了一套適應遙感大數據的深度遙感特徵學習和分類模型。

運用大量計算和圖像時空融合技術,把不完整的“拼圖”重建成時空一致的圖像庫,應用人工智能技術識別例如路面是瀝青、土路還是水泥路面等地表覆蓋類型,通過模型訓練,完成高性能的推理,建立起這一深度遙感製圖模型的“超能力”。這個模型根據知識庫不斷學習,利用人工智能算法,能夠完成不合格“廢片”的補片工作,甚至可以補足缺失的部分。

“所得到的結果,最後經過遙感專業化的變化檢測和時空一致性後處理方法,最終得到了中國30米逐日無縫遙感觀測數據集和這套全國逐季節土地覆蓋和逐年土地利用圖。”劉涵說,團隊從原始數據到多維時空數據庫以及最終的製圖產品中的所有數據都統一存放在雲服務平臺的遙感數據湖中,方便進行數據統一的處理和分析。

雲上高性能計算,

提供超高算力

“地球系統科學使用和產生的數據是極其巨大的,例如氣候模擬和預測會生成時間間隔在小時級、地面分辨率是3公里的氣候數據,產生的數據量和衛星遙感數據類似,量級都在PB級以上,相當於數百萬集高清電影的量級。”宮鵬介紹,因此需要超強算力來完成。

如果進行數據中心建設的話,需要三、四百個機櫃,佔地成本和時間成本都是巨大的。據介紹,亞馬遜雲服務(AWS)為項目的完成提供了10萬核左右的雲上高性能計算資源。

此外,衛星數據使用的是AWS公共數據集中的數據。據宮鵬介紹,公共數據集中存儲了很多公共數據,包括美國聯邦地質調查局的陸地衛星Landsat數據、中等分辨率的成像光譜議MODIS的數據等。

對這些數據集中的數據進行AI處理,如果不在雲上進行而是搬運下載後再運算,那搬運的時間也可能需要幾個月。據介紹,通過雲上高性能計算,能夠把算力部署在公共數據集周邊,圍繞數據進行計算。AWS在全球有22個區,開放數據集分佈在不同的區域,需要歐洲的數據,就可以把算力開到歐洲,如果需要用美國的數據,算力就可以開到美國。

“這樣的算力和佈局使得巨量的計算和分析成為可能。”宮鵬說。

讓小學生也能用遙感圖

“中學生、小學生想拿數據做點什麼,從裡面摳出來,拉幾條曲線,或者把一個區域拿出來做一些探測、變化、趨勢的分析,都已經變得非常容易。”宮鵬說,對於衛星公共數據的梳理、重建,讓衛星遙感圖的使用門檻大大降低,如果說之前只有專業用戶能從數據中獲得價值,那麼以後更多的普通用戶也能看懂和利用這些數據,這將開闢中國衛星遙感數據處理和信息提取的新的範式。

21世纪地球都有哪些变化?AI“天眼”带您回溯

“未來我們希望繼續開發全球逐日無縫遙感觀測數據庫。”宮鵬說,到時人們不用再去美國聯邦地質調查局或者歐空局的網站上下載原始數據了,那些數據的處理也非常的艱難,所有的數據需求都可以更容易地實現,在經處理後的有效數據中進一步分析和應用,並將衍生出更多地應用可能。

21世纪地球都有哪些变化?AI“天眼”带您回溯

團隊研發的世界上唯一一套10米分辨率地表覆蓋圖

基於遙感觀測數據集,宮鵬教授團隊進行了相關的土地利用分析,他介紹,研究發現,我國的耕地確實在減少,但目前耕地的面積比18億畝的耕地紅線還高很多。此外對於中國森林面積的數據也進行了時空一致性的計算,呈現了21世紀我國森林面積不斷增加的趨勢,也印證了我國森林保護工程的有效性。研究還發現我國保護區有較好的土地保護效應,但保護區周圍卻出現了較大的干擾,出現了較強的土地利用和破壞的情況。

“針對這次疫情,我們的城市土地利用數據能夠明確指出居住區在哪,高密度的居住區在哪,這樣的地區對疾病的傳播有助長的作用,或者說承擔更大的風險。”宮鵬說,期待能夠為更豐富的數據利用提供研究基礎。

來源:科技日報 文中圖片均由受訪者提供

審核:管晶晶

終審:冷文生


分享到:


相關文章: