1. 程式人生 > 資訊 >AI 改變天氣預報,90 分鐘後降雨量 1 秒算出:DeepMind 論文登 Nature

AI 改變天氣預報,90 分鐘後降雨量 1 秒算出:DeepMind 論文登 Nature

谷歌母公司 Alphabet 旗下頂級英國 AI 研究機構 DeepMind 又放大招了。

此次 DeepMind 聚焦天氣預報這一重大挑戰,與英國氣象局合作將 AI 應用於預測降雨,能比現有預測模型更準確地預測未來 1-2 小時內的降雨量。

▲ DeepMind 的 AI 模型提前 90 分鐘預測天氣事件

根據論文,DeepMind 採用深度生成模型來實現精準降雨預測,使用 NVIDIA V100 GPU,該模型只需 1.3 秒即可生成一個全解析度的臨近天氣預測樣本

DeepMind 研究團隊稱,氣象專家經評估表示,比起傳統方法,他們普遍更看好 DeepMind 提出的新 AI 模型,這為利用 AI 大大改善準確度的新天氣預報方法鋪平了道路。

這項研究剛剛發表於頂級學術期刊 Nature 上,題目為《用雷達深度生成模型進行有技巧的降雨臨近預報》,論文對模型、資料和驗證方法均進行了系統梳理及討論。

此外,DeepMind 已將訓練資料及一個預訓練的英國模型傳至 GitHub。

連結:https://dpmd.ai/github_nowcasting

現代天氣預報的棘手問題,2 小時內精準預測天氣

“今天晚上要下雨,記得帶傘!”像這樣圍繞天氣話題的討論和叮囑,在人們的聊天中相當常見。

小到生活日常,大到災害預防,都需要天氣預報越早越好、越來越準確。但直至今日,預測降水降雨量,仍是氣象學家面臨的重大挑戰。

在中世紀,氣象學家首先使用恆星進行預測。慢慢地,記錄季節和降雨模式的表格開始儲存。幾個世紀後,英國物理學家兼數學家劉易斯・弗萊・理查森設想了一個“預測工廠”(Forecast Factory),使用計算和大氣物理方程來預測全球天氣。

如今,在天氣預報系統中,DeepMind 添加了“機器學習”這一新元素。

現代天氣預報是由數值天氣預報(NWP,numerical weather prediction)系統驅動的。通過求解物理方程,NWP 能做到提前幾天預測未來天氣。這類方法通常在預測 6 小時到 2 周後的天氣時準確度很好,但在預測 2 小時內的天氣時準確度會下降。

現在,臨近預報填補了這個關鍵時間間隔的效能差距

臨近天氣預報對於水管理、農業、航空、應急計劃和戶外活動等部門至關重要,支援了許多依賴天氣決策的行業的現實社會經濟需求。

天氣感測技術的進步使測量地面降水量的高解析度雷達資料能夠以高頻率提供(如每 5 分鐘 1 公里解析度)。現有方法難以解決的關鍵領域和高質量資料的可用性的結合,為機器學習在臨近預報中做出貢獻提供了機會。

近年來,已有幾種基於機器學習的方法問世,他們在雷達觀測的大資料集上訓練,目的是更好地模擬強降雨和其他難以預測的降雨現象。例如,谷歌與美國國家海洋和大氣管理局(NOAA)合作研究可能注入 NOAA 企業的機器學習系統,微軟還出資從歷史資料中識別重複的天氣和氣候模式,以改進次季節性和季節性預測模型。

臨近預報的深度生成模型,準確性和實用性均排名第一

DeepMind 專注於預測臨近降雨量:提前 2 小時預測降雨的數量、時間和地點。

研究人員採用一種類似於 GAN 的深度生成模型方法 DGMR,以過去的雷達資料為基礎,對未來的雷達作出詳細和可信的預測。

從概念上講,這是一個生成雷達影像的問題。降雨深度生成模型 DGMR 學習了資料的概率分佈,描述隨機變數可能獲得的所有可能值,以從其學習的分佈中生成“臨近預報”。

有了這些方法,研究團隊既可以準確地捕捉到大規模的降雨事件,同時也可以產生許多替代的降雨情景(也稱整合預測 ensemble prediction),從而探索降雨的不確定性。研究期間,研究團隊使用了英國和美國的雷達資料。

在訓練過程,研究團隊通過比較 CPU(10 核心 AMD EPYC)和 GPU(NVIDIA V100)硬體的速度來評估取樣速度,發現生成每個樣本,CPU 所用平均時間為 23.7 秒,GPU 為 1.3 秒。

▲ 利用過去 20 分鐘的觀測雷達資料,用降雨深度生成模型(DGMR)提供未來 90 分鐘的概率預測。

DeepMind 團隊在部落格中提到:“我們特別感興趣的是這些模型對中到大雨事件的預測能力,這些事件對人們和經濟的影響最大。”他們展示了與競爭方法相比,這些模型在統計方面的顯著改進。

為了驗證 DGMR 生成預測結果的精度,研究團隊準備了 2 個現有降雨預測模型,分別隱藏模型名,請英國國家氣象局的 56 名氣象預報專家來評估。

與其他主流臨近預測方法相比,DGMR 對 1536 公里乘 1280 公里的區域做出了更現實、更一致的預測,提前 5~90 分鐘進行預測

“與廣泛使用的臨近預報方法相比,他們(56 名氣象專家)在 89% 的案例中將我們的新方法評為他們的首選,這體現我們的方法有能力為現實世界決策者提供洞察力。”DeepMind 研究人員寫道。相對於另外兩種競爭方法,DGMR 在準確性和實用性評估方面排名第一。

如圖所示,下圖左上角為觀測到的實際雨雲的移動,右上是 DGMR 模型生成的預測結果,相比降水強度過高的對流方法(PySTEPS)和模擬結果模糊的確定性深度學習方法(UNet),DGMR 能更好地捕捉環流、強度和結構,並更準確地預測東北部的降雨量和運動,同時生成清晰的預測。

▲ 2019 年 4 月英國上空的一個具有挑戰性的事件(目標是觀察到的雷達)

論文提到:“我們證明,生成式臨近預報可以提供概率預測,提高預測值,支援運營效用,並在解決方案和交付時間方面,替代方法難以做到。”

▲ 2019 年 4 月美國東部的一次大降水事件(目標是觀測到的雷達)。生成方法 DGMR 平衡了降水強度和程度,相比之下,PySTEPS 方法的強度往往過高,UNet 的結果相對模糊。

天氣預報往往受多重因素影響,也許一個預測對了降雨位置但算錯強度,另一個預測在錯誤的位置預測對了強度等。在這項研究中,研究人員付出了很多努力,根據廣泛的指標來評估其演算法。

DeepMind 研究人員稱,DGMR 可以預測由於潛在的隨機性而本質上難以追蹤的天氣事件,還可以像調整任務的系統一樣準確地預測降雨的位置,同時保留對決策有用的屬性。

下一步計劃:提高長期預測準確性

通過使用統計、經濟和認知分析,DeepMind 展示了一種新的、有競爭力的雷達降雨臨近預報方法。

“建模複雜現象、快速預測和代表不確定性的能力使 AI 成為環境科學家的強大工具。”DeepMind 高階專職科學家 Shakir Mohamed 說。

他認為儘管現在還為時過早,但這次試驗表明,AI 能讓預測人員不必將時間耗費在不斷增加的預測資料堆裡,而是專注於更好地瞭解其預測的影響。“這將是減輕當今氣候變化不利影響、支援適應不斷變化的天氣模式並可能拯救生命不可或缺的一部分。”

不過,任何方法都有侷限性,需要做更多的工作來提高長期預測的準確性和對罕見和激烈事件的準確性

因此研究團隊計劃在未來的工作中,開發更多的評估效能的方法,並進一步將這些方法專業化,以適應具體的現實應用。

DeepMind 研究人員相信,這是一個令人興奮的研究領域,他們希望這篇論文能為新的工作提供資料和驗證方法,使提供有競爭力的驗證和操作效用成為可能。

他們還希望與英國氣象局的合作將促進機器學習和環境科學的更大整合,並更好地支援應對氣候變化的決策。

結語:DeepMind 用 AI 破解,科學難題的又一突破

AI 和資料分析的價值正更多滲透到天氣預報領域。去年年初,華為雲與深圳市氣象局合作,採用 AI 方法將預測準確率提高 10%~20%。藉助 AI 及大資料,國內的彩雲天氣應用、蘋果去年 4 月收購的第三方天氣應用 Dark Sky 均實現了分鐘級的降雨預測,預測準確度還在不斷提升。

Facebook 首席 AI 科學家 Yann LeCun、知名 AI 科學家吳恩達均曾表示,緩解氣候變化和促進能源效率對於 AI 研究人員來說是值得的挑戰。

環境科學和 AI 之間的合作側重於決策者的價值,為臨近預報降雨開闢了新渠道,也體現出 AI 在不斷變化的環境中支援應對決策挑戰的機會。

從去年釋出破解蛋白質摺疊難題的 AI 蛋白質預測模型 AlphaFold,到如今 AI 降雨預測模型 DGMR 再登 Nature,DeepMind 的 AI 研究正愈發展現出解決關鍵科學問題的實際應用價值。