作者 | 魚羊 發自 凹非寺
來源 | 公眾號“量子位”（ID:QbitAI）
培養一個靠譜的AI需要消耗大量的算力。
隨著摩爾定律的終結，AI的計算成本正在瘋長，幾乎每隔幾個月計算基線就要翻一番。
聽起來可能有點嚇人，可事實就是，從2012年到2018年，AI算力消耗幾乎增長了30萬倍。
連Facebook的AI負責人傑爾姆·佩森蒂都公開表示了對此事的擔憂：
隨著算力的提升，在AI研究上我們仍有收穫，但同時，壓力也變得越來越大。
最新的一項研究甚至發現，單一模型在訓練期間產生的二氧化碳排放為180噸，這相當於普通汽車整個服役期排放量的3倍。
什麼概念呢，大概就相當於一個人從紐約坐飛機去舊金山，又從舊金山坐回來，來回來去2000趟吧...
對此，艾倫研究所，卡內基梅隆大學和華盛頓大學的科學家們提出，讓你的AI綠一點。
紅AI與綠AI與AI
不只是喊喊口號，這一回，科學家們嚴謹地依靠數據分析，提出了紅AI綠AI的概念。
先彆著急撓頭，科學家們並不是在搞繞口令創新，只是想知道什麼是綠AI，應該先了解一下另外一個概念——紅AI（Red AI）。
紅AI
ELMo，BERT，openGPT-2，XLNet……
這些模型的名字是不是一個賽一個響亮？沒錯，它們都在紅AI的名單上。
谷歌的BERT-large需要在一個包含64個TPU的的30億字數據集上訓練四天，才能練成不滅金身。
OpenAI的最強文本生成模型GPT-2-XL用40億字投餵。
至於那隻揚名全世界的阿法狗，每個小時就能花掉1000美刀。
太！費！資！源！了！
科學家們給它們下了一個定義：這些使用了大量算力資源來追求“state-of-the-art”的AI其實就是在“買”最佳結果，它們就是紅AI。
紅AI，是一切只向準確率看齊的AI，它們的研究人員總是忽略成本和效率，只管state-of-the-art，哪管洪水滔天。
沒有調查就沒有發言權，科學家們從幾個頂會里抽取了60篇論文，用統計數據說明AI研究人員們就是關注準確率多過效率。
真是個紅AI大行其道的時代啊。
不可否認，紅AI的工作是有價值的，其中大部分的工作都在幫助人們推動人工智能的界限。
但是，它們確實不夠高效，並且它們是收益遞減的。
↓↓↓↓
訓練樣本指數增加，目標檢測準確率卻是線性增長的。
△R-結果；E-樣本；D-數據集；H-超參數
總結一下，紅AI具有以下幾大特徵：
訓練單個樣本花銷巨大
需要大量訓練樣本
需要大量實驗
再次強調，推動模型大小，數據集大小和超參數搜索空間的限制邊界是有意義的。
但是，一定要提高對紅AI成本的認識，優化效率！優化效率！優化效率！
而對效率的追求，就是所謂的綠AI（Green AI）。
綠AI
綠AI實際上是一種深度學習效率評估標準。
研究人員提到，高昂的成本不僅對環境產生了壓力，也在阻止來自新興經濟體的研究人員進入深度學習領域。
畢竟就算環境允許，也不是誰都能像谷歌那樣動輒燒1000多個CPU的。
綠AI的願景是，在人工智能研究中，在不增加計算成本，甚至是減少成本的情況下，仍然能產生新穎的結果。不增加碳排放，更關注效率，保護環境，更加包容。
那麼衡量標準到底是什麼呢？
當然也可以用碳排放、用電量、消耗時間、參數數量這些數值來對一隻AI進行評價，但這難免受到地域、設備差異的影響。
比如用火電和用水電訓出來的AI，那能一樣嗎？
研究人員提出FPO（浮點運算）來作為評價指標。FPO能夠估計計算過程執行的工作量。通過定義加和乘兩個基本操作，可以計算任何機器學習抽象操作的FPO成本，包括矩陣乘法，卷積操作等等。
使用FPO的好處在於，第一，它能直接計算機器在執行模型的特定實例時完成的工作量，因此是與能量消耗直接相關的一個參數。
第二，FPO與運行模型的硬件無關，有利於不同方法之間的公平比較。
第三，FPO與模型的運行時間密切相關，還會考慮每個時間步長的工作量。
不過，FPO也不是完美的，它忽略了模型的內存消耗和實現等因素。
研究人員承認，單靠FPO不足以促進真正的綠AI的發展。他們鼓勵AI研究人員們在模型訓練期間觀察預算/準確度曲線，這樣開發人員能做出更明智的決策，突出不同方法的穩定性。
他們還主張將效率列為計算機頂會官方承認的貢獻，並且支持開發人員公佈預訓練模型，以便為其他人節省再訓練的費用。
想想有一天綠AI成為主流，那麼抱著筆記本電腦的本科生也可以愉快地搞一搞機器學習了。
網友怎麼看
這篇論文一公佈，立刻有網友表示，這對AI的發展來說非常重要。
文章提到了技術民主化的問題。當模型需要越來越多的算力，能夠達到門檻的人就會越來越少，那麼AI技術就會落入少數幾個公司手中。
還有網友表示：
長遠來看，這可能會將更多研究推向更多數據簡約深度學習技術。更合理的方法也許是，改進軟件以使大型模型的部署更加簡單。
但也有人懷疑Green AI並沒有什麼卵用：
就算你可以在10秒內訓練模型，頂級研究團隊還是不會放棄超強算力。也許綠AI是一件好事，但它不會讓AI研究更環保，也不會改善包容性。
那麼，你會讓自己的AI綠一點嗎？
傳送門
論文：https://arxiv.org/abs/1907.10597
閱讀更多 七牛雲 的文章
