我們知道，過去幾年AI試驗使用的算力要比之前多得多。不過就在上個月，OpenAI進行的一項調查對這種發展速度有多快做出了一些初步估計。通過對AlphaGo Zero與AlexNet進行比較，他們發現現在最大型的試驗是6年前最大型試驗規模的300000倍。此間每年的最大型試驗規模都呈現出指數性增長，每3.5月就翻番。
按照這種AI計算趨勢，試驗的增長率之快令人詫異，值得進行一些分析。本文將探討兩個問題。第一個是如果試驗規模還是增長得這麼快的話，很快就會變得承受不起，所以這種趨勢將漸近結束。除非經濟被徹底重塑，否則這種趨勢頂多只能維持3.5到10年，具體要看開支水平以及計算成本如何變化。第二個問題是如果這種趨勢能再維持3.5年，則用於AI試驗的計算量就會超過一些有趣的里程碑。尤其是，一次試驗所用的計算將超過利用尖峰神經元模擬人腦 18年思考所需的總量。大體而言，我們可以說這種趨勢將超過達到成人智力水平所需的水平，如果賦予同等效率算法的話。在（1）、（2）節裡，我將相應探討這些問題，而在（3）節，我會討論一下這一分析的限制並且權衡這一工作將如何影響AGI的預測。
縱軸：AI訓練所需的計算量，單位千億次浮點運算
要想弄清楚這種AI計算趨勢在經濟上還能持續多久，我們需要知道三件事情：試驗成本的增長率，目前試驗的成本，以及未來一次試驗可以承受的最大開支。
最大型的試驗每3.5個月規模就翻番（每年大概增加一個數量級，也就是10倍。時間測算=LOG(10,2)*3.5/12=0.9689年，約為1年），而每計算單位的成本大概是每4-12年下降一個數量級（長期趨勢是每4年成本改進10倍，而近期趨勢是每12年成本改進10倍）。所以最大型試驗的成本每1.1-1.4年就增加一個數量級。
目前規模最大的試驗是AlphaGo Zero，其成本可能是1000萬美元。
當然，試驗規模能到多大要取決於誰來做。最有錢的玩家大概是美國政府。之前，美國用了GDP的1%來進行曼哈頓項目，而實施阿波羅計劃期間往NASA投入了~0.5%的GDP。那我們就假設類似地投入到AI試驗的最大開支也能佔到GDP的1%，也就是2000億美元。鑑於一個數量級的增長所需時間為1.1-1.4年，而初步試驗規模為1000萬美元，那麼按照AI計算趨勢預測在5-6年時間內我們就將看到成本達2000億美元的試驗。那麼鑑於未來（美國）經濟狀況跟目前類似，屆時將是這股AI計算趨勢的終結。
我們還可以考慮一下如果政府不參與的話這種趨勢能持續多久。鑑於私營企業規模較小，其遭遇經濟門檻也會快一點。其中最大的是科技公司：Amazon和Google目前的研發預算大概是每年200億美元，那麼我們可以假設政府以外最大的獨立試驗是200億美元。則私營板塊大概能跟上AI計算趨勢的時間為政府的3/4，也就是約3.5到4.5年。
另一方面，特定硬件的研發也可能令計算成本變低，因此導致趨勢維持更久一點。如果一些新硬件讓計算便宜1000倍並且突破性價比摩爾定律的話，則這種經濟門檻還能維持得久一點，大約還能持續3-4年。
為了讓AI計算趨勢維持真正長的時間（超過10年），經濟產出必須以每年增長一個數量級的速度發展。這的確是非常極端的情況了，但也不是不可能，主要一點是要看某些極其強大的AI技術能不能帶來大規模的經濟收益。
當然，重要的是要清楚這些數字都是上限，所以並不能排除AI計算趨勢更快停止（比方說如果AI研究被證明經濟性不如預期的話）的可能性，不管是突然中止還是慢慢停下來。
閱讀更多 玩轉數上的碼 的文章
