在機器學習中，數據科學家們面臨的依然是選擇縮減模型或輸入的尺寸/大小，以適應設備的內存限制。當今龐大的GPU或TPU計算平臺可以達到數十甚至數百Teraflops（每秒萬億次浮點運算）的性能，但無法真正解決這個內存問題。那受制於硬件的深度學習是否還有其它突破路徑嗎？
深度學習初創公司Neural Magic的首席商務官Bryan House提出新邏輯：未必高吞吐量=高性能，注重算法效率很重要。
高吞吐量的突破難題
“深度學習硬件與大腦一樣注重吞吐量計算，其中更多的計算能力等同於更好的性能”這是不滿足於現有內存容量的機器學習行業刻板認識。並且，用每個週期的FLOPS來衡量性能已成為了行業標準，而生成這些FLOPS的加速器可運行數千個並行計算核心，這就需要昂貴且大小有限的HBM內存。如果說深度學習的硬件是模仿人類大腦，但人類大腦實際上不是吞吐量設備，且計算稀疏。另外，如今的模型本身效率有限，往往可以通過大大簡化模型，並降低操作的精度，卻仍能獲得同樣的準確性。所以，為低效的算法提高FLOPS亦是浪費。
忘記吞吐量，著眼性能+專注算法
要改變當前基於吞吐量=性能這個前提的行業邏輯不會很容易，但是其他行業面臨類似的挑戰：更多的原始算力（或更多同樣的算力度量指標）未必是最佳方法。燈泡（瓦數）就是一個很貼切的例子——瓦數更高的燈泡vs效率更高的燈泡。幾十年來，瓦特是度量燈泡輸出的一個已被接受的指標。人們普遍認為，白熾燈泡瓦數越高，亮度就越高、功率就越強——完全忽略了效率低下的問題（還發熱！）。然而，隨著更高效的LED燈出現，瓦數較低的燈泡可用來獲得與瓦數較高的白熾燈泡相似的性能基準。如果解決辦法仍然是製造瓦數越來越高的燈泡，我們可能會讓世界著火（真是如此）。為了加快機器學習領域發展，我們必須願意檢驗我們的假設，即由FLOPS衡量的更高吞吐量是數據科學家們使用更大模型或更大文件獲得性能的唯一途徑。敢於質疑衡量標準，將是深度學習突破的關鍵。
閱讀更多 上海大數據股份 的文章
