本內容選自清華大學電子系副教授、深鑑科技聯合創始人汪玉於2018年4月27日在清華大學主樓接待廳數據科學研究院舉辦的第二屆“大數據在清華”高峰論壇所做題為《針對機器視覺的深度學習處理器》的演講。
注：私信後臺回覆關鍵詞“0427”，下載完整版PPT。視頻時長約半個小時，建議使用wifi觀看
汪玉：大家好，今天給大家彙報一下我們在過去所做的工作。
源自清華 以夢為馬我們團隊目前有130個人，有50個清華的同學,覆蓋了從軟件、架構、芯片、硬件、算法到編譯各個環節。今天講處理器，包括因特爾在內的許多公司不僅僅做架構、做硬件，也有很多在做軟件和算法。要讓芯片給別人用起來，必須展示出別人能看得見的效果，並且要有很好的編譯器。
自主研發 核心技術給大家介紹一下我們自己的核心技術，講一講我們對於這個領域的看法。
說到深度學習，大家說為什麼要針對深度學習做一個企業，而不是針對其他方面？深度學習本質上是一個擬合器，用神經網絡把參數定下來，給足夠多的X、Y做標記，從算法的層面上去支持不同的應用。
從2010年移動互聯網普及之後，有標記的數據越來越多。神經網絡可以提供方法，把數據利用起來。從CPU到GPU以及專用硬件，我們希望在個人終端領域，包括每個攝像頭都可以做這樣的網絡。
從大的趨勢，回顧整個歷史階段，都有一個關鍵的硬件（圖片下方）。我們不知道在AI這個階段，關鍵的硬件是什麼，所以我們也非常高興，能看到大家為這樣一個核心的能力而去奮鬥。
我們的途徑是什麼？圖片下方是最關鍵的三個部分： DNNDK-軟件工具鏈、指令級、體系結構。
上面給出的是所有算法對應的小模塊，它的單元從磚頭變成一面牆，所以針對深度學習的前項，有沒有可能找到這些抽象的層次，這就是指令級。針對這樣的抽象，我們可以滿足這些抽象的硬件，需要把所有的神經網絡變成指令的集合。由於硬件是固定的，所以只需要支持有限的操作。
對於一個系統，三個東西很重要，第一個是峰值能力，圈了多少個計算單元，多少人在幫你工作。第二個是如何讓更高比例的人真正在工作。第三個是做同樣的事情，需要的人數能否減少。這三個合起來，才有希望把整體性能提上去。
所有的行業都會擁有Data，訓練好一個算法之後，我們可以進行壓縮，變成我們所定義的指令的流，並且放在硬件上，形成系統解決方案。
為什麼一定要強調軟硬件協同？這有一張圖，橫軸是瓦數。不同的瓦數對應不同的應用領域，希望做的每一個瓦數，對應的性能足夠高。
縱軸是性能-每秒計算的次數。圖中的三角形表示芯片，能做到大概1T~5T/瓦，這基本是一條很難逾越的線。因此，光做芯片還不夠，算法的優化也要做起來。
我們也嘗試在做自己的IP。當時做芯片一次可能要投幾百萬美金，在設計芯片的時候，怎麼去適應未來，怎樣去把目前所有的網絡支持好。你肯定要抽象出中間層次，中間層次的基本單元還要能夠拼起來所有的網絡，你又不知道未來的網絡是怎樣的。
在軟件方面，我們做的都是神經網絡，把不需要的邊和點都去掉，就可以降低整體所需要的計算量。不能只是人工去做這些事情，如果你希望賦能所有的行業，我們還需要有一套工具鏈。用深度壓縮工具，可以在CNN和和RNN上獲得顯著的壓縮比，讓算法更小、更快、更省功耗。
產品方案及應用如何應用呢？我舉例說明。
這是我們神經網絡的加速版，在前端就可以做識別和比對，以後就不用傳視頻流和圖片，傳的有可能是特徵值。相信在未來幾年內，特徵值會統一標準。
這是面向語音識別的應用。複雜的音箱對話，都會傳到雲端去做。我們可以用FPGA做，比CPU和GPU更快，且功耗更低。如果能提高單位功耗對應的計算能力，就可以服務更多的客戶。
這是我們嘗試在汽車端做的努力，背後由神經網絡支撐。一輛車有多個攝像頭，會集中到一個平臺上做運算，原來可能是用GPU來做，現在我們也提供用FPGA來做。包括前端背後，可能也需要一個預處理的芯片，這個芯片也可以用FPGA來做。
我們更期待，做出來的芯片性能提升，成本下降，以替換已有更高代價的FPGA，以上就是我們在過去學術界做的一些工作，在公司應用和服務的案例，謝謝大家！
注：後臺回覆關鍵詞“0427”，下載完整版PPT。
閱讀更多 THU數據派 的文章
