基礎設施的提升，關鍵是“智能密度”的提升。
近日，由雷鋒網 & AI掘金志主辦的「全球AI芯片·城市智能峰會」，在深圳大中華喜來登酒店盛大召開。
延續雷鋒網大會一貫的高水準、高人氣，「全球AI芯片·城市智能峰會」以“城市視覺計算再進化”為主題，全面聚焦城市視覺與城市算力領域，是業內首個圍繞“算法+算力”展開的大型智能城市論壇。
峰會邀請到了業內極具代表性的14位知名專家，世界頂尖人工智能科學家、芯片創業大牛、產業巨頭技術高管、明星投資人齊聚，為行業資深從業者們分享前瞻的技術研究與商業模式方法論。
在大會上午環節，依圖科技 CTO、IEEE Fellow顏水成博士發表了題為《視覺計算：AI 算法 vs. AI 芯片》的精彩演講。
顏水成分享說，人類文明變遷的核心點在於基礎設施的革命，由此帶來的直接影響是人和人之間的溝通效率和方法有顯著提升，溝通更有保障。而視覺智能作為AI的主力軍，也同樣非常依賴於基礎設施的變革，一方面是視覺信號的傳輸，另一方面則是AI的算法和算力。隨著IoT的發展和5G的普及，將會有越來越多的算力用於視覺計算。
顏水成介紹說，城市智能可以分成5個等級，從低到高分別是可記錄——可識別——可關聯——可預判——可規劃，相應地，對基礎設施的需求也不斷提高。
而基礎設施的提升，關鍵是“智能密度”的提升。宏觀上，單個攝像頭提取數據發展為不同的攝像頭可以進行信息的共享、對話，形成一個更強大的智能體。微觀上，則需要提升單位面積的智能算力。
他總結稱，依圖提出“算法即芯片”的思想，是視覺計算的核心驅動力。做一款AI芯片，首先要想清楚它的典型的應用場景，同時也要對芯片設計和未來的AI算法的發展趨勢有一個預判，這樣讓算法和芯片設計能夠相互優化，協同開發，同時又實現分層解耦。依圖所承建的視覺計算國家新一代人工智能開放創新平臺，將為視覺計算開發者提供更加標準和高效的支持與服務，提升智能芯片、智能算法和智能產品的整體產業能力，打造開放創新融合的共贏生態。
以下是顏水成大會現場演講內容，雷鋒網做了不改變原意的整理及編輯：
今天我代表依圖分享一些我們對AI的看法和做法。我們做AI一直在追求創新，但其實在人類文明發展的歷程中已經把創新蘊涵在其中了，這也是為什麼很多創業公司的創始人和一些孵化器每年都會組織到世界文明的起源地探尋人類文明的真諦，比如說去埃及、希臘。
在探尋的過程中我們會發現，其實現在我們能夠觸及到的，用視覺的方式能瞭解到的是農業文明的中後期，比如說古希臘文明。但是本質上來說，文明是經歷了原始文明、農業文明，以及我們能感受到的工業文明，還有現在我們所處的信息文明。
在文明的發展過程中，人類的智能化已經到了一個很高的水平。但是在另一個維度，還有一個新物種，就是人工智能。它在過去60多年的時間裡，有了飛速的發展。就像剛才的嘉賓介紹的，人工智能最重要的發展點是2016年AlphaGo戰勝了人類的圍棋世界冠軍，讓我們想象到以後人工智能將會有更大的發展，因此在思考“人工智能的發展將超越人的智能”這個奇點的到來。
基礎設施變革推動智能躍遷
總的來說，人類文明的變遷，核心點是在於基礎設施的革命，而這種基礎設施變革帶來的直接影響是什麼呢？是人和人之間的溝通效率和方法有很大的提升，而且這種溝通有了更好的保障。
比如說在原始社會我們只有弓箭、火；農業社會，有了道路和輪子，可以快速和別人溝通交流。工業社會，有內燃機、鐵路，人和人溝通的效率又有更大的提高。到了信息社會，我們不需要進行人的遷移，通過互聯網就可以在任何時間、任何地方跟其他人進行交互——核心點都是因為基礎設施發生了巨大的變化。
同樣地，信息文明中後期的智能文明，也非常依賴於基礎設施的變化。就像我們今天所討論的主題“視覺智能”，它其實是AI的主力軍，它也同樣非常依賴於基礎設施的變革。一方面是視覺信號的傳輸，另外還有兩個非常重要的維度，就是AI的算法和算力。當前用於處理視覺信號的AI算力在不斷地提升，隨著IoT的發展以及5G普及，會有越來越多的算力用於視覺計算，這跟人的大腦裡面的狀況非常相似，在人的大腦裡面用來處理視覺信號的神經元佔皮層的面積大概30%。
在依圖，我們將視覺智能分成5個等級：
L1：簡單的記錄，便於我們回溯；
L2：可識別，幫助我們做檢索；
L3：可關聯，可以把不同的攝像頭分析的結果相互關聯，幫助我們做推理；
L4：可預判，有了更多的攝像頭，可以對未來發展的趨勢進行預判；
L5：可規劃，幫助我們統籌規劃。
從L1到L5發展的過程，也是基礎設施不斷提升的過程。比如說在城市管理裡面，當攝像頭的數量從5000個上升到20萬的時候，我們能為城市的管理者所提供的能力將會有大幅的變遷。
算法即芯片的核心概念
基礎設施的提升，關鍵就是要提升它的智能密度，才能保障整個服務能夠達到更好的水平。
宏觀層面上，要提升智能的密度，也就是從單個攝像頭提取數據，發展成讓不同的攝像頭互聯並共享信息，彼此之間可以對話，基於這種分析形成一種更高的智能。
在微觀層面，要提升單位面積的智能算力。不同於傳統的機械算力，智能算力指芯片運行AI算法實現的智能。這是一個算力和算法相互融合、相互優化的過程。
依圖為了實現這個目標，研發了一款AI芯片。當時發佈會上現場插電演示，芯片發佈即商用。也就是說，這款芯片發佈的時候，基於這款芯片做的AI服務器，已經可以達到商用的程度。
其實AI芯片是專用的芯片，在市場上已經有很多的廠商，包括大廠、小廠，都在做這個事情。依圖要做AI芯片，它背後的內在邏輯是什麼？為什麼依圖還能做一款有市場競爭力的AI芯片呢？
一是因為摩爾定律的時代已經結束。前面在很長一段時間裡面，大家相信每18到24個月，在同樣面積芯片上能夠承載的晶體管的數目會翻一番，但是在最近幾年，這個定律已經不再適用。另一方面，GPU加速的AI計算的算力大幅提升。
在這樣的情況下，依圖提出了一個核心的概念——算法即芯片。什麼是算法即芯片？我們要做一款有競爭力的AI芯片的時候，要非常明確這個AI芯片典型的使用場景。
其次，要預測最前沿的AI算法發展趨勢，當我們設計芯片的時候，我們要能夠預測到可能有什麼新算法，這在一個特定的場景中非常重要。要提前保障芯片在之後能夠承載和支持這些最前沿的算法。這樣我們在做芯片架構設計的時候，就相當於把未來AI算法發展的可能性包含進來，這樣就實現了AI芯片和AI算法的相互優化，同時又實現分層的解耦，這樣我們才有可能生產出一款具有市場競爭力的AI的芯片。
依圖的AI芯片不是一個AI加速器，而是具備了一個完整的端到端處理能力的AI處理器。我們在設計芯片的時候，很好地平衡了CPU的計算、AI的計算、內存和數據通信之間的關係，這樣可以更大程度地提升整體計算的效果。
依圖求索芯片瞄準的使用場景是在雲端的AI推理，它也支持邊緣的計算，支持部署的系統化，同時也支持常見的不同類型的深度學習框架，更重要的是支持各種常用的視覺AI算法，比如說檢測、識別、分割、追蹤，對它未來可能會使用的場景進行了充分預測，因此在我們具體實施的時候，能保證它的高效化。
當前一路視頻的功耗，能做到小於1瓦。整體來說我們已經具備端到端的處理能力，既具備傳統CPU通用的計算能力，比如說數據的支持等等，也有非常強的解碼能力，當然更強的是AI的通用視覺計算能力。
對比市場上通常用的CPU+GPU的架構，同樣處理單路的視頻，完成同樣的功能，依圖AI芯片所需要的功耗能夠大概降低到市面上最先進GPU解決方案的1/5到1/10。另外一個維度是芯片的單位面積的智能算力，直接量化下來是能處理的路數，斜率越大，表示效率越高，依圖的斜率遠遠大於市面上其他的斜率。
基於依圖的QuestCore，已經有兩款產品，一款是雲端的AI服務器，一款是用於邊緣計算的邊緣盒子。1U的雲端服務器支持200路高清視頻全解析，邊緣盒子支持16路。邊緣盒子使用的場景包括智慧課堂、別墅安防等等。它們都有共同的特點，並不需要額外的CPU的支持，而且可以非常便捷地把市面上不同模型，快速地部署到我們的硬件上。
依圖在做AI芯片和AI服務器的目標也非常明確，用一個機櫃處理1萬路視頻，讓數據中心建得起、用得省，而且也能使用世界領先的AI算法。“用得省”這一點非常重要，我們可以大幅節省電費，省80%的運維投入。
經過7年多的積累，依圖在AI算法上已經做到非常好的程度，保證了我們解決方案的精度的要求。但要解鎖很多的其它的場景，讓解決方案落地，必須看我們的用戶是不是用得起、買得起。基於依圖AI芯片建立的AI服務器，很好地解決了這一問題。非常好的算法精度再加上用戶可以買得起的硬件解決方案，幫助依圖解鎖越來越多的不同的場景。
依圖的AI算法團隊在視覺計算領域取得了非常多的大家熟知的成就。比如說在世界的競賽中，依圖總共獲得了15次的世界冠軍和提名獎，在國內獲得了10次的大獎。比如說計算機視覺，Pascal2，這是歐盟舉行了8年的比賽；ImageNet，這也是一個有8年曆史的知名競賽。在人臉識別領域有一個非常重要的評測，是美國國家標準技術局舉辦的，工業界最高水平人臉識別技術測試，依圖的團隊曾經連續三年獲得第一名的成績。今年在廈門舉行的多媒體識別競賽中，依圖在11項比賽中有10項獲得了A類證書。
我覺得評價一家公司AI能力，一方面是在比賽中獲得的成績，更重要的是你的團隊有沒有為這個社會留下有價值的AI的算法。依圖的團隊，比如說我們的創始人，他是做層次學習的，這一塊他的成就對整個視覺分析起到了非常重要的作用。到了深度學習時代，比如說我們團隊以前提出的1×1的卷積，也就是Network in Network，這是視覺計算裡面幾乎所有人都會用到的模塊。還有一個剛剛加入到依圖的同事，也是我的學生，他提出1/8卷積，將視覺分析的速度進行了加速，並且精度沒有損失，他也是2017年ImageNet收官之戰的冠軍。依圖的團隊既在比賽中有很好的成績，同時也為這個領域的發展提供了不少的原創性研究成果。
建設視覺計算國家開放創新平臺
促進算法與芯片對接
正因為依圖在AI芯片和AI算法兩個維度都有不俗的表現，今年8月底科技部宣佈依託依圖建設視覺計算國家新一代人工智能開放創新平臺。這個平臺要做什麼？它要解決的其中一個問題是現在的算法和芯片對接的一個非常挑戰性的問題。
現在一般的AI芯片，要讓客戶所使用的話，首先要派人對我們的客戶進行培訓。但市面上有那麼多人希望使用AI芯片，又有那麼多的芯片提供商，其實很多的工作是重複浪費的，所以科技部希望依圖能建設一個在線的算法和芯片對接測試平臺，也就是把芯片“虛擬化”，在這個平臺上，算法方和芯片方可以相互優化、協作開發，同時又實現芯片和算法的分層解耦。
具體說，任何算法開發者都可以把模型上傳到這個平臺，平臺會把它轉換成能夠在不同芯片上運行的模型。同時，把這些模型放到物理芯片上進行測試，把全面分析的測試報告再分享給算法開發者和芯片開發者。藉助這個過程，我們可以幫助大家更好地實現軟硬件協同開發。
算法開發者根據測試報告就知道自己的算法，比如說在卷積類型、操作類型、I/O的時間消耗等，他可以進一步優化模型結構。大家知道要得到一個好的模型，其實有兩個維度，一個是通過人工設計的方式去設計深度學習的基礎模塊，比如說我的團隊提出的1×1卷積。
另一個是把一些優化和消耗的元素引入到系統裡面，用NAS的方式去搜索適合各種芯片的高效的深度學習模型。比如說1/8卷積，基於這個思想，把特徵層變成異構化，既有大尺寸，也有小尺寸，相應的設計不同特定類型的卷積操作，最後得到的卷積也是異構的。通過這種方式，把模型的尺寸變小，但不會影響應用。因為模型變小，它的推廣性能將會提升，在訓練的時候消耗的計算資源也會降低。這個模型在不同的硬件上測試，基本上都能實現標準的加速。
類似於這種技術模塊，當我們加入到NAS 搜索空間裡面，再把芯片本身的效率元素加入到NAS裡面來，這樣我們就可以提高模型的效率。
根據很多模型測試的結果，芯片設計者就都知道當前的算法以及未來發展的方向，可以對他們下一代芯片和工具鏈進行相應的優化。每年都會有新的深度學習的模型和想法出來，這些模型有非常好的理論加速，但在當前的芯片上往往沒有辦法直接實現出來——如果我們有一個社區，讓算法開發者和芯片開發者多溝通、多交流，就可以更早地讓這些芯片設計者把這些未來發展的趨勢考慮進來，讓實際的加速儘可能接近理論加速。
我在2017年做了一個More is Less結構。它的思想是，現在的深度學習卷積完成後，有40%的ReLU輸出為零，這樣ReLU具體值的大小是沒有意義的，於是我們想有沒有辦法用極少的計算定位出問題。於是我們就為每一個卷積操作設計了一個配套的低功耗的卷積操作，這樣在理論上這個模型精度是沒有任何損失的，但是它的計算速度會
大大提升。
當前基本上所有AI的芯片都不支持這種架構。如果我們通過開放平臺讓算法開發者和芯片開發者更早地接觸、更早地交流，或者說用一個經典的模型去做測試，做一個未來有價值的模型的驅動，芯片的設計將會更加有價值。這個成果對於推動整個AI領域的發展非常重要，它體現了芯片和AI算法兩者相互融合的發展過程。
最後我做一個簡短的總結，AI的使能和爆發都非常依賴基礎設施，作為主力軍的視覺計算更是如此。依圖提出了“算法即芯片”的思想，是視覺計算的核心驅動力。當我們要做一款AI芯片，首先要想清楚它的典型的應用場景，同時我們在芯片設計和未來的最前沿AI算法的發展趨勢有一個預判，這樣讓算法和芯片設計能夠相互優化，協同開發，同時又實現分層解耦。
依圖所承建的視覺計算國家新一代人工智能開放創新平臺，將為視覺計算開發者提供更加標準和高效的支持與服務，提升智能芯片、智能算法和智能產品的整體產業能力，打造開放創新融合的生態，對於推動整個人工智能的發展將會非常有價值。
關於全球AI芯片·城市智能峰會
「全球AI芯片·城市智能峰會」是雷鋒網 & AI掘金志安防團隊繼「中國人工智能安防峰會」、「CCF-GAIR視覺智能論壇」後，全力打造的又一大品牌活動。
在上述三大論壇中，組委會先後邀請到了高文、Demetri Terzopoulos、權龍、華先勝、賈佳亞、孫劍、顏水成、田奇、程浩、張鵬國、浦世亮、殷俊、餘虎、李子青、申省梅、王曉剛、楊帆、陳寧、溫浩、陳瑞軍、張永謙、肖洪波、胡大鵬等在產學兩界享有盛譽的權威專家。
論壇內容圍繞「攝像機」這一介質入口展開，覆蓋AI安防產品、圖像與視覺智能算法、視頻芯片&服務器、投融資、商業模式等多個維度的主題，旨在打造業內最完整的智能城市論壇體系。
雷鋒網年度評選
尋找19大行業的最佳AI落地實踐
創立於2017年的「AI最佳掘金案例年度榜單」，是業內首個人工智能商業案例評選活動。雷鋒網從商用維度出發，尋找人工智能在各個行業的最佳落地實踐。
閱讀更多 AI掘金志 的文章
