由中國高科技行業門戶OFweek維科網和高科會主辦、OFweek人工智能網承辦“OFweek（第二屆）國際人工智能產業大會”於8月30日盛大召開。此次大會，隨著上千名AI學術領袖、政府領導、領軍企業與業界精英的到來，會場氣氛持續高漲。
大會持續兩天，其中中科創達副總裁兼智能視覺事業全執行總裁孫力作為演講嘉賓之一出席了第一天的主論壇，給大家帶來了《解析深度學習的前沿研究以及應用出口》的主題演講，介紹了嵌入式人工智能人工智能的挑戰與實踐。
孫力先生
中科創達副總裁兼智能視覺事業全執行總裁孫力首先分享了建築設計的三個主題， 分別是嵌入式AI方面的發展趨勢、嵌入式人工智能的挑戰與落地、中科創達做的一些實踐。
其次分享了嵌入式人工智能的一些應用、落地挑戰、壓縮網絡和常見技術。最終再介紹了中科創達在人工智能視覺方面的工作。
以下是中科創達副總裁兼智能視覺事業全執行總裁孫力的現場演講內容，OFweek小編作了不改變原意的整理和編輯：
各位業界的朋友，大家好，我今天分享的主題是嵌入式人工智能的挑戰和實踐。 因為大家都說到，人工智能最後免不了要落地，不管你跑到雲上還是跑到設備上，或者是跑在邊緣側。
今天我要聚焦的是一個建築設計方面的一個分享，大約有三個主題，第一個是嵌入式AI方面的發展，因為你不管叫它什麼，總而言之人工智能要落地，你得跑在這些設備上。第二個是嵌入式人工智能的一些挑戰，還有應用的落地上遇到的一些經驗分享。第三個是中科創達做的一些實踐。
在嵌入式AI發展這塊，大約有三個話題，首先我們看看嵌入式和雲端的區別，它們二者是共存的，並不矛盾，根據需要以及所處場景，有一些需要跑在端側，有的可以純粹跑在雲端。
嵌入式能帶來一些好處，比如說更快的響應或者更低的功耗，還有更好的數據隱私，因為有些數據並不希望被傳到雲端。
另外大家都知道，目前的物聯網雖然非常碎片化，但是從整體來講的話，其數量還是相當龐大。而對於AI來說，未來這些物聯網的硬件設備，再加上AI的算法，還有云端的結合，便可以使人工智能滲透到越來越多的場景裡。
對於整個視覺市場和嵌入式這一塊，首先中科創達做了很多關於視覺這塊的業務，目前視覺方面都是指視覺的終端，比如帶攝像頭的設備，並且數量呈現快速增長的趨勢，語音方面更不用說了，已經取得了非常大的成就。
那麼接下來，不管是在安防、汽車、小機器人等很多的設備上面，攝像頭都會快速地增加。而且大家看到，不管是給開發者還是企業用的，邊緣側的智能視覺設備也越來越多，有的為了投放教育市場，有的是可以用來做開發的一些設備，當然很多設備的工業設計或者結構等會不一樣，可能針對不同的場景需要定製化。
為此，中科創達推出了我們自己的TurboX AI Kit，來做這些人工智能的開發，設計基於高通驍龍845平臺來安置，我們提供豐富的嵌入式 AI 開發、分析、優化和調試工具，加速端側 AI 的實現與普及，助力生態系統構建。
我再說一些嵌入式人工智能的應用和落地挑戰。實際上人工智能最後要落地到嵌入式這一塊，市場上有那麼多的芯片，密度不同，操作系統不同，但運算力卻那麼有限，甚至有的人在挑戰一些操作系統來部署人工智能生態系統，這樣做對於一些比較小的封閉的生態系統來說的話，對於算法的開發者就會比較困難。
對於嵌入式AI算法的部署本身，比較簡單，你要做訓練，訓練完要轉換模型，要把它放入嵌入式，然後讓它跑起來。最麻煩的就在於當你放到不同的芯片上，你到底是放在CPU，還是DSP上，或者GPU上？所以這些都帶來非常大的一些挑戰。
對於嵌入式算法的優化策略，無非就是說要針對你所使用的tag的芯片硬件，來做深度的硬件和軟件的優化。那麼對於硬件的話，你先要考慮的就是它的功耗和成本。你不能把芯片給吹爆了，因為它的算力是有限的。但是如果你把這些網絡裁剪太厲害，它的精度又不夠了，實際上這就是一個迭代的流程，要不停的去迭代，而且一定要壓榨乾所有芯片上的DSP、GPU。首先就要跟芯片平臺有非常深度的合作，另外在軟件方面一定要降低算法模型的運算量。
實際上不管什麼樣的嵌入式終端，首先你都要根據你要落地的芯片，先看這個算力有多少，而後才能知道你的神經網絡的層數、神經網絡的大小。然後你再看它的KPI是多少，根據這些給你的目標平臺和芯片做一個性能的評估。最終你要看到你的算法複雜度的上限，並且你一定要摸到底，但是基於限制的神經，網絡神經模型可能會很大，這樣在嵌入式裡面會跑不動，接著你要把它進行裁剪。
你要給網絡做很多的裁剪和壓縮。之後利用一些工具來測量它的真實性能，也即檢測你裁剪完之後跑的效果。如果不能滿足性能，裁剪就沒有用。如果在滿足這些性能之後，然後再進行迭代，不停的迭代，一定不要浪費掉你的DSP和GPU。
另外在嵌入式這一塊的算法進行優化，一定要對網絡的模型進行 paper上的重訓練，然後使用不同參數進行反覆的調，再測量它的性能。另外還要修改神經網絡的一些通道，找到準確率和速度的最佳平衡點。
再跟大家分享一些關於嵌入式上的壓縮網絡和常見技術，網絡上大家都能看得到一些工友的paper，大家可以針對這些模型進行一些深度優化，在類似的精度上面，大家可以去做裁剪嘗試。另外就是所謂的裁剪，不管你剪的什麼也好，網絡太複雜，就意味著大腦太大。那麼你在嵌入式的設備上就跑不動，那就還需要進行減值。
最後，我再分享一下中科創達在視覺方面的一些工作，因為我們有非常龐大的視覺團隊，包括圖像整理團隊，我們整體加起來有四五百人，我們跟高通是戰略合作關係，還有跟ARM等公司都有在平臺層面的深度合作。中科創達有AI平臺架構，我們有自己的算法。
但是各種操作系統太碎片化了，有的客戶說我一定要跑在DSP上，因為功耗比GPU要好。有的客戶說我就跑到GPU上。面對各種不同的操作系統，故視覺工作面臨非常大的挑戰。在這種情況下，實際我們公司擁有有非常多的經驗，我們在很多的芯片，很多的操作系統的碎片化上進行服務。加上中科創達是服務型公司，所以我們接觸的這些案例相當多。
我分享幾個比較有趣的案例給大家，我們在今年剛交付給我們一個歐洲的客戶，其公司是做微波爐的， 產品是用高通的芯片，但是芯片算力太差。比如微波爐想要要識別裡邊的食物，從而自動選擇加熱的方法，其實這種情況下對算法的精度要求不是很高的。比如你到底是三皇雞還是土雞不重要，是個雞就可以了，你是黃牛肉還是澳洲產的牛肉也不重要，能識別出牛肉就可以，所以在那種情況下，你要先知道客戶的需求，你就可以將很差的芯片進行裁剪，從而滿足客戶的要求。
但是其實解決這些面臨挺大挑戰的，假如你真的要做食物方面的識別。其實有很多東西很難，因為有時候人都看不太出來，你到底是一個小狗還是個餅乾，所以實際上，真正的一個算法，從一個demo給大家秀一下到商用化，其中“最後一公里”是特別困難的，測試過程總是能夠找到bug，所以必須來反覆的調整。
如果再將這些產品放到市場，那挑戰更大。我們曾做了這些產品給食堂，包括關於麵包店的一些解決方案，雖然這個麵包，看起來很容易，但是有各種不同的麵包，你不能說光把麵包識別出來就完了，如果說今天新推出一個麵包，你怎麼辦？
另外其實我們還接到大量的工業上的一些需求，比如說瑕疵的檢測，現在有很多的工廠，比如說液晶面板，有的工廠裡還有大量工人在做質檢。雖然實際上現在的人工智能不是萬能的，他必須得結合傳統的圖像處理的方法，不能純粹用人工智能，但這樣就可以把部分人類解放出來。雖然說有些人要失業，但是他可以做更有趣的一些工作，因為質檢要輪班，並且對視力、對精神實際上都有很大的壓力。
好，這就是我今天的分享，謝謝。
閱讀更多 OFweek高科技門戶 的文章
