《AI先鋒週刊》是—家關注人工智能學術研究、產業生態鏈、技術落地、邊緣應用等維度的先鋒電子新媒體。歡迎廣大熱愛AI的同道中人閱讀、評論、轉發、投稿，記得點擊“關注”，隨時獲取全球AI最新訊息。
前不久，拿到一個類似Intel NCS神經網絡計算棒的玩意兒——“若派Ropal”神經網絡計算棒（見下圖），聽名字的話可能大部分人會比較陌生，但是若看其官方列出的性能指標足以嚇你一大跳，比起Intel NCS，“若派Ropal”計算棒的性能要高出不少，可以直接正面PK Intel Movidius系列產品在邊緣計算領域的地位，當然，這還不算什麼，若是告訴你“若派Ropal”計算棒的AI芯片方案出自一家初創公司，是不是這件事情讓人吃驚的程度不亞於方案本身？到底是什麼樣的公司又是什麼樣的技術？一起來瞧瞧。
“若派Ropal”計算棒基於Lightspeeur 2801S 加速芯片，這是全球首款可同時支持圖像與視頻，語音與自然語言處理的卷積神經網絡及深度學習的應用處理器方案，無論是在訓練或是推理模式下，均可提供超高密度的計算性能與卓越的能耗效率，最讓人意外的是它的設計公司確是一個實實在在的初創公司，全稱為Gyrfalcon Technology Inc．，簡稱GTI。
筆者手裡拿到的已經是基於這顆Lightspeeur 2801S AI芯片設計成的一個類似USB Dongle的計算棒，採用USB3.0接口。
從GIT的官網來看，Lightspeeur 2801S AI芯片性能和功耗要完勝Intel Myriad 2，但是不及Intel最新推出的Intel Myriad X，不過若真要較真的話GTI公司推出最新一代的Lightspeeur 2803真正是秒天秒地的性能，24 TOPs/Watt的性能表現完全不侷限在邊緣計算，在數據中心、機器學習等領域中也非常有優勢。
Lightspeeur光矛系列產品有如此強的性能表現主要是依託其核心技術APiMTM（AI Processing in Memory），如下圖所示，該架構使用片上存儲作為運算單元，實現“存算一體”，集成高達28000個運算單元，這個數量聽上去真有點嚇人！不需要使用片外存儲即可實現深度學習推理應用，有效降低了其他架構中由於運算單元與存儲單元之間的大量數據移動導致的高功耗，實現了真正的片上並行和原位計算，成功克服了由存儲器帶寬而導致的性能瓶頸，通過二維矩陣處理引擎(MPETM)與存算一體(APiMTM)技術相結合，讓功耗與性能同時兼顧。
Lightspeeur支持卷積神經網絡，其分佈式存儲結構對CNN計算相當友好並且支持多層結構，每層的尺寸可以不同，內置模型壓縮算法能夠實現快速且低功耗的CNN計算。同時，它支持Caffe、TensorFlow、PyTorch等主流開源深度學習框架，目前包括日本富士通，韓國LG和三星等公司都有在採用此方案作為產品開發。
從GTI官方的介紹來看，Lightspeeur系列產品的多片組合方式不僅適用於邊緣計算，對於數據中心的加速處理等領域也有極其出色的能耗比。
不同組合相對應的性能和功耗表現如下：
大概瞭解了Lightspeeur光矛系列產品的特色，我們實際來驗證下這個“若派Ropal”計算棒的性能表現。“若派Ropal”計算棒提供了三種不同的開發平臺，包括X86_Linux、ARM_Android以及ARM_Linux，正好手上有現成的X86_Linux平臺，下面的測試基於這個環境。
Intel x86的平臺，系統為Ubuntu 16.04，SDK為3.1版本，SDK可以找官方提供或者在官方的社區可以下載到。
“若派Ropal”計算棒提供了SDK使用指導手冊，有詳細的使用流程，所以如何搭建環境啥的不囉嗦了，有一點特別要注意的是，你插上計算棒的那個設備節點可能會跟官方SDK中默認提供的不一樣，運行相應的demo需要修改設備節點信息，有兩處地方，分別是：
usr/local/GTISDK/data/Models/gti2801/gnet1/cnn/userinput.txt
usr/local/GTISDK/data/Models/gti2801/gnet2-3/cnn/userinput.txt
另外需要給設置的節點加上權限。
運行執行程序，可以看到官方提供了4個基於計算棒的Demo演示。
由於手頭只有一個計算棒以及沒有攝像頭模組，所以只能運行其中的兩個Demo，一個是計算幫的CNN測速演示，一個是圖像識別演示，實際演示效果見下方視頻。
從視頻中可以看到，CNN測速可以達到60多fps，圖像識別也有20fps左右，要重點強調是這個demo基於VGG16模型，相當厲害！
除此之外用戶也可以將自己訓練的模型通過Plai™工具轉換，再稍加修改demo就可以應用到“若派Ropal”計算棒上去做推理，通過閱讀SDK中提供的代碼，結合實際動手實驗，相信對理解Lightspeeur的工作原理會事半功倍。
不得不說，“若派Ropal”計算棒給用戶提供了一個非常便捷的工具去評估Lightspeeur 2801S。
閱讀更多 AI先鋒週刊 的文章
