Edge AI（邊緣人工智能）仍然是行業的焦點新事物，很多人不確定他們的項目應該選擇哪種硬件及平臺。今天，筆者將大家評測一些領先和新興的AI軟硬件平臺。
自2012年開始深度學習熱潮以來，英偉達就一直在其GPU上佔據著AI芯片的主導地位。儘管它們耗電量大，運行時嘈雜且成本昂貴，但別無選擇。大約3年前，Google宣佈他們已經設計了Tensor處理單元（TPU），以加快數據中心的深度學習推理速度。這觸發了成熟的科技公司和初創公司爭相推出專門針對數據中心和邊緣的專用AI芯片。
我們今天要談論的是邊緣AI的平臺。那麼，邊緣AI到底是什麼？邊緣AI的術語是從邊緣計算中借用的，這意味著計算是在數據源附近進行的。
在AI世界中，如你所見，應用場景包括物聯網，移動電話，無人駕駛飛機，自動駕駛汽車等。因此，我們將重點放在AI平臺上，個人和小型公司都可以開發和使用。
今天要評測的是英特爾的神經計算機棒，谷歌邊緣計算芯片Edge TPU和英偉達的Jetson Nano。
性能
在評估用於實時部署的AI模型和硬件平臺時，我首先要看的是-它們的速度如何。在計算機視覺任務中，通常以每秒幀數（FPS）來衡量基準。較高的數字表示較好的性能，對於實時視頻流，你至少需要大約10 fps才能使視頻顯得流暢。基準測試中使用了許多應用程序，最常見的兩個是分類和對象檢測。在計算上，分類是最簡單的任務，因為它只需要對圖像進行預測即可。蘋果或橙子。
另一方面，檢測任務的要求更高，因為它將需要檢測多個對象及其類的位置，例如。多輛汽車和行人。這正是需要硬件加速的應用。
瞭解了這兩個應用程序的含義之後，我們現在可以查看基準測試結果（我將在後面解釋DNR）。 Jetson Nano的數字看起來很適合實時推斷，讓我們將其用作基準。英特爾神經計算機2（在這裡我們簡稱為NCS2）可以使用MobileNet-v2進行30 FPS分類，這還不錯。但是，以11 FPS的速度進行對象檢測確實很困難。
順便說一句，NCS2是USB記憶棒，需要與外部主機（Raspberry Pi3）一起使用。如果使用功能更強大的計算機，則基準數字可能會更高。如果僅查看不帶UCS2的Raspberry Pi 3的數字，它就能夠以2.5 FPS進行分類推斷，這對於業餘愛好者或AI項目來說還不錯。
好了，回到UCS2，我認為大約10 FPS的幀速率可能不足以進行實時對象跟蹤，特別是對於高速運動，並且很可能會丟失許多對象，並且你需要非常好的跟蹤算法來補償為了那個原因。當然，我們並不完全相信基準測試結果。通常，公司會將其手動優化的軟件與競爭對手的開箱即用模型進行比較。
現在，我們將注意力轉向Google Edge TPU。Google公司將卓越競爭對手的結果納入其報告中是非常罕見的。 Edge TPU的分類性能為130 FPS，是Nano的兩倍！對於物體檢測，Edge TPU也更快，但在48 FPS和39 FPS時僅略有增加。幾天前，我獲得了一個Edge TPU板，我運行了隨附的演示，這就是我得到的75 FPS！我還沒有進入代碼來研究神經網絡圖像的大小，這對推理速度有很大的影響，但是演示肯定看起來非常流暢，FPS令人印象深刻！
尺寸大小，功率和成本
尺寸大小是影響實際應用的重要因素，它必須足夠小以適合邊緣設備。 開發板包含一些可能未在生產模塊中使用的外圍設備，例如寬帶，USB插座，但開發板為我們提供了有關大小以及功耗指示的好主意。 下圖顯示了實際的開發板參數對比。 可以看見，Coral Edge TPU開發板正是銀行卡一樣大小，你可以將其用作衡量大小的參考。
開發板性價比和生產模塊尺寸
NCS2 — 99美刀，72.5mm x 27mm
Edge TPU USB-74.99美刀，65mm x 30mm
Edge TPU開發板-149.99美刀，40 x 48mm
Jetson Nano — 129與99美刀，45mm x 70mm
Jetson Nano和Edge TPU開發板均使用5V電源，前者的電源規格為10W。但是，Edge TPU板上的散熱器要小得多，並且在異物檢測演示期間不會一直運行。再加上Edge TPU高效的硬件架構，我認為功耗應大大低於Jetson Nano。我認為，意識到這一艱鉅挑戰後，英偉達將其開發套件的價格定為低至99美元。
另一方面，兩個USB3.0記憶棒尺寸相似，但NCS2的價格較低，儘管它性能也較低。
軟件支持
1）Windows系統支持
如你所知，USB記憶棒將需要連接到主機系統，並且如果你的系統運行Windows，那麼NCS2和Edge TPU USB都是你的選擇。
2）TPU的侷限性
儘管Edge TPU在性能和大小上似乎是最具競爭力的，但它在軟件方面也是最大的限制。它僅支持Ubuntu作為主機系統，但最大的挑戰在於機器學習框架。 他們僅支持Tensorflow這一個ML框架。 從技術上講，它稱為Tensorflow Lite，它是一種支持有限數量的神經網絡層的變體。 它甚至不支持完整的Tensorflow Lite，而僅支持量化為8位整數（INT8）的模型！ 與之相對，NCS2除INT8外還支持FP16（16位浮點）。
這有什麼意義？傳統上，深度學習模型是在FP32中進行訓練的，通常可以將它們輕鬆轉換為FP16，而不會造成準確性的損失。但是，對於INT8而言並非如此，訓練後轉換通常會給你帶來災難性的準確性。你必須將量化納入訓練。這意味著你不能使用預先訓練的FP32 AI模型，而必須在模型中添加一些圖層並從頭開始進行訓練。由於增加了層次，因此培訓也將比你平時花費更長的時間。
Google確實提供了一些經過預先訓練的模型，你可以在其中進行微調並節省大量時間，但是不幸的是，你只能選擇幾種計算機視覺模型。這就是為什麼英偉達的Edge TPU基準中有如此多的DNR的原因。這是英特爾和英偉達做得更好的地方。英特爾提供了很多預訓練模型。有趣的是，它包括使用二進制卷積層，或通俗地說1位層的resnet50-binary-0001。英特爾的OpenVINO允許轉換Tensorflow，Caffe，MxNet，Kaldi和ONNX的模型。
應用領域
現在，我們已經對這些平臺的優缺點進行了概述，我們應該將哪些平臺用於哪些應用程序？
它們都具有運行計算機視覺AI的能力，但是我認為這是最適合每個應用程序的東西。我還將提到它們的一些獨特的硬件功能。
1）英特爾神經計算棒
優點：支持Windows，快速部署，良好的模型選擇
缺點：推斷速度相對較慢，價格較高。它允許非常簡單快速地將AI升級到現有系統。這對於業餘愛好者和小批量項目也很有用。
2）Google Edge TPU
優點：最佳性能，帶有Wifi和加密引擎
缺點：有限的培訓資源，AI模型和軟件庫，例如不支持OpenCV。儘管價格是所有產品中最高的，但其中包括諸如Wifi和加密引擎之類的完整系統，使其非常適合家用電子產品等消費電子產品和IoT設備。對於消費電子行業而言，他們具有更大意義。
3）英偉達 Jetson Nano
優點：良好的軟件生態系統和資源，附加的軟件庫
缺點：體型大，這將是無人機，AI玩具，吸塵器等自動駕駛車輛的理想選擇。它是一個通用的AI平臺，因此，在其他平臺無法勝任的領域中，可以安全地選擇Nano。
EDGE AI已經到來，所以我對未來的硬件有何預測？目前，低於8位的任何內容都不能提供很好的準確性，但這是一個活躍的研究領域，硬件公司應該準備歡迎算法研究方面的突破。計算機視覺是被深度學習徹底改變的第一個領域，我們看到上述所有平臺都大力支持用於計算機視覺的前饋卷積神經網絡。隨著基於語音的智能系統（如Alexa）的興起，我看到邊緣AI芯片在語音方面尚且存在空白。
據悉，Google Coral Edge TPU 系列硬件設備已經投放市場，並和多家企業建立了合作關係，如 Gravitylink（引力互聯）。
Gravitylink 基於 Edge TPU 軟硬件以及國內 AI 行業生態，打造出全球化 AI 算法及解決方案交易市場——「鈦靈 AI 市場」，致力於幫助來自全球的優秀 AI 服務商與需求方建立更加高效的直連對接，加速 AI 技術在各領域的落地、應用。這裡不僅有基於企業需求對接的 AI 商業平臺，更提供了 AI 產業所需的多維度機器學習模型、算法及硬件。
閱讀更多 鈦靈創新 的文章
