曾經有一段時間，圖形處理單元（GPU）僅限於為PC遊戲或圖形渲染提供動力的高端視頻適配器。一般的計算機用戶甚至程序員都不關心GPU。由於ML和AI的興起，GPU很熱門。從公共雲供應商到學術研究實驗室，GPU已經成為計算的重要組成部分。
NVIDIA是最大的GPU製造商，在市場上享有壟斷地位。他們的GPU配備了可以並行運行計算任務的軟件驅動程序和計算工具包。 CUDA和cuDNN是AI研究人員和企業數據科學家中的流行工具包。
機器學習算法只不過是適用於解決業務問題的數學和統計方程式。訓練機器學習模型涉及通過替換方程的多個變量來並行運行復雜的數學方程。當發現變量的神奇組合時，該模型被認為是完全訓練的。
GPU具有數百個內核，可以並行運行這些複雜的數學方程式。雖然CPU同樣更快，但它們是通用處理器，不是為大規模並行化而設計的。 GPU通過接管數學計算部分來補充CPU。許多工作負載包括機器學習，高性能計算（HPC），圖形渲染，遊戲開發都依賴於GPU。 ML和AI技術的日益普及使GPU成為CPU的普遍存在。
機器學習模型有兩個階段 - 培訓和推理。
在有監督的機器學習中，訓練涉及將各種變量組合饋送到複雜方程，直到預測接近實際值。該技術用於解決簡單的線性迴歸問題，以解決處理計算機視覺和自然語言處理的複雜深度學習算法。
一旦模型得到完全訓練，就可以預測或分類看不見的數據點。推理是一種利用完全訓練的模型進行預測的技術。雖然推理沒有訓練那麼強烈，但它仍然使用複雜的數學方程來產生預期的結果。例如，在計算機視覺中，輸入圖像立即被轉換為大量像素，其被饋送到用於推斷的模型。這啟動了一項複雜的計算任務，處理數百萬個方程和變量。
大多數訓練有素的機器學習模型在邊緣計算層以離線模式運行。這些邊緣設備需要加速器來加速推理。如果推理僅在CPU上運行，則可能不會導致更快的響應。在諸如面部檢測和對象檢測的場景中，用戶期望預測或分類以毫秒發生。此用例的典型示例是iPhone中的Face ID身份驗證。當相機捕捉到匹配的臉部時，手機會立即解鎖。 iPhone中有一個GPU正在加速機器學習模型的計算。這種在最終用戶設備中運行完全訓練的機器學習模型的機制稱為推理。
邊緣計算將推動專用AI芯片和加速器的採用。
英特爾和高通等芯片製造商意識到需要為邊緣CPU提供補充處理器，因此正在投資加速ML推理的專用處理器。 這些芯片針對特定用例（包括計算機視覺和自然語言處理）進行了高度定製。
我們將研究計算機視覺中專用芯片的三種具體實現。
英特爾Movidius神經計算棒
2016年，英特爾收購了Movidius，這是一家利用無人機和虛擬現實設備生產計算機視覺處理器的利基芯片製造商。 Movidius的旗艦產品是Myraid，這是一款專門用於處理圖像和視頻流的芯片。 它被定位為VPU - 視覺處理單元 - 因為它具有處理計算機視覺的能力。
收購Movidius後，英特爾已將Myraid 2打包成USB拇指驅動器外形，作為神經計算棒（NCS）出售。 關於NCS的最好的事情是它適用於x86和ARM設備。 它可以輕鬆插入Intel NUC或Raspberry Pi進行運行推理。 它從主機設備獲取電力，無需外部電源。
基於Caffe或TensorFlow構建的機器學習模型可以輕鬆移植到NCS。 英特爾提供了一個SDK和工具，可幫助您在Movidius上分析，調整和部署現有模型。 SDK有許多基於流行的神經網絡架構的示例，例如AlexNet，ImageNet，MobileNet和Inception。
當連接到配備相機模塊的Raspberry Pi時，Intel Movidius NCS可以在幾毫秒內執行物體檢測。
Horned Sungem AI
Horned Sungem是一家專注於AI的中國公司。 Horned Sungem的AI開發板專為開發人員，學生，業餘愛好者和愛好者而設計，可輕鬆創建自己的AI應用程序。
該設備具有USB-C連接器，可以插入Raspberry Pi或任何其他計算設備。 它對通過CSI接口連接的Raspberry Pi Camera提供原生支持。
據製造商稱，其芯片採用獨特的集成前端設計，能夠以低功耗（<3W）實現高性能。 HS擁有自己的基於Python的開發工具包，支持大多數平臺，如MacOS，Linux，Android，Windows（即將發佈）。
HS配備完全訓練有素的ML型號。 開發人員可以輕鬆地開始使用不依賴於深度學習框架或複雜庫的工具包。 運行簡短的安裝腳本後，設備將準備好識別各種對象。
有趣的是，HS基於英特爾Movidius MA245X VPU芯片，可為生產中的許多設備供電。
Google AIY Vision Kit
儘管它可能看起來像是基於Google Cardboard項目的愛好工具包，但AIY Vision Kit卻是一個很好的選擇。 它配備了在微型設備上構建全面計算機視覺應用所需的一切 - Raspberry Pi Zero。
谷歌與英特爾合作開發了一款名為Vision Bonnet的定製主板。 看到該主板由 Intel Movidius VPU供電並不奇怪。
AIY 全稱是 Artificial Intelligence Yourself，顧名思義就是利用 AI 來進行的 DIY 功能套件。該項目的目標是讓每個 人都可以 DIY 自己的 AI 人工智能產品，真正實現AI平民化。兩款AI人工智能硬件——AIY Voice Kit 和AIY Vision Kit，分別是人工智能語音套件和人工智能視覺套件。
AIY Vision Kit 附帶一個Raspberry Pi 相機模塊，可直接連接到 Vision Bonnet。 這避免了將圖像幀轉發到VPU進行處理所涉及的延遲。谷歌完全改寫了Movidius SDK，這使得運行TensorFlow模型進行推理變得更加簡單。 Python SDK具有用於編程套件隨附的按鈕和LED的API。
該套件附帶了六個可以推斷的型號。 開發人員可以輕鬆使用這些模型來開發自定義應用程序.
儘管人工智能和邊緣計算處於起步階段，但預計它們將會有所增長勢頭。 公共雲中的GPU和邊緣的專用AI芯片將推動下一波計算。
閱讀更多 引力空間站 的文章
