元戎啟行深度學習網絡模型和推理引擎讓“磚頭”跑出L4

元戎啟行深度學習網絡模型和推理引擎讓“磚頭”跑出L4 |  CVPR 2020

自動駕駛作為一個技術前沿陣地,業內人士一直在不斷探索與突破。

雷鋒網獲悉,近日,L4級自動駕駛解決方案提供商元戎啟行的一篇關於3D物體檢測的論文被CVPR 2020收錄,論文題為“HVNet: Hybrid Voxel Network for LiDAR Based 3D Object Detection”,介紹了元戎啟行的深度學習網絡模型HVNet。

與多種方法相比,HVNet在3D物體檢測速度和精度上都有顯著的提高。

CVPR(Conference on Computer Vision and Pattern Recognition,即 IEEE 國際計算機視覺與模式識別會議)是全球計算機視覺頂級學術會議。今年,CVPR共收到6656篇投稿,只有1470篇論文被接收,接受率僅有22%,創下了CVPR十年來的最低接收率。

自動駕駛是人工智能的一個關鍵應用領域,而深度學習正是實現人工智能的一項主流技術。深度學習包含訓練和推理兩大過程,兩者都圍繞著深度學習的基本要素——深度學習網絡模型(以下簡稱模型)展開。訓練指的是對模型進行訓練,為模型(的不同節點)進行分配加權,推理則指的是利用訓練好的模型對全新的數據進行推理判斷、得到正確答案的過程。答案的準確度,與模型和推理直接相關。

元戎启行深度学习网络模型和推理引擎让“砖头”跑出L4 |  CVPR 2020

深度學習示意圖

L4級自動駕駛的深度學習模型

在自動駕駛中,深度學習用於感知車輛周圍物體,從而為車輛決策和控制提供判斷數據。3D物體檢測則是當前感知模塊至關重要的一個環節。而為了保證自動駕駛的安全,3D物體檢測最重要的工作,就是平衡好精度以及耗時,讓系統能迅速識別,實時響應。

元戎启行深度学习网络模型和推理引擎让“砖头”跑出L4 |  CVPR 2020

3D物體檢測

針對3D物體檢測,元戎啟行提出了一種新的基於點雲的3D物體檢測統一網絡模型:混合體素(體積像素,是數字數據於三維空間分割上的最小單位)網絡——HVNet,通過在點級別上混合尺度體素特徵編碼器(VFE),得到更好的體素特徵編碼方法,實現了3D物體檢測速度和精度上的提升。

元戎启行深度学习网络模型和推理引擎让“砖头”跑出L4 |  CVPR 2020

KITTI測試集上的速度-精度對比圖,其中O為HVNet

元戎啟行在KITTI數據集上進行了實驗驗證。KITTI數據集是目前國際上最大的適用於自動駕駛的計算機視覺算法評測數據集之一,涵蓋城市、住宅區、道路、校園、行人等五大場景,是檢驗L4級自動駕駛感知算法的最重要的評估方式之一。

從下圖中可看出,在KITTI數據集的實驗中,HVNet取得了自行車類檢測困難和中等模式的第一名,汽車類檢測中等模式的第六名,排名超過Apple、UberATG等企業。

元戎启行深度学习网络模型和推理引擎让“砖头”跑出L4 |  CVPR 2020

HVNet 在KITTI 測試上的BEV成績(自行車,2019年11月)

元戎启行深度学习网络模型和推理引擎让“砖头”跑出L4 |  CVPR 2020

HVNet 在KITTI 測試上的BEV成績(汽車,2019年11月)

元戎啟行感知技術總監曹通易表示:“在多類別物體檢測中,很多方法通過訓練多個模型來檢測不同的類別,我們僅通過單一的網絡完成輸出。在KITTI的多類別檢測任務中,我們取得了當時最好的mAP(平均準確率),同時保證了實時的效率。相比於PointPillars、Second等算法,HVNet在效率也有很大的突破。”

元戎启行深度学习网络模型和推理引擎让“砖头”跑出L4 |  CVPR 2020

KITTI val數據集中BEV上的不同體素設置下結果對比

高效的實時推理引擎

有了高性能的模型,自動駕駛的感知只成功了一半,只有完成了高效、準確的推理,自動駕駛系統才能準確判斷周圍物體。為了更好地匹配HVNet,元戎啟行還研發了推理引擎DeepRoute-Engine,針對HVNet的自定義算子和網絡結構,做出更好的計算資源上的優化,讓自動駕駛算法能夠在低成本、低功耗的硬件平臺上高效、穩定地運行。

相比主流的深度學習框架中的推理引擎,DeepRoute-Engine不論是對簡單的卷積為主的圖像模型還是對多傳感器融合的模型,都有出色的優化效果。對複雜的多傳感器模型反而有更高的推理速度。

元戎启行深度学习网络模型和推理引擎让“砖头”跑出L4 |  CVPR 2020

DeepRoute-Engine和主流計算框架推理速度對比

對於推理引擎來說,最重要的性能指標就是耗時。因為只有在推理引擎實時地推理出車輛周圍物體所屬的種類和特徵的情況下,才能讓系統有足夠的反應時間,實現車輛的實時控制,確保自動駕駛汽車的安全。因此,產業上也更關注推理,許多硬件和軟件方案的重心都放在了推動更快的加速中,如英偉達針對自動駕駛推出的Xavier芯片,英特爾旗下的Mobileye推出了EyeQ 5等。

而在兼容性方面,DeepRoute可支持英偉達、英特爾、AMD等品牌的計算平臺。DeepRoute-Engine還能很好地適配PyTorch、Caffe、TensorFlow等深度學習框架,不同的框架訓練出的模型,都可使用DeepRoute-Engine進行推理。

元戎启行深度学习网络模型和推理引擎让“砖头”跑出L4 |  CVPR 2020

推理引擎兼容性對比

DeepRoute-Engine還支持實時數據類型轉換推理,在部署一套模型時,可在運行時調整精度,減少內存空間佔用,提高部署效率。DeepRoute-Engine支持自定義層融合和用戶插件,有較高的可擴展性。

但由於自動駕駛的實現,不僅需要過硬的AI技術,更要控制好成本和功耗,才能真正實現產業化落地。

目前行業內對推理速度的最低要求是10fps。但對於低功耗計算平臺產品來說,這是一個很大的挑戰。以PyTorch等主流框架為例,當它們在低功耗的計算平臺產品上,用複雜的模型進行推理時,計算速度一般低於10fps,無法滿足這一要求。

元戎啟行則藉助自研的高效推理引擎,很好地解決了這一問題。

2020年1月CES期間,元戎啟行發佈了其新一代計算平臺解決方案——DeepRoute-Tite。該平臺只有磚頭大小,以45W的功耗運行了自動駕駛所有相關算法。得益於元戎啟行自研的高效推理引擎,算法移植到這一平臺後,系統仍能實時、精確地識別周圍障礙物,實時響應,以接近城市道路最高限速的速度行駛,靈活完成紅綠燈識別、轉彎,避障等操作。

元戎啟行使用低功耗計算平臺進行自動駕駛路測視頻(2倍加速)

目前,整個自動駕駛行業都在往小型化、嵌入式方案發展。除了傳感器的小型化,更關鍵的是替換車輛後備箱內原本體積龐大的高功耗計算平臺。

元戎启行深度学习网络模型和推理引擎让“砖头”跑出L4 |  CVPR 2020

元戎啟行新一代計算平臺DeepRoute-Tite

高效、準確的自研模型、自研推理引擎、低功耗低成本計算平臺的組合,使得元戎啟行的自動駕駛解決方案,平衡了安全性、效率、成本這三個自動駕駛的量產製約因素,既保障了技術的安全,又歸還了汽車後備箱空間,讓自動駕駛能夠更快地大規模進入人們的生活。

P.S. 元戎啟行也將亮相於2020年6月16-18日在美國西雅圖舉辦的CVPR,與全球學者共同探討CV議題,展位號:Island in Booth 645。

(雷鋒網) 雷鋒網


分享到:


相關文章: