第一課前言

4月20日起，智東西創課推出自動駕駛系列課第二季，9位自動駕駛新勢力的創始人和高管將帶來9節系列課。

第一課由Roadstar.ai首席科學家周光主講，主題為《多傳感器融合，無人駕駛的必由之路》。本文為周光的主講實錄，共計7579字，預計14分鐘讀完。一起了解周光的主講提綱：

1、無人駕駛格局及技術方案比較

2、多傳感器融合的基本原理和算法

3、基於多傳感器前融合的L4技術方案解析

4、Roadstar.ai如何加速落地和商業化

在瀏覽正文之前，可以帶著以下4個問題：

-四代無人駕駛系統有哪些本質差異？

-相比多傳感器後融合，多傳感器前融合有哪些優勢？

-Roadstar二大核心技術HeteroSync和DeepFusion的特點和價值；

-為什麼自動駕駛公司多采用林肯MKZ？

*如果希望下載本次課程的完整課件，可以在車東西公眾號（chedongxi）回覆關鍵詞“系列課”獲取。如果你希望成為講師，可以回覆關鍵詞“講師”，進行申請。

主講實錄

經過一年的時間，現在在設計無人駕駛中大家都普遍認同多傳感器融合這一方案。我還記得一年以前，當我們剛出來創業的時候，市面上其實沒有任何一家企業是認同這個方案的。經過這一年的技術攻關，我們Roadstar最終向所有人證明了這套方案的先進性以及可行性。我們現在能夠做到在深圳，硅谷等地的複雜場景實現單次高達數小時的無人駕駛。從今年2月份在中國上路測試到今天，我們測試了大概有幾千公里距離，沒有發生過一起事故，同時我們的接管率也是幾乎接近於零。

跟大家介紹一下我們公司的創始團隊。我們公司的三位創始人，我和佟顯喬、衡量都是在百度認識的。在這裡我要感謝百度作為中國無人駕駛的黃埔軍校，為大家提供了各式各樣的人才。

今天我要講的內容分為四個方向。首先我會跟大家大概介紹一下全球無人駕駛的格局以及技術方案；之後會講解一下多傳感器融合的基本原理以及一些簡單的算法；然後我會講基於前融合的技術方案的優勢以及在具體場景下做一些解析；最後講解一下基於前融合技術如何加快落地以及商業化。

Part 1

這幅圖簡要地介紹了無人駕駛的歷程。無人駕駛是源於美國的DARPA比賽，分為兩屆，一屆是2005年，一屆是2007年。在此之後，Google把DARPA中斯坦福團隊收編，並於2009年由塞巴斯蒂安·特倫（Sebastian Thrun）開啟了無人駕駛這個計劃。在這之後很長的一段時間裡，全球只有Google這一個玩家，直到2014年新的玩家Uber以及百度入局。之後由於深度學習的發展，給了無人駕駛一個可能看清楚事件的眼睛。

此後，無人駕駛開啟百家爭鳴，形成科技公司主導的無人駕駛方案和由主機廠主導的無人駕駛方案二個流派。由於基因不同，科技公司和主機廠有著明顯不同的技術方案。

傳統主機廠多數都是以攝像頭和毫米波雷達為主，主打L2、L3的無人駕駛方案。而科技公司由於沒有量產的壓力，是採用激光雷達的方案。

在這些主機廠中，也有著明顯的不同。美國主機廠是依靠併購，比如Cruise被GM收購，Argo AI被福特收購。日本和德國的公司則是採用一種自研的方式。

下面我跟大家講解一下無人駕駛的四代系統：

第一代無人駕駛系統——也是今天在國內廣泛應用的無人駕駛系統，最明顯的特點是頭上有一顆Velodyne的64線激光雷達，這是源於2007年的DARPA無人駕駛挑戰賽。該方案在國內有百度、騰訊、Pony和景馳等公司在繼承。這種技術方案是單一傳感器不融合的方案，也即是說不同的傳感器做不同的任務，比如用64線激光雷達做人的檢測，用相機做紅綠燈的識別等。

第二代方案由Waymo以及Cruise等公司在繼承，主要特點是整個車輛採用多顆低線束激光雷達融合Camera以及各種傳感器的技術方案。

第三代無人駕駛系統是2018年年初由豐田在CES上展出的基於全固態前裝的無人駕駛方案。可以看到這一代方案有兩個不同：一是用多顆固態激光雷達，二是做到了車輛的前裝車規級。

第四代方案是移動空間這個概念。在這個移動空間的方案中，車輛不再具有方向盤，整個車的概念和品牌也都不再重要，車只是為人類提供一個移動的空間。其實這也是今天所有公司，不管是互聯網巨頭還是主機公司都在追求的終極目標。

這幅圖具體展現了前兩代的一些代表公司。在下面的是2012年採用64線激光雷達方案的谷歌以及其他公司。上面的是最新的Waymo、Cruise、Drive.ai以及Roadstar.ai。Waymo採用了一顆高線束加6顆低線束的融合；Cruise採用了兩顆32線以及兩顆16線；Drive.ai採用了六顆16線；Roadstar採用了一顆32線加4顆16線的方案。

Part 2

下面簡單講一下多傳感器融合的基本原理和算法。多傳感器融合分為兩塊，第一塊是傳感器同步技術，第二塊是基於融合數據開發的算法。

簡單的傳感器融合，我相信大家也不陌生，不外乎就是每個傳感器的數據能大致在空間跟時間上能得到對齊。而整個多傳感器融合技術的核心就在於高精度的時間以及空間同步。精度到什麼量級呢？舉個例子，比如時間上能得到10的-6次方，空間上能得到在一百米外3到5釐米的誤差，這是一個典型的技術指標。當然，多傳感器同步技術的難度與時間和空間的要求是一個指數級的增加。在百米外能得到3cm的空間精度，換算成角度是0.015度左右。大家也知道在無人駕駛當中，毫米波雷達、相機、激光雷達和超聲波都是完全不同的傳感器，讓他們在時域跟空域上得到這樣的精度是非常難的，需要對機器人技術以及機器學習優化技術有非常深的理解。

Roadstar的多傳感器技術不僅僅在國內得到了認同，在國際上也得到了廣泛的認同。我們之前去過豐田的日本總部，也見到了他們負責研發的老大。他們也知道多傳感器融合做前融合很重要，對系統的提升很大，但是他們老大認為這東西不可能被實現。但是當我們展示出Roadstar的多傳感器融合視頻，他們當時就被震驚了。整個豐田在東京的負責人都過來看我們的傳感器融合方案。

當有了異構多傳感器同步技術之後，我們針對這個數據集開發了自己的感知以及定位算法。這個數據集是一個8維的數據集，其中包含了X,Y,Z的空間數據以及R,G,B的顏色數據、激光反射值數據和多普勒速度數據。

這是一個比較簡單的calibration的算法，我大概講一下。

第一個算法,本質上是在事件座標系中，你得到相機以及手的Pose信息，然後根據它轉換的幾何限制，最終可以解算出你的X。

第二個算法,對應的是在事件座標系以及機器人自己的座標系中，你分別知道傳感器的運動軌跡、手的移動軌跡以及兩個座標系中的轉換等信息，然後通過這個反算出你的X。

上面這個視頻是做了完美的前融合之後的效果。這也是當初我們呈現在日本豐田總部讓研發老大所震驚的視頻。

大家可以看到，這是一個270度環視攝像頭。彩色的點是激光雷達的點，當時車速大概是60到80km/h。不管是在極遠處還是在極近處，所有激光雷達的像素點和圖片的像素點都達到了像素級別的誤差。

整個Sensor Fusion的視頻是可以實時顯示在我們車上的。我相信做過機器學習的同學，很快就能get到，如果能有這樣一套完美的系統，那對感知的提升是非常非常Significant的。

做Machine Learning的朋友都知道PCA算法，但PCA算法跟傳感器融合是完全相反的方法。在Deep Learning產生之前，由於傳統的Machine Learning並不能夠高效地學出數據中的信息，因此才誕生了PCA算法。而在今天深度學習技術得到極大提高的情況之下，PCA算法也就再沒有人提了。

在傳感器融合提供的8維數據中，每個通道都是沒有任何冗餘信息，能夠極大的提高整個系統的可靠性以及穩定性。相比於傳統的方法，我們能夠非常容易地提高十個點以上表現。

這是我們從網上搜集到另外一些無人駕駛公司融合失敗的案例。大家可以看到，這個無人駕駛汽車是靜止地停在一個測試場地，前面是有一個車在繞圓圈或者是八字，但是點雲跟相機的信息是差了半個車頭的距離，這個誤差是隨著距離呈線性增加的。目前這個距離大概是十米，可以想象在100米或者50米開外的時候，車和車已經是完全分離的。因此，這種融合效果是不能為系統增加額外的可靠性以及穩定性的。

這個例子能夠比較形象地解釋為什麼高維數據會更好。左邊是平面的2D信息，大家可以想象一下，如果想分割出裡面紅色的元素，是需要做非常複雜的曲線能分開。其實原始的信息是在右邊。右邊的信息，可以通過簡單的一些平面就能分開。

下面我跟大家介紹一下前融合算法和後融合算法的區別。左邊的方法對應的是後融合算法。在後融合算法中，每個傳感器都有自己獨立的感知，比如激光雷達有激光雷達的感知，攝像頭有攝像頭的感知，毫米波雷達也會做出自己的感知。在最終的Objectlist結果彙總裡面，它會通過一些人工算法過濾或者合併掉一些物體。

在前融合過程中，我們只有一個感知的算法。我們在原始層把數據都融合在一起，融合好的數據就好比是一個Super傳感器，而且這個傳感器不僅有能力可以看到紅外線，還有能力可以看到攝像頭或者RGB，也有能力看到三維信息，也有能力看到LiDAR信息，就好比是一雙超級眼睛。在這雙超級眼睛上面，我們開發自己的感知算法，最後會輸出一個結果層的物體。

這樣講可能大家還不太清楚為什麼前融合更好，我在這裡舉一個例子。假設在你手上有一個手機，激光雷達只能看到手機的的一個角，攝像頭只能看到第二個角，而毫米波雷達可以看到第三個角，那麼大家可以想象，如果使用後融合算法，由於每個傳感器只能看到它的一部分，這個物體非常有可能不被識別到，最終會被濾掉。而在前融合中，由於它是集合了所有的數據，也就相當於可以看到這個手機的三個角，那對於前融合來說，是非常容易能夠識別出這是一臺手機的。

除了以上提到的優點，多傳感器融合還有另外的一個優點。

我們相信，前裝的固態是真正無人駕駛的未來。但是每個固態雷達有它的特性，尤其是MEMS雷達。MEMS雷達是基於諧振反算出一個角度，從而得到這個點雲在空間中的位置。由於這並不是直接測量，而是間接測量的角度，從而導致固態雷達的點雲分辨率很低，對溫度也很敏感。

同時每一個固態雷達都只能有有限的Field of view，這就導致要想使用固態激光雷達，你必須得是多顆融合在一起。之前我跟大家介紹的四代技術當中，第一代技術是不能直接跳躍到第三代技術的，因為第一代技術不能夠做到低線束的融合；另外由於點雲質量的降低，對於第一代單一傳感器的技術，感知效果會更差；如果沒有加入Camera信息，那麼它的感知是沒法在常用場景上開的。這就是為什麼到今天為止，就我們公司能夠做到在極端複雜的場景下實現完美的感知，同時車能夠開得非常的好。

這一頁是重複講我之前提到的後融合的缺點，大家可以再看一下。

對於DeepFusion技術，由於它的信息中每個通道的不冗餘性，最終導致算法對數據的依賴會極大的降低。在我們的數據集中，我們做了一個簡單的測試，DeepFusion採用前融合的算法，我們大概採用1萬幀左右的算法，能得到傳統算法10萬幀的效果。除了Corner Case以及數據集的遠遠減少以外，DeepFusion還有其他的一些Benefits。比如採用DeepFusion的數據集是可以當做來L2、L3的Ground Truth，你在出去標註的過程中，需要標註一次，那麼你會完成對所有數據的標註。

Part 3

接下來我跟大家講一下Roadstar基於前融合技術所開發的無人駕駛系統。

上圖是我們Roadstar使用的機頂盒，是第二代傳感器平臺，我們稱之為One cable solution。在這個機頂盒上有著5顆低線束激光雷達，加上6顆攝像頭、3顆毫米波雷達和GPS&IMU系統。所有的傳感器都會在這個機頂盒中做處理，包含異構多傳感器同步技術。處理好的數據會通過一根Cable輸入到我們的電腦當中，電腦接入這個數據後進行檢測、決策、定位算法，最終會通過Control來控制這個車。

相比於大多數公司的方法，我們的硬件平臺非常的穩定，到今天為止我們沒有發生過由於硬件Failure導致系統宕掉的情況。講個小插曲，在硅谷的那段時間，我們曾經有過3顆激光雷達壞掉，但是我們的車依然完成了無人駕駛，安全地把乘客送回我們的公司，乘客當時也是非常地驚訝。

前一段時間Uber發生的那起車禍，採用單顆64線激光雷達，因為沒有一個冗餘，不管是因為64線激光雷達壞掉或者是其他原因，導致傳感器失效，最終沒有識別出那個行人。這種情況在Roadstar是不會發生的，5顆激光雷達同時壞的概率可以認為幾乎是零。

這是Roadstar 的L4系統架構。這個架構相信做無人駕駛的人應該也不是太陌生。最左邊是傳感器模塊，最右邊是Perception + Decision+Control模塊，以及中下的定位模塊。

在整個架構中，中間藍色部分的HeteroSync和DeepFusion是Roadstar的核心技術。基於這個技術，我們的感知和定位都能得到一個量級的提升。

這是Roadstar採用的神經網絡。中間網絡的具體架構部分被我省略了。大家可以看到我們的Input是來自於八維的高位數據，Output是3D Bounding Box。

這是Roadstar Daytime的Perception。在每個Bounding Box中，左上角是ID，右下角的是車速，可以看到我們準確地識別出路上的所有車以及行人。整個視頻我們是做了3倍速的加速。

從上面我們知道基於前融合的感知是如何的強大。在整個路測當中，在80米內的人和車基本都是沒有被miss掉的，我們得到一個非常高的Perception Recall。

大家可以看到，Roadstar在深度學習上有非常強的功底。我們在CITYSCAPES數據集上，目前在語義分割上是排第一。我們基於單一傳感器的激光雷達的感知目前在KITTI上也是居於前三。在我們前融合的內部Benchmark上，easy我們有接近99%的average precision，在Moderate和Hard基於前融合上能夠達到接近90%的水平。我覺得完美的感知是無人駕駛真正實現的前提。但我也知道多數公司其實並不敢把自己的感知顯示給客人看。但在Roadstar，任何過來試車的人都能看到完全跟上面視頻一樣的感知畫面以及感知體驗。

DeepFusion技術除了能夠在Perception上極大地提高感知，在地圖定位上也能夠極大地提高系統的魯棒性。對於傳統定位，比如今天阿波羅上用的是2D反射值定位，有著很大的缺陷。由於天然2D的特性，它在高架橋上以及在多層停車庫裡面都是不工作的。另外，反射值地圖的定位，在對車的Hidden上，它無法做z和heading上的修正。Roadstar用了整個三維點雲的信息以及Camera的信息，極大地提高了定位的效果。

這個視頻是我們在多層停車場中的定位效果。大家可以仔細看一下，整個停車場是沒有GPS信號的，整個車輛的定位是完全按照imu以及LiDAR的feature來做到的。

在這個視頻的右下角是Camera的View，也可以看到這是一個完全封閉的停車場，沒有任何的GPS信號，而且我們的車也長時間地停在車庫當中。

定位技術在中國特色的路況下是極其重要的。相比於美國的簡單場景，不少相當於中國的大農村，建築一般都是不超過三層的。GPS在這種場景之下是不會有多次反射的影響，單靠GPS&IMU定位是足夠的。但中國城市化高，高樓大廈會極大地影響著GNSS系統的穩定性，如果沒有一套良好的設備，而Demo測試的場地往往都是在開放的場地上進行的，比如在政府大廳的一個開放路段上進行。待會我們會給大家放出，Roadstar在深圳的路測場景，整個都是在特別高的樹木遮擋下進行的。

Part 4

最後講一講， Roadstar如何利用我們先進技術來加快商業落地以及商業化。

去年10月到11月份，我們就在硅谷實現了四小時長時間的無人工干預的測試。當時在蘋果總部等交通繁忙路段實現了完全的無人駕駛，包含非常常見的場景，比如紅燈右拐、換道匯入等等，整個車速應該是60邁/每小時。

今年2月份，我們在深圳西麗實現了高達50Km/h的路測，其中包含了中國特色的測試場景，比如緊急加塞、送外賣小哥逆行、中國式過馬路、翻欄杆等等幾個場景。現今為止，我們是唯一一家能夠做到在這種場景下測試的公司。

大家應該看完了剛才的視頻，中間有一些場景我們都做了解釋。最後可以看到有一個行人是緊急加塞，我們的車也做了準確的識別，並且做到減速避讓。

這是Roadstar的發展歷程。從去年5月份成立到今天還不到一年時間，Roadstar就實現了在中美兩地最複雜路況上的測試，而且我們是採用一個完全不同於第一代無人駕駛的解決方案。

之後我們會做無人車隊運營。在2018年，我們在深圳會鋪20輛乘用車，每個車輛配備一名安全員做一些數據的收集以及技術的驗證，向政府證明Roadstar可以安全地做到車輛的運營；2019年我們會跟車廠或者是Tier1進行合作，生產100臺無人車，同時跟出行公司或者是自己開發打車軟件，提供比較大範圍的出租車或專車服務。當然，在2019年我們依然會配備安全員，保證用戶的體驗。

經過這兩年的數據收集，Roadstar會配備1500臺車以上，然後做一個大範圍，比如深圳一個區或者是深圳市以上，這時車輛將不再配備安全員，並且使用遠程干預來實現運營。

謝謝大家。

提問環節

提問一

張魯-中汽-算法工程師：

傳感器融合的算法設計是否高依賴於場景，對於目前道路測試規範（北京、上海等地均已發佈），在應對不同的等級（如北京的T3）傳感器配置方案層面如何設計？算法方面是否也有變化？

周光：首先，傳感器融合算法並不是高度依賴場景。當然對於不同的路況，對不同的應用場景，我們會對傳感器的選型分佈進行選擇。我們會針對算法的特性選擇最有利的傳感器分佈以及佈局。

提問二

曹俊-奇瑞捷豹-動力總成性能工程師：

1、自動駕駛車輛必須是基於電動車麼，傳統燃油車是否可實現高級別的自動駕駛？注意到自動駕駛公司用的測試車輛大多是林肯MKZ，原因是什麼，是混動版還是傳統汽油版？

2、從商業化和市場化角度來說，自動駕駛技術在逐步走向成熟後，是否會變成一個贏者通吃的局面？當前各家的研發路徑都有所不同，但最終市場化的解決方案可能會趨同，因為衡量指標還是較清晰的：接管頻度最低，硬件成本最低。而這一套方案和主機廠的產品的整合相對也不算複雜，所以會不會所有主機廠都去選擇那個較為公認的最佳方案？

周光：1、無人駕駛汽車本質上並不需要是電動車。但是電動車由於是電驅動，有低延時以及非常準確的油門曲線，這對於做車輛控制來說，有著天然優勢。

2、為什麼自動駕駛公司均採用林肯MKZ？因為AutonomousStuff這家公司有福特的全套線控協議，而且被允許開放這套協議給第三方測試公司。但是在尼桑、豐田等公司，均有自己的無人駕駛測試車，並沒有採用MKZ。不過，作為科技公司和創業公司，我們是無法從車廠拿到這套控制協議的。

3、從商業化的角度上來講，就看誰能用最便宜的傳感器實現無人駕駛。大家可以看到，之前提到的方案一，採用64線整套傳感器方案，加上GPS&IMU，價格高達150萬，不過可實現的效果是低於第二代的；第二代方案採用的是低線束激光雷達。在我們公司，Roadstar方案技術的成本大概是在30萬人民幣。我們採用1/5的價格實現了超越它的效果。我相信在任何車上看來，第二代方案遠優於第一代方案。

提問三

陳東-智行者科技-感知算法工程師：

多傳感器融合時如何優化激光過分割欠分割導致的匹配錯誤？

周光：通過這個問題，我可以看出智行者是採用單一傳感器的感知方案，所以才會出現這個問題。其實在當你使用前融合之後，這個問題將不再存在。因為你從Camera中能拿到足夠的環境信息。這時就不會產生激光過分割欠分割的問題了。

提問四：

魯榮貴-湖南大學-機械工程：

GPS與IMU的融合是無人車定位中一個較好的方案，但IMU對磁場較為敏感，GPS容易被大功率的假GPS信號劫持，兩者的融合是否可以避免傳感器的安全擔憂？不然則該如何避免？

周光：您問到GPS&IMU融合是無人車定位中的一個好方案嗎？我可以告訴你，其實不是。首先，IMU系統其實是一個Inertial Measurement Unit，包含了加速度計以及陀螺儀，並不會對磁場敏感。我相信你提的應該是指南針吧，指南針對磁場非常敏感。

而GPS是很容易被大功率的信息，尤其是被1.3G或者1.5G的信息所幹擾劫持。如果只是靠GPS和IMU融合，是不足以實現無人駕駛的。Roadstar是採用了基於高精度地圖的定位解決方案。基於高精地圖的解決方案，你的定位並不會因為被GPS信號干擾以及磁場干擾而受到影響。因為你是在地圖中找到你真實的位置，所以這是一個非常魯棒的方案。當然基於地圖定位的方案和GPS融合能得到一個更好的效果。