Waymo的技術在公開道路上、封閉測試場、仿真器進行了廣泛的測試，所以可以保證自動駕駛系統的每一部分在其ODD內都有強大、可靠、安全的處理能力。
Waymo的自動駕駛系統由三個相互獨立、嚴格測試的子系統組成：
1）經過OEM認證的基礎車輛系統；
2）傳感器和計算機等內部硬件系統；
3）做出所有駕駛決策的自動駕駛軟件系統；
這些子系統組合起來構成一個完整的自動駕駛系統，然後我們對其進行進一步的測試和驗證。對各個系統的測試和驗證可以確保自動駕駛車輛滿足我們對系統設定的所有安全要求。
3. Testing and Validation Methods
3.1 基礎車輛系統的測試驗證
Waymo的當前的自動駕駛車輛是2017年克萊斯勒-帕西菲卡混合動力小型貨車的改進版，我們將自駕系統集成到其中。菲亞特克萊斯勒汽車公司(簡稱“FCA”)出售給我們的改進型2017年克萊斯勒-帕西菲卡混合小型貨車已獲得聯邦機動車輛安全標準(FMVSS)認證，該標準規定了美國機動車輛或機動車輛設備的安全性能要求。
3.2 傳感器和硬件系統的測試驗證
1）構建安全可靠的供應鏈系統
Waymo與供應商和分銷商共同保證系統組件的性能、安全、質量和可靠性。我們將供應商提供的系統組件引入到故障模式、影響分析(FMEA)和風險評估過程中，並在與其它子系統進行集成時，檢測識別其在製造過程、獨立系統或其它系統集成時的潛在安全風險。我們監控產品製造過程中各個子部件的表現，並進行持續的可靠性測試，以確保它們在集成到我們的車輛中之前滿足設計期望和安全要求。
2）Testing At Every Level
我們多層次的安全測試方法受到美國宇航局發射火星探測器的工程經驗的影響(火星探測器是在距離地球數百萬英里的地方運行的一種自動駕駛車輛)。
這種方法意味著我們需要對最底層的組件進行分析和測試，以確保我們最關鍵的系統的性能和可靠性。例如，我們的視覺(攝像頭)系統在安裝到車輛系統後，要在實驗室中進行100多次單獨的測試。
首先，我們對組成視覺系統的各個攝像頭、電纜和連接器等部件進行檢查，以確保每個部件都符合設計規範。當相機完成集成之後，我們再次進行測試，將每個攝像頭組裝成一個環形，將它們校準後一起工作，檢查每個攝像頭的角度和方向結合在一起是否能夠構成360度全景。
然後進行整個相機系統的測試。組裝好的攝像機被添加到自動驅動系統中，由我們的工程師進行測試，以確保不同傳感器能夠像一個傳感器一樣協同工作。
在使用這種新的視覺系統上路之前，我們執行諸如在各種照明條件下看到交通信號燈、檢測行人和發現建築工地等任務以確認視覺系統正在發揮作用。所有測試通過之後，視覺系統作為自動駕駛車輛的一部分才被允許上路。
3）硬件系統測試
通過FCA和Waymo之間的技術合作，我們設計並在由FCA提供的改進型克萊斯勒-帕西菲卡混合小型貨車上集成了Waymo的自動駕駛傳感器和硬件系統。為了確保我們已經將自動駕駛系統正確地集成到了克萊斯勒-帕西菲卡混合動力小型貨車中，Waymo對集成的小型貨車在私人測試道路、實驗室以及模擬器上進行了數千次附加測試，用於評估車輛從制動、轉向、前照燈和車門物理控制等安全功能。通過這些測試，我們可以確保車輛在手動模式，有測試駕駛員的情況下自動駕駛模式以及在車內沒有人的情況下完全自動駕駛模式等所有場景下的安全運行。
3.3 自動駕駛軟件系統測試
我們的自動駕駛軟件也是以我們的安全設計理念為指導，不斷嚴格地測試軟件的各個組成部分，包括感知、行為預測和規劃等。軟件的每一次更改都必須通過模擬測試、封閉道路測試和公共道路駕駛測試。
Simulation Testing
我們確定車輛在公共道路上遇到的最具挑戰性的情況，並將其轉換為虛擬場景，以便自動駕駛軟件在仿真器中不斷驗證。
Closed-Course Testing
新版自動駕駛軟件首先被推送到幾輛車上，最有經驗的駕駛員就可以在我們的私人測試道路上進行測試。我們可以為不同的車輛使用不同版本的軟件，以便測試新的研發功能或特定功能。
Real-World Driving
一旦我們確認自動駕駛軟件運行符合預期，我們就開始在公共道路上部署新的軟件。首先小範圍測試，自駕車輛必須證明它們能夠安全、始終如一地按預定路線行駛後，我們將軟件更新推送到整個車隊。隨著自動行駛里程的增加，我們根據車輛的運行反饋持續的改進我們的駕駛方式和軟件系統。
3.4 仿真系統
Waymo的模擬器可以重現我們使用每一個新軟件版本的真實世界駕駛行為，還可以為我們的軟件構建全新的虛擬場景以供測試。每天多達25000輛虛擬Waymo自動駕駛車輛在仿真器中行駛800萬英里，驗證舊技術改進，測試新技術效果，幫助自動駕駛車輛安全的在現實世界駕駛。
例如在亞利桑那州梅薩市的南隆摩街和南部西大街的拐角處，有一個黃色的閃爍箭頭表示左轉，這種類型的交叉口對人類和自動駕駛車輛來說都很棘手，駕駛員必須進入五車道交叉口，然後在迎面而來的車輛中找到一個間隙，過早的左轉可能會對迎面而來的車輛造成危險，過晚的左轉可能會使後面的駕駛員感到不滿。仿真模擬讓我們把這樣的一次真實世界的遭遇變成成千上萬的練習和掌握技能的機會。
Waymo engineers build virtual scenarios
a flashing yellow left turn arrow
How Simulation Works
Step 1：Start with a Highly-Detailed Vision of the World
我們構建了一套包含車道、路緣、交通燈、交叉路口等在內的虛擬副本，在仿真中，我們可以將注意力集中在最具挑戰性的場景上，如黃色信號燈閃爍、逆行的車輛司機或快速騎行的自行車手，而不僅僅是單調的累積公路里程。
a highly-detailed, realistic virtual East Valley.
Step 2: Drive, Drive, and Redrive
當閃爍的黃色左轉在虛擬世界中數字化後，我們的軟件可以成千上萬次的調試驗證這個場景。每次更新軟件時，我們都可以在不同的駕駛條件下在同一個交叉口測試驗證。這就是我們如何教會我們的車輛在黃燈閃爍的情況下自然向前，並插入到迎面而來的車流中。此外，我們可以在已經遇到的每一個閃爍的黃色閃爍燈的場景上測試這個新技能，以便更快地升級改進我們的軟件系統。
Step 3: Create Thousands of Variations
接下來，我們可通過一個稱為”fuzzing”的過程來探索閃爍黃燈類似的數千種不同的變異場景。我們改變迎面駛來的車輛的速度和交通燈的時間，以確保我們的車輛仍然能在交通流中找到安全的間隙；通過增加模擬行人、摩托車分隔車道，甚至慢跑者在街道上之字形穿行等等。所有這些都可以讓場景變得更加複雜，看看這會如何改變自動駕駛系統的響應方式。
Step 4: Validate and Iterate
我們的自動駕駛汽車已經學會了如何自信地在一個閃爍的黃色箭頭路口行駛，這項新技術就成為我們永久性知識庫的一部分，在整個車隊的所有車輛中共享。然後我們將使用真實世界的駕駛測試和封閉道路測試來驗證是否與仿真場景駕駛行為相符。仿真和真實的駕駛行為交互迭代驗證，一起實現自動駕駛的目標：在現實世界中，實現數十億英里的安全和穩定駕駛。
3.5 Field Tests at Our Closed-Course Facility
Waymo在加利福尼亞州建立了一個佔地91英畝的私人封閉式自動駕駛測試設施，專門為我們自己獨特的測試需求而設計和建造。這座被稱為“Castle”的私人建築就像一座模擬城市，包括從高速路到郊區車道再到鐵路交叉口的所有場景。我們的團隊在新軟件發佈到我們的車隊之前，使用這些封閉場景的測試設施來測試驗證新軟件。此外，我們利用封閉自動駕駛場地構建有挑戰性或者罕見的道路場景，以幫助我們的自動駕駛系統獲取相應的駕駛經驗。在封閉場地中，我們能夠重新創建特定的學習和測試場景，並且對其進行數千次“結構化測試”。為了加強仿真測試的效果，我們在”Castle”封閉場地中創建了20000多個模擬場景，每一個是我們想要駕駛場景的再現：一個咄咄逼人的司機從車道上疾馳而出，或者一個行人突然從一輛停著的車旁出現，這些場景在公共道路上可能需要數十萬英里的行駛距離才能遇到一次。此外還有人們從帆布袋或便攜式廁所裡跳到路邊，滑板運動員躺在滑板上在傳感器前扔紙堆等場景，這種“結構化測試”對於加速我們的技術進步和確保我們的車輛在日常和具有挑戰性的駕駛環境中的安全至關重要。
3.6 Behavioral Competencies for Normal Driving
完全自動駕駛車輛必須能夠在ODD內處理所有人類駕駛員期望的日常駕駛任務。美國交通部建議3級、4級和5級自動駕駛車輛應能夠演示至少具備28項核心能力，Waymo在廣度和深度上擴展了28項核心能力，而且我們測試了數千種複雜場景變化，確保我們的系統能夠安全的應對現實環境的挑戰。
對於每個能力，Waymo的團隊創建了各種各樣的單獨測試，在我們的封閉場地中反覆模擬運行。例如，為了測試我們進行無保護左轉的能力，我們設計了幾十種真實情況(包括多車道迎面而來的車輛、大卡車擋住我們的視野、短紅綠燈場景下的轉彎等等)，並測試我們的車輛是否做出了適當的反應。
對於每一個場景，我們都使用模擬器來創建相同場景的的數百種變化。通過我們的虛擬世界測試，我們還可以創建全新的無保護左轉場景，以便進一步測試這種技能。隨著我們ODD的擴展，核心能力的數量可能會增加(例如，要在美國北部各州全年駕駛，我們的系統必須具備在雪地中安全駕駛的能力)，並且每個類別中的測試數量可能會隨著更獨特或更復雜的場景而增加。
3.7 Testing the Fully Integrated Self-Driving Vehicle
在分別對基礎車輛系統、自驅動系統和軟件系統進行測試後，需要對集成的完整自動駕駛車輛進行測試。這些測試包括封閉式道路避碰測試、可靠性和耐久性測試，以及訓練有素的測試駕駛員進行實際道路測試。
Testing on Public Roads
Waymo有一個全面的公路測試流程，這個流程在八年的時間中經過了不斷改進和完善。這是自動駕駛的一個關鍵步驟，使我們能夠驗證我們已經開發的技能，發現新的挑戰場景和開發新的駕駛能力。
實際公路測試的安全性始於嚴格培訓的司機，我們的測試駕駛員接受了廣泛的課堂培訓，瞭解整個系統的運行流程，以及如何在公路上安全監控車輛(包括參加防禦性駕駛課程)。經過培訓後，我們的駕駛員在道路測試時負責監控系統，並在需要時，接管車輛的控制權。
我們每週進行數萬英里的開放道路測試，用於評估我們的軟件系統，以確保它們展示出人類司機的行為能力。真實世界測試提供了一個連續的反饋循環，讓我們不斷地完善我們的系統。這種公共道路測試驗證的迭代方法有助於我們安全的擴展我們的ODD和技術能力。
3.8 Real-World Experience
在過去的八年中，Waymo在美國四個州，20多個城市測試了我們的自動駕駛車輛。從亞利桑那州的鳳凰城到華盛頓州的多柯克蘭市累計行駛了350多萬英里。當我們擴展到新的測試地域時，我們能夠在不同的道路環境、街景和駕駛習慣中收集更多的駕駛經驗。例如，在鳳凰城駕駛使我們能夠在沙漠條件下測試傳感器和軟件，包括極端溫度和空氣中的灰塵；我們學會了如何處理特殊類型的車輛(比如在道路中間噴灑植物的灑水車，以3英里/小時的速度在45英里/小時的道路上行駛)；在奧斯汀第一次遇到了水平交通信號；在柯克蘭遇到了潮溼天氣的場景。
在每一個新城市，我們都會遇到不習慣每天看到自動駕駛汽車的人，這也讓我們能夠了解人們對於自動駕駛汽車的看法：比如人們希望如何使用自動駕駛汽車；他們對自動駕駛有什麼看法；以及更多的人一起告訴我們如何開發和改進自駕技術。
我們的自動駕駛汽車需要在極端寒冷和高溫下可靠、安全地運行。高溫給所有現代技術帶來了挑戰，手機等日常電子產品在陽光下使用時會過熱並關閉，然而，我們的自動駕駛系統需要在高溫條件下安全運行。我們的汽車配備了一個特殊的冷卻系統，可以讓它們在非常熱(即使發動機在滿功率運行，系統在滿負荷運行)的溫度下工作。我們的工程師在風洞中進行了廣泛的測試，幾乎可以模擬任何天氣條件，包括有史以來地球上最熱的溫度。
除了風洞測試，我們還在美國三個最熱的地方測試了我們的自動駕駛汽車：拉斯維加斯、戴維斯大壩和死亡谷。位於亞利桑那州和內華達州邊界的戴維斯大壩，有一段陡峭的沙漠公路，允許我們在炎熱的太陽下駕車；拉斯維加斯大道讓我們可以在酷熱繁忙的街道上測試我們的系統；死亡谷擁有地球官方記錄的最高溫度134華氏度的記錄。
在測試過程中，我們會密切監控我們的系統，每秒進行200多次不同的測量，以確認我們的內部傳感器套件和計算能夠正常工作。
3.9 Testing Crash Avoidance Capabilities
除了測試核心行為能力外，我們的工程師還跨各種場景進行碰撞避免測試。Waymo在我們的私人測試道路上完成了數千次防撞測試，每個單獨的測試都會重現一個獨特的駕駛場景，並允許我們分析車輛的響應，然後我們使用模擬器進一步測試這些場景，並改進我們的整體軟件能力。
我們從各種不同的來源學習要測試的碰撞，其中包括我們對NHTSA致命車禍數據庫，以及利用我們豐富的自駕車輛操作經驗來擴展NHTSA的37個車禍前場景。我們還測試了其他道路使用者造成潛在危險情況的情況，例如車輛突然從車道上駛出，大型車輛橫穿目標車道，摩托車穿越交通，行人亂穿馬路。
2015年，國家公路交通安全管理局公佈了最常見車禍前情景分佈的數據。例如，其中四類車禍佔了總車禍場景的84%：追尾事故(rear end crashes)、在交叉口轉彎或者交叉行駛(vehicles turning or crossing at an intersection)、在道路邊緣行駛的車輛(vehicles running off the edge of the road)以及變換車道的車輛(vehicles changing lanes)。因此，避免或減輕這些類型的事故是我們測試的一個重要目標。
3.10 Hardware Reliability and Durability Testing
自動駕駛車輛和傳統車輛一樣，必須可靠運行，這意味著車輛及其每個單獨部件必須在極端環境條件下和車輛的整個使用壽命內正常工作。
Waymo工程師利用對物理故障的瞭解設計了獨特的壓力測試，加速了對我們的車輛及其各個部件的環境測試，我們將多年的實際使用壓縮為幾天和幾周的測試。比如我們用紫外線照射我們的部件，用強大的噴水器轟擊它們，把它們浸入幾乎凍結的水缸中，在充滿鹽霧的房間中腐蝕它們，用強大的震動震動它們，然後在特定溫度和溼度下加熱和冷凍它們數週。我們分析任何測試中發生的故障並進行設計改進，以提高組件的可靠性。我們監控每個傳感器和車輛本身的健康狀況，以便在潛在故障發生之前識別和修復它們。
更多文章見微信公眾號: 「半杯茶的小酒杯」
閱讀更多 半杯茶的小酒杯 的文章
