座艙監控（In-cabin monitoring）是近年來興起的一種新應用，通過實時監控整個車內環境來提高駕駛及乘客的安全。
基於計算機視覺、深度學習和人工智能技術的不斷融合，座艙監控也是完整自動駕駛能力的必要配置之一。
一套完整的座艙監控功能包括，可以分析並提供座艙內所有人員身份識別、姿態分析、位置檢測以及一系列生物特徵的識別。同時基於這些數據採集、分析，來為各種系統功能提供感知依據。
駕駛員監控，是早期座艙監控的主要功能之一。從最早期通過其他非視覺傳感器採集數據，到視覺系統的導入，來監控駕駛員的分心及注意力狀態，同時提供人臉識別的身份認證功能。
比如，Euro NCAP已經決定從今年起將DMS（駕駛員監控）作為五星評級中的必備安全功能指標。
配備DMS的ADAS系統，可以判斷駕駛員注意力是否集中，檢測駕駛員是否喪失行為能力，甚至通過面部表情來推斷駕駛員的情緒狀態。
此外，通過擴展的乘員監控系統（OMS），檢測座艙內其他人的感知數據來進一步提高安全性。通過OMS，系統能夠確定是否有兒童或寵物以及是否使用安全帶。此外，還可以監測兒童或寵物是否遺留在車內。
同時，DMS和OMS還可以提供更多的便利功能。比如，根據駕駛員及乘客的的偏好調整車內的相關功能設置，包括座椅、空調、音樂娛樂等等。
更重要的是，這是一個全新的細分市場。根據高工智能汽車研究院監測數據，目前國內市場在售車型/款的疲勞提醒功能配置比僅為15.16%，而實際搭載率更是低至10%左右。
這其中，接近90%的功能方案為基於傳統的非視覺傳感器，而從去年開始，搭載基於視覺感知的DMS車型開始陸續上市。高工智能汽車研究院預測，未來三年將呈現DMS搭載率快速上升的趨勢。
一、DMS，趨向多傳感融合
毫無疑問，不管是自動輔助駕駛還是未來的自動駕駛，這些技術在某種程度上都提高了駕駛安全性。但在這個過程中，無法忽視的正是如何幫助實現這一目標所需的基本技術支持。
以特斯拉為例，過去數起事故已經充分證明駕駛員監控系統的重要性。儘管，現有車型已經搭載了基於方向盤的力傳感監控，但這種傳統方式並不等同於對駕駛員注意力的監控。
許多特斯拉車主可能會在視覺上或精神上走神，即使他們的手放在方向盤上。典型的礦泉水瓶或者橘子夾在方向盤上騙過系統的案例，已經充分證明了這一點。
過去，對於自動駕駛系統的分級定義，更多關注車輛本身對道路環境的智能感知能力，但仍然忽視了一個非常重要的因素：駕駛員。一個有限的自動駕駛系統最需要知道何時/如何轉移控制權。
除了確保駕駛員的手放在方向盤上，還能確保系統瞭解駕駛員的認知狀態及其控制車輛的能力。實現這一功能的唯一方法是使用攝像頭。在通用汽車推出的Super Cruises上，搭載的紅外感知系統已經得到監管機構的認可。
然而，衡量司機的意識狀態是非常微妙的，而且具有很多的不確定性（誤報）和挑戰性（漏報）。這不僅僅是關於監控司機在某個特定時間點的頭部位置，還包括識別和測量司機的意識狀態。
比如，第一代的Super Cruises駕駛員監控系統就存在一些硬件問題導致監測功能在一部分場景下會失效。
目前，嵌入式圖像處理器也在不斷針對DMS系統場景和功能定義進行性能的優化，同時包括立體攝像頭、ToF等等多種技術也在驗證。
不過，硬件方案的創新只是解決問題的一個方面。理論上，監測頭部位置、面部、眼球是有用的，但基於更多的感知數據採集無疑將產生最準確的評估司機意識狀態的能力。
比如，將傳統的車身傳感器數據與攝像頭以及ADAS系統進行融合，通過了解個人的駕駛行為、模式和獨特的特徵就可以提前識別和預警異常行為。
這意味著，適用於ADAS及更高級別自動駕駛的駕駛員監控系統，並不只是一個簡單的視覺感知，更是一個多傳感器融合系統。
近日，全球人工智能視覺解決方案廠商Eyesight宣佈，與以色列阿里爾大學的M-Lab合作，研究駕駛員在駕駛時的狀態，併為Eyesight提供獨特的數據集。
阿里爾大學建校時間不長，但在以色列政府的強力支持下發展非常迅速，近年來在腦科學、機器人等領域頗有一些名氣。
M-Lab是一個跨學科的研究合作項目，由該所大學的計算機科學、機器人和人類學領域的專家組成，重點是設計用戶界面、反饋系統和駕駛員干預模式。
此次合作目的是，通過集成到測試車輛中的傳感器陣列來測試真實的駕駛場景。通過傳感器收集數據和道路上駕駛環境以及監測駕駛員的狀態來分析駕駛員心理變化、警覺性、疲勞(心率、呼吸、臉和眼動跟蹤）以及注意力(臉和眼動跟蹤)。
除了為該項目提供技術支持，Eyesight也希望利用測試和來自各種傳感器的數據來提取司機狀態的有價值的數據模型，從而進一步評估、監控和改進其駕駛員監控解決方案。
這背後，實際上也凸顯出基於視覺的DMS解決方案的發展趨勢，即基於多個系統之間的傳感器融合和數據協作為系統提供更重要的可靠決策，而不僅僅是基於單一的視覺監控傳感器數據。
此外，尤其是從普通的駕駛員疲勞監測，到L3級別自動駕駛需要的駕駛員接管能力的評估，DMS系統的更重要還在於檢查司機是否有能力重新控制車輛。
這些前沿的技術研究，實際上更明確了駕駛員監控不是一項簡單的功能（行業現狀就是魚龍混雜）。站在智能座艙和自動駕駛的系統層面，DMS是一個關鍵的安全功能，但一直被行業忽視。
這恰恰也是此前行業對於是否推出L3級自動駕駛系統的核心癥結所在。比如，Uber兩年前的致命自動駕駛測試事故，除了感知和決策的問題之外，對於司機的實時監控成為了系統設計的重大缺陷和安全隱患。
這意味著，對於駕駛員注意力的充分認知，將是整個汽車行業進入ADAS下一階段功能演進的關鍵一步。
二、OMS，雷達方案突出
實際上，DMS系統的另一個延伸，就是OMS。
Euro NCAP宣佈，從2022年開始對兒童車內遺留檢測（child presence detection）打分，“這種功能可以檢測出一個孩子獨自留在車內，並向車主或緊急服務部門發出警報，以避免中暑死亡。”
美國國家公路交通安全管理局（NHTSA）也在制定新規則，強制汽車安裝“預警系統”，以提醒駕駛員檢查後座，尤其是兒童。
最傳統的OMS功能之一，就是安全帶警示功能，基於一些傳感器來監測是否有繫好安全帶。還有OCS（乘員分類系統），基於壓力傳感器和一個獨立的ECU。
OCS不僅僅檢測重量，還讀取乘客的座位位置，並確定他們是否系安全帶。它也有一個安全帶張力傳感器，來識別當兒童座椅安裝時產生的壓力。
不過，傳統方式仍然存在很多問題。比如，OCS不能正確地感知乘客，導致安全氣囊被打開或關閉，而實際情況恰恰相反。一些體型較小的乘客，取決於坐在座位上的位置和方式。
在一些情況下，OCS又過於敏感——比如，在座位上放一個小的揹包，有時候也會觸發系統報警。
當然，如今最直觀的方式，就是基於攝像頭的監測，來確定兒童或成人是否坐在座位上，並利用這些信息相應地啟動被動安全等功能。
視覺方案是很多企業很自然的第一個選擇。然而，不同於駕駛員位置，副駕駛及後座乘客位置存在很多特殊問題，比如物理遮擋、隱私監管等等。
這個時候，基於攝像頭的視覺方案並非唯一選擇。比如，基於超聲波或者毫米波雷達的方案，優勢在於對光照條件不敏感、對運動高度敏感、對速度、距離和到達角的高精度估計等，最關鍵的是不造成任何隱私問題。
現代汽車美國公司在去年提供了一項可選功能，稱為“後乘員警報”(Rear ant Alert)，從2019年上市的聖達菲和2020年上市的Palisade開始提供。
這套功能在汽車的前部艙內增加了超聲波傳感器來檢測後座的運動物體。如果沒有對可視或音頻警報的響應，它還會向車主手機發送一條文本消息。
不過，相比超聲波，毫米波雷達的方案日趨成為主流方案之一。現代摩比斯近日表示，已經成功開發一種通過雷達探測後排乘客的系統，並計劃向全球汽車製造商進行推薦。
毫米波雷達的好處在於，提高了檢測精度。此外，雷達可以穿透衣服（解決遮擋問題）並測量各種生物信號，包括呼吸、心率等具體的健康指徵。同時，基於一定的機器學習算法，具有足夠的精確度來區分成人、嬰兒和寵物。
佛吉亞在去年也提出了類似的方案，基於雷達傳感器並連接到駕駛艙域控制器，如果嬰兒無人看管，汽車就可以向車主或應急機構發出警報。
利用雷達的數據，該功能可以計算出乘員的重量和類型。這樣就不需要單獨的昂貴的座位傳感器來檢查乘客是否繫好了安全帶。
通過傳感器監測心率和呼吸速率，車輛甚至可以在事故發生後分享重要信息，以提醒救援機構有多少人在車內以及他們的位置。
這得益於近年來毫米波雷達技術的不斷演進。高分辨率雷達意味著一系列關鍵屬性的改善：物體識別、多普勒和方位或角度分辨率。
除了像NXP、英飛凌等傳統雷達芯片巨頭在加快高分辨率芯片研發，大量的初創公司也在高分辨率市場發起挑戰。
此外，還有一些廠商推出了生物特徵監測傳感器，歐姆龍在去年宣佈開發出一種“呼吸速率傳感器”，使用無線電波來檢測車輛中是否有乘客。
與傳統的超聲波探測方法相比，這種傳感器可以捕捉到更小的身體運動，從而精確地探測到身體細微運動的物體，比如熟睡的孩子。
可以預見的是，車內多傳感器技術的融合也正在成為新一輪數字座艙智能化的關鍵要素，為乘客提供各種安全和便利的技術將會很快導入量產車市場。
閱讀更多 高工智能汽車 的文章
