汽車智能化進程中的「灰犀牛」，大機率危機會來自哪裡？

古根海姆學者獎獲得者米歇爾·渥克所撰寫的《灰犀牛：如何應對大概率危機》一書中，作者把

當汽車的智能化水平越來越高，越來越依靠通過傳感器和即時互聯信息系統進行控制和決策交互的時候，“灰犀牛”的影子已經在汽車上若隱若現。

一段時間以前，車雲菌在測試某車型搭載的自然語音系統的時候，發生了這麼幾段人機對話：

對話一（如下圖）：

用戶：“車裡好冷”

車機：“凍死你”

如果說，這個回答可以看做是車機系統的一個並非完全惡意的黑色玩笑的話，那麼下面這個對話，可能讓你大吃一驚。

對話二（如下圖）：

用戶：“不能插嘴不智能”

車機：“你插嘴還要XX”

本來，我的本意是想測試車機系統是否具有“插話功能”，但測試結果讓我有點兒小失望，所以無意之中自言自語了一句“不能插嘴不智能”，而且我還把“插話”誤用口語化的“插嘴”給代替了，但沒想到自然語音系統竟然給出了這個反饋。

發生這個對話之後，我測試了“插話”、“插言”、“插嘴”等幾個關鍵詞，看系統的這個回答是否具有普遍性，但結果證明，這個“汙汙”的回答，只針對特定的輸入有效。

事後，我針對這個問題諮詢了業內很多AI技術、自然語音技術從業者的建議，得到了兩個主要的解釋，基於這些釋疑，車雲菌發現：

當汽車越來越智能化、互聯化的時候，我們對潛在的危機並沒有做好防範意識，汽車智能AI領域的“灰犀牛”，已經在智能化叢林的邊緣若隱若現。

解釋1：來自工程師的道德風險

在一些不認為AI技術還那麼“智能化”的從業者眼中，自然語音系統這個“汙汙”的回答，被認為是一些工程師給系統程序埋設的“應答暗號”，只有特定的提問“鑰匙”，才能啟動系統的特殊“反應”。

這麼做，一方面可能是為了一些後門做鋪墊，也有可能僅僅是因為某個工程師的“惡作劇”導致的，但是再小的“惡作劇”，也可能帶來巨大的災難，比如說：

2015年3月24日，德國之翼一架編號為4U9525的空客A320型客機在阿爾卑斯山脈南麓墜毀，機上人員人員無一倖免，事情的起因就是由於副駕駛心理疾病導致的自殺行為；並且，我們至今依然無法抹去記憶的MH370事件， 也有大量證據指向了駕駛員的心理問題。

所以，如果某個工程師有機會能被“惡作劇”心理驅使，設計出這麼一個讓人小小不舒服的“隱藏彩蛋”，那麼是不是會有一些其他人，會在程序中設計好了“定時炸彈”呢？

解釋2：來自AI的作亂

這個問題出現的當時，車雲菌第一反應是“自然語音系統”的學習機制出了問題，學到了一些不該學的內容。事實上，這個想法在一些業內人士的回答中也得到了佐證。

任何一個具有一定智力水平的AI系統，在學習人類的語言的時候，跟人類學習一門外語的過程有些相似，都需要一個句子一個句子的熟悉和記憶，但是市面上的軟件相比於人類缺乏的能力是：軟件無法識別對話的語境和語氣，只能靠機械的關鍵詞識別和組合，來實現一問一答的“人機對話”。

有意思的是，在人類學習語言的過程中，一般學會的第一句話是“我愛你”，然後學到的很多內容，就是不可避免的零七八碎的“髒話”了。

因此，對那些有先天優勢能獲取人類對話的公司來說（比如騰訊微信、百度搜索等），

隨著智能技術繼續迭代，這個“禍心”越藏越深，越來越難以發現，並有可能在未來特定時間爆發，造成不可彌補的損失。

總結：

通過這個特定案例，我們能發現，那些在汽車上、包括各種眼下的智能終端中搭載的智能化技術，未必所有產品都做到了完全的“智能化”水平，最起碼由工程師道德素質和產品學習機制合理性、可靠性來雙重鉗制的“智能程序道德水準”，眼下還沒有一個公認的標準，這就導致了你家的智能音響，保不齊某一天就會給你秀一下下限。

這是來自軟件設計層面的第一道風險，也是我們在未來需要首先構築的第一道屏障的所在。

其次，作為採購“智能技術”的產品製造商，對自己使用的智能化產品是否需要設計一個包含但不完全侷限於“道德”層面的過濾機制，是目前作為智能化前沿的汽車製造商所需要考慮的核心問題。

在很多國際化的合資企業中，整車製造商對採購的產品的每一個技術細節、指令權限和影響範圍都會與供應商工程師一一確認（比如寶馬對車機系統供應商的採購要求就是如此），這確實能規避很多的風險。

但即使如此，熟稔於機械製造卻對軟件與大數據都是門外漢的整車製造商，依然無法對隱藏在雲端數據庫中的海量數據做到“門清”。所以，如何對外來的汽車信息化技術逐步放權，設計一個自己可以控制的緩衝區或者沙盒機制以應對不測危機，將是眼下襬在整車製造商眼前的挑戰。

相比之下，那些把車機系統整個外包給供應商進行設計，自己只負責做指令接口的整車製造商，做法就有些太孤注一擲了，這個行為的本身就意味著天大的風險。

閱讀更多 Auto駕駛員 的文章

關鍵字: 軟件 軟件設計 工程師