到目前為止，沒有工具，也沒有明確的方法可以阻止AI出現問題。實際上，可能瞭解AI到底出了什麼問題比較靠譜。
這場競賽目的是開發智能系統，能夠自動駕駛汽車，診斷、治療複雜的醫療狀況，甚至還能訓練其他機器。
問題在於，沒有人十分確定該如何診斷這些系統中潛在的、不那麼明顯的缺陷，或者更好的情況應該是要防止它們發生。雖然機器可以很好地完成某些工作，但人類仍然需要設計系統來訓練和觀察它們，並且這個系統還遠遠不夠完善。
“調試是一個開放的研究領域，”IBM research Almaden副總裁兼實驗室主任Jeff Welser說。“但是我們至今還有一個好的答案。”
在這個問題上他不是一個人。儘管人工智能、深度學習和機器學習正在被應用於包括半導體設計和製造業在內的多個行業，但重點在於如何使用這些技術，而不是在出了差錯時發生了什麼。
“調試是一個開放的研究領域，但這個問題沒有解決。”ANSYS首席技術專家這樣表示。
至少部分問題是，沒人能完全確定一旦設備被訓練後會發生什麼，特別是在深度學習、人工智能以及各種神經網絡方面。
企業解決方案技術副總裁、傑出的發明家Steven Woo表示，調試是建立在理解的基礎上的，關於大腦是如何運作的，還有很多需要學習。所以從傳統意義上來說，調試仍然是一個挑戰，因為需要了解何時發生了錯誤並進行錯誤分類。我們需要進一步研究“我不知道”類型的分類。
這與科幻小說中描述的一些場景相去甚遠，在科幻小說中，機器可以控制整個世界。錯誤的算法可能導致在某處發生意外，如果它涉及到功能安全系統，可能會造成不可預估的危害；其他情況下，它可能會使機器產生惱人的行為。但是人工智能（AI）、深度學習（DL）和機器學習（ML）的不同之處在於，僅僅通過一個軟件補丁修復這些bug是不可行的。更何況，這些bug可能在數月或數年內都不會出現，或者直到與其他設備進行交互才出現。
Synopsys嵌入式視覺處理器產品營銷經理則這樣認為，如果我們正在訓練一個網絡，那麼它的吸引力就在於我們可以讓它更快、更準確。一旦我們訓練的網絡出了問題，只能追蹤到代碼。現在，調試成了一個棘手的問題，而且它並不是一個能提前避免的事情。
什麼足夠好？
“什麼足夠好？”是半導體行業一個潛在主題，答案因市場、應用的不同而有很大差異。就算在在同一設備中，不同功能之間甚至都可能有所不同。例如，在玩手機遊戲的時候，出先bug會很煩人，可能需要重新啟動才能解決；但如果打不了電話，那我們可能會直接選擇換掉手機。對於工業設備，這項技術可能直接與收入掛鉤，因此它可能是計劃維修更換的一部分，而不是等待失敗。
對於人工智能，深度學習和機器學習，則不存在上面那樣的標準。推斷結果是數學分佈，而不是固定的數字或行為。
eSilicon市場副總裁在某次採訪中表示：而它們最大的問題是，是否正確，以及如何與人類相提並論。是否當它們超越人類時，就可以認為它們足夠好了？事實上，這個問題可能我們永遠也無法證明。所有這些都是訓練數據的結果，一般來說，擁有的訓練數據越多，就越接近完美。這也是與以往最大不同的地方，因為過去我們只關心算法和佈線是否正確。
這是一個可能會出現問題的地方。雖然在批量製造方面有大量的數據，但設計方面卻少得多。
“對我們來說，每顆芯片都是如此獨特，我們只處理幾百個系統，所以輸入數據量很小，”ArterisIP首席技術官說。“這個東西是一個黑盒子。如何處理以前從未處理過的事情，特別是涉及偏見和道德的問題。需要更多的訓練數據。”
對於AI/DL/ML，即使是對bug的定義，也是不同的。
因為算法性能在一個領域中得到了發展，而它又不是確定性的，所以bug的定義也會改變。有時候，可能無法從這類算法中分離出一個作為bug的特定輸出，因為它是基於算法中捕獲的進化概率分佈。
但我們可以通過預先設定算法可接受行為的明確邊界條件，來避免這種情況。然而，理解這些邊界條件並不簡單，一則算法本身處於不斷優化的狀態，再則是這些算法被廣泛用於各種應用中。
瞭解未知的
調試AI/ML/DL的一個起點是描述你所做的和不理解的。
這在機器學習中比在深度學習中簡單，這兩者都適合在AI的保護傘下，因為算法本身更簡單。深度學習是一種基於多層矩陣的數據表示，其中每一層使用上一層的輸出作為輸入。機器學習則使用為特定任務開發的算法。
在一個生產環境中，我們要知道哪裡出了問題。可以瞭解機器學習算法來自於哪個模型，並對不同的算法進行大量比較，但不同產品之間可能會有所不同。可能在產品A上，隨機森林效果不錯；而在產品B上，另一個算法或某種組合效果更好。但是，如果沒有大量的數據，或者有很多獨立變量在改變的時候，機器學習可能就沒什麼作用了。
而這正是當下研究的重點。
人工智能系統觀察一隻狗，將它識別為小狗或某種類型的狗。機器能識別五到六個特徵，但這些特徵是否正確？是否存在過分強調一個特徵？這一切都將回歸到人們對機器的擅長程度上。
人們很容易理解導致這一決定的一系列事件，但決策過程並非如此。
一位Arm研究員說：“這或許是人工智能，就是把一些數據輸入到系統中，然後彈出一個答案。它不一定解釋得出這個答案的精確推理，輸入數據的屬性，強烈地影響了這個答案是這樣出來的。如果我們給AI程序或機器學習算法提供了更多的決策控制，對於各種各樣的環境也是有幫助的。”
訓練數據偏差在這方面也起著關鍵作用。
這對醫療數據來說是一巨大挑戰，因為在某些領域，專家們在如何給某些東西貼上標籤的問題上存在分歧，因此不得不開發在標籤中容忍噪音的算法。我們從算法的角度知道它在做什麼，我們發現它告訴我們看起來有用的東西。但與此同時，我們也向自己證明，不管輸入設置中出現任何偏差，都會影響輸出結果。這是一個關於智力的例子，或只是一個推理濫用的例子，亦或是我們還不知道的事情？
關鍵詞：人工智能、AI、深度學習、機器學習、IBM
閱讀更多 超腦智能 的文章
