不信任黑箱模型？用可解釋性搞事情！

隨著機器學習出現在許多前沿科技進展中，機器學習模型的可解釋性變得越來越重要。本文重點關注可解釋性對數據科學家、終端用戶和監管機構的用途。我們將會解釋究竟什麼是可解釋性，它為何如此重要。

我們被機器學習驅動的應用所包圍，日益受到機器決策的影響。從瑣碎小事到救命大事，我們向機器學習模型尋求以下問題的答案：

1. 我會喜歡什麼歌？

2. 我能獲得貸款嗎？

3. 我該僱傭誰？

4. 我患癌症的幾率是多少？

這些以及許多其他問題，都是由大多數人都知之甚少的預測模型來回答的。數據科學家經常強調其預測模型的精確，而非這些預測是如何實現的。通過機器學習，模型就可以可以做預測。

複雜的模型更難理解

一些機器學習模型簡單易懂。我們明白改變輸入內容將如何影響預測結果，也能為每個預測提供理由。然而，隨著機器學習和人工智能的進步，模型變得非常複雜——包括複雜的深度神經網絡和不同模型的集合。我們將這些複雜模型稱為“黑箱模型”。

不幸的是，複雜性既為黑箱模型提供了非凡的預測能力，卻也使其變得難以被理解和信任：黑箱模型的內部算法不會暴露它們的秘密？一般來說，它們不會明確解釋為何做出某種預測，而只會給出一個晦澀深奧的概率。有時會出現成千上萬（甚至百萬）的模型參數，輸入要素和參數間並沒有一對一的關係。並且，使用大量參數的多模型組合也會影響預測。其中一些模型還需要數據庫支持，它們需要龐大的數據才能實現高精度性。很難弄清它們從這些數據集中學到了什麼，以及哪些數據點對結果的影響更大。

由於所有這些原因，人們很難理解機器預測的過程和結果。我們既難確定能否信任這些模型，又難確保能否用它們做出合理決定。

如果它們的所學有誤呢？如果它們還沒準備好被投入使用呢？這裡存在著虛假陳述，過度簡化或過度擬合的風險。因此，我們在使用它們時還還需謹慎，最好能瞭解這些模型是如何運作的。

為什麼準確性不夠

在機器學習中，精度是通過比較機器學習模型的輸出與輸入數據集的已知實際值來衡量的。

通過記憶數據集中不重要的特徵或模式，模型可以實現高精度。如果輸入的數據集存在偏差，這也會影響模型。此外，訓練環境中的數據，可能無法代表部署模型的生產環境中的數據。即使它最初具有充分的代表性，但如果我們把生產環境中的數據視為變化的，那麼訓練環境中的數據可能很快就過時了。

因此，人們不能僅依賴於針對特定數據集實現的預測準確度。我們需要了解更多，需要揭開黑箱機器學習模型的神秘面紗，提高其透明度和可解釋性，使它更值得信賴且更可靠。

什麼是可解釋性？

可解釋性意味著，對於一個特定決策或過程，為終端用戶給出解釋。更具體地說，它需要：

1. 瞭解影響結果的主要任務。

2. 解釋算法做出的決策。

3. 找出算法學習的模式/規則/特徵。

4. 對結果持批評態度。

5. 探索算法的不明未知數。

它無需理解每個細節，即在訓練數據過程中，一個模型是怎樣用於每個數據點的。

為什麼我們需要可解釋性？

出於各種原因，可解釋性對於不同的人都很重要：

數據科學家，希望構建高精度模型。他們想理解細節，以獲悉如何選擇最佳模型，並改進該模型。他們還希望從模型中獲得一定見解，以便將其發現傳達給目標受眾。

終端用戶，想知道模型給出某種預測的原因。他們想知道自己將如何受此決策影響，自己是否被公平對待，自己是否需要反對某些決策。他們希望在網上購物，或點擊網頁廣告時，是有一定可信度的。

監管機構和立法者，希望該體系公正透明。他們想保護消費者。隨著機器學習算法的必然興起，他們越來越關注由模型所做的決策。

這些用戶想從黑箱模型中獲得的內容是相似的。他們希望模型是容易理解的，值得信賴的，並且可以解釋的。

1. 容易理解：系統可以解釋它是如何工作的，和/或它為什麼給出這些預測。

2. 值得信賴：系統可以在不連續控制的情況下，應對現實世界中的不同情境。

3. 可解釋性：系統可以傳達有關其內部運作的實用信息，關於它所學習的模式以及它給出的結果。

在典型的機器學習途徑中，我們可以控制用於訓練模型的數據集，控制自己所使用的模型，以及如何評估和部署這些模型。

何時需要可解釋性？

如果你對可解釋性有要求，首先需要自問為原因。在預測中的哪個階段需要可解釋性？或許，沒必要了解模型如何為每個應用進行預測。但是，如果這些預測用於高風險決策，你可能就需要知道在確定目標之後，應關注在流程的哪個階段需要哪些技術：

1.預建模的可解釋性（模型輸入的可解釋性）：在開始建模之前，瞭解數據集非常重要。您可以用各種探索性數據分析和可視化技術，來更好地理解數據集。這包括總結數據集的主要特徵，尋找數據集裡的典型點或關鍵點，以及從數據集中查找相關特徵。在全面瞭解數據集之後，您需要考慮將在建模中使用哪些特徵。如果您在建模後，想解釋輸入-輸出關係，則需要從有意義的特徵入手。雖然高度工程化的特徵（例如從t-sne，隨機投影等獲得的功能）可以提高模型的準確性，但是當模型投入使用時，它們將無法做出解釋。

（1）白箱（透明）模型：通常認為，決策樹、規則列表和迴歸算法屬於此類。與少數預測因子一起使用時，這些模型很容易理解。它們使用可解釋的轉換，讓人更直觀地瞭解事物的運作方式，這有助於您掌握模型裡進行中正進行的事。您可以向技術人員解釋它們。但當然，如果用數百個特徵，構建了一個非常深入的大型決策樹，那麼事情仍會變得複雜且無法解釋。

（2）黑箱（不透明）模型：深度神經網絡、隨機森林和梯度增強機器屬於此類。通常，它們會運用大量預測因子和複雜轉換，其中一些有很多參數。一般情況下，很難想象和理解這些模型中發生的事情，更難與目標受眾溝通。但是，它們的預測精度會優於其他模型。該領域最近的研究希望使其更透明。其中一些研究，涵蓋了訓練過程中的技術。提高這些模型的透明度的途徑之一是，不僅要做出預測，還要生成解釋。另一方法是，在訓練過程之後，加入可視化功能。

編譯組：紀宣羽、韋振琛

相關鏈接：

https://www.kdnuggets.com/2018/11/interpretability-trust-ai-machine-learning.html

閱讀更多 讀芯術 的文章

關鍵字: 人工智能 解釋性 模型