本博客就機器的學習的準確度和偏差，分享一些看法。
最近ACLU在一篇博客中做了一項人臉識別實驗。他們利用Rekognition建立了一個包含25000張嫌疑犯人臉的數據庫，在此數據庫的基礎上用現有國會議員的照片進行人臉搜索匹配。使用80%的置信度區間，535張人臉中有28張識別出錯。識別錯誤（或者叫誤判）率接近5%，準確度接近95%。ACLU沒有公佈他們使用的數據集、實驗方法以及結果的相關細節，所以我們只能基於他們公開發表的東西進行分析。根據他們文中的聲稱，我們談以下幾點看法：
1、Rekognition人臉識別API的默認置信度閾值為80%，這一置信度閾值對於很大部分應用場景來說是可取的，例如識別社會媒體名流、從某個照片APP中識別長相相像的家庭成員。但是對於公共安全這一場景，這樣的置信度閾值卻是不可取的。ACLU使用的80%的置信度閾值對於保證對個體的高精度識別來說太低了，可以預見這將會有不少誤判。對看重高精度的臉部相似度匹配的使用場景，我們建議使用99%的置信度閾值（正如我們在已公開的文章中闡述的那樣）。為了闡明置信度閾值對於誤判的影響，我們進行了一項實驗。在這項實驗中，我們收集了學術界中常用的超過850000張照片作為數據集，然後我們採用類似ACLU在博客中使用的方法，在這一數據集中搜索所有美國國會成員（包括參議院和眾議院）的公開照片。
儘管我們的臉部數據集更大（大概是ACLU實驗的30倍），當我們將置信度閾值設置在99%的時候，我們實驗的錯誤識別率下降到0。這說明在將人臉識別技術應用到公共安全問題上時，選擇合適的置信度區間是十分重要的，這將大大降低誤判。
2、在現實生活中的公共安全和執法領域，Rekognition幾乎被人們專門用於縮小調查範圍，藉助人們自身的判斷，快速回顧和篩選各種可能性（而不是自動做出決策）。比如，它可以幫助尋找走失的兒童、打擊非法交易、防止犯罪等。在這些領域，Rekognition通常只是識別人臉的第一步。在其他的情況下（比如社交媒體），人臉識別不需要二次確認，所以要求的置信度閾值要低一些。
3、除了置信度閾值太低以外，由於ACLU使用的人臉數據庫不具有恰當的代表性，其數據本身是有偏差的，因此ACLU的Rekognition實驗結果準確性也大大降低了。ACLU使用的人臉照片數據庫對Rekognition識別的精度有著實質性影響。
4、像Rekognition這樣的基於雲端的機器學習應用的優勢在於，它是持續改進的。隨著我們利用更多的數據改進我們的算法，客戶很快就能從這些改進中獲益。我們繼續聚焦在我們的使命上，我們的使命是使Rekognition變成識別人、物體和場景的最精確、最強大的工具，同時保證結果的準確性不受影響。我們現在已經能夠利用Rekognition為客戶和世界帶來很多的價值，包括打擊非法交易、幫助走失兒童重組家庭、減少移動支付欺詐以及提高安全性。我們也對能通過Rekognition持續幫助客戶和造福社會感到高興。
5、有一個普遍的認識誤區是：人比機器更擅長人臉和照片的匹配。事實上，美國國家標準與技術研究院（NIST）最近公開了一項人臉識別技術（這些技術比現在使用的Rekognition至少要早2年以上）的研究，他們得出的結論是：即使是那些早期的技術，在人臉識別領域也比人們做得更好。
就ACLU的人臉識別結果，這裡再說幾句。當新的技術進步出現的時候，我們都應該理解什麼是真的，什麼不是真的。使用機器學習識別一種食物與通過機器學習匹配人臉找出犯人是不同的，因為後者需要考慮隨後的執法行動。後者是一件非常嚴肅的事，因而需要更高的置信度水平。我們仍然建議，在法律執行過程中應用人臉匹配時，要把置信度閾值設置在99%以上，並且只把匹配結果作為多種合理性中的一種。如果合理地加以應用，機器學習技術將是執法機構的有力助手。我們不應該在溫度設置不當而導致披薩被烤壞的情況下，把烤箱也扔了。在輔助進行公共安全作業時，政府如何權衡，合理地設置烤箱的溫度（機器學習的置信度水平），是一個值得思考的課題。
英文原文：https://aws.amazon.com/cn/blogs/aws/thoughts-on-machine-learning-accuracy/
譯者：周遊
閱讀更多 Python部落 的文章
