Facebook:如何防止AI的行為變得可預測?

歡迎收看風火輪技術團隊第一前沿資訊,我是本文報道員小風風。


許多神經網絡都是黑匣子。我們知道他們可以成功地對事物進行分類(貓的圖像,X射線的癌症等),但是對於其中的許多人,我們無法理解它們用來得出結論的含義。但這並不意味著人們無法推斷出他們用來將事物歸入不同類別的規則。這就給像Facebook這樣的公司帶來了問題,近日,Facebook表示,希望使用AI擺脫濫用其服務條款的帳戶。


大多數垃圾郵件發送者和詐騙者會大量創建帳戶,他們可以輕鬆地查找被禁止的帳戶和在雷達下滑動的帳戶之間的差異。這些差異可以讓他們通過建立新帳戶來避免觸發禁令的功能,從而逃避自動化算法。最終結果是算法與試圖猜測其規則的垃圾郵件發送者和騙子之間的軍備競賽。


Facebook:如何防止AI的行為變得可預測?

(Facebook)

Facebook認為,它已經找到了一種避免捲入軍備競賽的方法,同時仍在使用自動工具來監視其用戶。本週,Facebook決定向媒體披露這一信息。結果是一個有趣的窗口,展示瞭如何在面對敵對行為時保持基於AI的適度有用,這種方法可能在Facebook以外也適用。


問題


Facebook在一個月內看到數十億活躍用戶,但其中只有一小部分屬於該公司所說的濫用行為:偽造和遭到破壞的帳戶,垃圾郵件發送者,以及使用社交網絡進行欺詐的用戶。因此,儘管公司可以(並且確實)使用人工主持人,但問題足夠大,以至於無法期望他們抓住一切。這意味著,如果服務不想被不希望看到的內容所淹沒,則必須使用某種自動化系統。


Facebook(或任何其他社交網絡運營商)顯然將可以訪問自動化系統可以使用的大量數據:帳戶的發佈歷史記錄,登錄時提供的詳細信息,朋友網絡等。而且算法可以輕鬆地使用該數據來識別有問題的帳戶,包括使用該數據和人工編制的有問題和可接受的行為的清單來訓練的神經網絡。


Facebook:如何防止AI的行為變得可預測?

(可供訓練的CNN卷積神經網絡)

如上所述,問題在於,運行濫用帳戶的人員還可以訪問所有這些數據,並且有可能找出導致帳戶被禁止的功能。或者,他們可以充分改變自己的行為,以免引起懷疑。這就增加了軍備競賽的風險,詐騙者將永遠領先於旨在抓住他們的算法。


為了避免這種情況,Facebook的研究人員已經從使用帳戶數據轉移到了所謂的帳戶元數據。它不是使用給定帳戶可能發佈的帖子數量,而是查看典型朋友的帳戶發佈的帖子數量。可以為帳戶的朋友連接到的平均朋友數,發送朋友請求的頻率等生成相似的值。像這樣的一系列價值觀被合併為公司研究人員稱為“深層實體”的檔案。


這裡的假設是典型客戶將與也更接近典型的客戶建立關係。同時,垃圾郵件發送者與真實帳戶的聯繫可能較少,而與殭屍程序帳戶等事物的聯繫更多,這也顯示出異常的行為和聯繫方式。深度實體配置文件捕獲了這些差異,並提供了兩個主要優點:濫用帳戶所有者更難理解算法正在使用深度實體的哪些方面,並且即使更改,帳戶所有者也更加困難如果他們能理解。


深度實體分類


如果需要大量計算,則深層實體分類相對簡單。它僅涉及爬網給定用戶的網絡圖,並彙總其所有連接中的數據。事物進入計算機科學領域的地方是如何使用這些分類來實際識別有問題的帳戶。


Facebook工程師決定使用神經網絡進行分類。這就要求網絡具有訓練數據:帶有指示帳戶是否有問題的標記的深度實體配置文件。在這裡,工程師有兩種選擇。與其他分類算法一起工作已產生了大量相對不確定的數據,這些數據將不同的帳戶標記為有問題或無問題。同時,主持人查看的帳戶數量要少得多,但就該帳戶是否濫用而打了更高質量的電話。


Facebook:如何防止AI的行為變得可預測?

(Facebook所採用的部分神經網絡論文解讀)

Facebook上的人們自然決定同時使用兩者。他們產生了兩層系統。在外層,多層神經網絡使用低質量的訓練數據來識別具有通常與奇怪行為相關聯的深度實體配置文件的帳戶。儘管此神經網絡會自然地處理數據,直到得出二進制決定(無論是否濫用)為止,但研究人員實際上只是在不到二進制決定的情況下停止了該層的分析。


至此,網絡已將原始的深層實體信息處理為有限數量的值,可用於識別帳戶的連接是否異常。這些值可以提取為32個數字的向量,以捕獲通常與異常帳戶關聯的功能。


然後使用稱為決策樹的機器學習方法將這些值發送到第二種處理形式。該決策樹是使用人工標記的帳戶數據進行訓練的。至關重要的是,Facebook工程師訓練了多個決策樹:一棵用於垃圾郵件發送者,一棵用於被劫持的帳戶,等等。這些決策樹最終決定了帳戶是否代表問題,是否需要停用。


計算機科學符合政策


該系統已經投入生產了一段時間,並且已經證明相當成功,每個季度至少阻止10億個帳戶,去年第一季度最多阻止20億個帳戶。被阻止的帳戶還可以用於在後臺不斷地對系統進行再培訓,並且它可以評估自己的指標,以確定再培訓何時進行到可以有效更換生產系統的程度。

儘管系統可能有效,但是如何部署系統(以及如何將其與更大的策略集成以獲得可接受的內容)的決定是政策問題,而不是計算機科學問題。人工主持人在呼叫內容時是否提供了更高的準確性,Facebook通訊經理告訴Ars,該公司正在大力擴展其人工主持人的使用範圍。但是人類只能對已報告的內容採取行動,而算法可以預防性地發揮作用。因此,要在適度的兩個方面達到適當的投資平衡,最終將成為一個判斷。


Facebook:如何防止AI的行為變得可預測?

(可預測的AI值得思考)

這項技術提出的另一個問題是,是否可以針對傳播有關氣候變化和健康信息等主題的錯誤信息的帳戶部署該技術?隨著冠狀病毒的傳播不減,後一種問題越來越明顯。在這裡,該公司跨越了一條尷尬的界限,試圖用其傳播經理的話說避免成為“真理的仲裁者”,特別是包括拒絕對政治廣告的真實內容進行監管。其將事實檢查外包的方法引起了廣泛的關注,因為它允許將有關事實的可疑歷史的站點用作事實檢查器。


Facebook的溝通經理告訴Ars,可以刪除由WHO或CDC揭穿的特定健康聲明。但是,沒有跡象表明反覆提出此類要求的團體將永遠不會看到其帳戶被暫停,即使此處所述的此類工具應使識別它們的過程更加簡單。換句話說,儘管Facebook的工程師在開發可以識別有問題的帳戶的系統方面做得很出色,但決定如何應用該技術仍然是一項政策決策。


小風風認為,Facebook所提出的新技術的可行性仍然需要加以驗證,在短期內,Facebook還不能將它集成於自己產品的內部。Ok,本期的時訊就分享到這裡,關注風火輪,技術之路常相伴,我是小風風,我們下期見!


分享到:


相關文章: