消除偏見,從機器學習系統開始,谷歌發佈ML-fairness-gym

消除偏見,從機器學習系統開始,谷歌發佈ML-fairness-gym

大數據文摘專欄作品

作者:Christopher Dossman

編譯:Luna、Joey、雲舟


嗚啦啦啦啦啦啦啦大家好,本週的AI Scholar Weekly欄目又和大家見面啦!

AI ScholarWeekly是AI領域的學術專欄,致力於為你帶來最新潮、最全面、最深度的AI學術概覽,一網打盡每週AI學術的前沿資訊。

每週更新,做AI科研,每週從這一篇開始就夠啦


本週關鍵詞:AI防疫、Chatbot、人臉防偽


本週最佳學術研究


用積極聆聽能力來構建與評估訪談聊天機器人



人們為了搭建高效的聊天機器人付出了很多努力。作為谷歌最前沿的產品之一,Meena能與人進行更加智能和具體的對話。


伊利諾伊大學的研究人員一直在努力構建一種具有積極聆聽能力的高效訪談聊天機器人。為此,他們首先研究了公開可用的AI技術對於聊天機器人的可用性和有效性。


消除偏見,從機器學習系統開始,谷歌發佈ML-fairness-gym


他們研究了現有的聊天機器人平臺,並從中選擇了Juji。選擇的原因是,Juji不僅是開源的、基於規則的,並且允許設計人員在沒有訓練數據的情況下引導聊天機器人。使用Juji開發的一個原型系統構建了具有主動聆聽技能的聊天機器人,展示了其在支持訪談聊天機器人方面的成功。


接下來,研究人員使用同一個原型創建了兩個聊天機器人,一個有主動聆聽技能而另一個沒有。然後他們請Amazon Mechanical Turk的206名參與者對這兩個機器人進行了實時評估,並通過一系列指標(包括用戶回覆質量和用戶使用體驗)比較了他們的表現。


評估結論顯示,採取了主動聆聽技能的訪談機器人在用戶互動和吸引高質量用戶輸入方面表現更好。


這項工作有以下貢獻:

  • 提供了實際可行的搭建訪談機器人的思路與方法;
  • 提供了一個用於開發漸進式聊天機器人平臺的混合框架;
  • 提供了除了訪談、面試任務之外的,構建共情聊天機器人的設計意義。


通過將基於規則的聊天機器人構建器與數據驅動的模型相結合,能使機器人具有主動的聆聽技能。通過主動聆聽的技能,這樣的訪談聊天機器人可以更好地處理複雜多樣的用戶對話,甚至是回應開放式的問題。在實際應用中,聊天機器人將能夠提供更多引人入勝的用戶體驗,並引發更高質量的用戶響應。


而且,因為這個聊天機器人是基於Juji的,這個方法可以擴展到任何聊天機器人平臺。


https://arxiv.org/abs/2002.01862v1


人臉防偽的大規模多模型基準



在這篇論文裡,研究人員介紹了一個大規模多模型的數據庫CASIASURF,這個數據庫是目前人臉防偽方面最大的開源數據庫。數據庫包含1000個主題,21000個視頻,並且每個樣本具有3種模型(RGB,深度和IR)。


研究人員同時提供了評估指標,協議,培訓/驗證/測試子集和一種測量工具,從而為人臉防偽開發了新的基準。


消除偏見,從機器學習系統開始,谷歌發佈ML-fairness-gym


除此之外,他們還提出了一種新的多模型,多尺度的融合方法,並將其作為一個高效的基礎模型。這個方法可以對特徵進行加權,在特徵選擇中能確保最大信息量,並克服不同模型下信息量不同的問題。人們已經對這個數據庫進行了廣泛的實驗,驗證了其重要性和泛化能力。


CASIASURF數據庫是對推進最前沿人臉防偽技術重要一步。而且,多模型多尺度的融合方法執行了基於模型的的特徵再加權,確保了最高效的特徵選擇。


研究人員計劃通過加入3D蒙版等更多的測試來不斷增加數據庫的多樣性。他們還計劃使用交叉模式評估協議研究異類面部反欺騙。


數據庫:

https://sites.google.com/qq.com/face-anti-spoofing/welcome/challengecvpr2019?authuser=0

https://arxiv.org/abs/1908.10654v2


一個多樣化的多語言語音文本翻譯庫



Facebook AI研究團隊最近發佈了CoVoST,這是一種多樣化的多語言語音到文本翻譯數據庫。CoVoST構建在Common Voice(2019-06-12版本)之上,它包括11種語言的演講(法語,德語,荷蘭語,俄語,西班牙語,意大利語,土耳其語,波斯語,瑞典語,蒙古語和中文),其筆錄和英語翻譯。


研究小組還根據CC許可,從Tatoeba提供了5種語言(法語,德語,荷蘭語,俄語和西班牙語)的其他域外評估集。CoVoST是根據CC0許可發佈的開源庫,任何人都可以免費使用。


隨著互聯網的增長越來越,世界越來越緊密,翻譯服務也比以往任何時候都更加重要。語音到文本翻譯的算法需要翻譯多種語言的能力,而 CoVoST是多對一的多語言ST語料庫,可以幫助研究人員和開發人員實現這個目標。


在現有語料庫中,該數據庫與Iranzo-Sanchez和他的團隊工作發佈的語料庫最為相似。Iranzo-Sanchez的語料庫是根據歐洲議會程序所創建的多語言ST語料庫。


不同點是,CoVoST引入了更長的語音持續時間和更多的翻譯提取,並且更加多樣化。它有大約27個小時的俄語演講,37個小時的意大利語演講和67個小時的波斯語演講,這是之前最大演講數據集的1.8倍,2.5倍和13.3倍(Black,2019)。CoVoST中的大多數句子(抄本)都被具有不同口音的多個發言人覆蓋,使得演講內容更加豐富。例如,在法國和德國的開發/測試裝置中,包括了一千多名演講者和10種以上的口音。這樣的數據庫,可以幫助模型在訓練和評估中很好地將語音變化考慮進去。


數據集:

https://github.com/facebookresearch/covost

https://arxiv.org/abs/2002.01320v1


B2B銷售預測建模的一種通用流程:Azure機器學習方法



預測銷售機會和結果的能力是企業通向成功的路上必不可少的。在過去,此類預測始終依賴於參與銷售決策制定過程的人工評估。


然而在本文中,研究人員提出了一種實用的機器學習(ML)工作流程,以在基於雲的計算平臺(Azure ML)中實現B2B銷售結果預測。


消除偏見,從機器學習系統開始,谷歌發佈ML-fairness-gym


這一工作流按照順序提取、清理和估算銷售機會的數據,然後在數據上廣泛訓練各種類型的ML模型。而第二條管道使用ML模型來估計贏得給定銷售機會的可能性。


使用基於雲的Azure機器學習服務(Azure ML)在B2B諮詢公司的真實銷售數據集上評估了該方法的可用性和性能。與手動用戶輸入的預測準確率(0.67)相比,該工作流能夠實現更高的分類精度(0.85)。


這種基於雲的工作流程為前文提到的預測銷量問題提供了可擴展性更高的解決方案,也因此可以輕鬆地集成到企業內部的現有CRM軟件應用程序中。


https://arxiv.org/abs/2002.01441v1


一個用於探索機器學習系統的長期影響的工具



認識到理解ML系統中的公平性以及避免偏見很重要之後,Google發佈了ML-fairness-gym:一組用於構建簡單模擬的組件,可以用來探索在社交網絡環境中部署基於機器學習的決策系統的長期影響。


在本文中,他們演示瞭如何將ML-fairness-gym用於研究自動化決策系統的長期影響。


ML-fairness-gym使用Open AI的Gym框架模擬順序決策。在此框架中,代理能夠與模擬環境進行交互。在每個步驟中,代理都會選擇一個會影響環境狀態的操作。然後環境則會揭示代理用來通知其後續操作的觀察結果。最後,環境對系統和問題的動態進行建模,觀察結果用作代理的數據,這樣就可以將其編碼為機器學習系統。


本文中提出的ML-fairness-gym可用於解決各種機器學習中的公平問題,它具有足夠的靈活性來模擬和探索“公平性”不足的問題。


Google研究人員對ML-fairness-gym的潛力感到振奮,它可以幫助其他研究人員和開發人員更好地理解ML算法對我們社會的影響,併為將來開發更負責任和更公平的機器學習系統提供信息。


代碼:

https://github.com/google/ml-fairness-gym/

https://github.com/google/ml-fairness-gym/blob/master/papers/acm_fat_2020_fairness_is_not_static.pdf


其他爆款論文


最新研究幫助我們找到受損的社交媒體帳戶:

https://arxiv.org/abs/1804.07247v2


如何準確識別一個表情包?

https://arxiv.org/abs/2002.01462v1


一個能夠為不完整的菜譜推薦配料的推薦算法:

https://arxiv.org/abs/1907.12380v2


一個能夠檢測物聯網中睡眠狀態節點的框架:

https://arxiv.org/abs/1910.01092v2


基於單眼模型3D跟蹤的一種新組合技術:

https://arxiv.org/abs/2002.01379v1


AI大事件



個性化的AI聊天機器人正在減緩冠狀病毒的傳播:

https://www.wfmz.com/news/pr_newswire/pr_newswire_technology/bespoke-s-ai-chatbot-provides-assistance-during-current-coronavirus-pandemic/article_205bbfca-784c-5e8d-9d3d-1ab0fb97342a.html


一組研究人員正在努力構建具有精通社交技能的AI代理:

https://www.zdnet.com/article/defense-researchers-developing-software-agents-that-can-read-peoples-thoughts/


Twitter:如果deepfake對我們有害,我們就會扼殺它:

https://www.zdnet.com/article/twitter-well-kill-deepfakes-but-only-if-theyre-harmful/


AI在Google maps中的應用:

https://www.zdnet.com/article/how-ai-has-helped-improve-google-maps/


分享到:


相關文章: