01.10 谷歌AI平均每天發表2篇論文！Jeff Dean執筆年度彙總：16大方向

乾明 邊策 十三 郭一璞 發自 凹非寺
量子位 報道 | 公眾號 QbitAI

又一年，Jeff Dean代表Google AI，總結過去一年AI大趨勢。

這是姐夫作為Google AI大總管的例行年度彙報，也是全球AI——乃至前沿技術第一大廠的肌肉展示。

他說，過去的2019年，是非常激動人心的一年。

依舊是學術和應用兩開花，開源和新技術同步推進。

從基礎研究開始，到技術在新興領域的應用，再到展望2020。

雖然彙報格式沒有變化，但人工智能技術，又往前邁出了一大步。

Jeff Dean總結了16個大方面的AI成果，並透露全年AI論文發表數達754篇，平均每天都有2篇論文發表。

涵蓋AutoML、機器學習算法、量子計算、感知技術、機器人、醫療AI、AI向善……

樁樁件件，不僅在當前推動了AI作用社會方方面面，而且也是對未來趨勢的小小展示。

毫不誇張地說，欲知2019 AI技術進展，看Jeff這篇總結再合適不過；欲知2020 AI會走向何方，看Jeff這篇也能獲益良多。

為了方便閱讀，我們先整理了一個小目錄給你：

機器學習算法：理解神經網絡中動態訓練性質

AutoML：持續關注，實現機器學習自動化

自然語言理解：結合多種方式、任務，提高技術水平

機器感知：對圖像、視頻、環境更深入理解和感知

機器人技術：自監督方式訓練，發佈機器人測試基準

量子計算：首次實現量子優越性

AI在其他學科的應用：從蒼蠅的腦子到數學，還有化學分子研究和藝術創作

健康和醫療：已用於乳腺癌、皮膚病的臨床診斷

AI輔助殘障人士：用圖像識別、語音轉寫技術造福弱勢群體

AI促進社會公益：預告洪水、保護動植物、教小朋友識字學數學，還砸了1個多億做了20個公益項目

開發者工具打造和造福研究者社區：TensorFlow迎來全面升級

開放11個數據集：從強化學習到自然語言處理，再到圖像分割

頂會研究和Google研究的全球擴張：發表大量論文，投入大量資源資助教師、學生和各方面研究人員進行研究

人工智能倫理

展望2020年及以後：深度學習革命將繼續重塑我們對計算和計算機的看法。

機器學習算法

2019年，Google在機器學習算法和方法的許多不同領域進行了研究。

一個主要的焦點是理解神經網絡中動態訓練的性質。

在下面這項研究中，研究人員的實驗結果表明，縮放數據並行量可以讓模型收斂更快有效。

論文地址：

https://arxiv.org/pdf/1811.03600.pdf

與數據並行性相比，模型並行性可以是擴展模型的有效方法。

GPipe是一個可以讓模型並行化更加有效的庫：

當整個模型的一部分在處理某些數據時，其他部分可以做別的工作，計算不同的數據。

這種pipline方法可以組合在一起，來模擬更有效的batch大小。

GPipe庫地址：

https://ai.googleblog.com/2019/03/introducing-gpipe-open-source-library.html

當機器學習模型能夠獲取原始輸入數據，並學習“disentangled”高級表示形式時，它們是非常有效的。

這些表示形式通過用戶希望模型能夠區分的屬性來區分不同種類的示例。

機器學習算法的進步，主要是為了鼓勵學習更好的表示法，以此來推廣到新的示例、問題及領域。

2019年，Google在不同的背景下研究了這方面的問題：

比如，他們檢查了哪些屬性影響了從無監督數據中學習的表示，以便更好地理解什麼因素能夠有助於良好的表示和有效的學習。

博客地址：
https://ai.googleblog.com/2019/04/evaluating-unsupervised-learning-of.html

Google表明可以使用margin分佈的統計量來預測泛化差距，有助於瞭解哪種模型最有效地進行了泛化。

除此之外，還在強化學習的背景下研究了Off-Policy分類，以便更好地理解哪些模型可能泛化得最好。

博客地址：
http://ai.googleblog.com/2019/07/predicting-generalization-gap-in-deep.html

研究了為強化學習指定獎勵功能的方法，使學習系統可以更直接地從真實目標中進行學習。

博客地址：

http://ai.googleblog.com/2019/02/learning-to-generalize-from-sparse-and.html

AutoML

Google在2019年依然持續關注著AutoML。

這種方法可以實現機器學習許多方面的自動化，並且在某些類型的機器學習元決策方面，通常可以取得更好的結果，比如：

Google展示瞭如何使用神經結構搜索技術，在計算機視覺問題上獲得更好的結果，其在ImageNet上的正確率為84.4%，而參數比以前的最佳模型少8倍。

博客地址：
http://ai.googleblog.com/2019/05/efficientnet-improving-accuracy-and.html

Google展示了一種神經架構搜索方法，展示瞭如何找到適合特定硬件加速器的高效模型。從而為移動設備提供高精度、低計算量的運行模型。

博客地址：
http://ai.googleblog.com/2019/08/efficientnet-edgetpu-creating.html

Google展示瞭如何將AutoML工作擴展到視頻模型領域，如何找到能夠實現最先進結果的架構，以及能夠匹配手工模型性能的輕量級架構。

結果使計算量減少了50倍。

博客地址：
http://ai.googleblog.com/2019/10/video-architecture-search.html

Google開發了用於表格數據的AutoML技術，併合作發佈了這項技術，作為Google Cloud AutoML Tables的新產品。

博客地址：
http://ai.googleblog.com/2019/05/an-end-to-end-automl-solution-for.html

展示瞭如何在不使用任何訓練步驟，來更新被評估模型的權重的情況下，找到有趣的神經網絡架構，讓結構搜索的計算效率更高。

博客地址：
http://ai.googleblog.com/2019/08/exploring-weight-agnostic-neural.html

探索了發現NLP任務的體系結構。這些任務的性能明顯優於普通的Transformer模型，並且大大降低了計算成本。

博客地址：

http://ai.googleblog.com/2019/06/applying-automl-to-transformer.html

研究證明了自動學習數據增強方法可以擴展到語音識別模型中。

與現有的人類ML-expert驅動的數據增強方法相比，可以在較少數據情況下獲得了顯著更高的準確性。

博客地址：
http://ai.googleblog.com/2019/04/specaugment-new-data-augmentation.html

推出了第一款使用AutoML進行關鍵字識別和口語識別的語音應用程序。

在實驗中，發現了比人類設計更好的模型：效率更高，性能也更好。

博客地址：
https://www.isca-speech.org/archive/Interspeech_2019/abstracts/1916.html

自然語言理解

在過去幾年裡，自然語言理解、翻譯、自然對話、語音識別和相關任務的模型取得了顯著進展。

Google在2019年工作的一個主題是：

通過結合各種方式或任務來提高技術水平，以此來訓練更強大的模型。

比如，只用1個模型，在100種語言之間進行翻譯訓練(而不是使用100個不同的模型)，從而顯著提高了翻譯質量。

博客地址：
http://ai.googleblog.com/2019/10/exploring-massively-multilingual.html

展示瞭如何將語音識別和語言模型結合起來，並在多種語言上訓練系統，可以顯著提高語音識別的準確性。

博客地址：
http://ai.googleblog.com/2019/09/large-scale-multilingual-speech.html

研究證明，訓練一個聯合模型來完成語音識別、翻譯和文本到語音的生成任務是有可能的。

並且還具有一定的優勢，例如在生成的翻譯音頻中保留說話人的聲音， 以及更簡單的整體學習系統。

博客地址：
http://ai.googleblog.com/2019/05/introducing-translatotron-end-to-end.html

研究展示瞭如何結合許多不同的目標，來生成在語義檢索方面明顯更好的模型。

例如，在GoogleTalk to Books中提問，“什麼香味能喚起回憶?”

結果是，“對我來說，茉莉花的香味和烤盤的香味，讓我想起了我無憂無慮的童年。”

博客地址：
http://ai.googleblog.com/2019/07/multilingual-universal-sentence-encoder.html

展示瞭如何使用對抗性訓練程序來顯著提高語言翻譯的質量和魯棒性。

博客地址：
http://ai.googleblog.com/2019/07/robust-neural-machine-translation.html

隨著基於seq2seq、Transformer、BERT、Transformer-XL和ALBERT等模型的發展，Google的語言理解技術能力不斷提高。並已經應用到了許多核心產品和功能中。

2019年，BERT在核心搜索和排名算法中的應用，帶來了過去五年裡搜索質量的最大提升(也是有史以來最大的提升之一)。

機器感知

在過去十年中，用於更好地瞭解靜態圖像的模型取得了顯著進步。

接下來是Google在過去一年中，在這個領域中的主要研究。

包括圖像和視頻的更深入的理解，以及對生活和環境的感知，具體有：

研究了鏡頭中更細粒度的視覺理解，支持更強大的視覺搜索。

博客地址：
https://www.blog.google/products/search/helpful-new-visual-features-search-lens-io/

展示了Nest Hub Max的智能相機功能，例如快速手勢、面部匹配和智能視頻通話取景。

博客地址：

研究了更好的視頻深度預測模型。

博客地址：
https://ai.googleblog.com/2019/05/moving-camera-moving-people-deep.html

研究使用時間週期一致性，學習對視頻進行細粒度時間理解的更好表示。

博客地址：
https://ai.googleblog.com/2019/08/video-understanding-using-temporal.html

學習文本、語音和視頻中與未標記視頻在時間上一致的表示形式。

博客地址：
https://ai.googleblog.com/2019/09/learning-cross-modal-temporal.html

也能夠通過對過去的觀察，來預測未來的視覺輸入。

博客地址：
https://ai.googleblog.com/2019/03/simulated-policy-learning-in-video.html

並證明了模型可以更好地理解視頻中的動作序列。

博客地址：
https://ai.googleblog.com/2019/04/capturing-special-video-moments-with.html

機器人技術

機器學習在機器人控制中的應用是Google的重要研究領域。Google認為，這是使機器人能夠在複雜的現實世界環境（比如日常家庭、企業）中有效運行的重要工具。

Google2019年在機器人技術中所做的工作包括：

1、在通過自動強化學習進行遠程機器人導航中，Google展示瞭如何將強化學習與遠程項目結合，使機器人能夠更有效地在複雜的環境（例如Google辦公大樓）中導航。

相關鏈接：

http://ai.googleblog.com/2019/02/long-range-robotic-navigation-via.html

2、在PlaNet中，Google展示了只從圖像中有效地學習世界模型，以及如何利用這種模型以更少的學習次數完成任務。

相關鏈接：
http://ai.googleblog.com/2019/02/introducing-planet-deep-planning.html

3、在TossingBot上，Google將物理定律和深度學習統一起來，讓機器人通過實驗來學習直觀物理原理，然後將物體按照學習到的規律扔進盒子裡。

相關鏈接：

http://ai.googleblog.com/2019/03/unifying-physics-and-deep-learning-with.html

4、在Soft Actor-Critic的研究中中，Google證明了，訓練強化學習算法的方式，既可以通過最大化期望的獎勵，也可以通過最大化策略的熵來實現。

這可以幫助機器人學習得更快，並且對環境的變化更加魯棒。

相關鏈接：
http://ai.googleblog.com/2019/01/soft-actor-critic-deep-reinforcement.html

5、Google還發展了機器人的自監督學習算法，讓機器人以自監督的方式，通過分解物體的方式物來學習組裝物體。這表明機器人可以和兒童一樣，從拆解中學到知識。

相關鏈接：
http://ai.googleblog.com/2019/10/learning-to-assemble-and-to-generalize.html

6、最後，Google還推出了低成本機器人的基準測試ROBEL，這是一個針對低成本機器人的開源平臺，幫助其他開發者更快更方便地研發機器人硬件。

相關鏈接：
http://ai.googleblog.com/2019/10/robel-robotics-benchmarks-for-learning.html

量子計算

在2019年，Google在量子計算上取得了重大圖片，首次向世人展示了量力優越性：在一項計算任務中，量子計算機的速度遠遠超過經典計算機。

原本經典計算機需要計算10000年的任務，量子計算機僅需200秒即可完成。這項研究登上了今年10月24日Nature雜誌的封面。

△ Google用於量子計算的Sycamore處理器

GoogleCEO皮查伊說：“它的意義就像第一枚火箭成功地脫離地球引力，飛向太空邊緣。”量子計算機會在材料科學、量子化學和大規模優化等領域中發揮重要的作用。

Google還在努力使量子算法更易於表達、更易於控制硬件，並且Google已經找到了在量子計算中使用經典機器學習技術的方法。

AI在其他學科的應用

人工智能和機器學習在其他科學領域的應用方面，Google發了很多論文，主要是在多組織協作方面。

論文集：
https://research.google/pubs/?area=general-science

今年的重點有：

蒼蠅大腦交互性自動3D重建，用機器學習模型來精心繪製蒼蠅大腦的每個神經元，Jeff Dean稱這是映射蒼蠅大腦結構的的里程碑。

相關博客：
https://ai.googleblog.com/2019/08/an-interactive-automated-3d.html

在為偏微分方程學習更好的仿真方法中，Google用機器學習加速偏微分方程計算，這也是研究氣候變化、流體動力學、電磁學、熱傳導和廣義相對論等基礎計算問題的核心。

△ Burgers方程的兩種解法仿真

Google還用機器學習模型判斷氣味，用GNN判斷分子結構，來預測它聞起來是什麼味兒。

相關報道：
Google造出AI調香師：看一眼分子結構，就知道它聞起來什麼味兒

同樣在化學方面，Google還做了一個強化學習框架來優化分子。

相關論文：
https://www.nature.com/articles/s41598-019-47148-x

藝術創作方面，GoogleAI的努力就更多了，比如AI+AR的藝術表現

https://www.blog.google/outreach-initiatives/arts-culture/how-artists-use-ai-and-ar-collaborations-google-arts-culture/

用機器重新編排舞蹈：

https://www.blog.google/technology/ai/bill-t-jones-dance-art/

AI作曲的新探索：

https://www.blog.google/technology/ai/behind-magenta-tech-rocked-io/

還延伸出了一個好玩的AI作曲Doodle：

https://www.blog.google/technology/ai/honoring-js-bach-our-first-ai-powered-doodle/

手機AI應用

Google做的很多事情都是藉機器學習賦予手機新的能力，這些模型都能在手機端運行，就算開了飛行模式，這些功能依然可以使用。

現在，手機端語音識別模型、視覺模型、手寫識別模型都已經實現了。

相關博客：

語音識別
https://ai.googleblog.com/2019/03/an-all-neural-on-device-speech.html
視覺模型
https://ai.googleblog.com/2019/11/introducing-next-generation-on-device.html
手寫識別模型
https://ai.googleblog.com/2019/03/rnn-based-handwriting-recognition-in.html

Jeff Dean稱，這為實現更強大的新功能鋪平了道路。

此外，今年Google在手機上的亮點有：

Live Caption功能，手機上任何應用播放的視頻，它都能給自動加上字幕。

相關博客：
https://ai.googleblog.com/2019/10/on-device-captioning-with-live-caption.html

Recorder應用，讓你能搜索手機錄下的音頻中的內容。

相關博客：
https://ai.googleblog.com/2019/12/the-on-device-machine-learning-behind.html

Google翻譯的拍照翻譯功能也做了升級，新增支持阿拉伯語、印地語、馬來語、泰語和越南語等多種語言的支持，而且不只是英語和其他語言翻譯，英語之外的其他語言互譯也可以了，還能自動找到相機畫幅中的文字在哪裡。

相關博客：
https://www.blog.google/products/translate/google-translates-instant-camera-translation-gets-upgrade/

還在ARCore裡發佈了一個面部增強API，幫你實現實時的AR玩法。

面部增強API：
https://developers.google.com/ar/develop/java/augmented-faces/

還有移動端手勢識別，這個做好之後就能做手勢交互了。

相關報道：
Google開源手勢識別器，手機能用，運行流暢，還有現成的App，但是被我們玩壞了

還用RNN改進了手機屏幕上的手寫輸入識別。

相關博客：
https://ai.googleblog.com/2019/03/rnn-based-handwriting-recognition-in.html

在導航定位方面，GPS往往只是大致定位，但AI可以發揮關鍵作用。

結合Google街景的數據，舉著手機轉一圈，手機就會變成一個認路的朋友一樣，照著街景和地圖給你指出來：這是哪棟樓，這是哪條街，這是南這是北，你該朝這兒走。

相關博客：
https://ai.googleblog.com/2019/02/using-global-localization-to-improve.html

另外，為了保證用戶隱私，Google也一直在研究聯合學習，下面這篇論文就是2019年Google團隊轉寫的關於聯合學習進展的文章：

https://arxiv.org/abs/1912.04977

還有老生常談的手機拍照，Google2019年提升了手機自拍的能力。

相關博客：
https://ai.googleblog.com/2019/04/take-your-best-selfie-automatically.html

背景虛化和人像模式也在2019年獲得了提升。

相關博客：
https://ai.googleblog.com/2019/12/improvements-to-portrait-mode-on-google.html

夜景挑戰拍星星也有巨大的提升，還發了SIGGRAPH Asia的論文。

相關博客：
https://ai.googleblog.com/2019/11/astrophotography-with-night-sight-on.html

相關論文：
https://arxiv.org/abs/1905.03277
https://arxiv.org/abs/1910.11336

健康和醫療

2019年是Google Health團隊經歷的第一個完整年。

在2018年末，Google將Google Research健康團隊、Deepmind Health和與健康相關的硬件部門重組，新建了Google Health團隊。

1、在疾病的診斷和及早發現上，Google做出了多項成果：

用深度學習模型發現乳腺癌，準確性高於人類專家，降低了診斷中的假陽性和假陰性案例。這項研究不久前剛登上Nature雜誌。

相關鏈接：

谷歌AI乳腺癌檢測超過人類，LeCun質疑引起討論，但平胸妹子可能不適用

另外，Google還在皮膚疾病診斷、預測急性腎損傷、發現早期肺癌方面均做出一些新成果。

2、Google將機器學習與其他技術結合用在其他醫療技術中，比如在顯微鏡中加入增強顯示技術，幫助醫生快速定位病灶。

相關鏈接：

AI實時篩查癌細胞，普通顯微鏡簡單改裝就能用，谷歌新突破登上Nature子刊

Google還為病理學家構建了以人為中心的相似圖像搜索工具，允許檢查相似病例來幫助醫生做出更有效的診斷。

AI輔助殘障人士

AI與我們的生活越來越緊密。在過去的一年裡，Google用AI為我們的日常生活提供幫助。

我們可以很容易看到美麗的圖像，聽到喜歡的歌曲，或與親人交談、然而，全球有超過十億人無法用這些方式瞭解世界。

機器學習技術可以通過將這些視聽信號轉換成其他信號，為殘障人士服務。Google提供的AI助手技術有：

Lookout幫助盲人或視力低下的人識別其周圍環境信息。

實時轉錄技術Live Transcribe幫助聾啞或聽障礙人士將語音快速轉化為文字。

相關鏈接：

谷歌AI拜大年：為聾啞人帶來科技福利，首頁塗鴉有驚喜

Euphonia項目實現了個性化的語音到文本轉換。對於患有漸凍症等疾病導致口齒不清的人，這項研究，提高了自動語音識別的準確率。

另外還有一個Parrotron項目，也是使用端到端神經網絡來幫助改善交流，但是研究重點是語音到語音的轉換。

對於盲人和弱視人群，Google利用AI技術來產生圖像的描述。當屏幕閱讀器遇到無描述的圖像或圖形時，Chrome現在可以自動創建描述內容。

音頻形式讀取文本的工具Lens for Google Go，極大地幫助了那些文盲用戶在單詞的世界中獲取信息。

AI促進社會公益

Jeff Dean說，機器學習對解決許多重大社會問題有巨大的意義，Google一直在一些社會問題領域做出努力，致力於讓其他人能用創造力和技能來解決這些問題。

比如洪水問題，每年都有數億人遭受洪水影響。Google用機器學習、計算和更好的數據庫，來做出洪水預測，並給受影響地區的數百萬人發送警報。

甚至，他們還辦了一個workshop，找了許多研究人員來專門解決這個問題。

相關博客：
https://www.blog.google/technology/ai/tracking-our-progress-on-flood-forecasting/
https://ai.googleblog.com/2019/09/an-inside-look-at-flood-forecasting.html
https://ai.googleblog.com/2019/03/a-summary-of-google-flood-forecasting.html

另外，Google還做了一些機器學習和動植物研究相關的工作。

他們與七個野生動物保護組織合作，用機器學習幫助分析野生動物的照片數據，找到這些野生動物的群落都在哪裡。

相關博客：
https://www.blog.google/products/earth/ai-finds-where-the-wild-things-are/

Google還和美國海洋和大氣管理局合作，藉助水下的聲音數據判斷鯨的種群位置。

相關博客：
https://www.blog.google/technology/ai/pattern-radio-whale-songs/

Google發佈了一套工具，用機器學習研究生物多樣性。

相關博客：
A New Workflow for Collaborative Machine Learning Research in Biodiversity
https://ai.googleblog.com/2019/10/a-new-workflow-for-collaborative.html

他們還舉辦了一個Kaggle比賽，用計算機視覺給木薯葉子上的各種疾病分類。木薯是非洲第二大碳水化合物來源，木薯的病害影響人們的視頻安全問題。

https://www.kaggle.com/c/cassava-disease

Google Earth的Timelapse功能也得到了更新，甚至你還可以從這裡看到人口流動和遷移的數據。

相關博客：
https://ai.googleblog.com/2019/06/an-inside-look-at-google-earth-timelapse.html
https://ai.googleblog.com/2019/11/new-insights-into-human-mobility-with.html

對於教育方面，Google做了帶語音識別技術的Bolo應用，指導小朋友們學英語。這個應用部署在了本地，可以離線運行，它已經幫助80萬印度兒童識字，小朋友們累計讀了了10億單詞，在印度200個村子的試點中，64%的小朋友閱讀能力有所提高。

彷彿是一個Google版的英語流利說。

相關博客：
https://www.blog.google/technology/ai/bolo-literacy/

除了識字，還有數學、物理等更復雜的學習科目。Google做了Socratic應用來幫高中生學數學。

此外，為了讓AI在公益方面發揮更大的作用，Google舉辦了AI Impact Challenge，收集到了來自119個國家超過2600個提案。

最終20個能解決重大社會問題和環境問題的提案脫穎而出，Google在這些提案項目上投入了2500萬美元（超過1.7億人民幣）的資助，做出了一些成績，包括：

無國界醫生組織（MSF）創建了一個免費手機App，用圖像識別工具幫助條件不好的地方的診所醫生分析抗菌圖像，為給病人用什麼藥提供建議，這個項目已經在約旦試點。

無國界醫生組織的項目報道：
https://www.doctorswithoutborders.org/what-we-do/news-stories/news/msf-receives-google-grant-develop-new-free-smartphone-app-help

世界上有十億人靠小型農場過活，但一旦發生病蟲害，就會斷了他們的活路。

因此，一家名叫Wadhwani AI的NPO，用圖像分類模型來辨別農場中的害蟲，並對於應該噴哪種農藥、何時噴藥給出建議，提高了農作物的產量。

熱帶雨林的非法砍伐是氣候變化的主要影響因素，一個名叫“雨林連接（Rainforest Connection）”的組織用深度學習進行生物聲學檢測，拿一些舊手機就可以跟蹤雨林的健康狀況，檢測其中的威脅。

△ Google資助的20個公益項目

開發者工具打造和造福研究者社區

作為全球第一AI大廠，Google也是開源先鋒，不斷為社區發光發熱，一方面是集中在TensorFlow上。

Jeff Dean說，因為TensorFlow 2.0發佈，對於開源社區來說，過去一年是激動人心的一年。

這是TensorFlow發佈以來，第一次重大升級，使構建ML系統和應用程序比以往任何時候都要容易。

量子位相關報道如下：

GoogleTF2.0凌晨發佈！“改變一切，力壓PyTorch”

在TensorFlow Lite中，他們增加了對快速移動GPU推理的支持；併發布了Teachable Machine 2.0，不需要寫代碼，只需一個按鈕就能訓練一個機器學習模型。

量子位相關報道如下：

TensorFlow Lite發佈重大更新！支持移動GPU、推斷速度提升4-6倍

還有MLIR，一個開源的機器學習編譯器基礎工具，解決了日益增長的軟件和硬件碎片的複雜性，使構建人工智能應用程序的更容易。

在NeurIPS 2019上，他們展示瞭如何使用開源的高性能機器學習研究系統JAX：

https://nips.cc/Conferences/2019

此外，他們也開源了用於構建感知和多模態應用ML pipelines的框架MediaPipe：

https://github.com/google/mediapipe

以及高效浮點神經網絡推理操作符庫XNNPACK：

https://github.com/google/XNNPACK

當然，Google還放出了一些羊毛給大家薅。

Jeff Dean介紹稱，截止2019年底，他們讓全球超過1500名研究人員通過 TensorFlow Research Cloud 免費訪問了Cloud TPU，他們在 Coursera 上的入門課程已經有超過了10萬名學生等等。

同時，他也介紹了一些“暖心”案例，比如在 TensorFlow 的幫助下，一名大學生髮現了兩顆新的行星，並建立了一種方法來幫助其他人發現更多的行星。

還有大學生們使用 TensorFlow 來識別洛杉磯的坑洞和危險的道路裂縫等等。

另一方面是在開放數據集上。

開放11個數據集

2018年發佈了數據集搜索引擎後，Google今年依舊在這方面努力，並儘自己的努力，給這個搜索引擎添磚加瓦。

過去一年，Google在各個領域開放了11個數據集，下面開始資源大放送，請收好~

Open Images V5，在註釋集中加入分割掩碼（segmentation masks），樣本規模達到280萬，橫跨350個類別，量子位報道：

280萬樣本！Google開放史上最大分割掩碼數據集，開啟新一輪挑戰賽

“自然問題”數據集，第一個使用自然發生的查詢，並通過閱讀整個頁面找到答案的數據集，而不是從一小段中提取答案，30萬對問答，BERT都達不到70分，量子位報道：

Google發佈超難問答數據集「自然問題」：30萬對問答，BERT都達不到70分

用於檢測deepfakes的數據集：

https://ai.googleblog.com/2019/09/contributing-data-to-deepfake-detection.html

足球模擬環境Google Research Football，智能體可以在這個宛若FIFA的世界裡自由踢球，學到更多踢球技巧，量子位報道：

Google造了個虛擬足球場，讓AI像打FIFA一樣做強化學習訓練丨開源有API

地標數據集Google-Landmarks-v2：包括500萬張圖片，地標數量達到20萬，量子位報道：

500萬張圖片，20萬處地標風景，Google又放出大型數據集

YouTube-8M Segments數據集，一個大規模的分類和時間定位數據集，包括YouTube-8M視頻5秒片段級別的人工驗證標籤：

https://ai.googleblog.com/2019/06/announcing-youtube-8m-segments-dataset.html

AVA Spoken Activity數據集，一個多模態音頻+視覺視頻的感知對話數據集：

https://research.google.com/ava/

PAWS和PAWS-X：用於機器翻譯，兩個數據集都由高度結構化的句子對組成，並且相互之間的詞彙重疊度很高，其中約佔一半的句子具有對應的多語言釋譯：

https://ai.googleblog.com/2019/10/releasing-paws-and-paws-x-two-new.html

讓兩個人進行對話，通過數字助手模擬人類的對話的自然語言對話數據集：

https://ai.googleblog.com/2019/09/announcing-two-new-natural-language.html

Visual Task Adaptation Benchmark：這是對標 GLUE、ImageNet，Google推出的視覺任務適應性基準。

有助於用戶更好地理解哪些哪些視覺表徵可以泛化到更多其他的新任務上，從而減少所有視覺任務上的數據需求：

http://ai.googleblog.com/2019/11/the-visual-task-adaptation-benchmark.html

最大的面向任務的對話的公開數據庫——模式引導對話數據集，有跨越17個域的超過18000個對話：

http://ai.googleblog.com/2019/10/introducing-schema-guided-dialogue.html

頂會研究和Google研究的全球擴張

根據Google官方統計，Googler在過去一年發表了754篇論文。

Jeff Dean也列舉了一些頂會戰績：

CVPR有40多篇論文，ICML有100多篇論文，ICLR有60多篇論文，ACL有40多篇論文，ICCV有40多篇論文，NeurIPS有超過120篇等等。

他們還在Google舉辦了15個獨立的研討會，主題從改善全球洪水預警，到如何使用機器學習來建立更好地為殘疾人服務的系統，到加速開發用於量子處理器(NISQ)的算法、應用程序和工具等等。

並通過年度博士獎學金項目在全球資助了50多名博士生，也對創業公司提供了支持等等。

同樣，2019年Google研究地點依舊在全球擴張，在班加羅爾開設了一個研究辦公室。同時，Jeff Dean也發出了招聘需求：如果有興趣，趕緊到碗裡來~

人工智能倫理

和往年一樣，這篇報道最開篇，其實Jeff首先談到的就是Google在人工智能倫理上的工作。

這也是Google在AI實踐和道德倫理、技術向善方面的明確宣示。

2018年，Google發佈了AI 七原則並圍繞這些原則展開應用實踐。2019年6月，Google交出成績單，展示瞭如何在研究和產品開發中，將這些原則付諸實施。

報告鏈接：
https://www.blog.google/technology/ai/responsible-ai-principles/

Jeff Dean說，由於這些原則基本覆蓋人工智能和機器學習研究中最活躍的領域，比如機器學習系統中的偏見、安全、公平、可靠性、透明度和隱私等等。

因此Google的目標是將這些領域的技術應用到工作中，並不斷進行研究，以繼續推進相關技術發展。

一方面，Google還在KDD’19、AIES 19等學術會議上發表了多篇論文，來探討機器學習模型的公平性和可解釋性。

比如，對Activation Atlases如何幫助探索神經網絡行為，以及如何幫助機器學習模型的可解釋性進行研究。

相關鏈接：
Exploring Neural Networks with Activation Atlases
https://ai.googleblog.com/2019/03/exploring-neural-networks.html

另一方面，Google的努力也都落到了實處，切實的拿出了的產品。

比如，發佈了TensorFlow Privacy，來幫助訓練保證隱私的機器學習模型。

相關鏈接：
Introducing TensorFlow Privacy: Learning with Differential Privacy for Training Data
https://blog.tensorflow.org/2019/03/introducing-tensorflow-privacy-learning.html

此外，Google還發布了一個新的數據集，以幫助研究識別deepfakes。

相關鏈接：
Contributing Data to Deepfake Detection Research
https://ai.googleblog.com/2019/09/contributing-data-to-deepfake-detection.html

展望2020年及以後

最後，Jeff也站在過去10年的發展歷程上，對2020年及以後的研究動向進行了展望。

他說，在過去的十年裡，機器學習和計算機科學領域取得了顯著的進步，我們現在讓計算機比以往任何時候都更有能力去看、聽和理解語言。

在我們的口袋裡，有了複雜的計算設備，可以利用這些能力，更好地幫助我們完成日常生活中的許多任務。

我們圍繞這些機器學習方法，通過開發專門的硬件，重新設計了我們的計算平臺，使我們能夠處理更大的問題。

這些這改變了我們對數據中心中的計算設備的看法，而深度學習革命，將繼續重塑我們對計算和計算機的看法。

與此同時，他也指出，還有大量未解決的問題。這也是Google在2020年及以後的研究方向：

第一，如何構建能夠處理數百萬任務的機器學習系統，並能夠自動成功地完成新任務？

第二，如何才能在人工智能研究的重要領域，如避免偏見、提高可解釋性和可理解性、改善隱私和確保安全等方面，取得最先進的進展？

第三，如何應用計算和機器學習在重要的科學新領域取得進展？比如氣候科學、醫療保健、生物信息學和許多其他領域等等。

第四，關於機器學習和計算機科學研究社區追求的思想和方向，如何確保有更多不同的研究人員提出和探索？我們如何才能最好地支持來自不同背景的新研究人員進入這一領域?

最後的最後，你怎麼看Google AI在過去一年的突破與進展？

歡迎在留言區互動~

報告傳送門：
https://ai.googleblog.com/2020/01/google-research-looking-back-at-2019.html

Google 2019論文傳送門：
https://research.google/pubs/?year=2019

— 完 —

量子位 QbitAI · 頭條號簽約

關注我們，第一時間獲知前沿科技動態

閱讀更多 量子位 的文章

關鍵字: 博客地址 自然語言處理 機器學習