前期回顧
在上一篇文章中，Pranav Dar 總結了自然語言處理（NLP）、並對2019年的計算機視覺的進行了預測，本篇文章，我們再來看看相關的工具和庫，以及強化學習和AI方面的2019年預測。
01、工具和庫
本節將吸引所有數據科學專業人士。工具和庫是數據科學家的食糧。我參與了大量關於哪種工具最好、哪個框架取代另一個、哪個庫是經濟計算的縮影等等的辯論。我相信你們中的很多人也都曾參與過。
但有一點我們都會同意：我們需要掌握本領域的最新工具，否則就有被落下的風險。 Python取代了其他語言並將自己打造成行業領先就是這樣的例子。當然，其中很多原因都歸結為主觀選擇（您的組織使用什麼工具，從當前框架切換到新框架的可行性等等），但如果您甚至沒有考慮過最先進的技術，那麼我要懇求你現在開始。
那麼今年成為頭條新聞的是什麼？我們來看看吧！
02、PyTorch 1.0
關於PyTorch都在大肆宣傳什麼？我已經多次在本文中提到它了。
鑑於TensorFlow有時較為緩慢，這為PyTorch打開了大門，並以兩倍的速度獲得了深度學習市場。我在GitHub上看到的大部分代碼都是PyTorch概念的實現。這並非巧合---PyTorch非常靈活，最新版本（v1.0）已經大規模推動了許多Facebook產品和服務，包括每天執行60億次文本翻譯。
PyTorch的使用率在2019年只會上升，所以現在正是加入的好時機。
03、AutoML - 自動機器學習
自動機器學習（或AutoML）在過去幾年中逐漸取得進展。 RapidMiner，KNIME，DataRobot和H2O.ai等公司發佈了出色的產品，展示了這項服務的巨大潛力。
你能想象在機器學習項目上工作，只需要使用拖拽交互而無需編碼嗎？這種情況在未來並不太遙遠。但除了這些公司之外，ML / DL領域還有一個重要的發佈- Auto Keras！
它是一個用於執行AutoML任務的開源庫。其背後的想法是讓可能沒有ML背景的領域專家進行深度學習，它準備在未來幾年內大規模運行。
04、TensorFlow.js - 瀏覽器中的深度學習
自從我們進入這條工作線以來，我們一直在我們最喜歡的IDE和notebook中構建與設計機器學習和深度學習模型。如何邁出一步並嘗試不同的東西？ 如何網絡瀏覽器中進行深度學習？
感謝TensorFlow.js的發佈，現在已成為現實。該鏈接有一些demo展示了這個開源概念有多酷。TensorFlow.js主要有三個優點/功能：
- 使用JavaScript開發和部署機器學習模型
- 在瀏覽器中運行預存的TensorFlow模型
- 再訓練預存的模型
05、2019年AutoML趨勢預測
我想在這個領域中特別關注AutoML。為什麼？因為我認為未來幾年它將成為數據科學領域真正的遊戲規則改變者。但不要只聽我說的話！聽聽H2O.ai的Marios Michailidis，Kaggle Grandmaster，他們對2019年AutoML的預期是什麼：
機器學習繼續成為未來（世界將走向何方）最重要的趨勢之一。這種發展增加了對這一領域熟練應用的需求。鑑於它的增長，自動化成為儘可能最好地利用數據科學資源的關鍵是勢在必行的。應用也是無限的：信用，保險，欺詐，計算機視覺，聲學，傳感器，推薦器，預測，NLP，都由你來定義。這是在這個領域工作的特權。將會在2019年繼續變得重要的趨勢有：
- 提供智能可視化和洞察，以幫助描述和理解數據
- 為給定數據集找到/構建/提取更好的特徵
- 快速構建更強大/更智能的預測模型
- 利用機器學習可解釋性（mli）消除黑盒建模與生產這些模型之間的差距
- 促進這些模型的生產
06、強化學習
如果我不得不選擇一個我希望看到更多滲透的領域，那就是強化學習。 除了我們偶爾不定期看到的頭條新聞之外，還沒有一個改變遊戲規則的突破。我在社區中看到大家一般的看法是，它的數學太重了，並且沒有真正的行業應用程序可供使用。
雖然這在某種程度上是正確的，但我希望看到明年有更多來自RL的實際用例。 在我的每月GitHub和Reddit系列中，我傾向於至少保留一個關於RL的資源或討論，以至少促進一次圍繞該主題的討論。 這些可能是所有研究中出現的下一個大事件。
OpenAI已經發布了一個對初學者來說非常有用的工具包，我在下面會提到。你也可以看看這個對初學者很友好的介紹（這對我來說非常有幫助）。
如果有什麼我錯過了，很想聽聽你的想法。
07、OpenAI在深度強化學習中的應用
超全表情素材網，在線免費製作微信朋友圈圖片、裝逼圖片、微信頭像、朋友圈刷屏、搞笑網絡證件、搞笑表情包。
如果說RL的研究進展緩慢，那麼圍繞它的培訓材料就很少。但實際上，OpenAI已經開放了一些這個主題的精彩材料。他們稱這個項目為“Spinning Up in Deep RL”。
實際上它是RL非常全面的資源列表，他們試圖儘可能簡化代碼和解釋。有很多材料包括RL術語，如何成長為RL研究角色，重要論文列表，一個記錄完備的代碼存儲庫，甚至還有一些練習來幫助您入門。
別再拖延了 - 如果你打算開始使用RL，那麼是時候了！
08、Google 的Dopamine
為了加速研究並讓社區更多地參與強化學習，GoogleAI團隊開源了Dopamine，這是一個TensorFlow框架，旨在更靈活和可重複的來創建研究。
您可以在GitHub中找到完整訓練數據以及TensorFlow代碼（僅15個Python notebook！）。這是在可控和靈活的環境中進行簡單實驗的完美平臺。聽起來像任何數據科學家的夢想。
09、2019年強化學習的趨勢
Xander Steenbrugge是DataHack Summit 2018的發言人，也是ArxivInsights頻道的創始人，可以說是強化學習的專家。以下是他對RL當前狀態的看法以及2019年的預期：
我目前在RL領域看到三個主要問題：
- 樣本複雜性（本體為了學習，需要查看/收集的經驗量）
- 泛化和轉移學習（訓練任務A，測試相關任務B）
- 分層RL（自動子目標分解）
我相信前兩個問題可以通過一組與無監督學習相關的類似技術來解決。目前在RL中，我們正在訓練深度神經網絡，其使用稀疏獎勵信號（例如，Atari遊戲的得分或者機器人成功抓取）以原始輸入空間（例如像素）映射到端對端的行為（例如，使用反向傳播）。這裡的問題是：
實際上“增加”有用的特徵檢測器需要很長時間，因為信噪比非常低。 RL基本上以隨機動作開始，直到幸運地偶然發現獎勵，然後需要弄清楚特定獎勵是如何實際發生的。進一步的探索要麼是硬編碼（ε-貪心探索），要麼是鼓勵用好奇心驅動的探索等技術。這不是有效的，這導致問題1。
其次，這些深度NN架構眾所周知非常容易過度擬合，而在RL中，我們通常傾向於在訓練數據上測試本體 ->在這種範例中實際上鼓勵過度擬合。
我非常熱衷的一種可能的方法，是利用無監督的學習（自動編碼器，VAE，GAN，......）來將一個雜亂的、高維的輸入空間（例如像素）轉換為一個具有某些期望性質的低維“概念”空間，例如：線性，消糾纏，對噪音的魯棒性，......
一旦你可以將像素映射到這樣一個有用的潛在空間，學習突然變得更容易/更快（問題1），並且你也希望在這個領域學到的策略會因為上面提到的屬性（問題2）而具有更強的概括性。 ）
我不是層次結構問題的專家，但上面提到的所有內容也適用於此：在潛在空間中解決複雜的分層任務比在原始輸入空間中更容易。
越來越多的輔助學習任務增加了稀疏的外在獎勵信號（好奇驅動的探索，自動編碼器式預訓練，環境因素的退糾纏等），因此樣本複雜性將繼續提高。這將特別適用於非常稀疏的獎勵環境
因此，直接在物理世界中的訓練系統將變得越來越可行（而不是當前在模擬環境中訓練大多數應用程序，再使用域隨機化轉移到現實世界）。我預測2019將帶來第一個真正令人印象深刻的、僅使用深度學習方法的機器人demo，而非硬編碼/人工設計（不像我們目前所見的大多數演示）
繼AlphaGo中的Deep RL取得重大成功之後（特別是最近的AlphaFold成果），我相信RL將逐步開始提供在學術領域之外，能夠創造真實世界價值的實際商業應用程序。這最初僅限於精確模擬器，可用於對這些本體進行大規模虛擬訓練的應用（例如藥物發現，電子芯片架構優化，車輛和封裝佈線......）
正如已經發生的一樣，RL開發將有一個普遍的轉變，即在訓練數據上測試本體將不再被視為“允許”。泛化指標將成為核心，就像監督學習方法一樣
10、人工智能 - 走向道德的人工智能
想象一個由算法統治的世界，它控制著人類採取的每一個行動。這並不是一個美好的場景，對吧？ AI中的道德規範是在Analytics Vidhya一直熱衷討論的話題。在所有技術討論中，每當它應該與這些主題一起考慮時陷入困境。
今年有相當多的組織因為Facebook的劍橋分析公司醜聞和Google內部盛傳的關於設計武器的新聞而狼狽不堪。但所有這一切導致大型科技公司暫緩了他們打算遵循的章程和指導方針。
沒有一個開箱即用的、或適合處理所有AI的道德問題的解決方案。它需要一種細緻入微的方法，並結合領導層提出的結構化路徑。讓我們看看今年早些時候令人震撼的一些重大舉措。
11、Google和微軟的改革
看到大公司把重點放在AI的這一方面令人振奮（儘管導致這一點的道路不是很好）。我想引導您注意其中幾家公司發佈的指導方針和原則：
- Google的AI原則
- Microsoft的AI原則
這些基本都在談論人工智能的公平性以及何時何地劃清界限。當你開始一個新的基於AI的項目時，參考它們是一個好主意。
12、GDPR如何改變遊戲規則
GDPR或稱為通用數據保護法規勢必會對用於構建AI應用程序的數據收集方式產生影響。 GDPR發揮作用，以確保用戶可以更好地控制他們的數據（收集和分享哪些信息）。
那麼這對AI有何影響？如果數據科學家沒有數據（或足夠數據），那麼構建任何模型都無望成功。這無疑是社交平臺和其他網站運作的阻礙。 GDPR將是令人著迷的案例研究，但目前，它限制了AI在許多平臺上的實用性。
13、2019年倫理AI的趨勢預測
這是一個灰色的領域。就像我提到的那樣，沒有一個解決方案。我們必須作為一個社區聚集在一起，將倫理整合到AI項目中。我們怎樣才能實現這一目標？正如AnalyticsVidhya的創始人兼CEO Kunal Jain在2018年DataHack峰會上的演講中所強調的那樣，我們需要確定一個其他人可以遵循的框架。
我希望看到組織中可以增加主要處理AI倫理問題的新角色。隨著AI成為公司願景的核心，需要重新制定公司最佳實踐及治理方法。我還期望政府在這方面發揮更積極的作用，制定新的或修改後的政策。確實，2019年將是非常有趣的一年。
14、總結
有影響力——是唯一能簡潔的描述2018年驚人進展的詞。今年我成為ULMFiT的狂熱用戶，我也很期待探索BERT。確實很激動人心。
閱讀更多 TalkingData 的文章
