點擊上方關注，All in AI中國
本文是我對深度神經網絡和機器學習在人工智能這一更大領域的發展方向的看法，以及我們如何能夠在日常生活中用到更多。
請注意，這些不是預測，而是對領域軌跡、趨勢和實現有用的人工智能技術需求的詳細分析。
我們還將研究一些懸而未決的成果，例如我們今天可以開發和推廣的應用程序！
目標
該領域的目標是生產具有超人類能力的機器。自動駕駛汽車、智能家居、人工助手、安全攝像頭是第一目標。家庭烹飪和清潔機器人是監控無人機和機器人的第二個目標。另一個是移動設備或永遠在線的助手。另一位是全職伴侶助理，可以聽到並看到我們在生活中體驗到的東西。一個最終目標是完全自主的合成實體，它可以在日常任務中表現出或超出人類水平的表現。
軟件
軟件在此定義為使用優化算法訓練的神經網絡架構以解決特定任務。
今天，神經網絡是學習解決任務的事實上的工具，這些任務涉及學習監督以從一個大數據集進行分類。
但這不是人工智能，它需要在現實世界中經常學習，而且是在沒有監督的情況下，從未曾有過的經驗中學習，經常將不同情況下的先前知識結合起來，以解決當前的挑戰。
我們如何從當前的神經網絡到AI？
1-神經網絡架構 - 幾年前，當這個領域蓬勃發展時，我們常常說它有利於從數據中自動學習算法的參數，因此優於手工製作的功能。但我們很容易就忘了提一點細節......神經網絡架構是解決特定任務的基礎，它不是從數據中學習的！事實上，它仍然是手工設計的。根據經驗手工製作，也是目前該領域的主要限制之一。神經網絡架構是學習算法的基本核心。即使我們的學習算法能夠掌握新任務，如果神經網絡不正確，他們也無法做到。但是這個領域有很多活動，我們在這裡進行了審查。從數據中學習神經網絡架構的問題在於，在大型數據集上試驗多個架構目前需要很長時間。一個人必須嘗試從頭開始訓練多個架構，看看哪個架構效果最好。那麼這正是我們今天使用的耗時的反覆試驗程序！我們應該克服這個限制，並在這個非常重要的問題上投入更多的腦力。
2-當前神經網絡的侷限性 - 我們之前已經討論過神經網絡的侷限性。無法預測，有內容的原因，也有暫時的不穩定性。
編碼器 - 解碼器神經網絡
連接到上一節的主題，神經網絡正在演變為編碼器 - 解碼器，其中編碼器是將數據壓縮為短代碼（表示）的網絡，並且解碼器正在擴展該表示以生成另一個更大的表示。我們已經討論過如何使用這種網絡，在這裡廣泛地定位和檢測圖像和視頻中的關鍵點;請參考本文的分析。這也是預測神經網絡的主要組成部分（下文更多）。
3-無監督學習 - 我們不能永遠存在於我們的神經網絡中，要在他們“生命”的每一個階段和每一次經歷中引導他們。我們無法在每個實例中糾正它們，並提供有關其性能的反饋。但這正是我們今天使用監督神經網絡所做的事情：在每個實例中提供幫助以使它們正確執行。相反，人類僅從少數幾個例子中學習，就可以自我糾正並以連續的方式學習更復雜的數據。
4-預測神經網絡 - 當前神經網絡的一個主要限制是它們不具備人類大腦最重要的特徵之一：預測能力。關於人類大腦如何工作的一個主要理論是不斷進行預測：預測編碼。你仔細考慮一下，我們每天都會體驗它。當你抬起一個你認為很輕但實際很重的物體時。這會讓你感到驚訝，因為當你接近它時，其實你已經預測過它將如何影響你和你的身體或整個環境。
預測不僅可以瞭解世界，還可以瞭解我們什麼時候不知道，什麼時候我們應該學習。事實上，我們保存的一般都是我們不知道的信息或者是令我們驚喜的那些信息。認知能力顯然與我們大腦中的注意機制有關：我們能夠放棄99.9％的感官輸入，只關注對我們生存的非常重要的數據 - 威脅在哪裡以及我們在哪裡遇到躲開它。或者，在現代世界中，當我們匆匆走出門時，我的手機在哪裡。
構建預測神經網絡是與現實世界交互並在複雜環境中行動的核心。因此，這是強化學習中任何工作的核心網絡。
我們已經廣泛討論了預測神經網絡的主題。
5-持續學習 - 這很重要，因為神經網絡需要不斷地為他們的生活學習新的數據點。當前的神經網絡無法在每個實例中不經過訓練就學習到新數據。神經網絡需要能夠自我評估新訓練以及他們確實知道某事的事實。這也需要在現實生活和強化學習任務中執行，我們希望教會機器完成新任務而不忘記舊任務。持續學習還與遷移學習有關，或者我們如何讓這些算法通過觀看視頻來學習，就像我們學習思考如何烹飪新東西時做的一樣。這種能力需要我們上面列出的所有組件，這對於強化學習也很重要。
6-強化學習 - 這是深度神經網絡研究的聖盃：教機器如何學習在環境、現實世界中行動！這需要自我學習、持續學習、預測能力，以及我們不知道的更多能力。強化學習領域有很多工作，我們曾經已經多次討論過這個問題。
強化學習通常被稱為“蛋糕上的櫻桃”，這意味著它只是塑料合成大腦上的小型訓練。但是，我們怎樣才能獲得一個“通用”大腦，然後輕鬆解決所有問題呢？這是一個先有雞還是先有蛋的問題！今天為了解決強化學習問題，我們逐一使用標準神經網絡：
- 深度神經網絡，接收大量數據輸入，如視頻或音頻，並將其壓縮為表示形式
- 一個序列學習神經網絡，如RNN，來學習任務
這些組件是每個人都使用的，因為它們是一些可用的構建塊。儘管如此，結果卻並不令人滿意：我們可以學習從頭開始玩視頻遊戲，掌握像國際象棋這樣的完全可觀察的遊戲，今年甚至可以在一夜之間訓練。但是，比起在一個複雜的世界裡解決問題和機器可以像我們一樣運作，這算不了什麼。
我們相信預測神經網絡對於強化學習是不可或缺的。
8-不再有遞歸神經網絡 - 遞歸神經網絡（RNN）正在逐漸消失。 RNN在訓練的並行化方面特別糟糕，甚至在特殊的自定義機器上也很慢，因為它們的內存帶寬使用非常高。因此它們受內存帶寬限制，而不是受計算限制的。基於注意力的神經網絡，尤其是卷積神經網絡，在訓練和部署方面更有效、更快，並且它們在訓練和部署中的可擴展性受到的影響要小得多。
我們已經看到基於卷積和注意的神經網絡將逐漸取代基於RNN的語音識別，並且還在強化學習架構和AI中找到了一般的方法。
硬件
深度學習的硬件是進步的核心。讓我們忘記，2008 - 2012年以及近年來深度學習的迅速擴展主要是得益於硬件：
- 每部手機中廉價的圖像傳感器可以收集大量數據集，是的，這得益於社交媒體的幫助，但僅限於第二個方面
- GPU允許加速深度神經網絡的訓練
我們之前已經廣泛討論過硬件問題。最近有一些更新。在過去的兩年中，機器學習硬件的興起，特別是針對深度神經網絡的硬件。我們擁有豐富的經驗，設計了5代深度神經網絡加速器（參見最新的FWDNXT）。
有幾家公司在這個領域工作：NVIDIA，Intel，Nervana，Movidius，Bitmain，Cambricon，Cerebras，DeePhi，Google，Graphcore，Groq，華為，ARM，Wave Computing等。所有人都在開發定製的高性能產品能夠訓練和運行深度神經網絡的微芯片。
關鍵是提供最低功率和最高測量性能，同時計算最近有用的神經網絡操作，而不是每秒的原始理論操作 - 正如許多人所聲稱的那樣。
但是，該領域的人很少了解硬件如何能夠真正改變機器學習、神經網絡和AI。很少有人瞭解微芯片的重要性以及如何開發它們。一些想法：
- 架構：許多人將計算機架構視為一系列乘法器和加法器。但並非所有架構都是相同的。一些比其他更好的可以最小化內存帶寬並始終保持所有單元被佔用。
- 編譯器：許多人認為硬件並不重要，神經網絡編譯器是關鍵。但是當您設計自己的硬件時，編譯器只是在優化的機器代碼中解釋神經網絡計算圖。開源編譯器（其中許多是去年推出的！）只能幫助這麼多，因為最困難的步驟實際上取決於秘密架構。雖然開源編譯器可以用作前端，但在硬件架構和神經網絡圖之間的交叉點仍然存在很多秘密問題。
- Microchip：一旦算法變得很重要，優化每個功率性能的最佳方法是製作定製的微芯片或ASIC或SoC。與FPGA相比，它們可以提供更快的時鐘和更小的電路面積。 FPGA現在包括深度神經網絡加速器，預計在2019 - 2020年，但微芯片將始終是更好的表現者。
- 進展：有一些進步可以使硅深度神經網絡加速器輕鬆獲得每個功率10-20倍的性能，即使不使用微芯片縮放。尋找使用較少位數，系統級封裝，高級存儲器等方面的進步。
關於神經形態神經網絡硬件，請看這裡。這裡有關於模仿真實神經網絡的評論。
（https://medium.com/@culurciello/biological-and-artificial-intelligence-23a5c65160e6）
應用
我們在上面的目標部分簡要介紹了應用程序，但我們確實需要在此處詳細介紹。 AI和神經網絡如何進入我們的日常生活？
這是我們的清單：
對圖像和視頻進行分類 - 已在許多雲服務中使用。接下來的步驟是在智能相機提要中做同樣的事情 - 今天這裡也有許多提供商。神經網絡硬件將允許移除雲，並在本地處理越來越多的數據：這是隱私保護和節省互聯網帶寬的贏家。
基於語音的助手 - 他們正在成為我們生活的一部分，因為他們在我們的“智能”家庭中可以播放音樂和控制基本設備。但對話是一項基本的人類活動，我們經常將其視為理所當然。您可以與之交談的小型設備上揹負著一場正在發生的革命。基於言語的助手也越來越好地為我們服務。但他們仍然依賴電網。我們想要的真正助手就是能夠和我們“相伴”的。那麼，我們的手機呢？硬件又贏了，因為它將會使這成為可能。 Alexa和Cortana以及Siri將永遠與您同在。您的手機將很快成為您的智能家居的一部分，這又是智能手機的又一次勝利。我們需要本地處理語音，並且越來越少的雲，更多隱私和更少的帶寬成本。硬件將在1 - 2年內為我們提供所有這些。
真正的人工助手 - 聲音是偉大的，但我們真正想要的東西是可以看到我們所看到的東西。在我們四處走動時分析我們周遭的環境。在這裡我們有看到一個例子，這可能是我們可以愛上的真正的AI助手，並且神經網絡硬件將再次滿足您的願望，因為分析視頻饋送在計算上非常昂貴，並且目前處於當前硅硬件的理論限制下。換句話說，比基於語音的助手要難得多。但這並非不可能，許多像AiPoly這樣的智能初創公司已經擁有了所有的軟件，但缺乏在手機上運行它的強大硬件。另請注意，用可穿戴式眼鏡設備替換手機屏幕將真正讓我們的助手成為我們的一部分！
烹飪機器人 - 下一個最大的家電將是一個烹飪和清潔機器人。在這裡我們可能很快就會擁有硬件，但我們顯然缺少該軟件。我們需要遷移學習、持續學習和強化學習。所有的工作都很有魅力，因為你看到：每種食譜都不同，每種烹飪成分看起來都不同。我們無法對所有這些選項進行硬編碼。我們真的需要的是一個合成實體，它可以很好地學習和概括。我們離它很遠，但不是那麼遠。距離當前的進步也還有幾年的時間。我肯定會這樣做，就像我在過去幾年裡所做的那樣〜
這篇博文將像我們的算法和我們的機器一樣不斷髮展。
原文：https://towardsdatascience.com/artificial-intelligence-in-2019-bb5cf3d39e4e
閱讀更多 AI中國 的文章
