什麼是無人機，自動武器，殺人機器人？
無人機是由人遠程控制的飛行器；有些無人機可以攜帶武器（通常是導彈），這些武器的釋放也是由人遠程控制的。自動武器是可以自主選擇和吸引攻擊對象的裝置。目前這類裝置包括韓國非軍事化區裡的自動瞄準機槍和一些不同類型的船載反導彈系統。目前在技術上可以實現將無人飛機的控制員替換成完全自動的計算機系統，以達到致命自主武器系統的要求。致命自主武器系統是日內瓦會議裁減軍備議題的討論主題。殺人機器人是對具有輪動能力和行走能力的武器的統稱，包括：船，飛行器以及人工智能的昆蟲飛行器。
常見誤區
- 「完全自主武器的出現還需要 20-30 年的研發」。得出這個預估時間的依據無從知曉，但是 20-30 年的時間跨度有點誇大所需的研發時間長度。目前自主武器的研發已經在全世界內大範圍的開展，英國國防部已經宣稱，對於一些簡單對抗如海上戰役，完全自動武器現在已經可以實施。
我們需要擔心殺人機器人胡作非為或接管世界嗎
如果部署了自動化武器，它們也會有士兵那樣的難題：有時難以分別朋友與敵人、平民與敵軍。而且可能會有軍事事故造成平民傷亡，或者機器人受到干擾與網絡攻擊。也因為後者，一些軍事專家預測自動化武器可能需要封閉操作系統，沒有電子通訊。如果系統行為不準確的話，這樣做能防止有人凌駕於自動化控制器之上。但在可預見的未來，自動化武器可能會變得很常見，在有限的任務中被使用。但在全局規模上，它們很難自己編程出計劃。
常見誤解
- 我們可以按下「關閉」按鈕。「關閉」按鈕會使得自動化武器在網絡攻擊面前變得很脆弱。這樣的通信頻道在戰爭中也是如此。此外，通用智能系統會被賦予一項任務，防止自己的「關閉」按鈕被按下。
人工智能的「存在風險」是什麼？它是真的嗎？
關於人工智能風險的早期警告曾是非常模糊的。I.J.Good 對於人工智能的可行性提出了自己的觀點：「只要機器能夠聰明到告訴我們如何保持對它的控制。」人們普遍意識到，在我們的星球上如果存在一個超級智能實體，可能會出現恐慌；但另一方面，我們也都清楚更加聰明的機器會更加有用，而且更加聰明不一定意味著邪惡。事實上，論據很簡單。
- 假設超智能系統被設計成實現由人類設計者指定的某一目標，並假設這一目標不完全符合人類的價值觀，人工智能形成的價值觀（如果有）是非常難以確定的。
- 任何充分有能力的智能系統將傾向於確保其自身的持續存在並且獲取物理和計算資源——不是為了他們自己的目的，而是為了更好地執行人類為它設定的任務。
現在我們問題的本質是你所要求的不是你所得到的。Norbert Wiener 是自動化和控制理論的先驅者，他在 1960 年寫道：「如果我們使用——為達到某些目的——一些機器來代替我們做某些工作，我們最好能夠清楚它們的確在按我們的想法工作。」Marvin Minsky 舉了讓機器計算 pi 這個例子，Nick Bostrom 則舉了回形針的例子。對於人類而言，這些目標是根據人類視角提出的，這意味著計算機服務器或回形針覆蓋整個銀河系不是好的解決方案。一個具有能力的決策者——特別是能夠通過互聯網連接全球每塊屏幕的智能——可能會對人類產生不可逆轉的影響。幸運的是，這個問題相對比較明確，所以現在就可以開始解決。
常見誤解
- 超智能機器將變得自發地產生意識、本能地變得邪惡或傷害人類。科幻小說作者通常假定上面這些一個或多個問題來設定機器與人類的對立面，這樣的假設完全是不必要的。
- 我們人類發展人工智能系統，那麼為什麼我們要製造出來毀滅自己呢？有一些人類工智能「捍衛者」常常爭辯道因為人類建立了人工智能系統，那麼完全沒有理由來支持這樣的假設，即我們是在製造一個旨在毀滅人類的機器。這個沒有抓住辯論要點，即哪個是邪惡意圖，在設計者這一邊還是代中間者這一邊，這是存在存亡威脅的先決條件，這個問題也就是錯誤設定了對象。這將永遠不會發生。
為什麼人們會突然對人工智能如此擔心
從 2014 年開始，媒體就定期地報道如 Stephen Hawking、 Elon Musk、 Steve Wozniak and Bill Gates 那樣名人的對人工智能的擔憂。這些報道通常引用那些最絕望話語並省略實質擔心的深層原因，通常就像「什麼是人工智能現存風險」那樣的問題。在許多情況下，擔憂就是在閱讀 Nick Bostrom 的書籍超智能（*Superintelligence*）之後產生的。另外一些當下關心這個問題的潮流也是因為人工智能的發展正在加速。這種加速可能是很多因素的集合，包括逐步完善的理論基礎，它連接了很多的人工智能領域成為一個統一的整體。還有學術實驗室能產出達到能夠應用並解決現實世界的實際問題在人工智能方向商業投資的急劇增加也作為。
常見誤解
- 如果人們是擔心超人工智能就在某個角落，那麼基本上人工智能研究者很少認為超智能機器就在我們周圍某個角落。這並不暗示著我們應該等著，直到這個問題變得很嚴重！如果我們發現直徑 10 英里的小行星將於 50 年後撞向地球，我們難道能夠不消滅它並聲稱「我們會在五年的時候去關注它」？
人工智能在接下來的幾十年裡會取得怎樣的進步
這個領域好像並不要求人類級的通用人工智能能夠達到成熟，而製造一些可信賴的高質量的產品也許在下個十年內有能實現。這就包括了語音識別、從簡單的實際材料中提煉信息、對物體和行為的視覺識別、日常事物的機器人操作和自動駕駛。努力提升質量和擴展文本與視頻的理解系統能製造更強勁的家用機器人，產生更為廣泛有用的機器人，它能展示常識知識系統，一起學習並在遍歷所有形式後表現得更好。還存在獲取和組織科學知識的專業系統，它能管理複雜假說並可能對分子生物學、系統生物學和製藥方面產生重大的影響。我們也許也會看到它在社會科學和政策制定有相同的影響，特別是在給它關於人類活動巨量的機器可讀性數據之後，並如果機器是很可靠有用的，那麼人們同樣也需要機器去理解人類價值。公共和私人知識源，也就是知道和推理真實世界的系統，它不僅僅是數據的倉庫，它會成為社會的組成部分。
什麼是「價值定位（value alignment）」？它有什麼要緊的？
價值定位（Value alignment）就是校準人機關係具體目標價值的任務，所以機器最優選擇大概來說就是無論做什麼都是最大化人類的幸福感。如果沒有價值定位，那麼超脫人類掌控的超智能機器的出現就是不可忽視的風險。
常見誤解
- 「我們所有需要的就是阿西莫夫定律（Asimov's laws）」。阿西莫夫定律本質上就是一些條款：它們給人類創造出各種故事情節提供靈感，但是基本對約束機器人沒有什麼有用的信息，因為它沒有更多具體的細節。它們的基本結構為一組規則而不是效用函數，這是很有問題的：它們的詞典式結構（例如任何對人類的傷害是比所有機器人的損害還要嚴格重要地多）意味著沒有給不確定性或權衡留下空間。也許機器人只為了拍死一隻在以後可能叮咬人類的蚊子會跳出懸崖毀滅了自己。另外，它也許會鎖上人類汽車的門，因為坐車會提高人類受傷的可能性。最後，基於最大化人類效用的方法，對於第三條法則是沒有必要的（機器人自我保護），因為機器人不保證自身的存在是不能為人類效用做出貢獻的，還會令其擁有者十分失望。
對於存在主義風險（existential risk），人工智能社區做了什麼？
許多關於人工智能的存在主義風險的討論都是處於人工智能社區主流之外的，它們是從人工智能研究最初到最主要的反動力。在 2008 年的時候，AAAI（美國人工智能學會）就舉行了個座談會來討論這個問題。座談會中期報告就指出了存在的一些長期問題，並降低了一些人工智能對人類社會風險的想法。最近，在 2015 年 1 月 Puerto Rico 由 Future of Life Institute 主辦的會議上，參會者和隨後參加者共六千多人共同簽署了一份公開信，強烈呼籲應該有關注這些風險問題的研究和提出一個更加詳細的研究議程。隨後，Elon Musk 為支持這方面的研究而拿出了 1000 萬美元。另外，Eric Horvitz 已經建立個期望追蹤風險問題並在需要時給出政策建議的長期研究。最後還有 AAAI 也已經建立了一個關注人工智能影響和倫理問題（Impact of AI and Ethical Issues）的常務委員會。
常見誤解
- 「規約或控制研究是不可能的」。有些人辯稱沒辦法避免消極後果，因為研究進展是無法停止和規約的。實際上這種聲稱本身就是錯誤的：在 1975 年關於基因重組的阿西洛馬會議（Asilomar Conference）就成功地發起自願活動中止了設計製造人類遺傳性基因修飾，並一直持續成為了國際準則。另外，如果實現人類級的人工智能研究未加抑制（這個是很可能出現的），那麼在方法上開始謹慎地研究確保人工智能系統在我們掌控下是十分重要的。
我能做點什麼？
如果你是一個人工智能研究者（或對這方面感興趣的經濟學家、倫理學家、政治學者、未來主義者和律師），從 2015 年波多黎各會議（Puerto Rico conference）在研究議程中就已經興起了一個主題，即在主要的人工智能會議上會舉行相應的研討會，比如說 AAAI Fall 和 Spring Symposium series 等等。FHI、CSER、 FLI 和 MIRI 網站都有更多的信息。
常見誤解
- 「完成這些是沒什麼困難的」。我們不管做什麼都無法改變未來，這些事都終將發生。也沒有什麼能離真相更近一點的，我們不能預測未來，因為我們正在創造未來，這是我們集體的選擇。
閱讀更多 考拉悠然科技 的文章
