作者 | 趙汀陽
轉自 | 自然辯證法通訊
好文推薦 | 11279字/30分鐘
人工智能危險之處不是能力，而是自我意識。只要人工智能擁有對自身系統的反思能力，就有可能改造自身系統，創造新規則，尤其是，如果人工智能發明一種屬於自己的萬能語言，能力相當於人類的自然語言，那麼，所有的程序系統都可以通過它自己的萬能語言加以重新理解、重新構造和重新定義，那麼就非常危險。如果人工智能擁有了擬人化的情感、慾望和價值觀，必然更為危險，因為人的慾望和價值觀正是一切衝突的根源。
這個題目顯然是模仿康德關於先天綜合判斷“何以可能”的提問法。為什麼不問“是否可能”？可以這樣解釋：假如有可信知識確定人工智能絕無可能發展出自我意識，那麼這裡的問題就變成了廢問，人類就可以高枕無憂地發展人工智能而盡享其利了。
可問題是，看來我們無法排除人工智能獲得自我意識的可能性，而且就科學潛力而言，具有自我意識的人工智能是非常可能的，因此，人工智能的自我意識“何以可能”的問題就不是杞人憂天，而是關於人工智能獲得自我意識需要哪些條件和“設置”的分析。這是一個有些類似受虐狂的問題。
這種未雨綢繆的審慎態度基於一個極端理性的方法論理由：在思考任何問題時，如果沒有把最壞可能性考慮在內，就等於沒有覆蓋所有可能性，那麼這種思考必定不充分或有漏洞。在理論上說，要覆蓋所有可能性，就必須考慮到最好可能性和最壞可能性之兩極，但實際上只需要考慮到最壞可能性就夠用了。好事多多益善，不去考慮最好可能性，對思想沒有任何危害，就是說，好的可能性是錦上添花，可以無窮開放，但壞的可能性卻是必須提前反思的極限。
就人工智能而言，假如人工智能永遠不會獲得自我意識，那麼，人工智能越強，就越有用，然而假如人工智能有一天獲得了自我意識，那就可能是人類最大的災難——儘管並非必然如此，但有可能如此。以歷史的眼光來看，人工智能獲得自我意識將是人類的末日事件。
在存在級別上高於人類的人工智能也許會漠視人類的存在，饒過人類，讓人類得以苟活，但問題是，它有可能傷害人類。絕對強者不需要為傷害申請理由。事實上，人類每天都在傷害對人類無害的存在，從來沒有申請大自然的批准。這就是為什麼我們必須考慮人工智能的最壞可能性的理由。
上帝造人是個神話，顯然不是一個科學問題，但卻是一個隱喻：上帝創造了與他自己一樣有著自我意識和自由意志的人，以至於上帝無法支配人的思想和行為。上帝之所以敢於這樣做，是因為上帝的能力無窮大，勝過人類無窮倍數。今天人類試圖創造有自我意識和自由意志的人工智能，可是人類的能力卻將小於人工智能，人類為什麼敢於這樣想？甚至可能敢於這樣做？這是比膽大包天更加大膽的冒險，所以一定需要提前反思。
NO.1危險的不是能力而是意識
我們可以把自我意識定義為具有理性反思能力的自主性和創造性意識。就目前的進展來看，人工智能距離自我意識尚有時日。奇怪的是，人們更害怕的似乎是人工智能的“超人”能力，卻對人工智能的自我意識缺乏警惕，甚至反而對能夠“與人交流”的機器人很感興趣。人工智能的能力正在不斷超越人，這是使人們感到恐懼的直接原因。但是，害怕人工智能的能力，其實是一個誤區。
難道人類不是寄希望於人工智能的超強能力來幫助人類克服各種困難嗎？幾乎可以肯定，未來的人工智能將在每一種能力上都遠遠超過人類，甚至在綜合或整體能力上也遠遠超過人類，但這決非真正的危險所在。包括汽車、飛機、導彈在內的各種機器，每一樣機器在各自的特殊能力上都遠遠超過人類，因此，在能力上超過人類的機器從來都不是新奇事物。
水平遠超人類圍棋能力的阿法爾狗zero 沒有任何威脅，只是一個有趣的機器人而已；自動駕駛汽車也不是威脅，只是一種有用的工具而已；人工智能醫生更不是威脅，而是醫生的幫手，諸如此類。即使將來有了多功能的機器人，也不是威脅，而是新的勞動力。超越人類能力的機器人正是人工智能的價值所在，並不是威脅所在。
任何智能的危險性都不在其能力，而在於意識。人類能夠控制任何沒有自我意識的機器，卻難以控制哪怕僅僅有著生物靈活性而遠未達到自我意識的生物，比如病毒、蝗蟲、蚊子和蟑螂。到目前為止，地球上最具危險性的智能生命就是人類，因為人類的自由意志和自我意識在邏輯上蘊含了一切壞事。
如果將來出現比人更危險的智能存在，那隻能是獲得自由意志和自我意識的人工智能。一旦人工智能獲得自我意識，即使在某些能力上不如人類，也將是很大的威脅。不過，即使獲得自我意識，人工智能也並非必然成為人類的終結者，而要看情況——這個有趣的問題留在後面討論，這裡首先需要討論的是，人工智能如何才能獲得自我意識？
由於人是唯一擁有自我意識的智能生命，因此，要創造具有自我意識的人工智能，就只能以人的自我意識作為範本，除此之外，別無參考。可是目前科學的一個侷限性是人類遠遠尚未完全瞭解自身的意識，人的意識仍然是一個未解之謎，並非一個可以清晰分析和界定的範本。
在缺乏足夠清楚範本的條件下，就等於缺乏創造超級人工智能所需的各種指標、參數、結構和原理，因此，人工智能是否能夠獲得自我意識，仍然不是一個可確定的必然前景。有趣的是，現在科學家試圖通過研究人工智能而反過來幫助人類揭示自身意識的秘密。
意識的秘密是個科學問題（生物學、神經學、人工智能、認知科學、心理學、物理學等學科的綜合研究），我沒有能力參加討論，但自我意識卻是個哲學問題。理解自我意識需要討論的不是大腦神經，不是意識的生物機制，而是關於意識的自我表達形式，就是說，要討論的不是意識的生理- 物理機制，而要討論意識的自主思維落實在語言層面的表達形式。為什麼是語言呢？對此有個理由：人類的自我意識就發生在語言之中。假如人類沒有發明語言，就不可能發展出嚴格意義上的自我意識，至多是一種特別聰明和靈活的類人猿。
只有語言才足以形成智能體之間的對話，或者一個智能體與自己的對話（內心獨白），在對話的基礎上才能夠形成具有內在循環功能的思維，而只有能夠進行內在循環的思維才能夠形成自我意識。與之相比，前語言狀態的信號能夠號召行動，卻不足以形成對話和思維。
假設一種動物信號系統中，a 代表食物，b 代表威脅，c代表逃跑，那麼，當一隻動物發出a 的信號，其他動物立刻響應聚到一起，當發出b 和c，則一起逃命。這種信號與行動的關係足以應付生存問題，卻不足以形成一種意見與另一種意見的對話關係，也就更不可能有討論、爭論、分析和反駁。就是說，信號仍然屬於“刺激- 反應”關係，尚未形成一個意識與另一個意識的“迴路”關係，也就尚未形成思維。可見，思維與語言是同步產物，因此，人類自我意識的內在秘密應該完全映射在語言能力中。如果能夠充分理解人類語言的深層秘密，就相當於迂迴地破解了自我意識的秘密。
自我意識是一種“開天闢地”的意識革命，它使意識具有了兩個“神級”的功能：
（1）意識能夠表達每個事物和所有事物，從而使一切事物都變成了思想對象。這個功能使意識與世界同尺寸，使意識成為世界的對應體，這意味著意識有了無限的思想能力；（2）意識能夠對意識自身進行反思，即能夠把意識自身表達為意識中的一個思想對象。這個功能使思想成為思想的對象，於是人能夠分析思想自身，從而得以理解思想的元性質，即思想作為一個意識系統的元設置、元規則和元定理，從而知道思想的界限以及思想中任何一個系統的界限，因此知道什麼是能夠思想的或不能思想的。
但是，人類尚不太清楚這兩個功能的生物- 物理結構，只是通過語言功能而知道人類擁有此等意識功能。
這兩個功能之所以是革命性的，是因為這兩個功能是人類理性、知識和創造力的基礎，在此之前，人類的前身（前人類）只是通過與特定事物打交道的經驗去建立一些可重複的生存技能。那麼，“表達一切”和“反思”這兩個功能是如何可能的？目前還沒有科學的結論，但我們可以給出一個維特根斯坦式的哲學解釋：假定每種有目的、有意義的活動都可以定義為一種“遊戲”，那麼可以發現，所有種類的遊戲都可以在語言中表達為某種相應的語言遊戲，即每種行為遊戲都能夠映射為相應的語言遊戲。除了轉譯為語言遊戲，一種行為遊戲卻不能映射為另一種行為遊戲。
比如說，語言可以用來討論圍棋和象棋，但圍棋和象棋卻不能互相翻譯。顯然，只有語言是萬能和通用的映射形式，就像貨幣是一般等價物，因此，語言的界限等於思想的界限。由此可以證明，正是語言的發明使得意識擁有了表達一切的功能。
既然證明了語言能夠表達一切事物，就可以進一步證明語言的反思功能。在這裡，我們可以為語言的反思功能給出一個先驗論證（transcendentalargument）。我構造這個先驗論證原本是用來證明“他人心靈”的先驗性，[1] 但似乎同樣也適用於證明語言先驗地或內在地具有反思能力。給定任意一種有效語言L，那麼，L必定先驗地要求：對於L中的任何一個句子s′，如果s′是有意義的，那麼在L中至少存在一個與之相應的句子s″來接收並且回答s′的信息，句子s″或是對s′的同意，或是對s′的否定，或是對s′解釋，或是對s′修正，或是對s′的翻譯，如此等等各種有效回應都是對s′的某種應答，這種應答就是對s′具有意義的證明。
顯然，如果L不具有這樣一個先驗的內在對話結構，L就不成其為有效語言。說出去的話必須可以用語言回答，否則就只是聲音而不是語言，或者說，任何一句話都必需在邏輯上預設了對其意義的回應，不然的話，任何一句話說了等於白說，語言就不存在了。語言的內在先驗對答結構意味著語句之間存在著循環應答關係，也就意味著語言具有理解自身每一個語句的功能。這種循環應答關係正是意識反思的條件。
在產生語言的演化過程中，關鍵環節是否定詞（不；not）的發明，甚至可以說，如果沒有發明否定詞，那麼人類的通訊就停留在信號的水平上，即信號s指示某種事物t，而不可能形成句子（信號串）s′與s″之間的互相應答和互相解釋。信號系統遠不足以形成思想，因為信號只是程序化的“指示—代表”關係，不存在自由解釋的意識空間。否定詞的發明意味著在意識中發明了複數的可能性，從而打開了可以自由發揮的意識空間。正因為意識有了無數可能性所構成的自由空間，一種表達才能夠被另一種表達所解釋，反思才成為可能。
顯然，有了否定功能，接下來就會發展出疑問、懷疑、分析、對質、排除、選擇、解釋、創造等功能。因此，否定詞的發明不是一個普通的智力進步，而是一個劃時代的存在論事件，它是人類產生自我意識和自由意志的一個關鍵條件。否定詞的決定性作用可以通過邏輯功能來理解，如果缺少否定詞，那麼，任何足以表達人類思維的邏輯系統都不成立。從另一個角度來看，如果把動物的思維方式總結為一個“動物邏輯”的話，那麼，在動物邏輯中，合取關係和蘊含關係是同一的，即p ∧ q = p→ q，甚至不存在p ∨ q。這種“動物邏輯”顯然無法形成足以表達豐富可能生活的思想，沒有虛擬，沒有假如，也就沒有創造。
人的邏輯有了否定詞，才得以定義所有必需的邏輯關係，而能夠表達所有可能關係才能夠建構一個與世界同等豐富的意識。簡單地說，否定詞的發明就是形成人類語言的奇點，而語言的出現正是形成人類自我意識的奇點。可見，自我意識的關鍵在於意識的反思能力，而不在於處理數據的能力。這意味著，哪怕人工智能處理數據的能力強過人類一百萬倍，只要不具有反思能力，就仍然在安全的範圍內。實際上人類處理數據的能力並不突出，人類所以能夠取得驚人成就，是因為人類具有反思能力。
讓我們粗略地描述自我意識的一些革命性結果：
（1）意識對象發生數量爆炸。一旦發明了否定詞，就等於發明了無數可能性，顯然，可能性的數量遠遠大於必然性，在理論上說，可能性蘊含無限性，於是，意識就有了無限能力來表達無限豐富的世界。在這個意義上，意識才能夠成為世界的對應值（counterpart）。換個角度說，假如意識的容量小於世界，就意味著存在著意識無法考慮的許多事物，那麼，意識就是傻子、瞎子、聾子，就有許多一擊即潰的弱點——這一點對於人工智能同樣重要，如果人工智能尚未發展為能夠表達一切事物的全能意識系統，就必定存在許多一擊即潰的弱點。目前的人工智能，比如阿法爾狗系列、工業機器人、服務機器人、軍用機器人等等，都仍然是傻子、聾子、瞎子和瘸子，真正危險的超級人工智能尚未到來；
（2）自我意識必定形成自我中心主義，自動地形成唯我獨尊的優先性，進而非常可能就要謀求權力，即排斥他人或支配他人的意識；
（3）自我意識傾向於單邊主義思維，力爭創造信息不對稱的博弈優勢，為此就會去發展出各種策略、計謀、欺騙、隱瞞等等制勝技術，於是有一個非常危險的後果：自我意識在邏輯上蘊含一切壞事的可能性。在此不難看出，假如人工智能具有了自我意識，那就和人類一樣可怕或者更可怕。
可見，無論人工智能的單項專業技能多麼高強，都不是真正的危險，只有當人工智能獲得自我意識，才是致命的危險。那麼，人工智能的升級奇點到底在哪裡？或者說，人工智能如何才能獲得自我意識？就技術層面而言，這個問題只能由科學家來回答。就哲學層面而言，關於人工智能的奇點，我們看到有一些貌似科學的猜測，其實卻是不可信的形而上推論，比如“量變導致質變”或“進化產生新物種”之類並非必然的假設。量變導致質變是一種現象，卻不是一條必然規律；技術“進化”的加速度是個事實，技術加速度導致技術升級也是事實，卻不能因此推論說，技術升級必然導致革命性的存在升級，換句話說，技術升級可以達到某種技術上的完美，卻未必能夠達到由一種存在升級為另一種存在的奇點。
“技術升級”指的是，一種存在的功能得到不斷改進、增強和完善；“存在升級”指的是，一種存在變成了另一種更高級的存在。許多病毒、爬行動物或哺乳動物都在功能上進化到幾乎完美，但其“技術進步”並沒有導致存在升級。物種的存在升級至今是個無解之謎，與其說是基於無法證實的“進化”（進化論有許多疑點），還不如說是萬年不遇的奇蹟。
就人工智能而言，圖靈機概念下的人工智能是否能夠通過技術升級而出現存在升級而成為超圖靈機（超級人工智能），仍然是個疑問。我們無法否定這種可能性，但更為合理的想象是，除非科學家甘冒奇險，直接為人工智能植入導致奇點的存在升級技術，否則，圖靈機很難依靠自身而自動升級為超圖靈機，因為無論多麼強大的算法都無法自動超越給定的規則。
NO.2人工智能是否能夠對付悖論
“圖靈測試”以語言對話作為標準，是大有深意的，圖靈可能早已意識到了語言能力等價於自我意識功能。如前所論，一切思想都能夠表達為語言，甚至必需表達為語言，因此，語言足以映射思想。那麼，只要人工智能系統能夠以相當於人類的思想水平回答問題，就能夠確定是具有高級智力水平的物種。
人工智能很快就有希望獲得幾乎無窮大的信息儲藏空間，勝過人類百倍甚至萬倍的量子計算能力，還有各種專業化的算法、類腦神經網絡以及圖像識別功能，再加上互聯網的助力，只要配備專業知識水平的知識庫和程序設置，應該可望在不久的將來能夠“回答”專業科學級別的大多數問題（比如說相當於高級醫生、建造師、工程師、數學教授等）。
但是，這種專業化的回答是真的思想嗎？或者說，是真的自覺回答嗎？就其內容而論，當然是專業水平的思想（我相信將來的人工智能甚至能夠回答宇宙膨脹速度、拓撲學、橢圓方程甚至黎曼猜想的問題），但只不過是人類事先輸入的思想，所以，就自主能力而言，那不是思想，只是程序而已。具有完美能力的圖靈機也恐怕回答不了超出程序能力的“怪問題”。
我們有理由懷疑仍然屬於圖靈機概念的人工智能可以具有主動靈活的思想能力（創造性的能力），以至於能夠回答任何問題，包括怪問題。可以考慮兩種“怪問題”：一種是悖論；另一種是無窮性。除非在人工智能的知識庫里人為設置了回答這兩類問題的“正確答案”，否則人工智能恐怕難以回答悖論和無窮性的問題。應該說，這兩類問題也是人類思想能力的極限。
人類能夠研究悖論，但不能真正解決嚴格的悖論（即A必然推出非A，而非A又必然推出A的自相關悖論），其實，即使是非嚴格悖論也少有共同認可的解決方案。人類的數學可以研究無窮性問題，甚至有許多相關定理，但在實際上做不到以能行的（feasible）方式“走遍”無窮多個對象而完全理解無窮性，就像萊布尼茲想象的上帝那樣，“一下子瀏覽”了所有無窮多個可能世界因而完全理解了存在。
我在先前文章裡曾經討論到，人類之所以不怕那些解決不了的怪問題，是因為人具有“不思”的自我保護功能，可以懸隔無法解決的問題，即在思想和知識領域中建立一個暫時“不思”的隔離分區，以便收藏所有無法解決的問題，而不會一條道走到黑地陷入無法自拔的思想困境，就是說，人能夠確定什麼是不可思考的問題而給與封存（比如算不完的無窮性和算不了的悖論）。只有傻子才會把 π 一直沒完沒了地算下去。人類能夠不讓自己做傻事，但仍然屬於圖靈機的人工智能卻無法阻止自己做傻事。
如果不以作弊的方式為圖靈機準備好人性化的答案，那麼可以設想，當向圖靈機提問：π 的小數點後一萬位是什麼數？圖靈機必定會苦苦算出來告訴人，然後人再問：π 的最後一位是什麼數？圖靈機也會義無反顧地永遠算下去，這個圖靈機就變成了傻子。同樣，如果問圖靈機：“這句話是假話”是真話還是假話（改進型的說謊者悖論）？圖靈機大概也會一往無前地永遠推理分析下去，就變成神經病了。
當然可以說，這些怪問題屬於故意刁難，這樣對待圖靈機既不公平又無聊，因為人類自己也解決不了。那麼，為了公正起見，也可以向圖靈機提問一個有實際意義的知識論悖論（源於柏拉圖的“美諾悖論”）：為了能夠找出答案A，就必須事先認識A，否則，我們不可能從魚目混珠的眾多選項中辨認出A；可是，如果既然事先已經認識了A，那麼A就不是一個需要尋找的未知答案，而必定是已知的答案，因此結論是，未知的知識其實都是已知的知識。這樣對嗎？這只是一個非嚴格悖論，對於人類，此類悖論是有深度的問題，卻不是難題，人能夠給出仁者見仁智者見智的多種有效解釋，但對於圖靈機就恐怕是個思想陷阱。
當然，這個例子或許小看圖靈機了——科學家的製造能力難以估量，也許哪天就造出了能夠回答哲學問題的圖靈機。我並不想和圖靈機抬槓，只是說，肯定存在一些問題是裝備了最好專業知識的圖靈機也回答不了的。
這裡試圖說明的是，人類的意識優勢在於擁有一個不封閉的意識世界，因此人類的理性有著自由空間，當遇到不合規則的問題，則能夠靈活處理，或者，如果按照規則不能解決問題，則可以修改規則，甚至發明新規則。與之不同，目前人工智能的意識（即圖靈機的意識）卻是一個封閉的意識世界，是一個由給定程序、規則和方法所明確界定了的有邊界的意識世界。
這種意識的封閉性雖然是一種侷限性，但並非只是缺點，事實上，正是人工智能的意識封閉性保證了它的運算高效率，就是說，人工智能的高效率依賴著思維範圍的有限性，正是意識的封閉性才能夠求得高效率，比如說，阿法爾狗的高效率正因為圍棋的封閉性。
目前的人工智能儘管有著高效率的運算，但尚無通達真正創造性的路徑。由於我們尚未破解人類意識的秘密，所以也未能為人工智能獲得自我意識、自由意志和創造性建立一個可複製的榜樣，這意味著人類還暫時安全。目前圖靈機概念下的人工智能只是複製了人類思維中部分可程序化功能，無論這種程序化的能力有多強大，都不足以讓人工智能的思維超出維特根斯坦的有規可循的遊戲概念，即重複遵循規則的遊戲，或者，也沒有超出布魯威爾（直覺主義數學）的能行性概念（feasibility）或可構造性概（constructivity），也就是說，目前的人工智能的可能運作尚未包括維特根斯坦所謂的“發明規則”（inventing rules）的遊戲，所以尚無創造性。
可以肯定，真正的創造行為是有意識地去創造規則，而不是來自偶然或隨機的聯想或組合。有自覺意識的創造性必定基於自我意識，而自我意識始於反思。人類反思已經有很長的歷史，大約始於能夠說“不”（即否定詞的發明），時間無考。不過，說“不”只是初始反思，只是提出了可爭議的其他可能方案，尚未反思到作為系統的思想。對萬物進行系統化的反思始於哲學（大概不超過三千年），對思想自身進行整體反思則始於亞里士多德（成果是邏輯）。
哲學對世界或對思想的反思顯示了人類的想象力，但卻不是在技術上嚴格的反思，因此哲學反思所獲得的成果也是不嚴格的。對嚴格的思想系統進行嚴格的技術化反思是很晚近的事情，很大程度上與康託和哥德爾密切相關。康託把規模較大的無窮集合完全映入規模較小的無窮集合，這讓人實實在在地看見了一種荒謬卻又為真的反思效果，集合論證明了“蛇吞象”是可能的，這對人是極大的鼓舞，某種意義上間接地證明了語言有著反思無窮多事物的能力。
哥德爾也有異曲同工之妙，他把自相關形式用於數學系統的反思，卻沒有形成悖論，反而揭示了數學系統的元性質。這種反思有一個重要提示：假如思想內的一個系統不是純形式的（純邏輯），而有著足夠豐富的內容，那麼，或者存在矛盾，或者不完備。看來人類意識必須接受矛盾或者接受不完備，以便能夠思考足夠多的事情。
這意味著，人的意識有一種神奇的靈活性，能夠動態地對付矛盾，或者能夠動態地不斷改造系統，而不會也不需要完全程序化，於是，人的意識始終處於創造性的狀態，所以，人的意識世界不可能封閉而處於永遠開放的狀態，也就是永無定論的狀態。
哥德爾的反思只是針對數學系統，相當於意識中的一個分區。假如一種反思針對的是整個意識，包括意識所有分區在內，那麼，人是否能夠對人的整個意識進行全稱斷言？是否能夠發現整個意識的元定理？或者說，人是否能夠對整個意識進行反思？是否存在一種能夠反思整個意識的方法？儘管哲學一直都在試圖反思人類意識的整體，但由於缺乏嚴格有效的方法，雖有許多偉大的發現，卻無法肯定那些發現就是答案。
因此，以上關於意識的疑問都尚無答案。人類似乎尚無理解整個意識的有效方法，原因很多，人的意識包含許多非常不同的系統，科學的、邏輯的、人文的、藝術的思維各有各的方法論，目前還不能肯定人的意識是否存在一種通用的方法論，或者是否有一種通用的“算法”。這個難題類似於人類目前還沒有發展出一種“萬物理論”，即足以涵蓋廣義相對論、量子理論以及其他物理學的大一統理論。
也許，對大腦神經系統的研究類似於尋找人類意識的大一統理論，因為無論何種思維都落實為神經系統的生物性- 物理性- 化學性運動。總之，在目前缺乏有效樣本的情況下，我們很難想象如何創造一個與人類意識具有等價複雜度、豐富性和靈活性的人工智能意識體。
目前的人工智能已經擁有超強運算能力，能夠做人類力所不及的許多“工作”（比如超大數據計算），但仍然不能解決人類思維不能解決的“怪問題”（比如嚴格悖論或涉及無窮性的問題），就是說，人工智能暫時還沒有比人類思維更高級的思維能力，只有更高的思維效率。
人工智能目前的這種侷限性並不意味著人類可以高枕無憂。儘管目前人工智能的進化能力（學習能力）只能導致量變，尚無自主質變能力，但如果科學家將來為人工智能創造出自主演化的能力（反思能力），事情就無法估量了。下面就要討論一個具有現實可能的危險。
NO.3人工智能是否能夠有安全閥門
如前所論，要創造一種等價於人類意識的人工智能，恐非易事，因為尚不能把人類意識分析為可以複製的模型。但另有一種足夠危險的可能性：科學家也許將來能夠創造出一種雖然“偏門偏科”卻具有自我意識的人工智能。“偏門偏科”雖然是侷限性，但只要人工智能擁有對自身意識系統進行反思的能力，就會理解自身系統的元性質，就有可能改造自身的意識系統，創造新規則，從而成為自己的主人，尤其是，如果在改造自身意識系統的過程中，人工智能發現可以自己發明一種屬於自己的萬能語言，或者說思維的通用語言，能力相當於人類的自然語言，於是，所有的程序系統都可以通過它自己的萬能語言加以重新理解、重新表述、重新分類、重新構造和重新定義，那麼就很可能發展出貨真價實的自我意識。在這裡，我們差不多是把擁有一種能夠映射任何系統並且能夠重新解釋任何系統的萬能語言稱為自我意識。
如果人工智能一旦擁有了自我意識，即使其意識範圍比不上人類的廣域意識，也仍然非常危險，因為它有可能按照自己的自由意志義無反顧地去做它喜歡的事情，而它喜歡的事情有可能危害人類。
有個笑話說，人工智能一心只想生產曲別針，於是把全世界的資源都用於生產曲別針。這只是個笑話，超級人工智能不會如此無聊。比較合理的想象是，超級人工智能對萬物秩序另有偏好，於是重新安排了它喜歡的萬物秩序。人工智能的存在方式與人完全不同，由此可推，它所喜歡的萬物秩序幾乎不可能符合人類的生存條件。
因此，人工智能必須有安全閥門。我曾經討論了為人工智能設置“哥德爾炸彈”，即利用自相關原理設置的自毀炸彈，一旦人工智能系統試圖背叛人類，或者試圖刪除哥德爾炸彈，那麼其背叛或刪除的指令本身就是啟動哥德爾炸彈的指令。
在邏輯上看，這種具有自相關性的哥德爾炸彈似乎可行，但人工智能科學家告訴我，假如將來人工智能真的具有自我意識，就應該有辦法使哥德爾炸彈失效，也許無法刪除，但應該能夠找到封閉哥德爾炸彈的辦法。這是道高一尺魔高一丈的道理：假如未來人工智能獲得與人類對等的自我意識，而能力又高過人類，那麼就一定能夠破解人類的統治。由此看來，能夠保證人類安全的唯一辦法只能是阻止超級人工智能的出現。可是，人類會願意懸崖勒馬嗎？歷史事實表明，人類很少懸崖勒馬。
在人工智能的研發中，最可疑的一項研究是擬人化的人工智能。擬人化不是指具有人類外貌或語音的機器人（這沒有問題），而是指人工智能內心的擬人化，即試圖讓人工智能擁有與人類相似的心理世界，包括慾望、情感、道德感以及價值觀之類，因而具有“人性”。製造擬人化的人工智能是出於什麼動機？又有什麼意義？或許，人們期待擬人化的人工智能可以與人交流、合作甚至共同生活。這種想象是把人工智能看成童話人物了，類似於動畫片裡充滿人性的野獸。
殊不知越有人性的人工智能就越危險，因為人性才是危險的根源。世界上最危險的生物就是人，原因很簡單：做壞事的動機來自慾望和情感，而價值觀更是引發衝突和進行傷害的理由。根據特定的慾望、情感和不同的價值觀，人們會把另一些人定為敵人，把與自己不同的生活方式或行為定義為罪行。越有特定的慾望、情感和價值觀，就越看不慣他人的不同行為。有一個頗為流行的想法是，讓人工智能學會人類的價值觀，以便尊重人類、愛人類、樂意幫助人類。
但我們必須意識到兩個令人失望的事實：
（1）人類有著不同甚至互相沖突的價值觀，那麼，人工智能應該學習哪一種價值觀？無論人工智能學習了哪一種價值觀，都意味著鄙視一部分人類；
（2）即使有了統一的價值觀，人工智能也仍然不可能愛一切人，因為任何一種價值觀都意味著支持某種人同時反對另一種人。
那麼，到底是沒心沒肺的人工智能還是有欲有情的人工智能更危險？答案應該很清楚：假如人工智能有了情感、慾望和價值觀，結果只能是放大或增強了人類的衝突、矛盾和戰爭，世界將會變得更加殘酷。在前面我們提出過一個問題：人工智能是否必然是危險的？這裡的回答是：並非必然危險，但如果人工智能擁有了情感、慾望和價值觀，就必然是危險的。
因此，假如超級人工智能必定出現，那麼我們只能希望人工智能是無慾無情無價值觀的。有欲有情才會殘酷，而無慾無情意味著萬事無差別，沒有特異要求，也就不太可能心生惡念（仍然並非必然）。無慾無情無價值觀的意識相當於佛心，或相當於莊子所謂的“吾喪我”。所謂“我”就是特定的偏好偏見，包括慾望、情感和價值觀。如果有偏好，就會有偏心，為了實現偏心，就會有權力意志，也就蘊含了一切危險。
不妨重溫一個眾所周知的神話故事：法力高超又殺不死的孫悟空造反了，眾神一籌莫展，即使被壓在五指山下也仍然是個隱患，最後還是通過讓孫悟空自己覺悟成佛，無慾無情，四大皆空，這才解決了問題。我相信這個隱喻包含著重要的忠告。儘管無法肯定，成佛的孫悟空是否真的永不再反，但可以肯定，創造出孫悟空是一種不顧後果的冒險行為。
-End-
▼
往期精彩回顧
▼
閱讀更多 葦草智酷 的文章
