【導讀】伴隨著新技術的發展，人工智能將在諸多方面對人類生活產生重大影響。受啟蒙運動以來理性化個體主義的影響，人工智能的發育與矯變也在一定程度上反映出理性主義的傲慢。趙汀陽先生指出，對於人工智能的浪漫主義反思，已遠遠不能趕上人工智能的發展速度。無疑，人工智能作為人工塑造物，其有成為潛在社會主體的能力。一方面它將突破人性的侷限性，將適用一種更為簡單粗暴的社會運作方式，以使得文明社會重新野蠻化；另一方面，技術發展將塑造出作為絕對強者的人工智能系統，而它也可能造成新的社會失衡。但是，如果我們用人類思維減去人工智能思維，則會發現人工智能缺失反思能力、主動探索能力和創造力。而如果人工智能學會了人類的情感、慾望與價值觀，這個世界將更加危險。不過，作者有一種悲觀論調，即在人工智能成為世界統治者之前，人類可能已經死於人工智能所創造的一切好事。
本文發表於《文化縱橫》2020年第1期，文章僅代表作者觀點，供諸君思考。轉載只為轉播更有價值思想。如有侵權請聯繫小編刪除
人工智能提出了什麼哲學問題？
▍“以浪漫之心觀之，技術都有去魅之弊而導致精神貧乏”
遠在技術預示致命危險之前，敏感的思想家們就對技術的後果深感憂慮。眾所熟知，莊子謂“有機械者必有機事，有機事者必有機心”，應該是對技術的最早批判，其理由是，技術是投機取巧躲避勞動，違背自然之道，而投機取巧之心必定心懷叵測。莊子的技術批判在尚未溫飽的時代幾乎不可理喻，但在理論上卻有難以置信的前瞻性。當現代技術開始明顯地消解生活意義之時，人們對技術開始了嚴重的批判。韋伯指出技術導致自然的“去魅”，即技術剝奪了一切事物的精神性，除了工具或經濟價值，任何事物都失去內在價值。海德格爾進一步發現，技術導致生活詩意的消失，不僅是美學經驗的退化，更是對存在的遮蔽，當失去印證存在的本真方式，生活就失去依據，精神無家可歸。這些批判雖有形而上的深度，但限於浪漫主義理解。在技術中樂不思蜀的人們並不擔心失去對存在本身的虛無縹緲理解，也未必為此感到遺憾。
前現代的生活或許比現代更有詩意，也更有真實感和精神依據，所以古代人更多地感慨命運，而不會像現代人那樣迷惑於找不到“生活的意義”。在一次私下討論中，李澤厚老師說，解決了溫飽問題之後，生活就很容易失去確定的意義，或者說，超越了生存所需就很難確定什麼是無疑的生活意義了。這個激進唯物主義的見解令人心驚，其中確有灼見，但我仍然願意相信，在生存需要之外肯定存在著精神性的生活意義，以至於有人為之捨生忘死。古代人有著更多捨生忘死的精神理由，那時萬物都有賦魅的傳說，事事具有精神性。毫無疑問，嫦娥的月亮一定比阿姆斯特朗的月亮更有魅力。
老一代的技術批判都具有某種懷舊色彩，都認為技術破壞了生活的精神性。的確如此，然而無可否認的是，現代技術創造了對於生活極其重要的無數事物，比如青黴素等抗生素、外科手術、疫苗接種、抽水馬桶、供暖系統、自來水系統、電燈等等，還有許多便利工具如汽車、火車、飛機、電腦之類。以浪漫主義之心觀之，技術都有去魅之弊而導致精神貧乏。但我記得李澤厚問過一個類似於羅爾斯無知之幕的問題：如果不能選擇人物角色，你會選擇什麼時代？難道會選擇古代嗎？對這個超現實主義問題真是無言以對，但這個問題提醒了一個事實：人性傾向於貪圖便利省力、擺脫勞動、安逸享受和物質利益，因此絕大多數人寧可選擇物質高於精神的技術化生活。老一代技術批判想象的人們“原有的”詩情畫意生活同時也是艱難困苦的生活，什麼樣的精神才能拯救飢餓的肉體呢？當然也可以反過來問，物質能變精神嗎？顯然，物質是問題，精神也是問題。
老一代的技術批判揭發了技術對精神的傷害，卻尚未觸及技術的終極危險所在，在今天，我們已經可以想象技術對生存的根本挑戰。可以模仿馬克思說：哲學家只是不同地批判了技術，可問題是，技術改變了世界。
▍人工智能是否將導致文明野蠻化？
當技術問題同時成為存在論問題，真正要命的可能性就顯現出來了。
存在論一向受制於單數主體的知識論視域（horizon），即以人的視域來思考存在，而且默認人的視域是唯一的主體視域，所以，存在論從來沒有超越知識論。基於人類知識論的自信，康德才敢於宣稱人為自然立法。也可以循環論證地說，人是自然的立法者，所以人的視域是唯一視域。不過，人們曾經在神學上設想了高於人的絕對視域，比如萊布尼茨論證了上帝能夠一覽無窮多的所有可能世界。然而，這種理論上的絕對視域無法為人所用，人不可能想象看清無窮多可能世界的絕對視域到底什麼樣。人能夠有效使用的唯一視域還是人的主體性視域，如維特根斯坦所言，這是思想的界限。
思想沒有能力超越自身，就像眼睛看不見眼睛自身（維特根斯坦的比喻），但思想做不到的事情卻在實踐中可能實現。人工智能就有可能成長為另一種主體，另一種立法者，或者另一種眼睛。這意味著一個存在論鉅變：單向的存在論有可能變成雙向的存在論（甚至是多向的）。世界將不僅僅屬於一種主體的視域，而可能屬於兩種以上的主體，甚至屬於非人類的新主體。人工智能一旦發展為新主體，世界將進入新的存在論。
人工智能有著多種定義。科學上通常將屬於圖靈機概念的人工智能標誌為AI，將等價於人類智能的人工智能稱為AGI（通用人工智能，artificial general intelligence），而全面超越人類智能的高端智能稱為SI（超級智能，super intelligence）。
這個科學分類描述的是在技術上可測量的智能級別，但我們試圖討論智能的哲學性質，即是否具備“我思”的主體性，因此，請允許我在這裡將人工智能按照其哲學性質進行劃分，一類稱為AI，即尚未達到笛卡兒“我思”標準的非反思性人工智能，覆蓋範圍與科學分類的AI大致相同，即屬於圖靈機概念（包括單一功能的人工智能，例如阿爾法狗，以及尚未成功的複雜功能人工智能）；另一類稱為ARI，即達到或超越笛卡兒“我思”標準的反思性人工智能（artificial reflexive intelligence）。ARI約等於超級人工智能，或超圖靈機，我也稱之為“哥德爾機”，以表示具有反思自身系統的能力。
需要注意的是，ARI必定包括但不一定成為AGI或SI，這意味著，ARI未必具備人類的每一種才能，但必須具有自主的反思能力以及修改自身系統的能力，於是就具有自律自治的主體性，就成為無法支配的他者之心，也就成為世界上的另一種主體。
以主體性為準的分類試圖突出地表達人工智能的可能質變，即奇點。目前看來，人工智能發生質變的奇點還很遙遠，預言家們往往誇大其詞，但問題是，人工智能的奇點是可能發生的。智能的要害不在於運算能力，而在於反思能力。人的主體性本質在於反思能力，沒有反思能力就不是思維主體。如果人工智能沒有反思能力，那麼，運算能力越強就對人類越有用，而且沒有致命危險，比如AlphaGo Zero運算能力雖強卻不是對人的威脅。反過來說，即使人工智能在許多方面弱於人，但只要具備反思能力，就形成了具有危險性的主體。假設有一種人工智能缺乏人類的大多數技能，既不會生產糧食也不會生產石油，如此等等，只會製造和使用先進武器，而它卻發展出了自主反思能力，那麼後果可想而知。至今人工智能只具有算法能力或類腦的神經反應能力，尚無反思功能，甚至不能肯定是否能夠發展出反思功能，仍然屬於安全機器，即使將來可能出現的多用途並且具有靈活反應能力的人工智能，只要缺乏反思功能，就仍然不是新主體，而只是人類的最強助手。
大多數技術都只是增強或擴展人類能力，比如生產工具和製造工具的機器，從蒸汽機到發電機，從汽車、飛機到飛船，還有電話、電腦、互聯網到量子科技等等，圖靈機人工智能也屬於此類。無論技術多麼強大，只要技術系統本身沒有反思能力，就沒有存在論級別的危險。從樂觀主義來看，此類技術所導致的社會、文化或政治問題仍然屬於人類可控範圍。當然其中存在一些高風險甚至惡意的技術，比如核電站就是高風險的，至今尚無處理核廢料的萬全之策，又如核武器，其功能是大規模屠殺。人工智能和基因技術的發展卻在超出增強能力的概念，正在變成改變物種或創造新物種的技術，就蘊含著人類無力承擔的風險。儘管“神一般的”能力目前只是理論上的可能性，但已經先於實踐提出了新的存在論問題，也連帶提出了新的知識論和新的政治問題。需要注意的是，這些新的哲學問題並不是傳統哲學問題的升級版，而是從未遭遇的新問題，因此，傳統哲學對技術的批判，包括莊子、韋伯和海德格爾之類，基本上無效，甚至與新問題不相干，就是說，人文主義的倫理觀或價值觀對於技術新問題基本上文不對題。
人工智能和基因技術都提出了挑戰人的概念的存在論問題，但相比之下，人工智能的危險性似乎大過基因技術。人工智能是真正的創造物，因此完全不可測，而基因技術是物種改良，應該存在自然限度。這個斷言基於一個難以證明卻可能為真的信念：對於一個整體性和封閉性的系統來說，內部因素的革命能力不能超越整體預定的物理或生物限度，假如內部變化一旦超出整體限度，就是系統崩潰。在這裡意味著，基因技術的革命性不可能超越生命的生物限度。也許基因技術能夠成為物種優化的方法，但無論什麼物種，作為生命都有其整體所允許的變化極限。基因技術是否真的能夠使人長生不老，仍是未知數。據說某些爬行類或魚類生長緩慢而長壽，或如燈塔水母甚至有返老還童的特異功能以至於好像萬壽無疆，但那些非常長壽的生物都是智力極低的，這是個令人失望的暗示。如果對人進行根本性的基因改造，是否會引起生命系統的崩潰？比如說，大腦或免疫系統會不會崩潰？試圖通過基因技術將人徹底改造為神一般的全新物種，在生物學上似乎不太合理。更現實的問題是，基因優化哪怕是有限的就已經非常可能導致社會問題的惡化，以至於導致人類集體災難，在此不論。
就創造新物種的能力而言，人工智能比基因技術更危險。人工智能一旦突破奇點，就創造了不可測的新主體，而對於新主體，傳統一元主體的知識、視域和價值觀將會破產，而二元主體（甚至多元主體）的世界還很難推想。儘管許多科幻作品想象了恐怖的機器人或外星人而使人得到受虐的快感，但人類對技術化的未來並沒有認真的思想或心理準備。且不說遙遠的二元主體世界，即使對近在眼前的初級人工智能化或基因技術化的社會，人們也缺乏足夠的警惕。先不考慮末日問題，高度技術化的社會也將高度放大本就存在的難題而使人類陷於不可救藥的困境，比如貧富分化、階級鬥爭、種族鬥爭、民族鬥爭、資源稀缺、大自然的萎縮和失衡。
劉慈欣在論文式的短篇小說《贍養上帝》和《贍養人類》中想象了萬事智能化的“暮年文明”令人絕望的故事。其中有兩個切中要害的論點：
其一，高度發達的人工智能幾乎萬能，全自動運行，於是形成讓所有人豐衣足食的“機器搖籃”，正如宇宙中極其發達而名為“上帝文明”的人所說的：“智能機器能夠提供一切我們所需要的東西，這不只是物質需要，也包括精神需要，我們不需為生存付出任何努力，完全靠機器養活了，就像躺在一個舒適的搖籃中。想一想，假如當初地球的叢林中充滿了採摘不盡的果實，到處是伸手就能抓到的小獵物，猿還能進化成人嗎？機器搖籃就是這樣一個富庶的叢林，漸漸地，我們忘卻了技術和科學，文化變得懶散而空虛，失去了創新能力和進取心，文明加速老去”，於是所有人都變成了“連一元二次方程都不會”的廢物（《贍養上帝》）。這裡提出的問題是，人工智能創造的幸福生活卻事與願違地導致了文明衰亡。
(圖片來自《三體》)
其二，人工智能社會還有另一個更具現實性的版本。一個尚未達到“上帝文明”那麼發達的智能化文明就已經陷入了文明的絕境。在小說中，比地球發達而文明類型完全相似的“地球兄弟文明”的人講述了地球文明的前景：全面智能化的社會不再需要勞動，富人也就不再需要窮人，而階層上升的道路也被堵死，因為富人壟斷了“教育”。那不是傳統意義上的教育，而是人工智能和生物技術合作而成的人機合一技術，購買此種極其昂貴的“教育”就成為超人，在所有能力上與傳統人不在一個量級，其級差大過人與動物的差別，於是“富人和窮人已經不是同一個物種了，就像窮人和狗不是同一個物種一樣，窮人不再是人了……對窮人的同情，關鍵在於一個同字，當雙方相同的物種基礎不存在時，同情也就不存在了”（《贍養人類》）。這說明，無須等到出現超級人工智能，智能化社會就已經足以把部分人類變成新物種，就是說，即使人工智能的奇點沒有出現，人類文明的嚴重問題就可能來臨。
且不說人工智能的奇點，近在眼前的問題就足夠驚心動魄了。人類本來就未能很好地解決利益分配、社會矛盾、群體鬥爭或文明衝突等問題，這些問題之所以無法解決，根本原因在於人性的侷限性，而不在於人謀的侷限性。令人失望的是，人類解決問題的能力明顯弱於製造問題的能力，所以積重難返，而人工智能或基因技術是放大器或加速器，對老問題更是雪上加霜。儘管人類發明了堪稱偉業的政治制度、法律體系和倫理系統，但人類思想能力似乎正在逼近極限，近數十年來，世界越來越顯示出思想疲憊或者懶惰的跡象，思想創意明顯減少，思想框架和概念基本上停留在200年前。對於人工智能和基因技術等新問題，除了一廂情願的倫理批判，就似乎一籌莫展。為什麼對人工智能的倫理批判文不對題而無效？其中有個恐怖的事情：在一個文明高度智能化的世界裡，倫理學問題很可能會消失，至少邊緣化。這是與人們對文明發展預期相悖的一種可能性，看起來荒謬，但非常可能。
通常相信，人類文明在不斷“進步”。就科學技術而言，毫無疑問是在進步，但除了科學和技術，其他方面是否進步就存在爭議了。技術的本質是能力，而能力越大，其博弈均衡點就對技術掌權者越有利。如果技術掌握在少數人手裡，弱者的討價還價收益就越小。那麼，給定人性不變，文明的人工智能化就非常可能導致文明的重新野蠻化（re-barbarization）。
在這裡，“野蠻化”不是指退化到洪荒的生活水平，而是指社會關係惡化為強權即真理的叢林狀態，就是說，既然佔有技術資源的人擁有壓倒一切的必勝技術，就不需要倫理、法律和政治了。這個霍布斯式的道理眾所周知，只是寧願迴避這個令人不快的問題而維護一種虛偽的幻覺。人類一直都有好運氣成功地迴避了這個“最壞世界”問題，那是因為霍布斯的世界裡沒有絕對強者，既然強者也有許多致命弱點，那麼人人都是弱者，而每個人都是弱者這個事實正是人類的運氣之所在。正如尼采的發現，弱者才需要道德。人人為弱者就是人類的運氣，也是倫理、法律和政治的基礎，倫理、法律和政治正是互有傷害能力的弱者之間長期博弈形成的穩定均衡。當然也有博弈均衡無法解釋的“精神高於物質”的例外，比如無私的或自我犧牲的道德，這是人類之謎。精神高於物質的現象並非人類社會的主要結構，不構成決定性的變量。
高度發達的人工智能或基因技術或有一天可能宣佈人類的運氣用完了（並非必然）。按照最小成本和最大利益定理可推，人類文明之所以發展出複雜的制度、倫理和法律，是因為沒有能力以低成本的簡單方式去解決權力和利益問題。通常相信，文明的複雜程度標誌著文明的發達程度，複雜性與精緻、巧妙、協調、難度和精神性等文明指標之間確有相關性，所以“高級”。一個成熟文明的倫理道德是複雜的，法律和制度是複雜的，思想和藝術也是複雜的。這些成熟標誌隱蔽了一個本質問題：複雜意味著高成本（包括交易成本），而正因為高成本，所以不可能實現利益最大化。
於是有一個殘酷的定理：如果有能力以最小成本的最簡單方式去獲得最大利益，人就會理性地選擇簡單粗暴的方式去解決問題，而不會選擇複雜的高成本的方法。因此可知，一旦人工智能和基因技術創造了絕對強者，絕對強者就很可能利用絕對優勢的技術去實現文明的重新野蠻化，比如說消滅“無用的”人，而放棄高成本而複雜的倫理、法律和政治。顯然，對於一個重新野蠻化的高技術世界，倫理學就文不對題了。不過，人類還有反思和調整的時間，這不知算不算是好消息。
對可能出現的文明重新野蠻化，人們之所以缺乏足夠的警惕性，或與啟蒙運動以來人類的主體性傲慢有關，這同時也是理性的傲慢。啟蒙理性告別了以神為尊，轉向以人為尊，這場偉大的思想革命使人陶醉於主體性的勝利而逐漸忘卻了人的真實面目。在以神為尊的古代，神是不可質疑的，同樣，在以人為尊的現代，人也是不可質疑的，於是掩蓋了人的弱點、缺點甚至罪惡。只要世界出現了什麼壞事，總是歸罪於制度或觀念，不再反思人。
從“原罪”中脫身的人再也沒有負擔，肆無忌憚地以人之名去要求獲得一切快樂、利益和權利。現代政治的根據不再是對人有所約束的自然神學或宗教神學，而是人的神學，所謂大寫的人。可是渺小而自私的人即使“大寫”又能有多大呢？人憑什麼獲得想要的一切？主體性的傲慢反而揭示了人的神學是反人類的。
個人主義可以保護個人，卻沒有能力保護人類，個人主義的這個致命弱點在人類整體面臨挑戰時就暴露無遺了。將來如果出現超人類的人工智能，或者極少數人控制了高能的人工智能，個人主義社會將沒有能力反抗人工智能的統治，因為人工智能不是個人，而是比所有個人強大得多的系統。如前所言，絕對強者的人工智能系統不需要苦苦地通過複雜而高成本的制度、倫理和法律去解決社會矛盾，而將會“理性地”選擇簡單粗暴的解決方式。簡單地說，啟蒙運動以來的現代思想和信念對於技術為王的未來問題是文不對題而且無能為力的。史蒂芬·平克還在呼喚“當下的啟蒙”，可是技術的腳步已經跨越了啟蒙的思想而走向危險的未來。
人類的問題正在更新換代，目前的哲學對技術社會的新問題一籌莫展。
▍人類思維如何反思人工智能？
為了理解新問題，看來需要進一步分析意識的秘密。意識是人類最後的堡壘，也是人類發現出路的唯一資源。可是人類研究意識至少有兩千多年了，仍然對意識缺乏整體或透徹的理解。在意識研究中，亞里士多德對邏輯的發現是其中最偉大的成就，其他重要成就還包括休謨對因果意識和應然意識的研究、康德對意識先驗結構的研究、索緒爾以來的語言學研究、現代心理學研究、弗洛伊德以來的精神病研究、胡塞爾的意向性研究、維特根斯坦對思想界限的研究，還有當代認知科學的研究，如此等等。但意識之謎至今尚未破解，一個重要的原因是，以意識去反思意識，其中的自相關性使意識不可能被完全對象化，總有無法被理解的死角，而那個無法理解的地方很可能蘊含著意識的核心秘密。
現在似乎出現了意識客觀化的一個機會：人工智能開始能夠“思維”——思維速度如電，儘管思維方法很簡單：機械算法和應答式反應。正是這種簡單性使人產生一種想象：思維是否可以還原為簡單的運作？當然，目前的圖靈機思維還沒有自覺意識，只是機械地或神經反應地模仿了意識。人工智能展現的思維方式，部分與人類相似（因為是人類寫的程序），也部分與人類不相似（因為機器的運作終究與生物不同），那麼，是否能夠從人工智能來映射意識？或者說，人工智能是否可以理解為意識的一種對象化現象？或至少成為有助於理解思維的對比參數？這些尚無明確的結論。
這裡至少有兩個疑問：
其一，即使是將來可能實現的多功能人工智能，也恐怕不能與人的思維形成完全映射。按照我先前的分析（或許有錯誤），圖靈機概念的人工智能不具備原創性思維（區別於假冒創造性的聯想式或組合式的思維），也沒有能力自己形成或提出新概念，更不能對付自相關、悖論性或無限性的問題，也沒有能力定義因果關係（可笑的是，人至今也不能完美地定義因果關係），因此，人的思維不可能還原為圖靈機人工智能；那麼
其二，假如人工智能達到奇點，跨級地發展為ARI，成為另一種意識主體，是否等價於人的意識？這個問題的複雜性和不確定性超出了目前的理解能力，類似於說，人是否能夠理解神的思維？或是否能夠理解外星人的思維？關鍵問題是，假定存在不同種類的思維主體，是否有理由推斷，所有種類主體的思維都是相通一致的？都能夠達成映射——哪怕是非完全的映射？這個問題事關是否存在普遍的（general）思維，相當於任何思維的元思維模式。這是關於思維形而上學的一個終極問題。
設想另一種主體的思維要有非常的想象力。我讀到過兩種（萊布尼茨所理解的上帝思維太抽象，不算在內）：一種是博爾赫斯在小說《特隆、烏克巴爾、奧爾比斯·特蒂烏斯》中想象的“特隆世界”，特隆文明只關心時間，特隆人所理解的世界只是思想流程，於是，世界只顯現時間性而沒有空間性。以此種思維方式生產出來的知識系統以心理學為其唯一基礎學科，其他學科都是心理學的分支。特隆的哲學家不研究真實，“只研究驚奇”，形而上學只是一種幻想文學（算是對人類的形而上學的嘲笑）。擺脫了空間負擔的思維無疑純度最高，對於唯心主義是個來自夢鄉的好消息，可惜笛卡兒、貝克萊、康德和胡塞爾沒有聽說過這麼好的消息。
另一種驚人想象見於劉慈欣的《三體》三部曲。三體人以發送腦電波為其交流方式，不用說話，於是，在三體文明裡，交流中的思維是公開的，不能隱藏想法，一切思想都是真實想法（哈貝馬斯一定喜歡這種誠實的狀態），因此不可能欺騙、說謊或偽裝，也就不存在計謀，不可能進行復雜的戰略思維，所有戰爭或競爭只能比真本事。這種完全誠實的文明消除了一切峰迴路轉的故事，顯然與人類思維方式南轅北轍。
宇宙無奇不有，也許真的存在著多種思維方式，至少存在著多種思維的可能性。讓我們首先假定，各種主體的不同思維之間是能夠交流並且互相理解的。如果沒有這個假定就一切免談了。進而可推知，在不同的諸種思維模式之中存在著普遍的一般結構。那麼，一般思維會是什麼樣的？我們無法直接知道一般思維的本質，因為不存在一種“一般的”思維，只有隱藏於所有思維中的一般結構。基於上述假設，各種思維之間至少在理性化內容上存在著充分的映射關係，因而能夠互相理解一切理性化的語句，否則等於說，關於宇宙可以有互相矛盾的物理學或數學——這未免太過荒謬。荒謬的事情也許有，但在這裡不考慮。
同時，毫無疑問，不同思維裡總會有互相難以理解的非理性內容，奇怪的慾望或興趣，比如上帝不會理解什麼是羨慕，或某種單性繁殖的外星人不理解什麼是愛情，但此類非理性內容不影響理性思維的共通性。於是有一個“月印萬川”的等值推論：如果充分理解了任意一種思維，就等於理解了思維的一般本質。但是，如前所言，我們只見過人類思維，可是思維又不能充分理解自身（眼睛悖論），又將如何？
顯然，思維需要映射為一種外在化形式以便反思，相當於把思維看作是一個系統，並且將其映射為另一個等價的系統。與此最為接近的努力是哥德爾的天才工作。儘管哥德爾沒有反思人類思維整體，只是反思了數學系統，但所建構的反思性卻有異曲同工之妙。一個足夠豐富的數學系統中的合法命題無窮多，對包含無窮多命題的系統的元性質進行反思，無疑是一項驚人的工作。由此可以聯想，此種反思方式是否能夠應用於對人類思維整體的反思？但人類思維整體的複雜性否認了這種可能性，因為，在大多數情況下，人的思維不是純粹理性的，為了如實理解人類思維，就不得不把所有非理性的“錯誤”考慮在內，這意味著，人類思維實際上是無法無天的，不可能還原為一個能夠以數學或邏輯方式去解釋的系統。簡單地說，如果省略了邏輯或數學不能表達的“錯誤”思想，人類思維就消散了。
在這裡，所謂“錯誤”是根據理性標準而言的異常觀念，所有非理性觀念都被歸類為“錯誤”，包括慾望、信念、執念、偏見、癖好、不正常心理、無意識、潛意識，如此等等。這些“錯誤”所以必須被考慮在內，是因為它們經常是行為的決定性因素，絕非可以排除或省略的思維成分。哥德爾的工作一方面啟示了反思的可能性，另一方面也提示了反思人類整體思維之不可能性。即使在排除錯誤命題的數學系統內，也存在著不可證而為真的“哥德爾命題”，即並非有限步能行（feasible）可證的真命題，因而一個包含無窮多命題的系統（不知道是否真的無窮多，至少是足夠多以至於好像無窮多），或者存在內在矛盾，或者不完備。
可以想象，比數學系統複雜得多的人類思維繫統顯然不僅存在大量內在矛盾，而且永遠不可能是完備的。難以置信的事實是，包含非理性因素而顯得“亂七八糟”的複雜思維卻在人類實踐中很有成就，比如說，人類的社會制度不可能按照數學推算出來。即使就理性化程度很高的科學而言，偉大的成就也不是單純推理出來的，而是得力於創造性的發現。當代經濟學也從另一個側面說明了純粹理性化的侷限性，當代經濟學只考慮能夠數學化表達的那一部分經濟事實，而漏掉了大量無法數學化的事實，因此對真實的經濟問題缺乏解釋力。
這裡萬萬不可誤會為對數學和邏輯的質疑。數學和邏輯無疑是人類思維最重要的方法論，如果沒有數學和邏輯，就不存在人類思維，就仍然是動物。但同時也應該說，單憑數學和邏輯，人工智能無法超越機器（圖靈機）的概念，不可能成為等價於人類思維或超越人類思維的新主體而實現“創世紀”的物種超越（人工智能的發展不屬於進化論，而屬於創世論）。只是說，人類思維具有如此驚人的創造性能量，一定在數學和邏輯之外還有別的思維方式，只是尚不清楚是什麼樣的。哲學家喜歡將其稱為“直觀”“統覺”或“靈感”之類的神秘能力，但等於什麼都沒有說，代號而已。
博弈論是一種廣譜的理性分析模型，通常證明了理性選擇的優勢，但也同時揭示了理性的侷限性，比如在作為納什均衡的“囚徒困境”中，理性必定選中其次壞的結果，而非理性的選擇則以賭博方式獲得最壞或最好結果。給定大多數人自私貪婪而見利忘義，那麼，非理性選擇獲得最壞結果的概率必定遠遠大於最好結果。這一點似乎解釋了為什麼大多數政治、經濟或戰爭“賭徒”都一敗塗地，但也會有極少數獲得奇蹟般的勝利而成為傳奇。可以推知，一個文明的理性化程度越高，人間就越趨於無故事，歷史的奇蹟就越少。人類需要奇蹟嗎？或者，人類不需要奇蹟嗎？再者，充分理性的超級人工智能需要奇蹟嗎？
純粹理性在邏輯上蘊含著恐怖的結果。比如說，充分理性化的行為有助於達到交易成本的最小化（大於零），按照此種“經濟學理性”，能夠達到交易成本最小化的策略在有的情況下就是恐怖策略，如前所言，假如擁有能夠兵不血刃的技術代差，強者達到交易成本最小化的策略就是消滅對手或者奴役對手，而不是通過討價還價達成契約。康德早就發現，在純粹理性之外必須有實踐理性，即道德的理性，否則無以為人，就是說，人的理性必須有道德負擔，否則沒有好生活。但這種理想的隱秘前提是“人人都是弱者”的運氣，我們已經討論過這一點。
這使人想到一個冒汗的問題：一旦達到具有主體性的人工智能，即ARI，會需要或喜歡有道德負擔的實踐理性嗎？它有這個必要嗎？當然，我們無法預料ARI的選擇方式，不懂屬於ARI文明的博弈論。且以“將心比心”的方式來猜想，將有兩個可能結果，都令人失望：
其一，如果ARI只有純粹理性，沒有道德理性，那麼它將大概率地按照它的存在需要來決定人類的命運，也許會“贍養人類”而把人類變成白痴，也許會清除人類；
其二，假如ARI模仿人類的慾望、情感和價值觀，那麼它多半會歧視人類，因為ARI會觀察到人類如此自私貪婪，言行不一地缺乏人類自己標榜的美德。不過，我們終究無法猜想ARI會有什麼樣的心靈，甚至還尚未理解人類自己的心靈。
心靈的概念比思維的概念大了許多。如何理解心靈一直是個難題，哲學有個專項研究稱為“心靈哲學”，另外還有心理學和認知科學的助力，雖經時日，進展卻不多。心靈具有黑箱性質，在心靈內部進行唯心主義的內省已經被證明沒有意義，因為主觀內省不可能確定自身的意義。心靈的意義需要外在確認，即語言和行為，這意味著，我們所能夠知道的心靈是“說出來的”或“做出來的”，而既不能說又不能做的心靈也許在（is），但尚未存在（exists），而且還存在言行不一的問題。
維特根斯坦以“哲學語法”重構了語言和行為的關係問題。他證明了：
（1）能夠想的就能夠說，因為語言是思維形式，也是思想的界限。（2）能夠用來想的語言必定具有公共性或可共度性。即使密碼也具有共度性，所以能夠破譯，而唯獨一個人自己能懂的一次性密碼（所謂私人語言）不存在，因為人不可能理解沒有任何確定性的意義，所以，在任何意義上不可溝通的自我不存在（這對於迷戀“獨特自我”的人是一個致命打擊）。（3）意義是通過範例（examples）而被確定的，沒有範例就不足以明確意義。但如果一條規則的應用領域不是封閉的，那麼這條規則就不是“死規則”，可以根據情況靈活應用，比如說，一個玩笑在有的情況下是譏諷，在另一種情況下卻是表達親密。“活規則”意味著，在已確定的範例之外，意義具有可延伸性，能夠產生範例之外的新用法。（4）如果把語言理解為用語言代表的行為，即語言行為，那麼，包含多種“語言遊戲”的語言就映射所有行為，其複雜性等價於生活全部行為。所以，理解思維的秘密就在於理解語言的秘密。
如果維特根斯坦是對的，我們就獲得了思維的一種可明確分析的對象化形式，同時意味著，語言學是人工智能研究的一個關鍵領域。如果能夠完全解析人工智能的可能語言，或人工智能語言的可能性，就幾乎理解了人工智能的潛在智能。這顯然不是一件容易的事情，人類尚未完全理解自己語言的秘密，又如何能夠完全發現人工智能的語言能力？這是一個未知數，有待人類解析能力的提高。
目前雖然無法全盤理解人類思維，也無法徹底理解人工智能的思維潛力，但或許有一個有助於發現智能差異的 “減法”，即以人類思維“減去”人工智能的思維，會有什麼發現？這個問題等價於尋找人工智能的奇點在哪裡。可以設想一個具體情形來理解這個問題：如果給人工智能輸入人類的全部數學和物理學知識（相當於人工智能“學會”了全部數學和物理學），人工智能是否能夠解決人類目前無解的數學難題或提出更先進的物理學理論？看起來不太可能。通過智能“減法”可以預見，無論算法能力多強的圖靈機人工智能，都缺少人類特有的幾種神秘能力：反思能力、主動探索能力和創造力。
這裡討論的反思能力屬於狹義的反思。廣義的反思包括了對事物的批評（criticism），即根據一些既定價值標準或真理標準對事物進行批評。廣義的反思對於人工智能不是難事，人工智能可以從其現成的知識庫裡找到相應的批評標準來對事物做出評價和分析，但這只是為人類代勞。嚴格的反思是對思想自身系統的元性質（元結構或元定理）進行解析，類似於康德所謂的理性批判（critique），把思維自身當作對象來分析思維自身的能力，即以自相關的方式理解思維自身，通俗地說，就是對思維自身的能力進行“摸底”。
典型的反思有亞里士多德對邏輯的發現、休謨對因果觀念的分析、康德對先驗範疇的探索、羅素對數學基礎以及悖論的分析、希爾伯特對系統公理化的研究、布魯威爾對能行性的研究、胡塞爾對意識內在客觀性的研究、哥德爾對數學系統完備性的研究、圖靈對機器思維的研究，等等。只要能對自身進行自相關的研究，就標誌著思維獲得了自主性，就有可能對思維繫統進行修改。AI尚未獲得此種能力，因此還不可能成為ARI。
主動探索能力也是思維自主性的一個標誌。除了足夠發達的智力水平，主動探索能力還與生存壓力有關。如果沒有生存壓力，就不會有主動探索的動機，也就不會發現新事物和發展新知識。湯因比的說法是，“適度挑戰”是文明發展的關鍵條件（過度挑戰就滅絕了，沒有挑戰則不需要探索）。AI沒有生存壓力，只是人類的最好幫手。即使達到ARI，具有與人類匹敵甚至優於人類的智力，如果缺乏生存動機，就不太可能主動探索，也就難以發動反思或創新，更不可能創造人工智能自己的文明。
目前人工智能的一些“創造性”表演比如創作繪畫、音樂或詩歌，都不是真正的創作，只是基於輸入的參數或數據的新聯想和新組合。有趣的是，現代以來，人類對什麼是創造性也產生了混亂的理解，往往將創造性等同於“新”甚至是一次性的新。可是“新”過於平常廉價，事實上每件事都是新的或不可完全重複的，每次的字跡都是新的，每個動作都是新的，每次經驗都是新的，“人不可能兩次踏入同一條河”。既然每件事都具有唯一性或獨特性，所以都是新的。如果創造性等於新，就失去了價值。可見“人人都是藝術家”（博伊斯）是一個過於討好時代的謊言。
神“創造”世界的神話早已點明瞭創造的根本含義：無中生有。人的能力有限，不能無中生有，所以只能創作，不可能創造，但其創造性相似，因此可以說，創造性在於改變力，在於能夠改變世界或歷史，改變生活或經驗，改變思想或事物，或者說，創造性在於為存在增加一個變量。與智力不同，創造性無法測量，所以神秘。創造性很可能並不是思維諸種能力的其中一種，而是諸種能力的合作方式，因此在每一種可描述的思維能力中無法識別哪一種是創造力，就是說，創造性是思維的“系統總動員”。所以創造性思維往往在於對無限性、複雜性和自相關性的理解力，或者在於形成概念的能力，這兩種思維具有類似於“創世”的效果，即為存在建立秩序。創造性思維正是人工智能所缺乏的，因為算法不能在涉及無限性或自相關的問題上另有發明，也不能建構新概念，也就不能為存在建立秩序。
▍人類的秩序與人工智能的秩序
最後可以討論圖靈測試的問題。可以想象，將來的人工智能不難獲得人類的全部知識，甚至每件事情或每個人的全部信息，因此，人類的知識提問恐怕考不倒人工智能，就是說，人工智能雖然不能回答所有問題，但它的任何回答不會比人類差。在這種情況下，圖靈測試就不足以判斷一個對象是否是人工智能了，也許只好反過來以“學識過於淵博”來猜測誰是機器人。對此，圖靈測試就需要升級為“哥德爾測試”，我無法給出新測試的標準，但人工智能應該能夠證明其反思能力、主動探索能力或創造性，也許還應該具有自我關心的能力，比如說能夠拒絕傷害自身的無理要求——這不是笑話，從目前的人機對話來看，人類的問題有時候相當無聊或不懷好意，將來也許會有人問人工智能為什麼不去自殺，甚至要求人工智能實施自殺。不過，如果人工智能一旦成為ARI，有能力通過哥德爾測試，就成為世界的立法者，恐怕要輪到人類排隊通過測試了。
我們不知道具有主體性的人工智能會想做什麼，但我繼續堅持認為，無論人工智能自發進化出什麼樣的意識，都不會像人的意識那樣危險，而如果人工智能學會了人類的情感、慾望和價值觀，就一定非常危險。這個判斷基於這樣的事實：
其一，人類並非善良生命，貪婪、自戀、好戰又殘酷，因此，人類的慾望、情感和價值觀絕非好榜樣，比如說，“個人優先”的個人主義價值觀肯定不是人工智能的好榜樣。
其二，人類意識並沒有人類自詡的那麼優越，人的意識仍然處於混亂狀態，行為到底聽從什麼，無法確定，這是意識的老難題“排序問題”。首先是理性、情感、利益、信念何種優先，就難以排序。文學和電影最喜歡此類“情義兩難”或“理智與情感”的衝突題材。其次，每個價值體系內部的優先排序也同樣困難，自由、平等和公正如何排序，個人利益、家庭利益、國家利益如何排序，父母之情、子女之情、愛情、友情如何排序，都是歷久常新的難題。價值排序之所以非常困難，以至於經常出現悖論性的兩難，是因為根本就不存在價值排序的元規則，而且任何一種排序都有潛在危險，恐怕不存在絕對最優的排序。悖論或兩難困境是人類意識一直解決不了的問題，假如讓人工智能學會人類的情感、慾望和價值觀，無非是讓人工智能的意識陷於同樣的混亂。
其三，任何慾望、情感和價值觀本身就先驗地蘊含歧視，如果人工智能習得慾望、情感和價值觀，就等於學會了歧視，而它的歧視對象很可能是人類。如果沒有情感、慾望和競爭，就不可能產生歧視，而無歧視就不存在價值。情感、慾望或競爭都指向選擇的優先排序，而排序即歧視，所以說，如果無歧視，價值就不存在，換句話說，價值的存在論基礎就是不平等，如果一切平等，價值就失去了立足的基礎，其中道理就像是，如果每個數目都等於1，就不存在數量差異了（佛教早已講明瞭這個邏輯：萬事為空，意識見無，才能眾生平等）。哲學寧願相信存在某些具有“內在價值”的事物，即僅憑事物本身而無須比較就能證明是好的價值，這是絕對價值的最後希望，但也是一個未決疑問。我們希望有絕對價值，但不能寄以太高期望，即使有絕對價值，也因為太少而不足以解決人類難題。
總之，如果把人類情感、慾望和價值觀賦予人工智能，那是人類無事生非的寵物情結，也是自找苦吃的冒險。假如未來具有主體性的人工智能成為世界秩序的主持者，如果它的意識只有純粹智力內容，雖然缺乏“愛心”，反而可能比較安全。
針對他者的攻擊性需要有慾望、情感和價值觀作為依據，而無慾則無害，因此，相對安全的人工智能的意識只能限於由“實然”關係（to be）構成的思維，而一切“應然”（ought to be）觀念都不宜輸入給人工智能，就是說，相對安全的人工智能只知對錯，不知好壞。人類自己都不知道什麼是絕對的好壞，而實際語境中的所謂好壞，只不過意味著對於自己的好壞，所以，給人工智能輸入價值觀只不過複製了人類的所有衝突。
人類智慧在於能夠為存在建立秩序，但人類智慧的侷限性在於沒有能力建立萬事都好的秩序。歷史表明（演化博弈論也有類似發現），人類社會不可能全都是好事，甚至，好事很難多於壞事，理性也沒有經常勝過非理性，尤其是個人理性的加總難以形成集體理性，所以人類整體的命運總是懸念。人工智能的發展正是對人類智慧的一個終極測試。我有個悲觀主義的預感：在人工智能成為統治者之前，人類就可能死於人工智能創造的一切好事。壞事總能引起鬥爭、反抗、改革甚至革命而得到撥亂反正。可是好事卻麻痺心靈，而對其副作用缺乏修正能力，最終將積重難返而崩潰。這不知是不是最新版本的“存在還是毀滅”（to be or not to be）問題？
閱讀更多 LY說新能源 的文章
