對於技術的好壞永無定論，一些人進一步而成為激進主義者，一些人退一步而成為保守主義者。本文作者James Bridle在“Rise of the machines: has technology evolved beyond our control?”一文中通過有條有理分析，用以說明技術的迅速發展已經令其開始進入到人類所無法完全掌控的階段。
你有沒有這樣的經歷，臥室角落裡的聲控智能小傢俱突然間咯咯大笑，並將你的私房密語發給同事；你的孩子正在YouTube上看《小豬佩奇》，不過視頻畫面卻顯示著流血與死亡的情節；你用來與老朋友保持聯繫的社會網絡，搖身一變成為政客們用來影響選舉和煽動政變的工具。
我們進行思考的方式發生了一些奇怪變化，結果是，一些無法追根溯源的事正在世界範圍內發生。我們落入了思維定式中，即開始相信一切都能夠進行機器運算，並且任何問題在技術發展的巨大潛力面前都將迎刃而解。但是，技術並非中立：它們具象化了我們的政治偏見，它們超越了國家法律的管轄範圍越來越脫離創造者的控制。結果可想而知，我們對於這個世界瞭解的越來越少，這些強大技術將逐漸掌管我們的日常生活。
無論是在科學與社會領域、還是政治與教育領域、抑或是戰爭與商業領域，新技術並不僅僅能夠增強我們的能力，而且也在積極塑造和指導著人類的行為，而我們卻無法預測這些結果是好是壞。如果我們無法理解複雜技術如何運作的邏輯，那麼其潛在的可能性就更容易被自私自利的公司和權力精英所掌控。當一切為時已晚，我們終將自食其果。這一複雜且不透明的系統與全球範圍內的不平等、暴力、民粹主義和原教旨主義之間存在因果關係。
與其說技術進步給人類帶來了令人炫目的解放之光，以及對於烏托邦的浪漫想象，不如說我們似乎進入了一個充滿著離奇和未知事件的新黑暗時代。致力於大範圍傳播知識的啟蒙運動並沒有使我們更加深刻地理解與發展和平，相反我們正在經歷著社會分裂、彼此不信任、陰謀論和後真相時代。因此，為了瞭解那些正在發生之事，我們有必要去了解技術是如何形成，以及我們到底經歷了什麼才對它賦予瞭如此之多的信任。
20世紀50年代，一個新符號進入電氣工程師所繪製的圖表中，用以描述所構建的系統：它看起來像是一個模糊的圓圈、一個膨脹球或者是一個思想泡泡。最終，其形狀變成雲的模樣。工程師不論做些什麼，都可以將其連接至這個雲上。我們也可以稱其為一個電力系統、一個數據交換系統，或者是一個計算機網絡。我們如何描述它並不重要。雲是一種降低複雜性的方法，其能夠使人們專注於手頭的工作。隨著技術的發展，網絡的關聯度越來越緊密，雲也變得越來越重要，進而成為被反覆販賣的商業術語和賣點。它不僅僅指涉工程速記，而是成為了一種比喻。
今天，雲是互聯網的核心隱喻：一個擁有巨大可能，卻依然保持著神秘光環且人類無法掌控的全球系統。我們在雲上工作，我們搜索和儲存東西，它成為我們日常生活的一部分，但卻沒有人能夠真正理解其到底是什麼。其實這個比喻也存在不恰當之處：這個雲並不是由水蒸氣和無線電波構成的運轉良好的遙遠之物。它是一個物理基礎設施，一個放滿電話線、光纖、衛星、海底電纜和計算機且需要消耗大量水和能量的巨大倉庫。被吸收進雲裡的是之前甚為重要的公民領域大廈：購物、交易、社交、借書和投票的地方。因此，它因為太過尋常而不怎麼打眼，也就更不容易受到批評、調查、保護和監管。
在過去幾十年裡，世界各地的交易大廳越來越門庭冷落，櫃檯職員被電腦銀行所取代。同時，數字化也意味著股票交易的速度也越來越快。人們將交易過程放置於機器手中，其幾乎立刻就能做出反應。高頻交易算法是由前物理學博士所設計，其目的是利用毫秒級優勢搶先進入市場，交易員為其冠以“尖刀”之類的名稱。
在這些快速變化的不透明市場中，一些奇怪之事發生了。2010年5月6日，道瓊斯指數開盤就下跌，在接下來的幾個小時裡，為了應對希臘債務危機，道瓊斯指數緩慢下跌。至下午2時42分，該指數迅速下跌。在不到五分鐘的時間裡，交易市場下跌超過600個百分點。至最低點，該指數比前一天的平均數據低了近1000點，其幾乎是總市值的10%，創新了交易歷史上單日跌幅最大的記錄。而至下午3時07分，在短短25分鐘內，又近乎恢復了600點，這也是有史以來漲幅最大也最快的一次。
在這混亂的25分鐘時間內，20億股價值56億美元的股票成功易手。更令人擔憂的是，許多交易是在被美國證券交易委員會稱為“非理性價格”（低至1美分，或高達10萬美元）的前提下執行的。這一事件被人們稱為“閃電崩盤”，這麼多年過去了，有關它的調查和爭論仍在進行。
一份監管機構的報告指出，高頻交易程序加劇了價格波動的情況。各種各樣的高頻交易程序中都設有硬編碼拋售點：指需要立即出售股票的價格。隨著股票市場逐漸下跌，一些軟件同時觸發這一機制進而同時進行拋售。而價格的持續下跌也將繼續觸發另一批算法，進而自動出售股票，帶來多米諾效應。其後果是，股票市場價格下跌的速度比交易員能夠作出反映的時間還要快。雖然經驗豐富的市場操盤手能夠通過長線計劃來穩定崩潰局面，但是面臨著眾多不確定性的機器卻在第一時間選擇了離開。
也有一些人認為是算法引發了此次危機。通過查看數據發現一項技術，其通過高頻交易程序向交易所發送了大量的“不可執行”交易，也即是說，機器將會忽略那些超常情況下購買或拋售股票的命令。這些命令目的並不是為了真正幫助人類溝通情況和賺錢，而是故意通過讓系統變得不甚清醒，而方便其他更有價值的交易在混亂中執行。許多未曾打算執行的命令被啟動，進而導致股市的劇烈波動。
閃電崩盤已被視為市場的一個特徵，但是人們對其的瞭解一直一知半解。2016年10月，算法對於英國退歐的負面報道做出反應，兩分鐘內英鎊兌換美元匯率下跌6%，隨後立即恢復。但是人們若想要查明是哪個標題，哪個算法導致了此次下跌則不太不可能。2012年10月，當一種算法開始失控的操作和取消交易時，美國股市4%的交易被吃掉了，一位評論人士挖苦地評論道“該算法的觸發動機尚不得知”。
2013年4月23日下午1時07分，美聯社向其200萬關注者發送了一條推文：“突然事件：白宮發生兩起爆炸，巴拉克·奧巴馬受傷。”這一虛假新聞後來被隸屬於敘利亞總統巴沙爾·阿薩德的敘利亞電子軍聲稱是其一次黑客攻擊的結果。美聯社與其他新聞網站迅速回應道，這是條假新聞。然而，算法卻並沒有應對這些突發事件的洞察力。下午1時08分，道瓊斯指數暴跌。在假新聞還未大規模普及開來的時候，該指數已在兩分鐘內下跌了150點，並接著發生反彈。在此期間，股票市值蒸發了136億。
計算程序的設計越來越精細化，並隱藏在我們所接觸的所有物體中。技術的普及速度也進一步增加了算法的不透明度和未可預測性。三星於2015年推出的“智能冰箱”系列產品的一個賣點就是其能夠與谷歌日曆服務相整合，以方便用戶安排廚房裡的雜貨配送。這也意味著，當黑客獲取了這些安全係數不高的機器的訪問權限時，也就能夠讀取所有者的Gmail密碼。德國的研究人員發現，通過將惡意代碼插入飛利浦支持WiFi的Hue燈泡中，就能使得一個燈泡感染另一個燈泡，一棟建築物感染另一棟建築物，甚至造成整座城市的癱瘓，最終控制大量燈泡的快速打開與關閉，引發光敏性癲癇。這是托馬斯·品欽的《萬有引力之虹》一書中燈泡拜倫所喜愛的一種方法，一種由小機器反抗其製造者的暴動大起義。曾經虛構的技術暴力的可能性正在被物聯網實現。
金·斯坦利·羅賓遜的小說《奧羅拉》（Aurora）講述了一艘智能宇宙飛船將人類宇航員從地球帶到遙遠恆星的故事。這段旅程需要耗費極長的時間，所以這艘船的工作之一就是確保人類能夠好好照顧自己。當其脆弱的社會關係崩潰，並威脅到任務的完成時，這艘船通過部署安全系統以作為控制手段：它可以通過傳感器觀察到每個角落的情況，能夠打開和關閉密封門，通過通訊設備大聲說話進而引起人們的身體痛感，使用滅火系統來降低特定空間的氧氣水平。
這與Google Home及其聯合工具的操作邏輯大致相同：一套聯網的家庭安全攝像頭網絡、一把智能門鎖、一個能夠提高或是降低單個房間溫度的恆溫器，以及一個能發出尖銳緊急警報的火災和入侵檢測系統。任何一名黑客都將擁有和奧羅拉一樣的力量，或者是做些拜倫對其憎惡的主人所做之事。
在將這些場景僅僅視為科幻小說家的狂熱幻想之前，我們可以再度回顧一下股票交易所的流氓算法。這些事件並非彼此孤立，而是發生在複雜系統之中的尋常之事。那麼接下來的問題是，如果我們將其嵌入進更為廣泛的世界中，流氓算法或者是閃電崩盤將會導致什麼樣的後果？
它們會不會像惡意軟件Mirai一樣，在2016年10月21日使全球網絡癱瘓幾個小時？事後，研究人員對Mirai進行了深入研究，發現其目標是那些安全係數較低的網絡連接設備，比如安全攝像頭，比如數字視頻錄像機。在短短几周內，Mirai就感染了50萬臺設備，其只需要感染10%的數量就能致使主要網絡癱瘓幾個小時。
從事實來看，Stuxnet與Mirai則不同，其是於2010年在水電站和工廠生產線的工業控制系統中發現的一種病毒。Stuxnet是一種級別達軍事程度的網絡武器：經調查發現，其專門針對西門子的離心機所設計，當其遇到特定數量的機器設備時就會觸發爆炸命令。這一數字與一個特定的設備相對應：伊朗的納坦茲核設備。程序一旦激發，該病毒將悄無聲息地破壞離心機的關鍵部件，使其瓦解並破壞伊朗的鈾濃縮能力。
這次襲擊的確取得了部分成功，但是目前對其他受感染設備的影響情況尚不可知。即便事情已經發生了這麼長時間，即便已經有了明顯的懷疑對象，但是沒有人確切知道Stuxnet從哪裡來，由誰製造。沒有人知道是誰開發了Mirai，它的優化版本將在哪裡出現，而它也許就在某個地方虎視眈眈，可能在你辦公室的閉路電視攝像頭裡，也可能在你廚房角落的無線電水壺裡。
又或者，這些事件看起來就像是一系列大片，比之類法西斯的超級英雄（《美國隊長》和《蝙蝠俠》系列）比之酷刑和暗殺的理由（《刺殺本·拉登》和《美國狙擊手》），其迎合了右翼的陰謀論與生存主義者的幻想。在好萊塢，眾多電影工作室通過劇本語義分析公司 Epagogix分析其劇本，通過分析幾十年裡數百萬電影觀眾的不確定性偏好，以鑑別哪些情節能夠充分調動觀眾情感，而獲得最佳的市場回報。算法引擎拿到Netflix、Hulu、YouTube等網站的數據，通過對數以百萬計的視頻用戶的收看偏好進行分析，從而獲得之前的權力精英們所無法想象的認知洞察。通過直接向疲勞且沉迷於其中的消費者填塞內容，算法系統自動啟動、反映、強化並加劇著這一系統邏輯的固有偏執。
遊戲開發者通過A/B測試和對玩家行為的實時監控專注於無窮無盡的應用更新和應用內購買行為。他們精準掌握著多巴胺產生的神經通路，以至於青少年在電腦前疲憊致死，也無法將其從中抽離。
我們希望讓技術設備記錄生活的點點滴滴，並說服自己相信人類能夠像設備一樣進行優化和升級。智能手環和智能手機應用能夠記錄我們的步行數據和皮電反應，不僅追蹤著我們的位置，還追蹤著我們的每一次呼吸和心跳，甚至是我們的腦波信息。用戶們都被鼓勵將手機放到床上，以便記錄他們的睡眠信息。這些數據都到哪裡去了？有關我們的夢境、我們的半夜驚坐與清晨流汗的數據，我們無意識的自我行為，成為使這些系統變得冷酷無情又難以理解的助燃劑。
又或者，所有這一切與我們現在正在經歷的變化得以彼此關聯：日益加劇的經濟不平等、民族國家的崩潰和邊境之地的軍事化、日益密切的全球監督與個人自由的縮減、跨國公司與神經認知資本主義的勝利、極右團體與本土主義意識形態的興起，以及自然環境的惡化。雖然新技術並非上述一切現象的直接誘因，但是這一切都是那些企業與個人所作所為所帶來的影響的產物，而人類無法準確感知，那些不透明的複雜技術正在加速這些影響。
1997年，紐約，國際象棋世界冠軍加里·卡斯帕羅夫第二次與深藍對戰，深藍是一款由IBM公司設計專門用來擊敗卡斯帕羅夫的電腦。卡斯帕羅夫在輸了比賽後，聲稱深藍的一些行為是如此聰明且富有創造力，以至於其一定存在人類的干預。但是我們都已經瞭解深藍的邏輯：它的決定過程從始至終是一種“蠻力”，其依靠一種有著14000自定義的平行結構，芯片能夠每秒分析2億種可能。
至2016年，由AlphaGo驅動的谷歌大腦戰勝了韓國專業圍棋選手李世石，情況又有了改變。在第二場比賽中，AlphaGo的舉動震驚了李世石，其選擇將棋子放在棋盤的另一邊。“這是一個非常奇怪的舉動，”一位評論人士表示。“我覺得這是一次失誤，”另一個人如此說道。一位經驗豐富的圍棋選手範輝，其在六個月前與AlphaGo對戰時輸掉了，認為：“這不是人類的舉動。我從來沒有見過有人這麼做。”
AlphaGo一路高歌凱進，贏得了一系列比賽。AlphaGo的設計師們為這一神經網絡注入了數以百萬計的圍棋專家的棋路來開發這一軟件，通過令其與自己對戰幾百萬次，進而發展出超越人類玩家的策略。但是我們卻難以捉摸清楚這些行為的緣由：我們能夠看到AlphaGo做出的決定，但是卻無法知曉其之所以如此做的邏輯是什麼。
已故的伊恩·M.班克斯將這些事情稱為“無限的樂趣空間”。在班克斯的科幻小說中，其建構的文明是由仁慈的、超智能的人工智能“Minds”管理。雖然Minds最初是由人類創造，但是其早已能夠重新設計與重建自己，以讓自己變得更加全能。Minds除了能夠控制船隻與行星，指揮戰爭並照顧數十億人類，也會生出自己的快樂。因為其擁有在自己的想象中模擬整個宇宙的能力，一些Minds會退回到“無限的樂趣空間”，這是一個只有超人類的人工智能才能進入的元數字可行性空間。
許多人都熟悉谷歌翻譯，其是於2006年推出的一種統計語言推斷技術。這種技術通過吸收大量現有翻譯，而非試圖理解語言的翻譯邏輯進行運作：在不同語言中調用內容相同的並行文本。通過這種單詞之間的簡單映射，其不再需要自己理解待翻譯的兩種語言，而是將其替換為由數據驅動的相關性內容。
這些翻譯以其滑稽的錯誤被人們津津樂道。但在2017年，谷歌翻譯開始使用由谷歌大腦開發的神經網絡，從而極大優化了翻譯質量。翻譯網絡在自己世界中建構起一種模型，其不再是簡單大量交叉引用本文，翻譯結果也不再是一組二維單詞之間的連接，而是一種能夠映射整個世界的地圖。在這個新模型中，單詞由彼此之間的意義之網來編碼，而這個網絡也只有計算機自己才能理解運行邏輯。
同年，谷歌大腦的其他研究人員建立了三個網絡，分別叫做Alice、Bob和Eve。它們的任務是學習如何加密信息。Alice與Bob共同知道一個數字密碼，而Eve卻不知道。Alice會在一串文本上執行一些操作，然後將其發送給Bob和Eve。如果Bob能夠解碼信息，那麼Alice就會得分。而如果Eve解碼成功，Alice的分數就會下降。
歷經數千次的迭代，Alice和Bob找到了不受Eve破壞的通信方法：它們開發了一種私有的加密形式。這些操作過程被深層網絡所咬合。而Eve不得而知的東西我們也不得而知。機器正在學習如何保守秘密。
人類如何思考和理解自己在這個世界上的位置，以及我們與機器之間的關係，將最終決定技術會將我們帶往何處。我們無法不做思考，我們只能在其中思考。這些為我們提供信息並塑造我們對現實看法的技術不會消失，在大多數情況下我們也不希望結局如此。世界上75億人口都在依靠這些系統，且對它們的依賴與日俱增。我們對於這些系統的理解，以及我們在基於此做出的有意義決定都尚在自己的能力範圍內。我們並非沒有手握實權，也並非能夠脫離這些技術代理。我們需要思考，思考，繼續思考。
作為工具的計算系統加強了人類的強大一面：我們使其塑造成我們想象中的樣子，並幫助我們在世界上完成願望。但是，揭露與闡明這些慾望，並確保它們不會退化、統治、消磨並消除他人的慾望的特權依然掌握在人類手中。
當卡斯帕羅夫在1997年被擊敗時，他並沒有放棄比賽。一年後，他又以一種全新面貌回到競賽中：高級的半人馬國際象棋。在高級象棋中，人類與機器合作，而不是與機器競爭。很顯然，在這個過程中產生了非常有趣的結果。如今，即使是一箇中等水平的國際象棋計算機也足以擊敗大多數大師級人物，普通電腦與普通電腦的配對足以打敗最複雜的超級計算機。這種思維的結合使這個遊戲產生了革命性的變化。
在機器與基礎設施的編碼中、在知識與行動的既定框架中，技術成為人的延伸。計算機不能解答我們所有的問題，而是讓我們用新方式向宇宙提出新問題。
閱讀更多 科技微聚焦 的文章
