用虛擬人技術,復活馬丁·路德·金

這是馬丁·路德·金(以下簡稱為 MLK)第六次登上《時代週刊》的封面。不同於以往的是,這位美國民權運動領袖以「虛擬人」的面目出現。這同時也是《時代週刊》第一次在封面刊登現實人物的數字形象。

用虛擬人技術,復活馬丁·路德·金

虛擬人 MLK|視覺中國


封面上如同照片般寫實的臉龐,是由好萊塢頂級視效公司數字王國聯合藝術家 Hank Willis Thomas 通過虛擬人技術創作而成。而這只是《時代週刊》和眾合作方籌備了 3 年之久的《大遊行》預告。

據籌備方介紹,「《大遊行》是一個開創性的沉浸式展覽,將重現美國曆史上最具標誌性的時刻之一——1963 年人們為爭取就業和自由的『向華盛頓進軍』遊行」。戴上 VR 頭顯後,觀眾看到的不再是以往二維的,粗顆粒感的黑白影像,MLK 彷彿就在人們面前,如歷史刻畫的那樣激昂,最後脫稿呼喊著「我有一個夢想」。

一位前往芝加哥 DuSable Museum 體驗的觀眾彷彿身臨其境,他說廣場上熙熙攘攘,甚至擔心會被人群踩扁。那一年,超過 25 萬不同種族的民眾浩浩蕩蕩聚集在林肯紀念堂,一直延伸至國家廣場和倒影池周圍。


復活馬丁·路德·金

《大遊行》的總體驗時長約 40 分鐘,除了音頻史料播放和更傳統的博物館展示外,籌備方還製作了 10 分鐘左右的 VR 體驗。在只有 14 平方米大的空間裡,4 位觀眾將同時戴上 VR 頭顯「穿越」回 1963 年。

「幾千小時的鑽研,就為了真實還原 8 月那特殊的一天。」《時代週刊》的 CEO Edward Felsenthal 說道,「我們希望,它不僅能改變我們看待歷史的方式,還能幫助我們所有人意識到,我們自己的聲音能夠對世界產生積極的影響。」而要想達到 Felsenthal 想要的效果,當天的場景和發表演講的 MLK 必須足夠真實。為此,數字王國的工作人員前往國家廣場,並利用被攝物體影像來重建物體空間位置和三維形狀,數字化繪製遊行地點的地圖。再結合史料和遊行親歷者的描述,最後,團隊將數據轉化成 50 年前的場景。

用虛擬人技術,復活馬丁·路德·金

「體驗」,而不是「閱讀」,這是人們能感受到更多力量的原因|維基百科


他們啟用了過去十年裡一直在公開表演《我有一個夢想》的演講家 Stephon Ferguson,這樣,重現 MLK 就有了一個紮實、可信的動作基礎。數字王國用動作捕捉系統 Masquerade 跟蹤了 Ferguson 的身體和麵部的細節,再將眼睛位置、頭骨形狀、膚色、體型等信息和 MLK 進行比較,動畫師會在這個完成了 50% 的模型上繼續填入 MLK 的特徵。

團隊收集了大量相關的視頻和圖片,提取出 MLK 在當天不同角度的姿態和光影體現。在動捕方面,他們設計了一些能夠儘可能觸動 Ferguson 面部肌肉的「愚蠢句子」,開始對錶演者進行三維成像捕捉。接著,他們在 Ferguson 臉上畫了 190 個標記點,並在給他戴上一個以 60 幀每秒速度運行的頭戴式攝像機,再讓他穿上一套動作捕捉服。隨後,Ferguson 開始演繹《我有一個夢想》。通過對他面部和肢體的捕捉,團隊將這些信息映射到 MLK 已有的數字肖像上。得益於基於龐大數據收集的機器學習,動畫師們只需在細節上進行微調和完善,以不斷接近真實。

《時代週刊》形容這段 VR 體驗是「迄今為止在虛擬現實中最逼真的人類表演」。「體驗」,而不是「閱讀」,這是人們能感受到更多力量的原因,聯合創作者 Alton Glass 表示。

Chicago Tribune 記者 Steve Johnson 這樣描述,「當他結束最後一段時,他激動地說『終於自由了』,然後從講臺上走下來,直視著你這個觀察者的眼睛——然後保持著那個眼神,就像配音演員問的那樣,『你將因什麼上街去?』——那種魔力,會讓你不寒而慄。」


生成「人」,而非副本

用虛擬人技術復活死者,並不是一件新鮮的事。2012 年,數字王國就用全息影像技術「復活」了已故說唱歌手 2Pac,在當年的 Coachella 音樂節上,2Pac 和同臺歌手一起點燃了現場。一年後,他們又「復活」了鄧麗君。

如果說「2Pac」和「鄧麗君」是為現實中的人生成一個副本,那由三星旗下創新實驗室 STAR Labs 獨立開發的「人工智人」NEON,則是從模仿人再到完全脫離人的形態。

「NEON 就像是一個全新物種」,它的發明者 Pranav Mistry 在 CES 2020 的展臺上介紹說,「地球上現存有幾百萬種生物,我們希望 NEON 可以成為其中新的一員。」據官方介紹,NEON 是一種由 AI 所驅動的虛擬存在,擁有和真人一致的音容、笑貌和言談舉止,擁有表達情感和智慧的能力。

用虛擬人技術,復活馬丁·路德·金

Pranav Mistry|視覺中國


它同樣真實到讓人不寒而慄。

NEON 的生成基於 CORE R3 和 SPECTRA 兩個引擎。前者是現實、實時、回應(Real, Realtime, Responsive)的縮寫,「它使得 NEON 能夠生成栩栩如生的現實,並實時地做出回應。甚至可以控制 NEON 眼睛睜開的大小。」另外,「CORE R3 系統的時延幾毫秒不到,」Mistry 說道。後者則負責提供情報,學習,情感和記憶,就這樣,NEON 虛擬人在對人物原始面部、聲音等數據進行捕捉並學習之後,可以自主創建未錄入過的新的表情、動作、對話,甚至能說其他語言。

和虛擬 MLK 不同的是,NEON 虛擬人的每個姿態或許都可以稱為「原創」。前者更多的是重現被複制者的意識,更多的是一種「聯動」;而後者則更像是把已有的,被打碎的數據重新組裝出另一個全新的人。

STAR Labs 戰略負責人 Bob Lian 告訴鈦媒體,NEON 將在服務業和娛樂業施展拳腳,虛擬人不會倦怠,理論上能保證他們在消息交流上提供更好的客戶體驗。

在娛樂業,「NEON 可以被用在電影、短片甚至 MV 中,創造新內容。」Bob 說道。數字王國的業務主要是為電影作品、大型直播活動和前沿應用量身構建虛擬人、生物與角色。

在虛擬 MLK 問世之前,國內的巨頭也看到了虛擬人的潛力。騰訊除了在 2018 年領投了「只需一張照片和語音片段就能打造一個『虛擬明星』」的 ObEN,其旗下 AI Labs 在 2019 年 6 月還發布了首個電競虛擬人「T.E.G(天鵝靜)」。阿里達摩院也於今年 1 月宣佈了與 AI 數字明星開發商環球墨非的戰略合作。




分享到:


相關文章: