在倫敦科幻電影節的“48小時電影挑戰”，導演Oscar Sharp和AI研究員Ross Goodwin帶來一部全部製作過程由AI導演的實驗性影片《Zone Out》。影片採用“換臉”技術，使用神經網絡生成的對話和配音等，整個製作過程都由被稱為Benjamin的AI進行處理。而作為一部科幻片，其結果相當不錯。
兩年前，一部名為Sunspring（中譯《陽春》）的奇怪短片舉行了在線首映式，這個短片最引人注目的地方在於，它的整個劇本都是由AI寫的。在以特別嚴肅的方式表演完結局之前，電影的真人演員們嘲笑了奇怪的計算機生成的對話和舞臺指導。
那部電影的製作二人組合，導演Oscar Sharp和AI研究員Ross Goodwin回來了，帶來另一個由人工智能導演的實驗性影片。表面上看，這部影片顯然更爛。新電影名為 Zone Out，影片中充滿了模糊的面孔，電腦生成的對話和尷尬的場景變化。這部電影參與了倫敦科幻電影節的“48小時電影挑戰”（Sci-Fi-London 48-Hour Challenge），也就是說，像上次一樣，影片必須在48小時內製作完成，並且需要遵循特定的提示。
“48小時”這個限制條件值得一提，因為Sharp和Goodwin這次更加放手：他們讓AI系統（他們稱之為Benjamin）來處理電影的整個製作過程。
不死之本傑明
在48小時倒計時開始時， Sci-Fi-London的製片人對“Zone Out”作出提示
像2016年時一樣，他們的短片也有一系列的要求。(上圖是2018年電影的要求。)這一次，他們想讓Benjamin用這些數據來運行。
Sharp在接受採訪時表示，為了在48小時內讓Benjamin完成對這部短片的“創作、導演、表演和配樂”，他們在沒有任何人為干預的情況下，開始了電影節的前期策劃工作。這意味著要給Benjamin增加額外的任務。他們計劃讓Benjamin做以下事情：將公共領域的電影片段拼接起來，把兩人的真人演員數據庫替換到那些片段中，插入語音來朗讀Benjamin的劇本，然後給電影配樂。
這一切都是在寫劇本的過程中完成的，這個過程自Benjamin在2016年的實驗後一直在改進。AI寫劇本仍依賴於LSTM（長短期記憶）神經網絡。
Zone out的工作人員承認，各種神經網絡解決方案在48小時的期限內只能很好地完成面部渲染工作。
為了訓練Benjamin，Goodwin給這個AI輸入了幾十部他在網上找到的科幻電影劇本——大部分是上世紀八九十年代的電影。Benjamin將它們分解到字母級，學習預測哪些字母傾向於連在一起，哪些單詞和短語傾向於一起出現。與馬爾可夫鏈相比，LSTM算法的優勢在於它可以對長得多的字母串進行採樣，因此它更擅長預測整個段落，而不僅僅是預測幾個單詞。LSTM還擅長生成原始的句子，而不是從語料庫中剪切和粘貼句子。隨著時間的推移，Benjamin學會了模仿劇本的結構，創作舞臺指導和生成格式良好的臺詞。
《Zone Out》的劇本，就像《陽春》一樣，在空洞的廢話和有感情的臺詞之間搖擺不定——老實說，它並不遜於一部科幻佳作。（取自影片中對話的一個例子，聽起來像是Benjamin對他的主人的批評：“你為什麼不告訴我……你說的是真的嗎，人類將能夠對人類施與更強烈的破壞嗎？”這一次，劇本中奇怪的、不像人類會說的對話被AI自動化的許多其他電影製作任務放大了。
在製作過程中，Sharp和Goodwin努力尋找公共領域的電影片段，這個過程有一些障礙。不僅僅是版權問題；他們想要的電影片段必須包含大量的鏡頭，而且演員必須面對鏡頭，以便Benjamin可以更容易地剪切和插入任何內容。Sharp和Goodwin在深入研究公共領域的電影數據庫並諮詢律師後，選定了兩部電影:《地球上最後一個人》（The Last Man on Earth）和《不死之腦》（The Brain That Wouldn't Die）。
換臉技術
這部電影最引人注目的地方是它對換臉技術的依賴，從而將現有的電影改編得符合Benjamin的意願。在流行文化中，換臉已經成為一個非常熱門的話題，尤其是奧巴馬被換臉的視頻在網絡上瘋傳之後。儘管如此，這項技術的侷限性還是很明顯的，特別是有時間限制因素影響的時候。Zone Out的製作團隊在分析演員托馬斯·米德迪奇(Thomas Middleditch)、伊麗莎白·格雷(Elisabeth Gray)和漢弗萊·克(Humphrey Ker)的預錄視頻時也遇到了計算時間太長的問題。
在定格形式下，換臉的效果看起來相當不錯
也可能像這樣
頭被安在盤子上
時間緊迫的影響在最終的產品中很明顯。Sharp 也承認計算能力的限制阻礙了團隊對產品美觀的設想。兩人最初想用Tacotron的一個開源版本來使用自己的錄音對話和樣本合成語音；人類演員唸了大量的對話，Benjamin會在適當的時候自動插入這些對話。但事實證明，這在計算上成本太大，超出了時間限制，於是兩人仍然使用合成語音。
當鏡頭只有一張側向的臉時，換臉效果很糟糕
圖中，Thomas Middleditch的臉被貼在一名沒有對話的演員身上
同樣的問題也出現在換臉和麵部操控系統上。 Sharp說：“我們最終不得不承認，這部電影的配音很糟糕。”因為生成對抗網絡和開源版本的face2face這些工具只能在規定的時間內獲得“初稿”一樣的面部渲染結果。
這三位演員是換臉內容的來源
值得稱讚的是，兩人的一個最初計劃進行得相當順利：利用基於Jukedeck平臺的完全由機器人編曲的配樂。“系統分析了劇本的情感內容，”Sharp說。其結果是一段鋼琴音樂，有助於分散人們對Zone Out奇怪的聲音合成的注意力。
下一個目標
自動化過程中最大的失敗來自於試圖使用一個不同的AI系統，一個卷積神經網絡，用於
自動選擇公共領域電影片段的過程。“劇本中沒有足夠的對象描述符，也沒有足夠數量的唯一對象，”Sharp說，這意味著自動編輯系統缺乏足夠的數據。在這一點上， Sharp和Goodwin很謹慎地遵守AI作為“導演”的決定，選擇電影場景、拍攝長度和演員安排。“編輯Jono Chanin和我的工作假定這就是Benjamin試圖講述和編輯的故事，同時也嚴格遵守 Benjamin的劇本，”Sharp說，“所以在這裡，出現了一些人類的解釋，儘管我希望把它們徹底清除。這仍然是我們的下一個目標。”
的確，儘管這部電影的結局（以及影片中糟糕的聲音合成）很奇怪，但它也包含了相當多有感情的鏡頭，尤其是當Benjamin的劇本與公共電影片段中一對夫婦痛苦地決鬥的鏡頭一致時。更高的計算效率和更精確的數據分析工具可能能夠使這種48小時的電影製作在未來成為現實。
Sharp顯然也沒有放棄嘗試。他說：“在這個實驗之後， Ross已經發現了一些他認為可以幫助我們進行完全自動化編輯的新技術，非常令人興奮。”
閱讀更多 科技點評網 的文章
