五色慄 發自 凹非寺
△ 輸入黑白，生成色彩
谷歌培育了一隻AI，是一隻自動給視頻上色的AI。
從彩色視頻裡，截取某一幀作參考。再把所有幀都變成黑白，AI僅僅依靠參考幀的顏色，便可以還原整段視頻的色彩了。
把影像從灰暗變到新鮮，只用了下面這一張圖。
並且，沒有人告訴AI，哪裡是人，哪裡是櫃子。
走到哪，都認識你
這是一個自我監督 (Self-Supervised) 的物體追蹤模型。
所以，研究人員餵給神經網絡的是，大量的
無標記視頻數據。模型要學會預測，黑白視頻中，物體的顏色。
最關鍵的步驟，就是物體跟蹤。
比如，AI看到了一輛汽車，沒有人告訴它那是汽車。
但在黑白的圖像裡，它還是要準確找到這輛車所在的區域，把參考幀裡相應區域的紅色填過去。
雖然，模型沒有用參考標準標記 (Ground Truth Labels) 訓練過。但從結果上看，神經網絡依然學成了人類喜聞樂見的樣子。
麵包上的奶油，即便塗好的樣子不同了，AI也依然記得。
姿勢也可以追蹤
另外，研究人員發現，這個模型還可以用來追蹤人類的姿勢。
對於主角是人類的視頻，神經網絡只有瞭解他們的一舉一動 ，才能更順暢地為人類上色。
畢竟，他們動作比較多，還喜歡給自己加戲。你看——
你讓我坐下？
我就不坐下。
我很厲害吧。
再不鼓掌我…
只要輸入一幀帶有骨架的圖。
AI就可以推斷出，視頻裡其他幀的姿勢了。
那麼，追蹤功夫姿勢的話，一定會更燃吧。
然而，並沒有，可能只會更佛系，因為——
△ 你的黃色，不，是你的黃色
這是太極的上色效果。
論文傳送門：
https://arxiv.org/pdf/1806.09594.pdf
分享到:
閱讀更多 量子位 的文章
