MIT與英偉達聯手“搞事情”,深度學習系統完成毫秒級圖片降噪

由於拍攝條件的關係,人們拍出的照片常常會有“噪聲”

,也就是那些呈現顆粒、異常的彩色或白色斑點。這些“噪聲”十分影響最後的成片效果,PS對這些問題也不是萬能的。

這個問題在醫學成像檢測(如MRI)和天文圖像中也常常出現,因為這些場景根本沒有足夠的時間和光線來拍攝清晰圖像。生成清晰的圖像數據來訓練降噪器的任務可能需要幾天或幾周的時間

作為AI領域的兩個“扛把子”機構,英偉達和MIT決定,利用機器學習來解決這個問題。他們開發出了一套名為Noise2Noise的AI系統,能夠在幾毫秒內從圖像中去除噪聲、水印、彈幕等,即使它從未見過該圖像的高清版

MIT與英偉達聯手“搞事情”,深度學習系統完成毫秒級圖片降噪

通常來說,訓練AI系統的去噪能力,是讓它把一張高清圖片和該圖片的“噪聲版”進行對比,從而發現其中的聯繫和規律。

但如果系統從未見過一張圖片的高清版,它就解決不了問題。就好比學生解數學題時,已經知道了正確答案,解題就成為了往答案湊的過程,而不是思考的過程。

MIT與英偉達聯手“搞事情”,深度學習系統完成毫秒級圖片降噪

“扛把子”之所以成為“扛把子”,是因為他們能通過不同的角度去看待一個問題。既然要除掉“噪聲”,那就讓只給系統看“噪聲”,給它喂50000張充滿噪點或水印的圖片。他們基於配對的噪聲圖像來訓練網絡,並且只需要噪聲圖像。

Noise2Noise系統就是被這樣訓練出來的,這個“怪物”只要觀察圖像兩次,便可以輕鬆處理各種各樣的噪聲(加性高斯噪聲、泊松噪聲和binomial噪聲)。因此類似天體攝影、核磁共振成像(MRI)或大腦掃描圖像,該系統就能在毫秒級別的時間內完成圖像渲染。

研究人員在論文中寫道:“我們觀察到,在適當的,常見的情況下,我們可以學習僅從損壞的示例重建信號,而無需觀察干淨的信號,並且其效果與使用乾淨樣本一樣好。如我們在下文所展示的,從統計角度來看,我們的結論可能是微不足道的,但在實踐中,通過解除對清潔數據可用性的要求,這種方法顯著簡化了學習信號的重建。”

MIT與英偉達聯手“搞事情”,深度學習系統完成毫秒級圖片降噪

上圖這張照片中的“噪聲”就是典型的泊松噪聲(Poisson noise),是照片噪聲的主要來源,它很難去除,因為它與信號有關。下圖是Noise2Noise系統處理眼部時的細節。

MIT與英偉達聯手“搞事情”,深度學習系統完成毫秒級圖片降噪

這是系統去除圖像中文字的效果,從此再也不怕水印和彈幕擋臉。

MIT與英偉達聯手“搞事情”,深度學習系統完成毫秒級圖片降噪

除此之外,系統在醫療方面也能大展身手。Noise2Noise的核磁共振成像降噪訓練利用了近5000幅核磁共振圖像,這些圖像均來自於IXI數據集的50位人類受試者。在沒有人為增加噪點的情況下,輸出結果可能比原始圖像略微模糊,

但明顯恢復了清晰度

MIT與英偉達聯手“搞事情”,深度學習系統完成毫秒級圖片降噪

英偉達研究員JacobMunkberg在一次電話採訪中表示:“這是我們在公共MRI數據庫上進行訓練的一個概念證明,而且它可能在將來某一天得到實際應用。”這項工作成果於2018年7月在瑞典斯德哥爾摩召開的機器學習國際會議上公佈。

更多精彩內容,關注望潮科技微信號(ID:tech_beat)


分享到:


相關文章: