AI In Black Hole|黑洞成像背後算法、圖像處理及大規模機器學習

昨天,人類史上首張清晰的超級黑洞照片在美國華盛頓、中國上海和臺北、智利聖地亞哥、比利時布魯塞爾、丹麥靈比和日本東京同步發佈。


AI In Black Hole|黑洞成像背後算法、圖像處理及大規模機器學習


資料來自:

http://bicmr.pku.edu.cn/~dongbin/Teaching_files/圖像處理中的數學方法-18-19/index.html

https://www.ted.com/talks/katie_bouman_what_does_a_black_hole_look_like?language=en

本文主要探討最近在網絡上得到熱議的黑洞成像背後的算法原理,涉及到優化、機器學習和統計理論相關的知識。內容整理來自@知乎2prime。

圖像處理經常被處理成反問題

考慮正問題

AI In Black Hole|黑洞成像背後算法、圖像處理及大規模機器學習

,

AI In Black Hole|黑洞成像背後算法、圖像處理及大規模機器學習

是觀測噪聲,反問題就是在有了觀測

AI In Black Hole|黑洞成像背後算法、圖像處理及大規模機器學習

的條件下怎麼獲得真實圖片u

如果A是一個恆同算子,反問題就是去燥

如果A是一個模糊,反問題就是去模糊

如果A是一個CT,反問題就是CT恢復

在將算法之前說一下這個問題意義,打個比方你要做核磁共振,你要綁在床上聽著快一個小時噪聲,那麼你就希望

AI In Black Hole|黑洞成像背後算法、圖像處理及大規模機器學習

這個算法進行sample 次數變少,那麼如果我算法更厲害,你mri時間會越少。

有人說,這個問題簡單

AI In Black Hole|黑洞成像背後算法、圖像處理及大規模機器學習

就好了,那麼如果A不可逆呢?

你說這個也簡單,最小二乘啊

AI In Black Hole|黑洞成像背後算法、圖像處理及大規模機器學習

,那麼你就是沒有考慮到

AI In Black Hole|黑洞成像背後算法、圖像處理及大規模機器學習

--觀測噪聲


AI In Black Hole|黑洞成像背後算法、圖像處理及大規模機器學習


考慮一個去模糊問題,如果有噪聲,直接求逆結果會是怎麼樣的呢?

AI In Black Hole|黑洞成像背後算法、圖像處理及大規模機器學習


噪聲在求逆的時候無數倍的被放大了,產生了棋盤一樣的artifact

那麼怎麼解決問題呢?加入正則項!


AI In Black Hole|黑洞成像背後算法、圖像處理及大規模機器學習


這裡的R的作用時

  • 如果u不是“圖片”,那麼R值大一點
  • 如果u像一張圖片,R的值小一點

數學家就花了很久來構造R,第一個成功的是total variation,定義為

AI In Black Hole|黑洞成像背後算法、圖像處理及大規模機器學習



AI In Black Hole|黑洞成像背後算法、圖像處理及大規模機器學習


發明這個算法的stan osher教授也獲得了應用數學最高獎 gauss 獎

https://www.math.ucla.edu/news/professor-stanley-osher-receives-highest-honor-applied-mathematics

當年這個算法也幫助LA破獲了一起殺人案


AI In Black Hole|黑洞成像背後算法、圖像處理及大規模機器學習



那麼我來介紹這次的算法

對於simulate數據


AI In Black Hole|黑洞成像背後算法、圖像處理及大規模機器學習


用了total variation的效果是


AI In Black Hole|黑洞成像背後算法、圖像處理及大規模機器學習


參考 project page:

http://vlbiimaging.csail.mit.edu/

為什麼呢,為了達到這個分辨尺度,根據測不準原理,他們需要整個地球半徑的天文望遠鏡。但是事實上我們造不出來這麼大的望遠鏡,只能用九個觀測站點的數據來做。這是一個高度不適定的反問題,那麼需要更好的正則項。

設計正則項他們用到的想法是學習

From Learning Models of Natural Image Patches to Whole Image Restoration

https://people.csail.mit.edu/danielzoran/EPLLICCVCameraReady.pdf

他們用高斯混合模型對圖片patch進行建模,學習出圖片patch的distribution作為上面問題的正則項。

ted talk裡面還將到他們用了多個數據集去學習,用日常圖片,宇宙照片,望遠鏡數據。。學習出來了很多個正則項,發現恢復出來的圖片都是這樣的圖片。

更加深刻一點

其實這種做法和傳統的sparse coding有很大的類似

G. Yu, G. Sapiro, and S. Mallat, Solving inverse problems with piecewise linear estimators:

From Gaussian mixture models to structured sparsity, IEEE Transactions on Image Processing,

21 (2012), pp. 2481–2499.

https://ieeexplore.ieee.org/document/6104390/

好處可能是

  • 可以用到外部乾淨數據
  • 非凸優化的局部最小值更少

Wipf David, Rao B D, Nagarajan S. Latent variable Bayesian models for promoting sparsity[J]. IEEE Transactions on Information Theory, 2011, 57(9): 6236-6255.

但是上面的分析都是單個gaussian的建模

據我所知用高斯混合模型來建模的理論分析到現在都很難。

順便,這個小姐姐的研究都很有意思


AI In Black Hole|黑洞成像背後算法、圖像處理及大規模機器學習


最有名的可能是這個根據牆後的照相機判斷牆後有沒有人

http://people.csail.mit.edu/klbouman/cornercameras.html


分享到:


相關文章: