丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

在圖像計算與數字醫學國際研討會(ISICDM)上,顧險峰教授應邀出席並做了主題為“醫學圖像中的幾何方法”的學術報告,介紹了基於他們提出的共形幾何理論的種種圖像處理方法以及在醫學圖像中的應用實例。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

顧險峰教授,現為美國紐約州立大學石溪分校計算機系和應用數學系的終身教授,也是清華大學丘成桐數學科學中心訪問教授。曾獲美國國家自然科學基金CAREER獎,中國國家自然科學基金海外傑出青年獎(與胡事民教授合作),“華人菲爾茨獎”:晨興應用數學金獎。丘成桐先生和顧險峰博士團隊,將微分幾何,代數拓撲,黎曼面理論,偏微分方程與計算機科學相結合,創立跨領域學科“計算共形幾何”,並廣泛應用於計算機圖形學,計算機視覺,幾何建模,無線傳感器網絡,醫學圖像等領域。目前已經發表二百篇餘篇國際論文,學術專著包括“Computational Conformal Geometry”(計算共形幾何), “Ricci Flow for Surface Registration and Shape Analysis”等。

顧險峰教授此次出席的圖像計算與數字醫學國際研討會(ISICDM2017)暨智能醫學信息處理論壇,是由國際數字醫學會、中華醫學會數字醫學分會、中華醫學會病理學分會主辦,電子科技大學電子工程學院承辦。

作為本次大會的獨家媒體,雷鋒網全程見證了大會盛況。

此次會議極具學科交叉特色,430多位來自信息科學(含計算機與電子工程等學科)、數學與醫學等領域的專家學者與臨床醫生聚首一堂,圍繞人工智能+醫療、醫學圖像分析、深度學習、虛擬/增強現實等熱點問題開展深入的交流與探討。

中國解剖學會理事長、國際數字醫學會主席、中華醫學會數字醫學分會主任委員、第三軍醫大學張紹祥教授(少將)為本次會議的名譽主席,解放軍南京總醫院影像科主任盧光明教授、中華醫學會病理學分會主任委員、四川大學華西醫院步宏教授、中科院自動化所研究員田捷擔任大會主席。電子科技大學李純明教授為ISICDM會議的發起人和程序主席,負責會議主題的確立、報告專家的邀請與會議內容的組織。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

很高興和大家共同探討。今天我報告的題目是:醫學圖像中的幾何方法。

感謝大會組委會的邀請,感謝李純明老師的邀請,感謝各位同學、學者、醫生。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

這個工作是和很多人一起完成的,我這裡列舉了一些主要的合作者:我的導師丘成桐院士;羅鋒教授,在羅格斯大學數學系;Tony Chan,香港科技大學校長;Paul Thompson教授,在南加州大學做腦神經科學;王雅琳教授,在Arizona州立大學計算機系;Lok Ming Lui 教授,在香港中文大學數學系;雷娜教授,在大連理工軟件學院;秦宏教授,Dimitris Samaras 教授、高潔教授、Arie Kaufman教授都是我的同事。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

我們知道在幾何上有個埃爾朗根 (Erlangen) 綱領,它是說不同幾何研究不同變換群下的不變量。

在醫學中和工程中常用的有四種幾何:

  • 拓撲 Topology,它對應的就是拓撲同胚變換
  • 黎曼幾何(Riemannian Geometry)對應的是等距變換,保持黎曼度量不變的變換
  • 曲面的微分幾何(Differential Geometry),對應的是歐氏空間中的rigid motion,剛體變換
  • 我們研究的重點是共形幾何(Conformal Geometry),它是介於拓撲和黎曼幾何之間,比拓撲要硬,比黎曼幾何要軟。
丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

它特別適合研究這三種問題:

  • 曲面之間的映射,比如有兩個醫學圖像、兩三個器官的表面成像如何進行配準註冊;如果有個動態變化的曲面,比如心臟在跳動,如何做跟蹤;或者人臉各種各樣表情變化如何做跟蹤。這類問題適合用共形幾何的理論來處理
  • 幾何分類。比如有一個器官,要判斷它是否正常,看大腦是否有老年痴呆症、胰腺形狀是否正常、腫瘤是良性還是惡性,這都屬於幾何分類
  • 形狀分析。很多很細緻的分析,比如給一張人臉,判斷他的表情;給一個器官的表面,如何提取它各方面的特徵;

這三類問題的理論根基,我們認為很大部分上仰仗共形幾何。我們把這套理論從純理論變成算法,有算法之後就可以用在很多工程領域、圖形學、計算機視覺、幾何建模、網絡、3D打印,當然也包括醫學圖像中。今天我主要講的就是在醫學圖像方面的應用。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

從歷史上來說,共形幾何是多個領域的交叉點。大家都學過複變函數,學過保角變換,可能大家也學過代數拓撲、代數幾何、代數曲線,特別是微分幾何和偏微分方程PDE,共形幾何是這些數學分支的交叉點。

在我們之前也有很多人研究過計算複變函數。我們和前人最大的區別是,之前的人是做平面區域之間的保角變換,現在我們是做曲面之間的變換。換句話說,為了做平面之間的變換,只需要研究複變函數;但是要做曲面之間的變換的話,用的理論工具就要換成微分幾何加上幾何分析偏微分方程(Geometric PDE)。所以從歷史來看,這是我們和前人的工作理論層面的最大差別。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

我們是從2000年開始做的,主要因為這時開始三維數據變得非常多,一方面三維掃描技術有大幅度發展,人們可以很輕易地得到三維曲面;醫學圖像的發展也非常快,我們可以得到大量的醫學圖像。

這些信息非常容易獲得,但處理起來非常困難。我們可以看一些原始的數據。這是我的一個學生,我把他的三維臉部曲面掃描下來,可以分析他的表情,做動態的跟蹤。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

每張曲面上有300萬個採樣點,每秒鐘可以得到120張動態曲面,數據量非常龐大。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

不同的三維曲面,記錄了動態表情。

採集這些數據是很容易的。大家都有了iPhone X之後,得到這樣的數據會變得更加廉價。但是分析起來非常困難。比如給你一個高速的動態的三維曲面序列,如何求它們之間的微分同胚,如何自動精確地找到一一對應、如何分析表情的變換,實際上具有非常大的挑戰性。從計算角度講比較困難,從理論角度講也不是很完善。

最簡單的來說,比如給兩副曲面,一張是平靜的臉,一張是帶表情的臉,要如何找有意義的微分同胚。迄今為止機器學習是做不了這個的,通過微分幾何倒是有很多方法,所以這個方面還在發展。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

另一方面,隨著GPU的發展,計算能力空前高漲。一些以前非常困難的幾何偏微分方程的求解變得相對容易,在個人電腦上PC上就可以很容易地進行計算。

總之,一方面由於三維數據的獲得非常容易,另一方面由於計算能力的增加,催生了共形幾何這個領域。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

這裡列舉了一些計算共形幾何領域的基本問題。它們的描述方式比較數學化,但大家如果稍微有些數學背景的話,就可以知道大量的工程問題、醫學問題,最後都可以歸結為數學問題。

我大致說一下

  • 我們知道所有曲面都是有黎曼度量的,有了黎曼度量之後計算它所對應的共同結構;比如給兩個曲面,我們需要判斷它們是否存在保角變換。如果曲面拓撲復雜的話,兩個曲面之間不一定有保角變換;如果有的話,怎麼把它算出來。
  • 如果固定曲面的共形結構,如何找到最簡單的黎曼度量。如果找到這個簡單黎曼度量的話很多計算問題可以得到大幅度簡化。
  • 如果給了我們想要的目標曲率,如何設計構造一個黎曼度量,和初始度量黎曼共形等價,並且實現這個目標曲率。
  • 如果給了兩個拓撲同胚的曲面,給了映射的同倫類,如何找到唯一的映射,使得映射帶來的幾何畸變最小、物理上最自然。

等等諸如此類的基本理論問題。

這些問題,工程上有自己的提法,翻譯成數學語言表達以後相對比較明確。歷史上來看,這些問題在共形幾何中都有比較完美的理論解答。

這裡的困難在於,第一個如何把實際問題看透,翻譯成數學語言;第二個如何把數學理論看透,翻譯成計算機語言。

我們也試圖用機器學習的方法做其中的一些問題,發現非常困難。基於統計的方法通過學習,揭示曲面的內在結構和曲面之間的微分同胚,效果並不好;分類的效果相對讓人滿意一些。所以目前這個領域機器學習還沒有大規模的介入,還是基於數學方法。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

在過去的十多年間我們發展了相對完備的軟件工具,在座的同學老師如果有興趣的可以跟我聯繫,我們一起來做研究。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

過去我也寫了幾本書,和邱先生一起寫的《計算工程幾何》;還有《離散曲面變分法》。最後這本書在還國內買不到,它是講如何應用這套理論進行曲面配準和形狀分析。最近我還在寫一本新書,漢語的,打算把《計算共形幾何》的講義寫得更加深入淺出一些,更加工程一些。我會將主要內容發到我的公眾號上,可能有很多缺點和錯誤,希望大家提出寶貴意見。

我們下面介紹幾個概念。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

共形映射

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

這是我的辦公室,我在桌面上放了一個鏡框,照了一張整個辦公室的照片,把照片嵌在鏡框裡;大家可以看到鏡框裡面還存在二級鏡框,二級鏡框裡還有三級鏡框,有無窮多的鏡框嵌套,在無窮級嵌套的內部有唯一的不動點。把整個圖像經過相似變換,將鏡框內部放大成整張圖像,則整個圖像本身是不變的。這種不變相似變換它和它自己複合,構成了一個不變群;整個平面摳掉不動點,除掉這個群,它的商空間實際是一個拓撲環面,是一個二維的輪胎曲面。

我們可以把它計算一個保角變換,把左圖變成右圖,映射之後的拓撲發生巨大變化。左邊的鏡框本來是一個封閉曲線,變換後的鏡框變成了一條開放的螺旋線。本來鏡框外部的世界是真實的世界,鏡框內部的世界是虛擬的世界。經過變換以後,真實的世界和虛擬的世界混為一談。很多驚恐片、科幻片都是基於這個原則:將現實和夢境混為一談。

仔細觀察,這個映射有一個特別大的特點,變換前後能保持局部形狀不變:變換以後還是能認出來圖中的兔子和畢加索的畫。這個映射從全局來看畸變非常劇烈,拓撲發生了巨大的變化,但局部形狀並沒有發生改變。這類變換就是所謂的保角變換,大家在複變函數論裡應該學過這個概念。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

曲面也存在類似的變換。這是米開朗基羅的大衛頭像,我們將頭像掃描下來得到了這張三維曲面。我們可以把展開平貼在二維空間的長方形上。

這個映射,第一把彎曲的曲面變成平面,實現了降維,把三維的體在平面上處理,把幾何曲面之間的配準問題變成圖像配準問題。降維可以讓計算大幅簡化。 第二它保持信息不變、保持局部形狀不變。我們可以看到耳朵依舊是耳朵的形狀,眼睛、鼻子、頭髮也是一樣。這種映射在切空間上看,是相似變換;每一點有一個小臨域,臨域到臨域之間的變換是相似變換,相似變換保持形狀不變。但是每一點的相似比不一樣,所以有的地方放大了,有的地方縮小了。鼻子就縮小的很厲害。這種變換就是共形變換,它保持了局部形狀不變。

這張圖顯示的就是共形變換的第一個優點,就是降維,把三維變成二維。大家如果對硬件比較熟悉的話,圖像處理可以用 FPGA 來做、用 GPU 做,但是處理三維曲面比較困難。比如大家想把 CNN 從圖像處理變成幾何處理,有幾種方法,一種是把曲面嵌在八叉樹裡;另一種就是展在平面上,然後用平面處理的方法來做。今年 SIGGRAPH 就有這方面的論文。把三維曲面變成二維,最自然的方法當然就是這種共形變換。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

這裡給出它的數學定義。有一張三維人臉,經過變換以後變成二維圓盤,這是黎曼映照。在人臉上任意畫兩條相交曲線,曲面上的曲線在變換後成為平面上的曲線;原曲線交點切向量之間的交角為 θ,變換後的曲線交點切向量之間交角仍然為 θ,並不改變。曲線無論畫在什麼地方,交角都不改變。如果有一個微分同胚滿足這個性質,它就可以稱作保角變換。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

作為對比我們看一下,把同一張臉映射到同一個平面上。我們在可以在平面圓盤上放許多無窮小圓,然後拉回來看它們在曲面上的形狀。上面一行是保角變換,保持了小圓的形狀不變。下面是一般的微分同胚,它把平面上的無窮小圓,變成了曲面上的無窮小橢圓。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

這裡看一個demo。這是一張通過掃描得到的三維人臉,通過黎曼映照投到平面上來。我們在平面上放了許多無窮小圓作為它的紋理,拉到三維曲面上以後還是無窮小圓。它的局部保持形狀不變,圓形映射成圓形。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

作為對比,我們看一個一般的微分同胚。從平面拉伸到三維曲面以後,圓變成橢圓。這就是微分同胚和保角變換之間的差別。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

我們再看下角度的變化,在平面上放上棋盤格。棋盤格每個角都是直角,把它拉回到三維曲面上,我們可以看到每個棋盤格的大小發生了改變,但從法方向看下去的話,每個交角都還是直角。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

作為對比我們再看另一種變換,直角不再被保持。這給了我們保角變換的一個直觀感受。

丘成桐得意門生顧險峰:機器學習解決不了的醫學圖像問題,用幾何

我們知道曲面到平面區域的微分同胚有無窮多個,這些微分同胚構成的空間是無窮多維,所以很難控制;從曲面到平面的黎曼映照也有無窮多個,但是所有的黎曼映照構成的空間只有三維。所以維數非常有限,只需要在曲面邊界上固定三個點,映射就可以被唯一固定。很多時候你可能想要找一個典範映射,第一行的保角變換就是比較好的選擇;如果你想研究更為廣義的微分同胚,用下方的。共形幾何涵蓋的範圍很廣。共形幾何涵蓋的範圍很廣,其中擬共形變換包括了所有可能的微分同胚。


分享到:


相關文章: