來源：騰訊AI實驗室

摘要：3月15日，騰訊AI Lab第二屆學術論壇在深圳舉行，聚焦人工智慧在醫療、遊戲、多媒體內容、人機互動等四大領域的跨界研究與應用。

3月15日，騰訊AI Lab第二屆學術論壇在深圳舉行，聚焦人工智慧在醫療、遊戲、多媒體內容、人機互動等四大領域的跨界研究與應用。全球30位頂級AI專家出席，對多項前沿研究成果進行了深入探討與交流。騰訊AI Lab還宣佈了2018三大核心戰略，以及同頂級研究與出版機構自然科研的戰略合作。

騰訊AI Lab希望將論壇打造為一個具有國際影響力的頂級學術平臺，推動前沿、原創、開放的研究與應用探討與交流，讓企業、行業和學界「共享AI+未來」。

Dimitris Metaxas 

美國羅格斯大學計算機科學系傑出教授

計算生物醫學影像與建模中心主任

在 16 日的「AI+醫療」論壇上，美國羅格斯大學計算機科學系傑出教授、計算生物醫學影像與建模中心（CBIM）主任 Dimitris Metaxas 做了主題為《基於模型的醫療應用大規模分析》的演講。

Dimitris Metaxas 教授一直致力於形式化方法的開發，以促進醫學影象分析、計算機視覺、計算機圖形學以及對多模態語言的理解。在計算機生物醫學應用領域，他利用MRI、SPAMM和CT掃描資料開發了新的人體內臟器官（如肺）的材料建模和形狀識別方法，這是用於心臟運動分析的開拓性框架，也是將人體解剖和生理模型、組織病理學、細胞追蹤、細胞型別分析與小鼠行為分析相聯絡的開拓性架構。

在人工智慧和計算機視覺領域，他在可變形模型、三維人體運動分析、行為、場景理解、機器學習、監督、目標識別、稀疏性以及野外生物識別等方面開發了新的方法。在計算機圖形學領域，他為流體動畫引入了Navier-Stokes方法，1998年的動畫電影《蟻哥正傳》（Antz）中的水景基於該法制作而成。

Dimitris Metaxas教授發表了500多篇論文，獲得過多項最佳論文獎，擁有7項專利。他是富布賴特獎學金、NSF研究啟動獎和職業生涯獎，以及ONR青年研究計劃獎的獲得者。他是美國醫學和生物工程院院士、IEEE會士和MICCAI會士，曾擔任IEEE CVPR 2014和ICCV 2011大會主席，ICCV 2007程式主席， FIMH 2011、MICCAI 2008及SCA 2007高階程式主席。

演講內容

醫療資料分析對於新的醫學發現、診斷改進和成本降低來說日益重要。本演講將介紹一種已持續開發25年的通用可擴充套件的計算框架，它將計算學習、稀疏方法、混合範數、詞典和稀疏性的原理與可變形建模方法結合在一起，應用於醫學影象分析和計算機視覺領域中複雜的大規模問題中。

演講將介紹該系統的多種醫學應用，包括心臟病的分割、識別和表徵的特徵發現、心臟 MRI 影象重建、心臟血流分析、大規模組織病理學影象分析和檢索、體脂估計，以及用於酒精研究的齧齒動物行為分析和細胞分析等。

以下為演講全文（為便於閱讀進行過適當編輯整理）：

大家好。剛才Pep講了非常多的內容，小編非常贊同。接下來小編會為大家列舉一些例子，小編也會說明我們確實需要謹慎小心地運用這些工具。

機器學習的重點是資料，但它們沒法超越它們的資料。人工智慧在醫療領域的應用才剛剛開始。小編會給出一些案例說明我們當前的工作和難題。

首先小編先簡單介紹一下我們的計算生物醫學影像與建模中心（CBIM）。CBIM 成立於 2002 年，那時候計算機的執行非常慢，資料非常少，訓練神經網路是非常困難的。現在 CBIM 有 133 位教職成員，65 位博士生。

計算生物醫學影像與建模是一項多學科的研究任務，不僅涉及計算技術，還涉及到生物學、醫學、神經科學、語言學等等。我們需要醫生和生物學家來幫我們檢視和驗證資料，如果我們不做這件事，我們就永遠無法成功。我們與羅格斯大學的很多部門都有合作，而且因為羅格斯大學與紐約等地的距離很近，我們和周邊的一些醫院也有合作關係。

我們希望解決的問題的領域包括使用計算機視覺技術處理生物醫學資料、成像、識別以及人類行為和語言的多模態方面。

我們希望為醫學影像資訊學開發穩健的和可擴充套件的方法，以用於臨床和臨床前的應用。

先說臨床的。人們已經在臨床方向開發了很多框架，涵蓋很多流程，從資料獲取到檢測和分割到診斷等等。這些技術的目的並不是取代醫生，而是幫助醫生更快更好地完成日常工作。當然這個過程可能會減少對醫生的需求，雖然醫生不喜歡這一點，但試點測試是必不可少的。

可以看到，首先是資料獲取。我們可以通過掃描器瞭解病人病灶的情況，這些影象需要進行分割。我們希望能在掃描的時候就分割，而不必之後再做。這方面我們有些自動化的選擇和機會。小編會展示神經網路在這方面的優良表現——不管是實時處理還是之後處理。有了分割後的影象後，你需要建模，識別影象中的正常和異常。機器學習只是這個過程的一部分，你還需要向醫生解釋為什麼這個地方是異常的。醫生需要知道模型是根據什麼特徵得出結論的，如果不對，我們還要對神經網路進行修改。

在資料獲取方面，壓縮感測核磁共振（Compressed Sensing MRI）是一種高效的資料採集方法，能有效降低掃描時間，極大提升病人的體驗。我們可以在裡面做分割、註冊和重建等。

除了分割掃描資料，還有病理學影象分割的研究。但問題是我們如何處理異常，畢竟每個人的異常都不一樣。也許神經網路在一些具體病例上表現很好，但卻處理不了其他病例。這也是其中的難點。 

1994年以來我一直在關注心血管診斷領域，我們能用 MRI 重建血流的運動。當然，我們還可以用 CT 重建心臟內部的情況，這比 MRI 更加清晰。

這裡可以看到重建出的心臟運動情況。我們能通過這種方式檢視心臟裡血液留存的位置，預防心臟病發作。

接下來，我們要進行無網格的模型擬合。現在的醫生看的是一張張切片，對於 3D 結構他們只能猜測，不能看到。我們可以通過一張張切片重建出 3D 結構，標出其中承受的壓力。通過觀察心臟中的迴圈，我們能知道正常和異常的位置。這是非常全面的方法。過去醫生通常只看一張片，而心臟是立體的，而且在運動，一張切片的資訊很不全面。我們的方法能讓醫生更好地瞭解這些資訊。

另一項研究是在知識發現上。我們如何將這些影象用來診斷疾病呢？比如分析這些組織病理學影象，來診斷癌症。這方面也有不同的維度。另外，我們也可以將這些資訊用來培訓新的醫生。當然這樣的工作並不容易，但對這些方面都會有影響。

接下來我們談一個具體的應用。比如說肝臟的 CT。首先我要談談為什麼這方面的影象分割並不容易。影象中一直都會存在偽影，因為醫生往往沒有時間去做非常仔細的成像。你不希望將這些偽影分割出來，不然可能會影響醫生的診斷。檢測肺病的時候，我們需要知道肺在那裡。

我們知道左肺和右肺的大小是不一樣的，因為一邊的肺旁邊有心臟，所以會小一點。醫生當然知道這一點，但計算機不知道。我們需要填補這其中的差距。此外，大腦等結構擁有很多細節資訊，也需要關注。

我們可以使用形狀先驗（shape prior）。我們的自動分割系統需要做到準確、有效和魯棒。我們不能讓醫生等待太長時間，還要能處理影象中的偽影等錯誤資訊，以及發現複雜的組織結構（比如大腦）中的細節。

很多時候，由於工作環境的影響，輸入的資料可能並不準確，我們需要處理這些問題。另外我們也要保留區域性細節，這些細節可能就代表了疾病或創傷的存在，對治療而言非常重要。 

當然，我們有大量資料來做機器學習。這些資料是稀疏的。我們的方法基於兩個觀察：輸入形狀可以近似由訓練形狀的稀疏線性組合表示；給定的形狀資訊可能包含嚴重錯誤，但這種錯誤通常是稀疏的。我們的做法是首先最小化模型和資料之間的差異，這是我們要執行的變換。然後是稀疏線性組合。

我們也要考慮非高斯誤差，這對提升結果很重要。

為什麼我們的方法是有效的？在魯棒性方面，使用 L0 範數約束明確建模“e”，因此可以檢測到顯然的（稀疏）誤差。在通用性方面，不對引數分佈模型做任何假設，因此可以建模複雜的形狀資訊。在無損性方面，使用了所有的訓練形狀，因此能夠覆蓋所有的細節資訊，甚至包括訓練資料中統計不顯著的細節。

這是我們的實驗設定。

準確度能達到 90% 以上。

當然你也能進行線上學習，你可以選擇哪些資料是重要的。所以小編可以從少量資料開始，然後增加更多資料來提升質量。醫生在看過更多影象後會表現得更好，這種方法也是類似。能讓模型持續提升的線上學習是很重要的。

再來看看心臟影象的分割。這方面的進展很慢，但也有一些突破，比如我們剛完成的，能展示出很多複雜細節。

我們能用機器學習在 MRI 上做些什麼？這是我們的工作流程。醫生需要的不只是一個答案，他們需要知道得出結論的原因，是哪些特徵讓模型認為存在問題。

我們的方法可以非常準確地說明哪些區域與特定疾病的診斷有關。與心臟相關的疾病有 400 種左右，這些疾病都有一些模式，因此非常適合用機器學習來處理——如果有大量資料的話。所以我們和很多醫院和學校合作來獲得理解這一問題的資料。實際上，50% 罹患心臟血管疾病的風險都是可以早期預測的，通過測量，我們能發現一些連醫生也不知道的事情。所以我們也實際上推進到了下一步。

得到了切片後我們可以建模，得到 3D 模型，實現更好的視覺化。這樣醫生就不容易錯過或忽略對一些疾病的診斷。

這裡的紅色和黃色展示了血液和肌肉的比例。我們在研究這個比例與疾病的關聯。

還有標誌跟蹤（tag tracking），這是一種瞭解血液如何影響對心室的壓力的常用手段。

這裡是一些關於流速場的討論。患病瓣膜會有更小的孔洞，會導致更高的流速，產生的高壓力可能導致患病。

基於雜湊的影象檢索（Towards Large-Scale Histopathological Image Analysis: Hashing-Based Image Retrieval）是我們的又一項研究。

疾病的嚴重程度千差萬別，就像在這個病例裡面，這是一種惡性腫瘤。

雜湊可以檢測相似性資訊，讓模型表現更好。 

可以看到，我們不僅做得更好，而且更加穩定，不管特徵維度有多大。演算法的高效性是非常重要的。

這是檢索結果的展示。

在臨床前研究方面，我們也有一些進展。這是我們的一種細胞核的分割方法。這是我們和很多不同醫院共同開展的一項研究。那麼我們怎麼找到細胞核呢？因為細胞核很重要，與 DNA 相關。

我們可以根據形狀和大小等特徵對細胞核進行分類，看是正常還是異常的。另外密度資訊也很重要，腫瘤細胞和正常細胞有不同的密度。

我們可以把它應用到一些臨床前應用上，比如研究大量小鼠的行為。因為小鼠在藥物和疾病研究上很重要，小鼠的行為能為我們提供一些結果。我們可以劃分小鼠不同的部分，監控和統計多隻小鼠的活動。

最後，我們的未來研究方向有哪些？首先是高效的資訊融合。我們希望不只是檢測單模態資料，而能同時使用多個尺度上的多模態資料。另一個方向是從粗略到精細的學習（Coarse-to-fine Learning），不同規模的學習很重要。我們希望將領域專家的知識整合到機器學習中，以提升推理能力和可解釋性；我們還希望在使用過程中不斷修正神經網路，我稱之為「learn how to learn」。

當然，我們也要研究使用可解釋的引數進行學習和推理的基本方法。非線性優化方法也是一個研究方向，神經網路的引數太多了，我們如何在減少引數數量的同時又實現更好的表現？有時候需要基於耦合 PDE 和機器學習的方法。

小編的演講到此為止。我們現在還沒有到達頂峰，但是已經處在一個非常令人激動和興奮的時間節點，我們對機器學習為醫療領域帶來變革很有信心。

未來智慧實驗室是人工智慧學家與科學院相關機構聯合成立的人工智慧，網際網路和腦科學交叉研究機構。

未來智慧實驗室的主要工作包括：建立AI智慧系統智商評測體系，開展世界人工智慧智商評測；開展網際網路（城市）雲腦研究計劃，構建網際網路（城市）雲腦技術和企業圖譜，為提升企業，行業與城市的智慧水平服務。

  如果您對實驗室的研究感興趣，歡迎加入未來智慧實驗室線上平臺。掃描以下二維碼或點選本文左下角“閱讀原文”