GAN 這回玩了票大的，把手伸向了“人腦思維”。

沒錯，直接就是一個“合成思維”—— 生成用來餵給腦機介面的那種大腦活動資料。

作者表示，這是 AI 首次在該領域被應用。並且這項技術一舉把訓練腦機介面系統提取、分析大腦訊號的時間，提高了整整 20 倍。

此項研究來自南加大華人博士溫士賢團隊。

論文已發表在 Nature 子刊上。

而在我們與作者溫士賢的深入交談中，他表示會繼續推進相關研究：

這項研究成果未來可以用於諸多神經解碼問題上，自己也會繼續在失眠、自閉症、多動症、阿茲海默症等疾病的個性化的干預和阻斷上進行研究。

首次用 AI 合成“思維”

可是問題就來了，為什麼要用 AI 去“偽造”神經活動資料呢？

直接用人類的不好嗎？

還真不一定好。

比如，今年 5 月份登上 Nature 封面的意念打字研究，這位代號 T5，全身癱瘓的老爺子是唯一的受試者：

模型所需的訓練資料，就是這位老爺子在腦中一筆一畫“寫”出來的字母：

在腦海中想象文字的軌跡和手動書寫本來就難度不同，而模型需要的還不僅是幾個字母，而是大量重複的書寫資料。

要讓一位殘疾人每天花幾個小時去做重複任務，不僅辛苦，資料收集的速度和資料集最終的大小自然都非常有限。

而在要讓演算法解讀神經活動訊號的腦機介面，本身也是一個機器學習問題。

因此，演算法效果當然會依賴於巨量訓練資料的支撐，而在實際實驗中，真不一定弄得到那麼多資料。

就算有充足的可用資料，不同受試物件的神經元訊號也存在差異。

一個人的資料訓練出來的解碼演算法要應用到另一個人身上，就必須重頭再來。

除此之外，就算是同主體上的解碼演算法的效果，也會隨著時間推移而變差，需要定期重新校準。

更何況，有些最需要腦機介面幫助的殘障人士，因神經系統損壞已經無法傳送相應的訊號了。

那麼，要如何解決或者改善上面這些問題呢？

溫士賢博士表示：

GAN 就完事兒了。

讓猴子玩貪吃蛇

這次研究的被試者是兩隻小猴子，它們需要完成的任務很簡單。

螢幕上會有物體在隨機位置出現，小猴子要用搖桿控制螢幕上的游標去接觸這個物體。

結合論文的配圖一看，大概類似於貪吃蛇？

小猴子手臂處植入的電極陣列會採集神經的運動控制（Motor Control）訊號。

初級運動皮層的神經元會以 1-2 毫秒間隔釋放 100 毫伏左右的間歇性脈衝，神經元每次激發就會產生一個峰值。

這種活動模式被叫做峰電位序列（Spike Train）。

▲真實神經元的峰電位序列

研究人員先用雙向 LSTM 網路設計了 GAN 中的生成器和鑑別器，用採集到的神經資料加上隨機高斯噪聲來合成新的資料。

研究要解決的關鍵問題，是如何只用少量真實採集的資料來生產可用的合成數據。

▲合成的峰電位序列

對於神經訊號來說，合成數據的可用性面臨兩個問題：

不同個體產生的訊號有不同模式，就連同一個體在不同時間的神經訊號也會不同。

而之前的步驟就相當於預訓練，下一步就是針對這些情況來微調。

結合另一隻猴子或同一只猴子在不同時間採集的資料來作微調，最終產生大量可適用於不同情況的峰電位序列。

最後一步就是驗證用少量真實資料 + 大量合成的資料訓練腦機介面解碼器，以驗證效果。

最終他們只用不到 1 分鐘的真實資料加上合成數據，就能當 20 分鐘的真實資料用。

論文最後提到，雖然這次研究只實驗了猴子的運動控制訊號，不過研究所用的方法是純資料驅動的，不對運動控制問題有額外的設計。

換句話說，這篇論文提出的方法是通用的，如果用於其他神經的編碼解碼問題，只需要做最小限度的修改即可。

論文第一作者溫士賢在與杜克大學腦機介面專家 Miguel Nicolelis 合作的另一項研究中還做了讓小猴子玩跑步機的實驗。

溫士賢表示，這是 AI 第一次用於合成思維或運動訊號，能推進腦機介面技術的進一步應用落地。

不過還有最後一個問題，以猴子為實驗物件做出來的方法能不能遷移到人類身上？

在與量子位的交流中，溫士賢認為僅從解碼演算法的角度來看問題不大，研究中已經考慮到了這一點。

更多的問題是腦機介面硬體和材料的設計問題，比裝置和人類生物細胞的相容度，還有采集晶片怎麼快速和安全的植入到正確的位置等。

“腦機介面的重點還是科學”

論文的一作溫士賢本科畢業於北京交通大學，現在是一名南加州大學維特比工程學院的博士生，就讀於計算機系，主要研究方向是 AI 和神經科學。

而他的導師是南加州大學的電腦科學，心理學和神經科學的副教授 Laurent Itti。

Laurent Itti 主要研究視覺注意、場景理解、眼球運動控制等領域，同時也是多個開源的神經形態視覺軟體工具包的開發者。

腦機介面其實並不是導師 Itti 的主要研究方向，神經科學一開始只是溫士賢自己的興趣。

在研究生期間，又一次他看到杜克大學腦機介面專家 Miguel Nicolelis 教授著名的 TED 演講，介紹了他們如何用腦機介面幫助一個癱瘓青年用意念在巴西足球世界盃上開了第一球。

後來更是有機會到 Nicolelis 教授的實驗室實習，這一實驗室的研究成果中，就有通過腦機介面技術幫助一個殘疾人在巴西足球世界盃上開了第一球。

這算是我第一次和腦機介面“結緣”。

而這次的論文是溫士賢自己拉來日內瓦大學和美國西北大學的研究者一起合作完成。

現在，溫士賢即將博士畢業，而他也選擇繼續在 AI + 神經科學的方向從業。

目前他已經面試了一些國內的大學和研究機構，以及當紅的腦機介面公司，已經拿到一些不錯的 Offer。

而關於腦機介面，神經科學的行業現狀和趨勢，溫士賢表示：

腦科學的市場本身有巨大的需求，比如 Neuralink 的腦疾病治療、Apple 的 mental health 評估、Meta 的 Ctrl lab 在元宇宙中改善人機互動的硬體等等。

所以它的重點還是科學，而不是比誰的市場化做的更好。

因此，這種商業模式是最有利於我們這種科研人員創業的。

論文地址：點此直達