Towards intelligent environments: an augmented reality–brain–machine interface operated with a see-t
Towards intelligent environments: an augmented reality–brain–machine interface operated with a see-through head-mount display
邁向智慧環境：基於頭戴式透視顯示器的AR-BMI
文章目錄
- Towards intelligent environments: an augmented reality–brain–machine interface operated with a see-through head-mount display
- 邁向智慧環境：基於頭戴式透視顯示器的AR-BMI
摘要
BCI或BMI是一種新的介面技術，它使用來自大腦的神經生理訊號來控制外部機器或計算機。預計該技術將協助日常活動，特別是對殘疾人而言。為了擴充套件此正規化的使用範圍，我們將增強現實（AR）引入到基於P300的BMI。在這個新系統中，使用者靠近可控裝置的區域時，我們使用透視頭戴式顯示器（HMD）來建立具有閃爍視覺刺激的控制面板。當附加的相機檢測到AR標記時，會計算標記的位置和方向，並且由AR系統建立預先分配的裝置的控制面板併疊加在HMD上。參與者被要求控制系統相容的裝置，他們成功地作業系統而不需要經過大量的培訓。使用HMD的線上效能與使用LCD顯示器的線上效能沒有差別。後部和側部（右側或左側）通道選擇有助於使用HMD和LCD監視器操作AR-BMI。我們的結果表明，使用透視HMD操作的AR-BMI系統可用於構建高階智慧環境。
關鍵詞：Keywords: BMI, BCI, augmented reality, head-mount display, environmental control system
介紹
腦機介面（BMI）或腦機介面（BCI）是一種新的介面技術，它使用來自大腦的神經生理訊號來控制外部計算機或機器（Birbaumer等，1999 ; Wolpaw和Mcfarland，2004 ; Birbaumer和科恩，2007年）。腦電圖（EEG），其中使用放置在頭皮上的電極記錄神經生理學訊號，代表了用於研究BMI的主要非侵入性方法。我們小組應用了腦電圖並開發了基於BMI的環境控制和通訊系統。在這個系統中，我們修改了P300拼寫器（Farwell和Donchin，1988）。P300拼寫器使用P300範例，包括以矩陣排列的一系列圖示的呈現。根據該協議，參與者關注矩陣中的一個圖示作為目標，然後矩陣的每個行/列或單個圖示以隨機序列加強。目標刺激表現為罕見的刺激（即奇怪的範例）。我們引發P300對目標刺激的反應，然後提取並對這些反應進行分類。在我們之前的研究中，我們準備了綠色/藍色閃爍矩陣，因為這種顏色組合被認為是最安全的（Parra et al。，2007））。我們發現綠色/藍色閃爍矩陣與白色/灰色閃爍矩陣相比具有更好的主觀舒適感，我們還發現綠色/藍色閃爍矩陣與更好的效能相關（Takano等，2009a），b）。BMI系統被頸髓損傷患者令人滿意地使用（Komatsu等，2008 ; Ikegami等，2011）。
殘疾人可以使用這種系統來支援他們的日常活動。在這種型別的系統中，使用者依賴於預先配備的控制面板; 因此，每個系統都專門用於使用者的特定環境（例如，他或她的家）。為了擴大可能的活動範圍，需要開發一種易於在新環境中使用的新系統，例如醫院。為了實現這一點，我們在此處為基於P300的BMI添加了增強現實（AR）功能。在該系統中，我們使用透視頭戴式顯示器（HMD）來建立具有閃爍視覺刺激的控制面板，從而在使用者接近可控裝置時為其提供合適的面板。當附加的相機檢測到AR標記時，會計算標記的位置和方向，1和2）。
圖1. AR-BMI系統圖。當USB攝像頭檢測到AR標記時，預先指定的裝置（例如，檯燈）的控制面板被新增到使用者的視線中並且裝置變得可控制。受試者能夠通過關注增強控制面板上的圖示來操作裝置。
圖2.實驗程式。在強化時，圖示將顏色從藍色變為綠色，並且記錄引出的ERP。EEG資料中的紅色實線表示用於分類的分段部分。在15個序列後，通過Fisher線性判別分析對目標進行分類。燈光控制面板有四個圖示（開啟，關閉，亮起和暗淡），而電視控制面板有11個圖示（開啟，更改頻道，更改視訊模式，音量增大和音量減小）。
我們在這項研究中使用了透視HMD。為了評估不同型別的視覺刺激對新AR-BMI的影響，我們將透視HMD與LCD監視器進行了比較。要求參與者使用AR-BMI系統控制裝置，同時使用透視HMD和LCD監視器。通過這樣做，我們發現具有透視HMD的AR-BMI系統執行良好。
實驗和方法
被試
招募了15名受試者作為參與者（年齡19-46歲; 3名女性，12名男性）。根據愛丁堡清單（Oldfield，1971），所有受試者神經正常。我們的研究得到了國家殘疾人康復中心的機構審查委員會的批准。所有受試者均根據機構指南提供書面知情同意書。
實驗設計
增強現實技術與BMI相結合（圖1）。AR-BMI系統由HMD（LE750A，Liteye Systems，Inc.，Centennial，CO，USA）或LCD監視器（E207WFPc，Dell Inc.，Round Rock，TX，USA），PC，USB攝像機（QCAM-）組成。 200V，Logicool，Tokyo，Japan），EEG放大器（g.USBamp，Guger Technologies OEG，Graz，Austria）和EEG cap（g.EEGcap，Guger Technologies OEG）。我們在系統中使用了ARToolKit C語言庫（Kato和Billinghurst，1999）。當相機檢測到AR標記時，預先指定的紅外裝置變得可控制。AR標記的位置和姿勢是由照相機檢測到的影象計算的，並且用於器具的控制面板由AR系統建立併疊加在物件的視線內。我們準備了一臺電視和檯燈作為可控裝置。裝置用於電視和檯燈的控制面板的AR標記（圖2）。
我們製備了綠色/藍色閃爍矩陣（Takano等，2009b）作為控制面板。強化/休息的持續時間為100/50 ms。所有圖示都以隨機順序閃爍，建立一個序列。每15個序列進行一次分類（圖2）。受試者被要求傳送五個命令來控制電視和檯燈。我們要求受試者專注於其中一個圖示。
腦電圖記錄和分析
使用帽記錄八通道（Fz，Cz，Pz，P3，P4，Oz，Po7和Po8）EEG資料。所有通道都參考Fpz並接地到AFz。電極阻抗低於20kΩ。使用gUSBamp以128Hz的速率放大/數字化EEG資料。gUSBamp內部數字化率高於128 Hz，因此對資料進行了下采樣。用0.1Hz的八階高通濾波器和四階48-52Hz陷波濾波器對數字化資料進行濾波。
在分析中，記錄的EEG資料用一階帶通濾波器（1.27-2.86Hz）濾波; 根據集約化的時間記錄了120個ERP資料的數字化點。來自前20個點（強化前）的資料用於基線校正。將剩餘的100個點（強化後）下采樣至25.6Hz並用於分類。
在訓練集中，我們記錄了EEG資料以預先建立特徵向量。要求受試者關注其中一個目標圖示，並使用四個目標圖示。記錄六十（4個試驗×15個增強）數字化點組作為目標資料集，並且記錄600個（4個試驗×15個強化×10個非目標圖示）數字化點組作為非目標資料集。每個資料集包括每個EEG通道的100個數字化點，並且這些資料集被下采樣到每個EEG通道的20個數字化點。總共使用每個受試者的分段資料計算160個維度特徵向量（每個EEG通道20個維度）。針對每個實驗條件（LCD和HMD）匯出特徵向量。
在測試集中，使用特徵向量，使用Fisher的線性判別分析來區分目標和非目標圖示。分類的結果，作為總和分數的最大值，用於確定受試者參加的圖示。
結果
線上效能和離線評估
在目前的研究中，我們準備了AR-BMI來控制系統相容裝置。我們使用透視HMD和LCD監視器來進一步評估不同型別的視覺刺激對AR-BMI的影響。
使用LCD顯示器評估線上效能並且電視控制面板的平均準確率為88％（SD = 3.20），而HMD為82.7％（SD = 2.63）; 然而，這些結果沒有顯著差異（圖3）。相反，在離線評估中注意到顯著差異[雙向重複ANOVA F（1,420）= 13.6，p <0.05; Tukey-Kramer檢驗，p <0.05]。
圖3.受試者的控制精度。顯示了控制電視和檯燈的準確性。橫軸表示序列數，縱軸表示精度。白色實線表示SE的平均精度。白色實線後面的藍色方塊是二維直方圖; 每個藍色方塊表示每個序列中受試者的頻率及其準確度[ （A）：LCD，（B）：HMD]。
LCD顯示器的光控制平均準確率為84％（SD = 3.40），而HMD為76％（SD = 2.06）; 然而，結果沒有顯著差異。在離線評估中，結果也沒有顯著差異。因此，我們的AR-BMI系統不僅可以通過使用PC顯示器來操作，還可以通過使用HMD來操作。
通道選擇
我們使用HMD和LCD顯示器進一步研究了通道選擇對AR-BMI操作的影響。我們將EEG通道分成不同的組並評估其準確性。
當我們分析兩個水平通道集[A（P3，Pz和P4）和B（Po7，Oz和Po8;圖4A）]中的資料時，集合B（後集）顯示出比集合A高得多的精度（所有會話和所有條件下的前組（p <0.05，雙向重複ANOVA，無相互作用）。
圖4.通道組中的控制精度。控制電視和檯燈的準確度顯示在不同的通道組（A-E）中。橫軸表示序列數，縱軸表示精度。（A）：通道組A（P3，Pz和P4）和B（Po7，Oz和Po8）; （B）：通道組C（P3和Po7），D（Pz和Oz）和E（P4和Po8）。實線表示LCD的效能，而虛線表示每個通道組的HMD效能。
當我們在三個垂直通道組[C（P3和PO7），d（PZ和OZ），和E（P4和PO8;圖分析的資料4 B）]中，設定d（中間組）顯示出比顯著低精度所有會話和所有條件下的其他（左和右組）（p <0.05，雙向重複ANOVA，無相互作用，Tukey-Kramer作為事後檢驗）。
這些結果表明，後置和側向（右或左）通道組在使用HMD和LCD監視器的AR-BMI操作中提供了更好的效能。
討論
在這項研究中，我們發現通過應用AR-BMI系統，該系統使用透視HMD，當用戶進入靠近可控裝置的區域時，可以為使用者提供合適的控制面板，參與者成功作業系統相容裝置重要的培訓。
HMD與LCD顯示器
當視覺誘發電位應用於BMI系統時，可以更好地評估視覺刺激的效果。Townsend等。（2010）報道，視覺刺激的棋盤範例提高了準確性。我們小組發現綠色/藍色閃爍刺激改善了基於P300的BMI操作期間的效能（Takano等，2009b）。使用沉浸式HMD和LCD監視器提供視覺刺激的BMI研究顯示兩種技術之間沒有顯著差異（Bayliss，2003）。
在這項研究中，我們將透視HMD和LCD監視器應用於AR-BMI系統以進一步評估不同型別的視覺刺激的效果，並且在線上評估中，與HMD的效能沒有不同。配備液晶顯示器。本研究的準確率為76％至88％; 因為正確反應的發生率超過70％，系統被認為已達到實際使用水平（Kubler和Birbaumer，2008 ; Nijboer等，2008）。
在離線分析中，透視HMD提供的電視控制精度明顯低於LCD顯示器。由於圖示大小和圖示之間的距離會影響分類的準確性（Sellers等，2006），這可能是由HMD和LCD監視器之間的不同型別的視覺刺激引起的。因此，應進一步研究視覺刺激對BMI手術的影響。
頻道集
我們還使用HMD和LCD監測器研究了通道選擇對AR-BMI操作的影響，並發現後向和側向（右或左）通道選擇對於HMD和ARD的AR-BMI的操作有利。液晶顯示器。已經報道了後外側通道在驅動基於P300的BMI中的重要作用（Krusienski等，2008 ; Rakotomamonjy和Guigue，2008）。Rakotomamonjy和Guigue（2008）使用支援向量機對基於P300的BMI中的通道的有效性進行了評分，並發現了Po7和Po8的優勢。Krusienski等。（2008）表明，枕骨 - 頂葉（Po7，Oz和Po8）和中線（Fz，Cz和Pz）電極提供了更好的準確性。
已經研究了P300的神經元機制，並且已經注意到P300反映了刺激驅動和自上而下的注意過程以及其他認知過程，包括分類（Bledowski等，2004 ; Polich，2007）。我們的任務使用了綠/藍色刺激，因此也需要處理主要發生在V4區域的彩色資訊（Lueck等，1989 ; Plendl等，1993 ; Murphey等，2008））。需要進一步的研究才能充分了解P300正規化下的綠色/藍色閃爍刺激的神經元過程; 然而，這項研究表明，在具有HMD和LCD顯示器的AR-BMI的操作中，後部和側面（右或左）通道組的重要性。
邁向高階智慧環境
已經嘗試了BMI和其他技術之間的幾種組合，例如具有眼睛跟蹤的BMI（Popescu等人，2006）和具有機器人技術的BMI（Valbuena等人，2007）。AR與SSVEP BMI相結合，提供了豐富的虛擬環境（Faller et al。，2010），我們在P300 BMI中使用AR配備LCD監視器和代理機器人，以便使用者可以在機器人環境中操作家用電子裝置（Kansaku）等人，2010）。在這項研究中，我們開發了一個AR-BMI系統，該系統採用透視HMD，可用於構建先進的智慧環境（Kansaku，印刷中）。
我們小組開發的系統使用改進的P300拼寫器（Farwell和Donchin，1988）。儘管P300拼寫器主要用於使用拼寫字母進行通訊，但該系統最近已用於控制更復雜的系統相容裝置，包括機器人（Bell等，2008 ; Komatsu等，2008）。因此，每個圖示通過分配更復雜的含義來表達使用者的想法。
我們的帶有透視HMD的AR-BMI可用於控制更多型別的裝置; 因此，該系統可能有助於擴大殘疾人的活動範圍。使用非侵入性神經生理學訊號或神經元放電資料，未來沿著這些線路擴充套件人類活動的環境可以使新的日常活動不僅適用於身體殘疾人，而且適用於身體健全的人。
來源
https://www.frontiersin.org/articles/10.3389/fnins.2011.00060/full