AR-SSVEP for Brain-Machine Interface:Estimating User’s Gaze in Head-mounted Display with USB camera
AR-SSVEP for Brain-Machine Interface:Estimating User’s Gaze in Head-mounted Display with USB camera
用於腦機介面的AR-SSVEP：使用USB攝像頭評估使用者對頭戴式顯示器的注意力
文章目錄
- AR-SSVEP for Brain-Machine Interface:Estimating User's Gaze in Head-mounted Display with USB camera
- 用於腦機介面的AR-SSVEP：使用USB攝像頭評估使用者對頭戴式顯示器的注意力
發表於： 2015 IEEE虛擬現實（VR）
來源：https://ieeexplore.ieee.org/document/7223361
摘要
我們的目標是開發一種腦機介面（BMI）系統，用於估計使用者對某個物體的注視或注意力，以便在現實世界中撿起它。在實驗1和2中，我們使用在頭戴式顯示器（HMD）上呈現的照相場景的亮度和/或對比度調製閃爍來測量穩態視覺誘發電位（SSVEP）。我們應用多類SVM來估計每2s時間窗資料的凝視位置，並通過一對一會話交叉驗證獲得了非常好的凝視位置分類。在實驗3中，我們使用由USB相機線上捕獲並呈現在HMD上的真實場景的亮度和對比度調製閃爍來測量SSVEP。我們將AR標記放在真實物體上，並使其位置在HMD上閃爍。我們獲得了具有最高亮度和對比度調製的凝視分類的最佳效能（在偶然性水平33％時73-91％準確度），以及具有低（最高25％）亮度和對比度調製（42-50％準確度）的顯著良好分類）。這些結果表明，通過USB攝像頭的真實場景的亮度調製閃爍可以通過使用增強現實技術應用於BMI。
Keywords: SSVEP, EEG, Brain-machine Interface, Augmented-reality, SVM.
1 介紹
腦機介面（BMI）是一種使用腦電活動控制機器或計算機的技術。穩態視覺誘發電位（SSVEP）由視覺閃爍引發，並且是適用於BMI的流行EEG訊號之一[1]。SSVEP適合BMI拾取物體或選擇場景中的按鈕，並用於許多研究[2] [3]。然而，大多數研究都提出了人工閃爍模式，如人工場景中的棋盤格，如圖形按鈕或虛擬場景（參見[4]]）。我們的目標是將基於SSVEP的BMI應用於我們周圍的真實場景。我們稱之為AR-SSVEP，並且已經發現CRT顯示器上的攝影場景的對比度調製閃爍可以引出SSVEP，並且可以通過統計分類方法來估計使用者的凝視[5]。這項研究的目的是估計使用者對使用SSVEP拾取物體的注視，這是通過頭戴式顯示器（HMD）和USB相機的增強現實（AR）技術引出的。
2 實驗1
第一個實驗的目的是測試是否可以使用在HMD上呈現的攝影影象的亮度和/或對比度閃爍來測量SSVEP。
2.1 方法
八位初次使用的受試者以書面知情同意後參與了實驗。視覺刺激呈現在OEL顯示器面板HMD（SONY HMZ-T3,1280×720畫素，45 × 24.4deg，60Hz重新整理），放在EEG電極帽（g.tec g.USBamp）上。我們測量了8個通道（10-20系統; Cz，T5，P3，Pz，P4，T6，O1，O2）的EEG，其具有Fz接地和A2參考，512Hz取樣率（帶通濾波器：0.5-60Hz）。十六張攝影場景的靜態照片（1280 × 720 使用畫素）和三個小位置（100 × 100影象中的每個畫素被分配到閃爍區域（圖1）。我們使用6,10和0（無閃爍）Hz閃爍，並在三個位置隨機分配它們。在每次試驗的15s呈現期間，要求受試者將眼睛固定在紅十字上。我們準備了兩種不同的對比度調製：對比度和亮度調製，以及等光對比度調製。後者對觀察者來說更加合理，因為它的亮度是恆定的，而它的區域性對比度會發生變化（圖2）。小矩形區域週期性地交替與25,50,75或100％對比度降低的影象和原始影象進行閃爍。所有受試者以隨機順序執行固定閃爍頻率（3），調製方法（2），調製水平（4）和16個場景（總共384次試驗）的組合。
2.2 結果
在剔除第一個1s資料後，我們將每個試驗的15s EEG資料分成7個2s-時間窗資料，並應用FFT來獲得SSVEP。因此，我們得到了112個樣本（7 epochs × 16 scenes） 對於每種情況。線性支援向量機（SVM）用於使用32維（8 ch of EEG x 4 頻率功率：6,10,12,20）對凝視位置（一對多其他多類：6,12或0 Hz）進行分類赫茲）。保留一個會話（試用）out方法用於交叉驗證。我們獲得了顯著高於機會水平（33.3％）的分類效能，除了25％和75％的等光對比度調製條件（單樣本t檢驗）p s < .05與等亮度對比度調製相比，亮度和對比度調製的效能更高（圖3左）。表現取決於對比度。
3 實驗2
我們基於實驗1的結果選擇亮度和對比度調製以獲得合適的閃爍刺激，並且使用相同的八個物件進行具有更高頻率的實驗：10和15Hz。我們獲得了比實驗1更好的效能（圖3中心; SMV：8 c h × 4 頻率功率為10,15,20和30 Hz）。
4 實驗3
基於實驗1和2的結果，我們確定使用10和15Hz閃爍的亮度和對比度調製來應用於AR-SSVEP。
4.1 方法
我們準備了6個附有AR標記的物體。隨機選擇其中三個並放在桌子上，並分配到10,15或0Hz閃爍。安裝在HMD上的USB攝像頭（BUFFALO BSW20K07H，640×480畫素）以10 Hz的頻率拍攝場景，AR標記周圍的140×140畫素區域以10,15 Hz閃爍或在HMD螢幕上保持恆定（0 Hz）（圖5）。受試者的任務與之前的實驗相同。四個受試者以隨機順序執行固定閃爍頻率（3），調製水平（4）和16個物件佈局（總共192次試驗）的組合。
4.2 結果
我們發現了比以前的實驗更好的分類效能（平均80％，100％對比度），即使使用真實世界和線上捕獲的刺激（圖3右）。然而，效能改善可能是由於實驗3中的閃爍區域的尺寸大於實驗1和2。
5 結論
我們通過在真實物體上使用AR標記開發了AR-SSVEP BCI系統原型，並通過USB攝像頭使其位置在HMD上閃爍。我們獲得了具有最高亮度和對比度調製的凝視分類的最佳效能（偶然性水平的準確度為73-91％），並且即使最低（最高的25％）亮度和對比度調製（42-50％）也具有顯著良好的分類準確性）。這些結果表明，通過USB攝像頭的真實場景的亮度調製閃爍可以通過使用增強現實技術應用於BMI。然而，存在分類效能和閃爍惱人的折衷。我們將在未來尋求AR-SSVEP和更好的機器學習演算法的最佳條件。