基于腦電采用深度卷積神經(jīng)網(wǎng)絡(luò)在聽音樂的過程中進行時空上的情緒識別

01 研究背景

基于腦電來進行情緒識別是目前比較活躍的研究領(lǐng)域，而卷積神經(jīng)網(wǎng)絡(luò)作為機器學(xué)習(xí)的模型之一，也被廣泛應(yīng)用到這一領(lǐng)域的研究中。

02 研究方法

2.1、被試

實驗選取了大阪大學(xué)的12名男性被試（平均年齡25.59±1.69歲），身體健康，并且沒有人之前接受過正式的音樂教育訓(xùn)練。所有被試均是自愿參與，每個人都被告知實驗流程。

2.2、實驗材料

實驗中用到的音樂包括40個MIDI文件，每首歌都只有不同的樂器和節(jié)奏，以規(guī)避歌詞的影響，被試被要求從音樂集中選擇16首歌曲。

腦電數(shù)據(jù)的采樣率設(shè)置為250Hz，記錄了12個數(shù)據(jù)點的腦電信號，分別是Fp1，F(xiàn)p2，F(xiàn)3，F(xiàn)4，F(xiàn)7，F(xiàn)8，F(xiàn)z，C3，C4，T3，T4，Pz，這些通道均是在情緒管理中起到重要作用的額葉附近腦區(qū)。實驗過程中每個電極的阻抗降到20kΩ以下，并在60Hz進行凹陷濾波。

圖1. 國際標(biāo)準(zhǔn)10-20電極排布排布分布圖

2.3、實驗流程

在被試選擇了16首歌曲后，他們被要求去聽這些歌曲。歌曲之間有16秒的沉默間隔，減少了歌曲之間的任何效果。當(dāng)每個被試在聽所選的音樂過程中，同時記錄其腦電信號。在實驗過程中要求被試閉眼保持穩(wěn)定以避免無關(guān)偽跡干擾。當(dāng)被試聽完16首歌曲之后，摘下電極帽，把16首歌曲按照相同的順序再聽一遍，并通過不斷點擊屏幕上顯示的喚醒效價空間中的相應(yīng)點來標(biāo)注自己聽音樂過程中的感受。

圖2. 情緒分類模型的兩個維度

2.4、數(shù)據(jù)處理

本研究采用了基于Matlab的EEGLAB工具包，首先對腦電數(shù)據(jù)進行了0.5-60Hz的帶通濾波，并且根據(jù)獨立成分分析的結(jié)果校正受污染的數(shù)據(jù)，包括噪聲，眼動，肌電等偽跡。處理好之后，腦電信號通過時間戳與標(biāo)注的情緒相關(guān)聯(lián)。

圖3. 數(shù)據(jù)采集與預(yù)處理流程

接下來對標(biāo)注好的情緒元素進行分類，喚醒度方面分為高和低，效價方面分為積極和消極。在本研究中將情緒識別作為兩個成分的二元分類任務(wù)，根據(jù)EEG信號對情緒進行分類，考慮了卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜性、窗口大小以及電極的排序。

03 研究結(jié)果

研究表明，不同窗口大小的時間信息在10倍（10-fold）交叉驗證和保留一個被試（leave-one-subject-out）的交叉驗證中顯著影響識別性能。來自不同電極順序的空間信息對分類有輕微的影響�；�于同一數(shù)據(jù)集上的時空知識，之前使用的SVM分類器與這些實證結(jié)果進行比較，結(jié)果發(fā)現(xiàn)，盡管CNN和SVM在窗口大小效應(yīng)上具有同源的趨勢，但CNN使用保留一個被試（leave-one-subject-out）交叉驗證的效果優(yōu)于SVM，這可能是由于在提取過程中提取的特征不同所致。

04 參考文獻

Keelawat, P., Thammasan, N., Numao, M., & Kijsirikul, B. (2019). Spatiotemporal Emotion Recognition using Deep CNN Based on EEG during Music Listening. ArXiv Preprint ArXiv:1910.09719.