01 研究背景
基于腦電來(lái)進(jìn)行情緒識(shí)別是目前比較活躍的研究領(lǐng)域,而卷積神經(jīng)網(wǎng)絡(luò)作為機(jī)器學(xué)習(xí)的模型之一,也被廣泛應(yīng)用到這一領(lǐng)域的研究中。
02 研究方法
2.1、被試
實(shí)驗(yàn)選取了大阪大學(xué)的12名男性被試(平均年齡25.59±1.69歲),身體健康,并且沒(méi)有人之前接受過(guò)正式的音樂(lè)教育訓(xùn)練。所有被試均是自愿參與,每個(gè)人都被告知實(shí)驗(yàn)流程。
2.2、實(shí)驗(yàn)材料
實(shí)驗(yàn)中用到的音樂(lè)包括40個(gè)MIDI文件,每首歌都只有不同的樂(lè)器和節(jié)奏,以規(guī)避歌詞的影響,被試被要求從音樂(lè)集中選擇16首歌曲。
腦電數(shù)據(jù)的采樣率設(shè)置為250Hz,記錄了12個(gè)數(shù)據(jù)點(diǎn)的腦電信號(hào),分別是Fp1,F(xiàn)p2,F(xiàn)3,F(xiàn)4,F(xiàn)7,F(xiàn)8,F(xiàn)z,C3,C4,T3,T4,Pz,這些通道均是在情緒管理中起到重要作用的額葉附近腦區(qū)。實(shí)驗(yàn)過(guò)程中每個(gè)電極的阻抗降到20kΩ以下,并在60Hz進(jìn)行凹陷濾波。
圖1. 國(guó)際標(biāo)準(zhǔn)10-20電極排布排布分布圖
2.3、實(shí)驗(yàn)流程
在被試選擇了16首歌曲后,他們被要求去聽(tīng)這些歌曲。歌曲之間有16秒的沉默間隔,減少了歌曲之間的任何效果。當(dāng)每個(gè)被試在聽(tīng)所選的音樂(lè)過(guò)程中,同時(shí)記錄其腦電信號(hào)。在實(shí)驗(yàn)過(guò)程中要求被試閉眼保持穩(wěn)定以避免無(wú)關(guān)偽跡干擾。當(dāng)被試聽(tīng)完16首歌曲之后,摘下電極帽,把16首歌曲按照相同的順序再聽(tīng)一遍,并通過(guò)不斷點(diǎn)擊屏幕上顯示的喚醒效價(jià)空間中的相應(yīng)點(diǎn)來(lái)標(biāo)注自己聽(tīng)音樂(lè)過(guò)程中的感受。
圖2. 情緒分類(lèi)模型的兩個(gè)維度
2.4、數(shù)據(jù)處理
本研究采用了基于Matlab的EEGLAB工具包,首先對(duì)腦電數(shù)據(jù)進(jìn)行了0.5-60Hz的帶通濾波,并且根據(jù)獨(dú)立成分分析的結(jié)果校正受污染的數(shù)據(jù),包括噪聲,眼動(dòng),肌電等偽跡。處理好之后,腦電信號(hào)通過(guò)時(shí)間戳與標(biāo)注的情緒相關(guān)聯(lián)。
圖3. 數(shù)據(jù)采集與預(yù)處理流程
接下來(lái)對(duì)標(biāo)注好的情緒元素進(jìn)行分類(lèi),喚醒度方面分為高和低,效價(jià)方面分為積極和消極。在本研究中將情緒識(shí)別作為兩個(gè)成分的二元分類(lèi)任務(wù),根據(jù)EEG信號(hào)對(duì)情緒進(jìn)行分類(lèi),考慮了卷積神經(jīng)網(wǎng)絡(luò)的復(fù)雜性、窗口大小以及電極的排序。
03 研究結(jié)果
研究表明,不同窗口大小的時(shí)間信息在10倍(10-fold)交叉驗(yàn)證和保留一個(gè)被試(leave-one-subject-out)的交叉驗(yàn)證中顯著影響識(shí)別性能。來(lái)自不同電極順序的空間信息對(duì)分類(lèi)有輕微的影響。基于同一數(shù)據(jù)集上的時(shí)空知識(shí),之前使用的SVM分類(lèi)器與這些實(shí)證結(jié)果進(jìn)行比較,結(jié)果發(fā)現(xiàn),盡管CNN和SVM在窗口大小效應(yīng)上具有同源的趨勢(shì),但CNN使用保留一個(gè)被試(leave-one-subject-out)交叉驗(yàn)證的效果優(yōu)于SVM,這可能是由于在提取過(guò)程中提取的特征不同所致。
04 參考文獻(xiàn)
Keelawat, P., Thammasan, N., Numao, M., & Kijsirikul, B. (2019). Spatiotemporal Emotion Recognition using Deep CNN Based on EEG during Music Listening. ArXiv Preprint ArXiv:1910.09719.