多模態(tài)數據在行為研究中的力量
近年來，行為研究的一個主要趨勢是采用多模式測量。在過去，觀察甚至計算機輔助視頻觀察可能足以回答研究問題，而今天的科學家需要獲得更深入的見解。多模式數據可以幫助解決這個問題。
案例研究顯示多模式數據收集的力量
觀察可以告訴你某人在做什么，但生理研究對心理狀態(tài)的洞察可以告訴你他們?yōu)槭裁催@樣做。例如，眼動追蹤可以揭示被試者自己甚至沒有意識到的興趣模式，腦電圖可以深入了解詳細的大腦過程。
研究人員比過去更多地使用多模式方法的一個原因是像 The Observer XT 或新發(fā)布的一體化平臺 NoldusHub 等現代解決方案可以更輕松地集成和同步不同的數據流并利用多模態(tài)研究。
這里有五個不同的研究示例，如果不結合不同的數據模式，這些研究是不可能的。
1. 發(fā)展心理學——通過視頻觀察以及 PPG 和溫度傳感器來調查社交焦慮。
社交焦慮是我們都經歷過的事情。公開演講、工作面試和約會等所有情況都會讓我們感到焦慮并害怕別人會怎么看我們，有時還會伴隨著臉紅，感覺很熱。每個人都知道這一點，但直到阿姆斯特丹大學的心理學家最近進行的一項研究 [1] 才知道臉紅在極端情況下扮演什么角色。
社交焦慮癥（SAD）這種障礙的特點是對他人的負面評價產生極端和持續(xù)的恐懼。它嚴重干擾社交場合，并可能產生各種負面的連鎖反應。眾所周知，臉紅是社交焦慮癥的一種癥狀，但臉紅在其發(fā)展中起什么作用呢？
研究人員要求不同年齡的幼兒在他們面前唱一首歌。他們使用 The Observer XT 的音頻視頻記錄進行系統(tǒng)觀察，并結合使用三種技術測量臉紅。使用光電體積描記法 (PPG) 測量血容量和血脈振幅。
這與運動手表中用于測量心率的技術相同，光線照射到皮膚上，然后處理反射信號（見圖1）。 使用鉑電極測量面頰溫度。PPG 和溫度傳感器都固定在孩子的一側臉頰上。
很明顯，對于這樣的研究，視頻觀察和使用傳感器測量特定變量（在本例中為臉紅）的組合具有相當大的附加值。如果僅僅通過觀察來估計臉紅，那么它的準確度就會大大降低，而且數據也會丟失。單憑觀察無法量化臉紅的程度；它只會顯示它的存在或不存在。這將大大限制分析的可能性。
臉紅和社交焦慮癥之間的確切關系是復雜的。然而，很明顯，兒童早期的自我意識情緒反應（表現為臉紅）的發(fā)展可能對兒童晚期社交焦慮癥的發(fā)展產生重要影響。三種不同的臉紅測量方法表明了不同的方面。溫度顯示出與社交焦慮發(fā)展的最明顯關系——可能是因為孩子們能感覺到他們的臉頰變熱，并對這種情況變得難為情。
2. 神經科學——嚙齒類動物的腦電波
腦電圖是一種將電極放置在顱骨表面的技術，它能夠獲取大腦中神經元的電活動�；顒右圆ㄐ蔚男问缴舷虏▌�，波的振蕩速度與受試者的行為相關。
如果它是每秒 8-12 次（8-12 赫茲），那么這與放松行為有關。 這是第一個被發(fā)現的關聯，因此它們被稱為alpha波。Beta 波（16-31 Hz）表示活躍的思維（警覺性）和運動行為，theta（4-7 Hz）表示困倦和冥想，delta（小于 4 Hz）表示注意力高度集中和深度睡眠。伽馬波（如下圖所示）頻率非常高，為 30-100 赫茲，由神經元群共同作用以實現某些認知和運動功能引起。
腦電圖通常與特定位置相關聯，例如 alpha 波是在頭部的后部（后部）區(qū)域測量的。 還可以更詳細地查看 EEG 波形，例如睡眠階段之一稱為 REM 睡眠——快速眼動。 眼睛的運動會導致來自大腦同樣特定區(qū)域的非常特定的波形形狀。 通過查看這些波形，不僅可以判斷 REM 睡眠是否正在進行，還可以判斷在特定時刻哪只眼睛正在朝哪個方向移動 [2]。
腦電圖還可用于幫助了解大腦疾�。ㄈ绨柎暮Ｄ习Y和抑郁癥）中發(fā)生的情況。
人類和其他動物（包括大鼠和小鼠）的腦電圖有很多相似之處。通常也存在峰值潛伏期等細微差異，但總體模式（例如，對各種藥物的反應）非常相似 [3]。這意味著它經常用于藥物發(fā)現。
智利的一組研究人員研究了大鼠腦電圖中的伽馬波 [4]。他們在稱為伏隔核的大腦區(qū)域中觀察了這些。該區(qū)域是大腦獎勵系統(tǒng)的一部分，與愉悅體驗有關。多巴胺是該區(qū)域的重要神經化學物質。在那項研究中，科學家們將伏隔核的腦電圖測量與使用 EthoVision XT 進行的行為測量相結合。
兩只老鼠被允許在一個對兩只動物都是中性領土的開放區(qū)域相互交流。 當老鼠彼此互動時，有更多的伽馬波，表明獎勵和快樂，而不是僅僅給它們一個新的互動對象。這只能通過將 EthoVision XT 的行為數據與 EEG 數據相結合來衡量。在下面的插圖中，右下角的圖表顯示了當老鼠彼此相互作用時，伽馬波明顯更強大。
他們還研究了當兩只相互作用的大鼠中的一只受到壓力時，相互作用如何進行。壓力是由被引入另一只老鼠的領地引起的。這導致緊張的對抗。野外的老鼠在日常生活中經常會遇到這種壓力。數據顯示，壓力大的老鼠不再能夠從中性領土上的互動中獲得盡可能多的樂趣，它的重要性在于，它首次展示了一些關于它在老鼠大腦中究竟如何運作的細節(jié)。
3. 教育心理學——在使用多種數據模式學習的同時研究參與度。
蒙特利爾魁北克大學的 NeuroLab 旨在使用多模式技術研究教育和學習的各個方面。他們使用一整套技術來研究正在處理在線學習問題的測試對象 [5]。
記錄與軟件的交互（鼠標點擊和移動），眼動儀記錄注視和瞳孔直徑，使用 FaceReader 和皮膚電導率（EDA，也稱為皮膚電導率）測量情感參與度。這是基于你在興奮或緊張時出汗的原理。 此外還使用腦電圖。如上所述，β 波表示認知警覺性。這與來自 alpha 和 theta 波段的信息相結合，給出了一個參與指數。所有這些數據流都使用 Noldus 的特殊設置組合在一起，如本次采訪中所述：
視頻
同步在這樣的設置中尤為重要，否則無法對數據進行有意義的分析。
4. 行為生態(tài)學——研究被困獾的壓力
研究野外動物的行為具有特殊的挑戰(zhàn)，使用多種類型的數據也可以提供幫助。在實驗室外工作時，設備出現故障和數據丟失的情況更為常見，因此擁有多種類型的數據可以作為一種補償方式，并且仍然能夠獲得可發(fā)布的結果，即使并非所有數據都符合要求計劃。這就是一組瑞典科學家在他們的研究 [6] 中發(fā)現的，即被困在獾身上的壓力有多大。
即使陷阱的設計不會造成物理傷害，但由于獾對情況的感知方式，它仍然會給獾帶來壓力。 測量壓力水平的黃金標準是測量皮質醇。皮質醇是身體直接響應壓力產生的一種激素。
研究人員為獾準備了含有難消化的彩色小顆粒的食物。每只獾都有不同顏色的顆粒，所以當研究人員收集它們的糞便時，他們可以測量皮質醇并知道它來自哪只獾。但是，正如在實地考察中常見的那樣，事情并沒有按計劃進行，他們收集的很多樣本中沒有任何顏色標記，因此無法使用。
使用 The Observer XT 進行實時和視頻記錄的觀察
然而，幸運的是，他們植入了傳感器，使他們能夠測量心率和體溫，這也是壓力的指示。此外，他們還使用 The Observer 對獾的所有行為進行了詳細的實時和視頻記錄觀察。這絕非易事，因為獾是夜行動物，需要許多個夜晚的艱苦工作。
結果并不令人驚訝，被困住對動物們來說確實壓力很大。他們一直在陷阱中，他們一直在努力逃脫。之后壓力影響繼續(xù)存在，當他們回到家時，他們的社交互動和梳理和抓撓等“舒適行為”都更少了。三天后，他們的社交禮儀仍然較少。他們被困的時間越長，壓力就越大。 此外，如果他們在夜間（他們的活躍期）被困，那比他們在白天被困的壓力更大。
這項研究特別出色地表明，行為觀察、生理測量和荷爾蒙觀察的結合都有助于對實驗的全面理解，并提供了僅靠觀察就可以做到的更深刻的見解。
5. 用戶體驗和健康研究——使用多模式數據研究技術如何幫助癡呆癥患者
加拿大的兩個實驗室合作開發(fā)了研究混合現實 (MR) 技術（虛擬現實和增強現實）使用的方法 [7]。 這些實驗室是位于加拿大多倫多的社會和技術系統(tǒng) (SaTS) 實驗室以及癡呆癥老化技術和參與實驗室 (DATE)。他們研究的特定應用是這些技術如何支持癡呆癥患者。通常在開發(fā)技術時，可以讓用戶填寫問卷，反饋技術是否滿足他們的需求。然而，癡呆癥患者并不總是能夠做到這一點，因此需要使用觀察方法。
觀察的基礎是 The Observer XT，他們還使用眼動追蹤眼鏡測量注視和瞳孔數據，使用 FaceReader 測量面部表情，還測量大腦神經過程的腦電圖。此外，還創(chuàng)建了一個任務評估工具，以量化參與者在使用和不使用 MR 工具的情況下能夠在多大程度上執(zhí)行任務。 最后，使用 The Observer XT 將所有數據匯集、同步和集成。
研究 [7] 的結論是 MR 設備確實有用，而且由 The Observer XT 提供支持的多模式設置是研究參與者與技術交互的有用方法。如果要以滿足這些人需求的方式開發(fā)技術，那么讓技術的最終用戶參與開發(fā)新技術至關重要。對使用這些技術的人進行良好的研究是確定這一點的最佳方法。
結論
來自許多不同模式的數據的使用正在真正成為主流，與單一模式相比的優(yōu)勢在于它揭示了更深刻的見解，而且如果一種模式失敗，數據中可能有足夠的冗余，仍然可以發(fā)表好的文章。 幾年前，處理多模式數據非常復雜，尤其是涉及到集成和同步時。 The Observer XT和NoldusHub 等現代技術使它變得越來越容易和實用。
參考文獻
[1] Milica Nikolić, Mirjana Majdandžić, Cristina Colonnesi, Wieke de Vente, Eline Möller, and Susan Bögels (2020). The unique contribution of blushing to the development of social anxiety disorder symptoms: results from a longitudinal study. J. Child Psychology & Psychiatry 61, 1339-1348. doi:10.1111/jcpp.13221.
[2] https://www.learningeeg.com/normal-asleep
[3] Drinkenburg WH, Ruigt GS, Ahnaou A. Pharmaco-EEG Studies in Animals: An Overview of Contemporary Translational Applications. Neuropsychobiology. 2015;72(3-4):151-64. doi: 10.1159/000442210. Epub 2016 Feb 23. PMID: 26901596.
[4] Iturra-Mena AM, Aguilar-Rivera M, Arriagada-Solimano M, Pérez-Valenzuela C, Fuentealba P and Dagnino-Subiabre A (2019) Impact of Stress on Gamma Oscillations in the Rat Nucleus Accumbens During Spontaneous Social Interaction. Front. Behav. Neurosci. 13:151. doi: 10.3389/fnbeh.2019.00151.
[5] P Charland, PM Léger, S Sénécal, F Courtemanche…(2015) - Assessing the multiple dimensions of engagement to characterize learning: A neurophysiological perspective. JoVE, 101, e52627. doi:10.3791/52627.
[6] Schütz, K. E., Ågren, E., Amundin, M., Röken, B., Palme, R., & Mörner, T. (2006). Behavioral and physiological responses of trap-induced stress in European badgers. The Journal of Wildlife Management, 884-891.
[7] Desai, S., & Astell, A. (2021). Mixed reality technologies for people with dementia: Participatory evaluation methods. arXiv preprint arXiv:2107.07336.Don't miss out on the latest blog posts
案例研究顯示多模式數據收集的力量
觀察可以告訴你某人在做什么，但生理研究對心理狀態(tài)的洞察可以告訴你他們?yōu)槭裁催@樣做。例如，眼動追蹤可以揭示被試者自己甚至沒有意識到的興趣模式，腦電圖可以深入了解詳細的大腦過程。
研究人員比過去更多地使用多模式方法的一個原因是像 The Observer XT 或新發(fā)布的一體化平臺 NoldusHub 等現代解決方案可以更輕松地集成和同步不同的數據流并利用多模態(tài)研究。
這里有五個不同的研究示例，如果不結合不同的數據模式，這些研究是不可能的。
1. 發(fā)展心理學——通過視頻觀察以及 PPG 和溫度傳感器來調查社交焦慮。
社交焦慮是我們都經歷過的事情。公開演講、工作面試和約會等所有情況都會讓我們感到焦慮并害怕別人會怎么看我們，有時還會伴隨著臉紅，感覺很熱。每個人都知道這一點，但直到阿姆斯特丹大學的心理學家最近進行的一項研究 [1] 才知道臉紅在極端情況下扮演什么角色。
社交焦慮癥（SAD）這種障礙的特點是對他人的負面評價產生極端和持續(xù)的恐懼。它嚴重干擾社交場合，并可能產生各種負面的連鎖反應。眾所周知，臉紅是社交焦慮癥的一種癥狀，但臉紅在其發(fā)展中起什么作用呢？
研究人員要求不同年齡的幼兒在他們面前唱一首歌。他們使用 The Observer XT 的音頻視頻記錄進行系統(tǒng)觀察，并結合使用三種技術測量臉紅。使用光電體積描記法 (PPG) 測量血容量和血脈振幅。
這與運動手表中用于測量心率的技術相同，光線照射到皮膚上，然后處理反射信號（見圖1）。 使用鉑電極測量面頰溫度。PPG 和溫度傳感器都固定在孩子的一側臉頰上。
圖1
很明顯，對于這樣的研究，視頻觀察和使用傳感器測量特定變量（在本例中為臉紅）的組合具有相當大的附加值。如果僅僅通過觀察來估計臉紅，那么它的準確度就會大大降低，而且數據也會丟失。單憑觀察無法量化臉紅的程度；它只會顯示它的存在或不存在。這將大大限制分析的可能性。
臉紅和社交焦慮癥之間的確切關系是復雜的。然而，很明顯，兒童早期的自我意識情緒反應（表現為臉紅）的發(fā)展可能對兒童晚期社交焦慮癥的發(fā)展產生重要影響。三種不同的臉紅測量方法表明了不同的方面。溫度顯示出與社交焦慮發(fā)展的最明顯關系——可能是因為孩子們能感覺到他們的臉頰變熱，并對這種情況變得難為情。
2. 神經科學——嚙齒類動物的腦電波
腦電圖是一種將電極放置在顱骨表面的技術，它能夠獲取大腦中神經元的電活動�；顒右圆ㄐ蔚男问缴舷虏▌�，波的振蕩速度與受試者的行為相關。
如果它是每秒 8-12 次（8-12 赫茲），那么這與放松行為有關。 這是第一個被發(fā)現的關聯，因此它們被稱為alpha波。Beta 波（16-31 Hz）表示活躍的思維（警覺性）和運動行為，theta（4-7 Hz）表示困倦和冥想，delta（小于 4 Hz）表示注意力高度集中和深度睡眠。伽馬波（如下圖所示）頻率非常高，為 30-100 赫茲，由神經元群共同作用以實現某些認知和運動功能引起。
腦電圖通常與特定位置相關聯，例如 alpha 波是在頭部的后部（后部）區(qū)域測量的。 還可以更詳細地查看 EEG 波形，例如睡眠階段之一稱為 REM 睡眠——快速眼動。 眼睛的運動會導致來自大腦同樣特定區(qū)域的非常特定的波形形狀。 通過查看這些波形，不僅可以判斷 REM 睡眠是否正在進行，還可以判斷在特定時刻哪只眼睛正在朝哪個方向移動 [2]。
人類和其他動物（包括大鼠和小鼠）的腦電圖有很多相似之處。通常也存在峰值潛伏期等細微差異，但總體模式（例如，對各種藥物的反應）非常相似 [3]。這意味著它經常用于藥物發(fā)現。
智利的一組研究人員研究了大鼠腦電圖中的伽馬波 [4]。他們在稱為伏隔核的大腦區(qū)域中觀察了這些。該區(qū)域是大腦獎勵系統(tǒng)的一部分，與愉悅體驗有關。多巴胺是該區(qū)域的重要神經化學物質。在那項研究中，科學家們將伏隔核的腦電圖測量與使用 EthoVision XT 進行的行為測量相結合。
兩只老鼠被允許在一個對兩只動物都是中性領土的開放區(qū)域相互交流。 當老鼠彼此互動時，有更多的伽馬波，表明獎勵和快樂，而不是僅僅給它們一個新的互動對象。這只能通過將 EthoVision XT 的行為數據與 EEG 數據相結合來衡量。在下面的插圖中，右下角的圖表顯示了當老鼠彼此相互作用時，伽馬波明顯更強大。
他們還研究了當兩只相互作用的大鼠中的一只受到壓力時，相互作用如何進行。壓力是由被引入另一只老鼠的領地引起的。這導致緊張的對抗。野外的老鼠在日常生活中經常會遇到這種壓力。數據顯示，壓力大的老鼠不再能夠從中性領土上的互動中獲得盡可能多的樂趣，它的重要性在于，它首次展示了一些關于它在老鼠大腦中究竟如何運作的細節(jié)。
3. 教育心理學——在使用多種數據模式學習的同時研究參與度。
蒙特利爾魁北克大學的 NeuroLab 旨在使用多模式技術研究教育和學習的各個方面。他們使用一整套技術來研究正在處理在線學習問題的測試對象 [5]。
記錄與軟件的交互（鼠標點擊和移動），眼動儀記錄注視和瞳孔直徑，使用 FaceReader 和皮膚電導率（EDA，也稱為皮膚電導率）測量情感參與度。這是基于你在興奮或緊張時出汗的原理。 此外還使用腦電圖。如上所述，β 波表示認知警覺性。這與來自 alpha 和 theta 波段的信息相結合，給出了一個參與指數。所有這些數據流都使用 Noldus 的特殊設置組合在一起，如本次采訪中所述：
視頻
同步在這樣的設置中尤為重要，否則無法對數據進行有意義的分析。
4. 行為生態(tài)學——研究被困獾的壓力
研究野外動物的行為具有特殊的挑戰(zhàn)，使用多種類型的數據也可以提供幫助。在實驗室外工作時，設備出現故障和數據丟失的情況更為常見，因此擁有多種類型的數據可以作為一種補償方式，并且仍然能夠獲得可發(fā)布的結果，即使并非所有數據都符合要求計劃。這就是一組瑞典科學家在他們的研究 [6] 中發(fā)現的，即被困在獾身上的壓力有多大。
即使陷阱的設計不會造成物理傷害，但由于獾對情況的感知方式，它仍然會給獾帶來壓力。 測量壓力水平的黃金標準是測量皮質醇。皮質醇是身體直接響應壓力產生的一種激素。
研究人員為獾準備了含有難消化的彩色小顆粒的食物。每只獾都有不同顏色的顆粒，所以當研究人員收集它們的糞便時，他們可以測量皮質醇并知道它來自哪只獾。但是，正如在實地考察中常見的那樣，事情并沒有按計劃進行，他們收集的很多樣本中沒有任何顏色標記，因此無法使用。
使用 The Observer XT 進行實時和視頻記錄的觀察
然而，幸運的是，他們植入了傳感器，使他們能夠測量心率和體溫，這也是壓力的指示。此外，他們還使用 The Observer 對獾的所有行為進行了詳細的實時和視頻記錄觀察。這絕非易事，因為獾是夜行動物，需要許多個夜晚的艱苦工作。
結果并不令人驚訝，被困住對動物們來說確實壓力很大。他們一直在陷阱中，他們一直在努力逃脫。之后壓力影響繼續(xù)存在，當他們回到家時，他們的社交互動和梳理和抓撓等“舒適行為”都更少了。三天后，他們的社交禮儀仍然較少。他們被困的時間越長，壓力就越大。 此外，如果他們在夜間（他們的活躍期）被困，那比他們在白天被困的壓力更大。
這項研究特別出色地表明，行為觀察、生理測量和荷爾蒙觀察的結合都有助于對實驗的全面理解，并提供了僅靠觀察就可以做到的更深刻的見解。
5. 用戶體驗和健康研究——使用多模式數據研究技術如何幫助癡呆癥患者
加拿大的兩個實驗室合作開發(fā)了研究混合現實 (MR) 技術（虛擬現實和增強現實）使用的方法 [7]。 這些實驗室是位于加拿大多倫多的社會和技術系統(tǒng) (SaTS) 實驗室以及癡呆癥老化技術和參與實驗室 (DATE)。他們研究的特定應用是這些技術如何支持癡呆癥患者。通常在開發(fā)技術時，可以讓用戶填寫問卷，反饋技術是否滿足他們的需求。然而，癡呆癥患者并不總是能夠做到這一點，因此需要使用觀察方法。
觀察的基礎是 The Observer XT，他們還使用眼動追蹤眼鏡測量注視和瞳孔數據，使用 FaceReader 測量面部表情，還測量大腦神經過程的腦電圖。此外，還創(chuàng)建了一個任務評估工具，以量化參與者在使用和不使用 MR 工具的情況下能夠在多大程度上執(zhí)行任務。 最后，使用 The Observer XT 將所有數據匯集、同步和集成。
研究 [7] 的結論是 MR 設備確實有用，而且由 The Observer XT 提供支持的多模式設置是研究參與者與技術交互的有用方法。如果要以滿足這些人需求的方式開發(fā)技術，那么讓技術的最終用戶參與開發(fā)新技術至關重要。對使用這些技術的人進行良好的研究是確定這一點的最佳方法。
結論
來自許多不同模式的數據的使用正在真正成為主流，與單一模式相比的優(yōu)勢在于它揭示了更深刻的見解，而且如果一種模式失敗，數據中可能有足夠的冗余，仍然可以發(fā)表好的文章。 幾年前，處理多模式數據非常復雜，尤其是涉及到集成和同步時。 The Observer XT和NoldusHub 等現代技術使它變得越來越容易和實用。
參考文獻
[1] Milica Nikolić, Mirjana Majdandžić, Cristina Colonnesi, Wieke de Vente, Eline Möller, and Susan Bögels (2020). The unique contribution of blushing to the development of social anxiety disorder symptoms: results from a longitudinal study. J. Child Psychology & Psychiatry 61, 1339-1348. doi:10.1111/jcpp.13221.
[2] https://www.learningeeg.com/normal-asleep
[3] Drinkenburg WH, Ruigt GS, Ahnaou A. Pharmaco-EEG Studies in Animals: An Overview of Contemporary Translational Applications. Neuropsychobiology. 2015;72(3-4):151-64. doi: 10.1159/000442210. Epub 2016 Feb 23. PMID: 26901596.
[4] Iturra-Mena AM, Aguilar-Rivera M, Arriagada-Solimano M, Pérez-Valenzuela C, Fuentealba P and Dagnino-Subiabre A (2019) Impact of Stress on Gamma Oscillations in the Rat Nucleus Accumbens During Spontaneous Social Interaction. Front. Behav. Neurosci. 13:151. doi: 10.3389/fnbeh.2019.00151.
[5] P Charland, PM Léger, S Sénécal, F Courtemanche…(2015) - Assessing the multiple dimensions of engagement to characterize learning: A neurophysiological perspective. JoVE, 101, e52627. doi:10.3791/52627.
[6] Schütz, K. E., Ågren, E., Amundin, M., Röken, B., Palme, R., & Mörner, T. (2006). Behavioral and physiological responses of trap-induced stress in European badgers. The Journal of Wildlife Management, 884-891.
[7] Desai, S., & Astell, A. (2021). Mixed reality technologies for people with dementia: Participatory evaluation methods. arXiv preprint arXiv:2107.07336.Don't miss out on the latest blog posts
關注諾達思公眾號，獲取更多產品信息及學術文章！
