面部識別技術(shù)在兒童面部模仿表現(xiàn)檢測孤獨癥的應(yīng)用
當(dāng)我們在社交互動中想要互相理解時，往往會下意識或主動模仿對方的面部表情。這種面部模仿不僅有助于對話的進行，還有利于獲得更好的同理心與情感理解（Holland et al., 2021）。
那么，當(dāng)面部模仿能力受損時會發(fā)生什么呢？
有這樣一群孩子，他們能看見卻不愿與你對視，會說話卻很難和你交流，能聽到卻總是充耳不聞……仿佛來自于一個遙遠(yuǎn)而孤獨的星星，獨自在自己的世界中閃爍。這是患有孤獨癥譜系障礙的孩子，而他們就存在一定面部模仿能力的缺陷。
來自華東師范大學(xué)心理與認(rèn)知科學(xué)學(xué)院的研究團隊針對患有孤獨癥譜系障礙（ASD）的兒童對6種基本情緒的面部表情的自動與主動面部模仿行為進行了研究，并探討了心智理論（ToM）、執(zhí)行功能（EF）與孤獨癥癥狀強度與面部模仿強度的關(guān)系（Liu et al., 2023）。這為未來量化孤獨癥兒童的綜合癥表現(xiàn)提供了來自面部表情方面的指示，也為孤獨癥兒童社交功能障礙的理論機制提供了新的思路。
孤獨癥患者的面部模仿能力
孤獨癥譜系障礙（ASD，Autism Spectrum Disorder），是一種以社會交往和情感能力障礙為特征的發(fā)育障礙，伴有興趣限制和重復(fù)性行為。典型孤獨癥的核心癥狀主要體現(xiàn)為在社會性和交流能力、語言能力、儀式化的刻板行為三個方面同時都具有本質(zhì)的缺損。而隨著臨床上的逐漸發(fā)現(xiàn)，很多患者未必在三個方面都有明顯的缺損（比如未必有刻板的行為），但是在社會性和交流能力方面還是有比較明顯的缺陷。因此，互惠社會互動的缺陷是關(guān)鍵的診斷方面，包括對社會信號的理解和產(chǎn)生。
在社會交往中，人們往往會模仿他人的面部表情，稱為“面部模仿”，這被認(rèn)為是許多重要的社會認(rèn)知功能的基礎(chǔ)，因此，它一直是孤獨癥譜系障礙研究的關(guān)鍵。臨床上，非典型面部模仿與嚴(yán)重的社交功能障礙密切相關(guān)。然而，關(guān)于孤獨癥譜系障礙(ASD)兒童面部模仿能力的研究結(jié)果并不一致。許多發(fā)展心理學(xué)研究表明，孤獨癥患者的面部模仿能力存在缺陷，而也有研究發(fā)現(xiàn)，孤獨癥患者具有完好無損的面部模仿能力。
總之，面部模仿問題是否是孤獨癥譜系障礙的核心缺陷，以及它們與社會認(rèn)知的關(guān)系如何，目前仍未有統(tǒng)一明確的答案。
面部模仿的影響因素
對于面部模仿，有兩個方面的影響因素值得注意。
首先，是面部模仿的類型。面部模仿可以分為兩種：自動型和主動型。自動型面部模仿是快速、自發(fā)且無意識的，它就這樣發(fā)生了，無需思考；而主動型面部模仿則是指有意識地將注意力集中在模仿他人的面部表情，這種模仿比較緩慢且更費力。過往研究發(fā)現(xiàn)，孤獨癥患者在主動型面部模仿時準(zhǔn)確性較低，而在自動型面部模仿時無顯著差異。
此外，面部表情所包含的情緒類型也會影響面部模仿的能力。過往研究表明，孤獨癥兒童在主動型面部模仿時對快樂和憤怒表情的模仿強度更高。
因此，基于過往研究，本研究假設(shè)，孤獨癥兒童在面部模仿方面沒有整體性的缺陷，而僅在特定類型上存在缺陷，即可能只在自動型面部模仿存在障礙，而在主動型模仿中沒有障礙；此外，孤獨癥兒童的面部模仿能力可能因不同情緒而異。換句話說，孤獨癥兒童可能會以非典型的方式模仿面部表情，而不是完全無法進行面部模仿。
如何測量面部模仿能力？
研究不同情緒下自動和自主面部模仿的最佳方法是什么？
一些研究利用肌電圖 (EMG) 來檢查特定面部肌肉的活動，肌電數(shù)據(jù)指標(biāo)可以指示某種情緒（如快樂或憤怒），但仍存在一定局限：肌電圖振幅變化過于細(xì)微，無法從外部觀察到，因此想要量化整張臉的表情是十分困難的；另一些研究測量可觀察的面部模仿時會采用主觀編碼（FACS）的方法，而同樣存在主觀性與費時費力等問題。
因此，本研究選擇使用諾達(dá)思的面部表情分析系統(tǒng)（FaceReader），借助更科學(xué)、準(zhǔn)確且便捷的研究工具來獲得六種基本情緒的分類，并完成面部動作單位的定量測量。FaceReader是基于心理學(xué)家保羅·�？寺≒aul Ekman）提出的動作單元（AU, Action Units）進行表情識別與分析的，可以自動編碼情緒和20個動作單元，且允許進行自定義動作單元組合，能夠輸出面部表情所包含的情緒成分、強度及不同情緒的比例。通過這種面部表情分析，研究者能夠研究整個面部中的面部表情模仿過程。
面部模仿、心智理論和執(zhí)行功能
面部模仿是一個復(fù)雜的過程，涉及自動激活、社會認(rèn)知和理解驅(qū)動機制，其潛在機制需要進一步探究。因此，研究者還探討了心智理論（ToM, Theory of mind) 和執(zhí)行功能（EF , Executive Function）與孤獨癥兒童面部模仿之間的關(guān)系。
心智理論（ToM）是指理解自己及他人心理狀態(tài)的能力，這對于社會認(rèn)知發(fā)展至關(guān)重要。執(zhí)行功能（EF）指個體計劃下一步行動或抑制行為所需的一系列高階認(rèn)知過程。因此，它也是控制模仿行為的必要功能。
那么，心智理論與執(zhí)行功能是否對孤獨癥兒童的面部模仿機制存在中介作用，這是本研究同樣關(guān)注的問題。
使用FaceReader進行面部表情記錄與分析
研究招募了21 名孤獨癥譜系障礙 (ASD) 兒童及 22 名正常發(fā)育（TD, Typically Developing）的兒童。
為了測量面部模仿能力，實驗分為三個階段:
整個實驗過程中，使用FaceReader記錄兒童的面部表情，研究者可以利用被記錄的面部表情信息衡量兒童面部模仿的精準(zhǔn)度與強度。本研究中，研究者將面部模仿時強度的峰值與目標(biāo)情緒的強度相對比，若一致，則認(rèn)為是準(zhǔn)確的模仿。
過往研究表明，F(xiàn)aceReader在中國樣本中對于面部情緒的識別率可以達(dá)到71% (Yang & Li, 2015)。新版本基于東亞人的面部表情對分類模型進行了新的訓(xùn)練 (>4000張圖像)，且應(yīng)用于近期的多項研究中，獲得了良好的結(jié)果分析(Cui et al, 2021; Sato et al, 2019)。因此，利用具有較高識別精度和有效性的FaceReader進行研究，能夠幫助研究者獲得準(zhǔn)確可靠的面部表情數(shù)據(jù)。
面部模仿的強度是關(guān)鍵
兩組被試結(jié)果表明（圖1），與自動面部模仿相比，兒童的主動面部模仿更加準(zhǔn)確，且十分有趣的是，兩組面部模仿的準(zhǔn)確性之間沒有差異。這與先前研究的結(jié)果一致。
同時，結(jié)果發(fā)現(xiàn)（圖2），孤獨癥兒童的自動模仿和主動模仿的強度都低于正常發(fā)育兒童，但不同的情緒會調(diào)節(jié)主動型面部模仿的表現(xiàn)，即在主動面部模仿時，相比于正常發(fā)育的同齡人，孤獨癥兒童在快樂、悲傷和恐懼情緒方面的面部模仿強度顯著降低。 
此外，結(jié)果表明，自動型和主動型面部模仿強度均與心智理論（ToM）呈顯著相關(guān)，而與執(zhí)行功能（EF）無相關(guān)關(guān)系，且孤獨癥癥狀程度和面部模仿強度的關(guān)系受到心智理論（ToM）的中介作用（圖3）。
綜上結(jié)果，可能說明了準(zhǔn)確度與強度這兩個指標(biāo)反映不同的面部模仿過程：自下而上與自上而下（Wang et al., 2012）。研究者推測，準(zhǔn)確度可能在一定程度上反映了“能否”的問題，這是模仿的基本能力，與自下而上的過程更相關(guān)；而強度則反映了“好與不好”的問題，是更高層次的過程，更有可能反映自上而下的加工。心智理論（ToM）對孤獨癥癥狀程度與模仿強度的中介作用也能佐證這一點，即模仿的強度，而不是準(zhǔn)確性，更有可能是由自上而下的高級心理認(rèn)知過程處理的。
此外，面部模仿的前提是理解表情的意義，而心智理論（ToM）反映了對他人心理狀態(tài)和情緒的理解，并能夠以他人的認(rèn)知角度“再現(xiàn)”，這對面部模仿至關(guān)重要。因此，心智理論（ToM）為理解孤獨癥兒童面部模仿的基本過程提供了一個視角，這對臨床干預(yù)具有重要意義。
面部模仿作為孤獨癥的診斷指標(biāo)
那么，這樣的研究結(jié)果對于幫助孤獨癥兒童意味著什么呢？
由于孤獨癥（ASD）傳統(tǒng)上是通過經(jīng)驗觀察和評估來識別的，例如通過游戲或活動、量表測量及問卷調(diào)查等，需要標(biāo)準(zhǔn)化的程序及專業(yè)的操作人員，存在一些局限性，完成診斷效率較低，且目前也還沒有診斷ASD的生物性指標(biāo)。因此，使用基于視覺的自動計算工具分析面部模仿行為可能有助于減少篩查ASD認(rèn)知指標(biāo)的時間和費用。
本研究結(jié)果表明，非典型面部模仿行為或許能夠成為幫助完善孤獨癥譜系障礙診斷的額外指標(biāo)。也就是說，研究兒童如何模仿面部表情可能有助于進一步了解他們的癥狀嚴(yán)重程度，尤其是社交功能障礙方面。
為了在臨床環(huán)境中更好地使用這些信息，研究者建議未來的研究應(yīng)側(cè)重于更大、更多樣化的被試樣本，以及更動態(tài)的面部表情過程。這樣，才能更好地了解患有孤獨癥譜系障礙的兒童在日常生活中的面部模仿能力表現(xiàn)及其內(nèi)在機制。
參考文獻
Cui, L., Sun, Q., Yu, F., Xu, J., & Wang, H. (2021). Exploring emotional dynamic within-person concordance across laboratory tasks: Moderation of between-person SES and sexual orientation. Biological Psychology, 161, 108055.
Holland, A.; O’Connell, G.; Dziobek, I. (2021). Facial mimicry, empathy, and emotion recognition: A meta-analysis of correlations. Cognition and Emotion, 35(1), 150-168.
Liu, S.; Wang, Y., Song, Y. (2023). Atypical facial mimicry for basic emotions in children with autism spectrum disorder. Autism Research, 16, 1375-1388.
Sato, W., Hyniewska, S., Minemoto, K., & Yoshikawa, S. (2019). Facial expressions of basic emotions in Japanese laypeople. Frontiers in Psychology, 10, 259.
Wang, Y., & Hamilton, A. F. (2012). Social top-down response modulation (STORM): A model of the control of mimicry in social interaction. Frontiers in Human Neuroscience, 6, 153.
Yang, C., & Li, H. (2015). Validity study on FaceReader’s images recognition from Chinese facial expression database. Chinese Journal of Ergonomics, 21(1), 38–41.
那么，當(dāng)面部模仿能力受損時會發(fā)生什么呢？
有這樣一群孩子，他們能看見卻不愿與你對視，會說話卻很難和你交流，能聽到卻總是充耳不聞……仿佛來自于一個遙遠(yuǎn)而孤獨的星星，獨自在自己的世界中閃爍。這是患有孤獨癥譜系障礙的孩子，而他們就存在一定面部模仿能力的缺陷。
來自華東師范大學(xué)心理與認(rèn)知科學(xué)學(xué)院的研究團隊針對患有孤獨癥譜系障礙（ASD）的兒童對6種基本情緒的面部表情的自動與主動面部模仿行為進行了研究，并探討了心智理論（ToM）、執(zhí)行功能（EF）與孤獨癥癥狀強度與面部模仿強度的關(guān)系（Liu et al., 2023）。這為未來量化孤獨癥兒童的綜合癥表現(xiàn)提供了來自面部表情方面的指示，也為孤獨癥兒童社交功能障礙的理論機制提供了新的思路。
孤獨癥患者的面部模仿能力
孤獨癥譜系障礙（ASD，Autism Spectrum Disorder），是一種以社會交往和情感能力障礙為特征的發(fā)育障礙，伴有興趣限制和重復(fù)性行為。典型孤獨癥的核心癥狀主要體現(xiàn)為在社會性和交流能力、語言能力、儀式化的刻板行為三個方面同時都具有本質(zhì)的缺損。而隨著臨床上的逐漸發(fā)現(xiàn)，很多患者未必在三個方面都有明顯的缺損（比如未必有刻板的行為），但是在社會性和交流能力方面還是有比較明顯的缺陷。因此，互惠社會互動的缺陷是關(guān)鍵的診斷方面，包括對社會信號的理解和產(chǎn)生。
在社會交往中，人們往往會模仿他人的面部表情，稱為“面部模仿”，這被認(rèn)為是許多重要的社會認(rèn)知功能的基礎(chǔ)，因此，它一直是孤獨癥譜系障礙研究的關(guān)鍵。臨床上，非典型面部模仿與嚴(yán)重的社交功能障礙密切相關(guān)。然而，關(guān)于孤獨癥譜系障礙(ASD)兒童面部模仿能力的研究結(jié)果并不一致。許多發(fā)展心理學(xué)研究表明，孤獨癥患者的面部模仿能力存在缺陷，而也有研究發(fā)現(xiàn)，孤獨癥患者具有完好無損的面部模仿能力。
總之，面部模仿問題是否是孤獨癥譜系障礙的核心缺陷，以及它們與社會認(rèn)知的關(guān)系如何，目前仍未有統(tǒng)一明確的答案。
面部模仿的影響因素
對于面部模仿，有兩個方面的影響因素值得注意。
首先，是面部模仿的類型。面部模仿可以分為兩種：自動型和主動型。自動型面部模仿是快速、自發(fā)且無意識的，它就這樣發(fā)生了，無需思考；而主動型面部模仿則是指有意識地將注意力集中在模仿他人的面部表情，這種模仿比較緩慢且更費力。過往研究發(fā)現(xiàn)，孤獨癥患者在主動型面部模仿時準(zhǔn)確性較低，而在自動型面部模仿時無顯著差異。
此外，面部表情所包含的情緒類型也會影響面部模仿的能力。過往研究表明，孤獨癥兒童在主動型面部模仿時對快樂和憤怒表情的模仿強度更高。
因此，基于過往研究，本研究假設(shè)，孤獨癥兒童在面部模仿方面沒有整體性的缺陷，而僅在特定類型上存在缺陷，即可能只在自動型面部模仿存在障礙，而在主動型模仿中沒有障礙；此外，孤獨癥兒童的面部模仿能力可能因不同情緒而異。換句話說，孤獨癥兒童可能會以非典型的方式模仿面部表情，而不是完全無法進行面部模仿。
如何測量面部模仿能力？
研究不同情緒下自動和自主面部模仿的最佳方法是什么？
一些研究利用肌電圖 (EMG) 來檢查特定面部肌肉的活動，肌電數(shù)據(jù)指標(biāo)可以指示某種情緒（如快樂或憤怒），但仍存在一定局限：肌電圖振幅變化過于細(xì)微，無法從外部觀察到，因此想要量化整張臉的表情是十分困難的；另一些研究測量可觀察的面部模仿時會采用主觀編碼（FACS）的方法，而同樣存在主觀性與費時費力等問題。
因此，本研究選擇使用諾達(dá)思的面部表情分析系統(tǒng)（FaceReader），借助更科學(xué)、準(zhǔn)確且便捷的研究工具來獲得六種基本情緒的分類，并完成面部動作單位的定量測量。FaceReader是基于心理學(xué)家保羅·�？寺≒aul Ekman）提出的動作單元（AU, Action Units）進行表情識別與分析的，可以自動編碼情緒和20個動作單元，且允許進行自定義動作單元組合，能夠輸出面部表情所包含的情緒成分、強度及不同情緒的比例。通過這種面部表情分析，研究者能夠研究整個面部中的面部表情模仿過程。
面部模仿、心智理論和執(zhí)行功能
面部模仿是一個復(fù)雜的過程，涉及自動激活、社會認(rèn)知和理解驅(qū)動機制，其潛在機制需要進一步探究。因此，研究者還探討了心智理論（ToM, Theory of mind) 和執(zhí)行功能（EF , Executive Function）與孤獨癥兒童面部模仿之間的關(guān)系。
心智理論（ToM）是指理解自己及他人心理狀態(tài)的能力，這對于社會認(rèn)知發(fā)展至關(guān)重要。執(zhí)行功能（EF）指個體計劃下一步行動或抑制行為所需的一系列高階認(rèn)知過程。因此，它也是控制模仿行為的必要功能。
那么，心智理論與執(zhí)行功能是否對孤獨癥兒童的面部模仿機制存在中介作用，這是本研究同樣關(guān)注的問題。
使用FaceReader進行面部表情記錄與分析
研究招募了21 名孤獨癥譜系障礙 (ASD) 兒童及 22 名正常發(fā)育（TD, Typically Developing）的兒童。
為了測量面部模仿能力，實驗分為三個階段:
- 調(diào)整階段：指導(dǎo)兒童舒適地坐在顯示屏前，并確保孩子的整個面部都能被記錄下來；
- 自動面部模仿階段：兒童被告知他們將觀看包含6 種基本情緒（快樂、悲傷、恐懼、驚訝、憤怒和厭惡）的靜態(tài)彩色面部表情圖片；
- 主動面部模仿階段：兒童被要求觀看圖片的同時模仿他們看到的面部表情。
整個實驗過程中，使用FaceReader記錄兒童的面部表情，研究者可以利用被記錄的面部表情信息衡量兒童面部模仿的精準(zhǔn)度與強度。本研究中，研究者將面部模仿時強度的峰值與目標(biāo)情緒的強度相對比，若一致，則認(rèn)為是準(zhǔn)確的模仿。
過往研究表明，F(xiàn)aceReader在中國樣本中對于面部情緒的識別率可以達(dá)到71% (Yang & Li, 2015)。新版本基于東亞人的面部表情對分類模型進行了新的訓(xùn)練 (>4000張圖像)，且應(yīng)用于近期的多項研究中，獲得了良好的結(jié)果分析(Cui et al, 2021; Sato et al, 2019)。因此，利用具有較高識別精度和有效性的FaceReader進行研究，能夠幫助研究者獲得準(zhǔn)確可靠的面部表情數(shù)據(jù)。
面部模仿的強度是關(guān)鍵
兩組被試結(jié)果表明（圖1），與自動面部模仿相比，兒童的主動面部模仿更加準(zhǔn)確，且十分有趣的是，兩組面部模仿的準(zhǔn)確性之間沒有差異。這與先前研究的結(jié)果一致。
同時，結(jié)果發(fā)現(xiàn)（圖2），孤獨癥兒童的自動模仿和主動模仿的強度都低于正常發(fā)育兒童，但不同的情緒會調(diào)節(jié)主動型面部模仿的表現(xiàn)，即在主動面部模仿時，相比于正常發(fā)育的同齡人，孤獨癥兒童在快樂、悲傷和恐懼情緒方面的面部模仿強度顯著降低。
圖1
圖2
此外，結(jié)果表明，自動型和主動型面部模仿強度均與心智理論（ToM）呈顯著相關(guān)，而與執(zhí)行功能（EF）無相關(guān)關(guān)系，且孤獨癥癥狀程度和面部模仿強度的關(guān)系受到心智理論（ToM）的中介作用（圖3）。
圖3
綜上結(jié)果，可能說明了準(zhǔn)確度與強度這兩個指標(biāo)反映不同的面部模仿過程：自下而上與自上而下（Wang et al., 2012）。研究者推測，準(zhǔn)確度可能在一定程度上反映了“能否”的問題，這是模仿的基本能力，與自下而上的過程更相關(guān)；而強度則反映了“好與不好”的問題，是更高層次的過程，更有可能反映自上而下的加工。心智理論（ToM）對孤獨癥癥狀程度與模仿強度的中介作用也能佐證這一點，即模仿的強度，而不是準(zhǔn)確性，更有可能是由自上而下的高級心理認(rèn)知過程處理的。
此外，面部模仿的前提是理解表情的意義，而心智理論（ToM）反映了對他人心理狀態(tài)和情緒的理解，并能夠以他人的認(rèn)知角度“再現(xiàn)”，這對面部模仿至關(guān)重要。因此，心智理論（ToM）為理解孤獨癥兒童面部模仿的基本過程提供了一個視角，這對臨床干預(yù)具有重要意義。
面部模仿作為孤獨癥的診斷指標(biāo)
那么，這樣的研究結(jié)果對于幫助孤獨癥兒童意味著什么呢？
由于孤獨癥（ASD）傳統(tǒng)上是通過經(jīng)驗觀察和評估來識別的，例如通過游戲或活動、量表測量及問卷調(diào)查等，需要標(biāo)準(zhǔn)化的程序及專業(yè)的操作人員，存在一些局限性，完成診斷效率較低，且目前也還沒有診斷ASD的生物性指標(biāo)。因此，使用基于視覺的自動計算工具分析面部模仿行為可能有助于減少篩查ASD認(rèn)知指標(biāo)的時間和費用。
本研究結(jié)果表明，非典型面部模仿行為或許能夠成為幫助完善孤獨癥譜系障礙診斷的額外指標(biāo)。也就是說，研究兒童如何模仿面部表情可能有助于進一步了解他們的癥狀嚴(yán)重程度，尤其是社交功能障礙方面。
為了在臨床環(huán)境中更好地使用這些信息，研究者建議未來的研究應(yīng)側(cè)重于更大、更多樣化的被試樣本，以及更動態(tài)的面部表情過程。這樣，才能更好地了解患有孤獨癥譜系障礙的兒童在日常生活中的面部模仿能力表現(xiàn)及其內(nèi)在機制。
參考文獻
Cui, L., Sun, Q., Yu, F., Xu, J., & Wang, H. (2021). Exploring emotional dynamic within-person concordance across laboratory tasks: Moderation of between-person SES and sexual orientation. Biological Psychology, 161, 108055.
Holland, A.; O’Connell, G.; Dziobek, I. (2021). Facial mimicry, empathy, and emotion recognition: A meta-analysis of correlations. Cognition and Emotion, 35(1), 150-168.
Liu, S.; Wang, Y., Song, Y. (2023). Atypical facial mimicry for basic emotions in children with autism spectrum disorder. Autism Research, 16, 1375-1388.
Sato, W., Hyniewska, S., Minemoto, K., & Yoshikawa, S. (2019). Facial expressions of basic emotions in Japanese laypeople. Frontiers in Psychology, 10, 259.
Wang, Y., & Hamilton, A. F. (2012). Social top-down response modulation (STORM): A model of the control of mimicry in social interaction. Frontiers in Human Neuroscience, 6, 153.
Yang, C., & Li, H. (2015). Validity study on FaceReader’s images recognition from Chinese facial expression database. Chinese Journal of Ergonomics, 21(1), 38–41.
關(guān)注諾達(dá)思公眾號，聯(lián)系我們獲取更多產(chǎn)品信息及學(xué)術(shù)文章！
Copyright(C) 1998-2024 生物器材網(wǎng) 電話：021-64166852;13621656896 E-mail：info@bio-equip.com