2022年12月，北京大學(xué)心理與認(rèn)知科學(xué)學(xué)院易莉和陳立翰課題組在學(xué)術(shù)期刊《Developmental Science》發(fā)表題為“Increasing audiovisual speech integration in autism through enhanced attention to mouth”的論文。該研究發(fā)現(xiàn)，增加孤獨(dú)癥兒童對說話者嘴部的注視時間，可以提升孤獨(dú)癥兒童的視聽言語整合，為干預(yù)孤獨(dú)癥兒童的視聽言語整合提供了一定啟示。
視聽言語整合指把言語中的視覺刺激和聽覺刺激整合成一個整體的過程。前人文獻(xiàn)大多采用麥格克效應(yīng)（McGurk effect；McGurk & MacDonald, 1976）來測量視聽言語整合。麥格克效應(yīng)指的是，當(dāng)一個語音的聲音與另一個語音的嘴部運(yùn)動疊加在一起時，往往被感知為第三個語音（如“ba”的聲音與 “ga”的嘴部運(yùn)動疊加在一起往往被感知為“da”）。目前有一系列研究采用麥格克效應(yīng)研究了孤獨(dú)癥個體的視聽言語整合，元分析發(fā)現(xiàn)孤獨(dú)癥兒童的視聽言語整合比正常兒童更弱（Zhang et al., 2019）。正常個體注視說話者嘴部時間越長，視聽言語整合越強(qiáng)（Gurler et al., 2015）。易莉和陳立翰課題組2021年發(fā)表在Autism Research上的研究進(jìn)一步發(fā)現(xiàn)，孤獨(dú)癥兒童對說話者嘴部較短的注視時間能預(yù)測其較弱的視聽言語整合（Feng et al., 2021）。
在以往研究的基礎(chǔ)上，本研究采用McGurk效應(yīng)范式設(shè)計了兩個實驗，旨在通過一定的操縱，來增加孤獨(dú)癥兒童對說話者嘴部的注視時間，增強(qiáng)孤獨(dú)癥兒童的視聽言語整合。實驗一設(shè)置了說話者眼部清晰和眼部模糊兩個條件，實驗二設(shè)置了首注視點(diǎn)引導(dǎo)向嘴部、首注視點(diǎn)引導(dǎo)向眼部和自由觀看三個條件。兩個實驗的實驗流程分別見圖a和圖b。實驗一發(fā)現(xiàn)，與說話者眼部清晰時相比，說話者眼部模糊時，孤獨(dú)癥兒童對說話者嘴部的注視時間更長（圖c），視聽言語整合和更強(qiáng)（圖d）。實驗二發(fā)現(xiàn)，與自由觀看和首注視點(diǎn)引導(dǎo)向眼部相比，首注視點(diǎn)引導(dǎo)向嘴部時，孤獨(dú)癥兒童對說話者嘴部的注視時間更長（圖e），視聽言語整合更強(qiáng)（圖f）。本研究表明，增加孤獨(dú)癥兒童對說話者嘴部的注視能增強(qiáng)他們的視聽言語整合。本研究進(jìn)一步揭示了孤獨(dú)癥兒童對說話者臉部注視和視聽言語整合之間的關(guān)系，為開發(fā)干預(yù)孤獨(dú)癥兒童的視聽言語整合的方案有一定啟示。
圖. 本研究的實驗流程和實驗結(jié)果。a為實驗一說話者眼部模糊條件下每個試次的流程；b為實驗二首注視點(diǎn)引導(dǎo)向說話者嘴部條件下每個試次的流程；c和d分別為實驗一孤獨(dú)癥兒童在說話者眼部模糊和說話者眼部清晰時對說話者嘴部的注視時間和發(fā)生麥格克效應(yīng)（即視聽言語整合）的比例；e和f分別為孤獨(dú)癥兒童在首注視點(diǎn)引導(dǎo)向嘴部、首注視點(diǎn)引導(dǎo)向眼部和自由觀看時對說話者嘴部的注視時間和發(fā)生麥格克效應(yīng)（即視聽言語整合）的比例。
易莉課題組已畢業(yè)博士馮樹元（現(xiàn)在中南大學(xué)外國語學(xué)院任教）為論文的第一作者，易莉研究員和陳立翰副教授為本文的共同通訊作者。易莉課題組已畢業(yè)的王乾東博士（現(xiàn)在北京師范大學(xué)任教）、胡藝簫博士（現(xiàn)在鄭州大學(xué)任教）、陸昊陽博士、李天碧博士、在讀博士生宋詞，也為本文做出了重要貢獻(xiàn)。該研究由國家自然科學(xué)基金、廣東省重點(diǎn)領(lǐng)域研發(fā)項目、湖南省自然科學(xué)基金、湖南省優(yōu)秀青年項目等資助完成。
Feng, S., Wang, Q., Hu, Y., Lu, H., Li, T., Song, C., Fang, J., Chen, L., & Yi, L. (2022). Increasing audiovisual speech integration in autism through enhanced attention to mouth. Developmental Science, e13348. https://doi.org/10.1111/desc.13348
2022-12-09