2018年9月13日出版的Journal of Experimental Psychology: General雜志刊發(fā)了北京大學(xué)心理與認(rèn)知科學(xué)學(xué)院陳立翰副教授課題組的研究論文“What you see depends on what you hear: Temporal averaging and crossmodal integration.”，報(bào)道了該課題組在跨感覺通道信息整合方面的研究進(jìn)展。
我們生活在一個(gè)多感覺信息輸入的世界，在諸多的感覺通道信息輸入中，人們通常依靠聽覺信息進(jìn)行精確的時(shí)間加工，即存在聽覺時(shí)間信息處理的“優(yōu)先性”效應(yīng)。 這種“優(yōu)先性”效應(yīng)，使得人們自動(dòng)地對(duì)同時(shí)發(fā)生的視覺事件的感知產(chǎn)生錯(cuò)覺。然而，在一個(gè)相對(duì)復(fù)雜的視聽場(chǎng)景，聽覺信息如何影響視覺事件的知覺加工的過程尚不清楚。課題組在最近10年的研究中，利用傳統(tǒng)的視覺似動(dòng)范式，開展了大量行為學(xué)實(shí)驗(yàn)，揭示了任務(wù)無關(guān)的聲音刺激序列（包括不規(guī)則節(jié)律的序列）如何影響視覺事件的時(shí)距判斷，從而影響其知覺狀態(tài)的分類（圖1）。研究提出了跨通道信息整合中，感覺通道信息權(quán)重動(dòng)態(tài)變化的“部分貝葉斯整合”理論模型，挑戰(zhàn)了此前眾多研究所確立的“全”或“無”的整合規(guī)則（圖2），并揭示了人們利用“幾何平均”的跨通道知覺組織規(guī)律。該研究為日常生活中，我們所經(jīng)歷的復(fù)雜的視聽交互等場(chǎng)景，奠定了嶄新的跨通道“平均加工”知覺組織原則。
圖 1. 研究的刺激序列示意圖
圖2. 基于“部分整合模型”得到不同時(shí)間條件下的權(quán)重的變化
陳立翰博士為論文的第一作者和通訊作者，合作者為周曉林教授（第二作者，北京大學(xué)）Hermann Mueller教授（第三作者，慕尼黑大學(xué)和倫敦大學(xué)伯貝克學(xué)院），以及施壯華教授（慕尼黑大學(xué)，第四作者，對(duì)本研究具有同等貢獻(xiàn)）。研究論文的預(yù)印本發(fā)布后，得到包括iV， The vOICe, NeuroSyntheSys, TimingResearchForum等研究領(lǐng)域Tweets的廣泛傳播和轉(zhuǎn)發(fā)。該項(xiàng)研究得到國(guó)家自然科學(xué)基金、中德跨學(xué)科重大合作研究項(xiàng)目以及中德科學(xué)文化交流項(xiàng)目等基金資助。
Lihan Chen*, Xiaolin Zhou, Hermann J. Müller, and Zhuanghua Shi (2018). What You See Depends on What You Hear: Temporal Averaging and Crossmodal Integration. Journal of Experimental Psychology: General. http://dx.doi.org/10.1037/xge0000487
2018-09-18