03.06 語言解碼:窺探數百萬神經元節律性波動的背後

語言理解是一個複雜的過程,分析這一過程涉及到多個維度,包括語音、形態、語義,語法和語篇等方面。為了正確理解說話人的話語,聽者需要在毫秒內識別、檢索和整合話語信息。儘管這項複雜的任務需要在極短時間內完成,但是兒童就很容易理解各種複雜的語言。

我們對這種能力及其運作系統是如何發展的瞭解還很少。目前神經振盪是瞭解語言解碼過程的最有效的方式,雖然這一技術在語言學中還很少運用,但是研究結果已經可以反映大腦處理語音和語義的過程。


語言解碼:窺探數百萬神經元節律性波動的背後

圖源:https://www.slideshare.net


神經振盪

什麼是神經振盪?1920年德國神經病學家Hans Berger通過EEG觀察到第一個大腦模式就是振盪。簡單地說就是當數以百萬計的神經元有節律性波動時,它們會改變周圍的電磁場。這種電磁場的變化和所涉及的神經元的數量以及有節律性的波動的協調程度成正比。這些節奏變化稱為電磁場的神經振盪,並且可以進行測量。神經振盪是由EEG測量的,分為五個頻帶:δ(0-4 Hz),θ(4-8 Hz),α(8-12 Hz),β(12-30 Hz)和γ(>30 Hz)。這些頻率範圍反映了不同神經活動和各種認知功能。

研究發現,神經振盪與聲音振幅、音素、音節和語調短語的速度同步。大腦皮層的興奮和抑制體現了語音、語法解析和語義的處理。神經振盪與語音流節奏同步是一種功能機制,可以使神經興奮與語言信息內容保持一致。

語言層級性

語音具有層級性,語音的處理是對聲譜中的語音進行從低級到高級或者從高級到低級的層級處理:音素 ↔音節 ↔語調短語 ↔話語。

語言解碼:窺探數百萬神經元節律性波動的背後

神經振盪與語言處理

在語音處理過程中,神經振盪同步跟蹤具有語言學意義的聲學特徵,通過調整相位到音素、音節和語調短語上或偏移期間發生的聲學振幅極值來輔助語音處理。

語言解碼:窺探數百萬神經元節律性波動的背後

語音處理中的神經振盪(圖片來源:Meyer, Lars. The neural oscillations of speech processing and language comprehension: state of the art and emerging mechanisms.2018)

神經振盪在三個時間尺度上對具有語言意義的語音單位進行分段和識別,以使γ波振盪(綠線)與音素同步,θ波振盪(藍線)與音節同步,而δ波振盪(紅線)與語調短語邊界同步。這三個頻段形成了層次關係,所以低頻振盪可以自上而下對齊高頻振盪,並建立感知。當大腦處理完語音音節信號後,再從語音感知中解碼語義。

心理語言學和神經語言學達成了一個共識,在理解語言過程中有兩個並行的過程:

一條路徑是,句子的處理是從單詞開始的,再逐步處理語調詞組和複雜的句子整體

另一條路徑是,句子的處理是根據已經聽到的單詞來預測即將出現的單詞

單詞是以使用頻率和之間的語義關係存儲在長時記憶中,所以,大腦對即將聽到的單詞的預測並不是從語音方面,而是從語義知識方面進行預測的。

神經振盪與語法的處理

如果我們在說話時不用語法,輸出的就是無序排列的單詞,那麼聽者需就要記憶一串混亂的單詞,這些單詞可能會超過大腦記憶的容量,所以聽者很可能不知道對方在講什麼。語法幫助隨機出現的單詞組成有規則排列的短語,聽者只需記憶其中部分信息就可以快速理解。所以,語法有助於聽者快速、準確地理解說話人的語言信息。

語言解碼:窺探數百萬神經元節律性波動的背後

語言理解中的神經振盪(圖片來源:Meyer, Lars. The neural oscillations of speech processing and language comprehension: state of the art and emerging mechanisms.2018)在主語(der Bau leiter /建築經理)和賓語(den Architekten /建築師)存儲期間,α波幅度會增加,直到和動詞(verspottet /取笑)聯繫起來為止,α波段幅度會減小;θ波振盪體現從工作記憶和長時記憶中檢索存儲的信息,在從長期記憶中檢索單個單詞時,θ波振幅瞬時增加,這可能表明工作記憶促進了動詞和主語、賓語進行結合;β波振盪體現了根據存儲的語義知識預測即將出現的單詞;預測(句子結尾)越強,β波振幅就越高;γ波振盪有助於判斷輸入單詞的詞義,傳入單詞的擬合度越好,γ波振幅就越高。

語言理解要求將單個單詞分組為句法短語,因為句子中的單詞太多,一個個地記憶句中的單詞需要大量的工作記憶。語音是語言的物質外殼,承載語法和語義信息。語音韻律通過聲音提示(例如音調變化、停頓和拉長音節時長),在聲學上標記了語法短語的邊界,從而可以自下而上地識別短語邊界,並促進短語的形成和記憶

一般來說,韻律邊界有助於音調、數字和單詞的感知和區分,雖然韻律邊界在識別短語邊界方面發揮了作用,但這並不一定能夠識別短語的語義。所以,韻律邊界有助於劃分語調短語。α波振盪可以在語音處理過程中與語音和語法結構同步,當α波振盪與語音流同步時,神經興奮與語法信息對齊,根據存儲的語音信息,從而預測將要出現的語義信息。

結語

在交流過程中,為了全面、準確地理解對方的話語,大腦需要對話語信息——語音信息、語法信息和語義信息進行解碼。本篇文章主要概述神經振盪在語言信息解碼過程中的運用。α波振盪與聲學信息、語法結構的加工過程同步,從而可以反映大腦加工語音、語法和語義過程。神經振盪既支持語音處理的低級功能又支持語言理解的高級功能。

參考文獻:

https://www.britannica.com/science/brain-wave-physiology

[1]Gougelet, Robert J. Neural Oscillation Dynamics of Emerging Interest in Neuroergonomics. Neuroergonomics. Academic Press, 2019. 87-91.

[2]Maguire, Mandy J., and Alyson D. Abel. "What changes in neural oscillations can reveal about developmental cognitive neuroscience: Language development as a case in point." Developmental cognitive neuroscience 6 (2013): 125-136.

[3]Meyer, Lars. "The neural oscillations of speech processing and language comprehension: state of the art and emerging mechanisms." European Journal of Neuroscience 48.7 (2018): 2609-2621.

[4]Meyer, Lars, et al. "Linguistic bias modulates interpretation of speech via neural delta-band oscillations." Cerebral Cortex 27.9 (2017): 4293-4302.

[5]Meyer, Lars, and Matthias Gumbert. "Synchronization of electrophysiological responses with speech benefits syntactic information processing." Journal of cognitive neuroscience 30.8 (2018): 1066-1074.

作者信息

作者: Tianjiao(brainnews創作團隊)

校審: Simon(brainnews編輯部)


分享到:


相關文章: