本文來自微信公眾號(hào)：nextquestion （ID：gh_2414d982daee），主講人：袁則（中國科學(xué)院大學(xué)、北京大學(xué)第六醫(yī)院），作者：梓葳（中國科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心神經(jīng)生物學(xué)研究生），責(zé)編：韻珂，原文標(biāo)題：《追問頂刊｜不侵入大腦，如何解讀心聲？》，題圖：由midjourney生成

談到腦機(jī)接口，通過侵入方式記錄大腦信號(hào)，解讀人類的所思所想已不是什么新鮮事。

(相關(guān)資料圖)

已有不少研究成功實(shí)現(xiàn)了從大腦信號(hào)中解碼語音發(fā)音和其他運(yùn)動(dòng)信號(hào)，來恢復(fù)受試者已經(jīng)喪失了的說話能力。雖然有效，但這些解碼器都要通過神經(jīng)外科手術(shù)接入大腦，并不適用于大多數(shù)場景。

那么，非侵入的方式有用嗎？

以往，使用非侵入性記錄的解碼器（non-invasive decoder）只能從一小組字母單詞或短語中識(shí)別刺激，一直具有較大的應(yīng)用局限性。而近日，一篇發(fā)表在Nature Neuroscience上的研究介紹了一種新型的非侵入式解碼方式，它使用功能性磁共振成像（fMRI）記錄從語句意義的皮層表征中重建連續(xù)的自然語言。這種非侵入式的腦機(jī)接口可用于識(shí)別感知、想象和沉默視頻中的意義，并生成可理解的單詞序列。研究證明了非侵入式語言大腦—計(jì)算機(jī)接口的可行性。

?圖注：論文封面

5月31日，天橋腦科學(xué)研究院（Tianqiao and Chrissy Chen Institute，TCCI）的青年科學(xué)家們自發(fā)組織了 “AI for Brain Science Journal Club”第二期會(huì)議，來自中國科學(xué)院大學(xué)北京大學(xué)第六醫(yī)院的青年科學(xué)家袁則博士詳細(xì)解讀了這項(xiàng)研究，追問媒體對會(huì)議內(nèi)容進(jìn)行梳理，以饗讀者。

不侵入大腦，如何解碼語言？

這項(xiàng)研究介紹了一種新型解碼器，它采用非侵入性fMRI大腦記錄，并能以連續(xù)的自然語言重建受試者正在聽到或想象的任意刺激。

為了將單詞序列與受試者的大腦反應(yīng)進(jìn)行比較，研究者訓(xùn)練出一個(gè)編碼模型，預(yù)測受試者的大腦如何對自然語言中的短語做出反應(yīng)。試驗(yàn)記錄了3名受試者在聽敘事故事16小時(shí)內(nèi)大腦的fMRI BOLD反應(yīng)，并以此為每個(gè)受試者構(gòu)建編碼模型，然后訓(xùn)練該模型，使其能夠根據(jù)刺激詞的語義特征預(yù)測大腦的反應(yīng)。編碼器將大腦反應(yīng)輸入到解碼器，再由解碼器將其翻譯為一組候選單詞序列并進(jìn)行評分，并保留最有可能的單詞序列（波束搜索算法）（圖1）。該語義解碼器使用的波束搜索算法能有效改善fMRI低時(shí)間分辨率對預(yù)測結(jié)果準(zhǔn)確度的影響。

?圖1：語義解碼器的訓(xùn)練流程圖 圖片來源：Nature Neuroscience

結(jié)果發(fā)現(xiàn)，解碼出的單詞序列不僅捕獲了刺激的含義，甚至預(yù)測了精確的單詞和短語。

?圖2：志愿者聽到的語句（左）和解碼器根據(jù)大腦活動(dòng)解讀的語句（右），藍(lán)色代表完全一致的詞匯，紫色代表大意準(zhǔn)確的詞匯

為了量化解碼性能，研究還使用幾個(gè)“語言相似性”度量來比較一則測試故事（1800個(gè)單詞）的解碼和實(shí)際單詞序列（圖3）。通過一系列語言相似性的度量，解碼器所預(yù)測結(jié)果與實(shí)際單詞的相似性、解碼分?jǐn)?shù)、識(shí)別準(zhǔn)確率顯著高于偶然與隨機(jī)。

?圖3：語義解碼器解碼性能量化。

語言信息藏在大腦皮層何處？

為了回答哪些皮層網(wǎng)絡(luò)代表了足夠詳細(xì)的語言，以及不同的網(wǎng)絡(luò)（或半球）在語言處理中是互補(bǔ)還是冗余的等問題，研究將大腦數(shù)據(jù)劃分為三個(gè)皮層網(wǎng)絡(luò)：經(jīng)典語言網(wǎng)絡(luò)、頂葉-顳-枕葉聯(lián)合網(wǎng)絡(luò)和前額葉網(wǎng)絡(luò)（圖4）。研究者從每個(gè)半球的每個(gè)網(wǎng)絡(luò)中單獨(dú)解碼后發(fā)現(xiàn)，來自每個(gè)半球的每個(gè)網(wǎng)絡(luò)的解碼器預(yù)測與實(shí)際刺激的相似性顯著高于隨機(jī)預(yù)期。

?圖4：皮層網(wǎng)絡(luò)劃分

研究者還計(jì)算了每個(gè)網(wǎng)絡(luò)解碼性能的時(shí)間過程，發(fā)現(xiàn)從整個(gè)大腦中顯著解碼的大多數(shù)時(shí)間點(diǎn)都可以從聯(lián)合網(wǎng)絡(luò)（77%~83%）和前額葉網(wǎng)絡(luò)（54%~82%）中進(jìn)行解碼（圖5）。他們同樣比較了跨網(wǎng)絡(luò)和跨半球的解碼器預(yù)測，發(fā)現(xiàn)每對預(yù)測之間的相似性顯著高于隨機(jī)。這表明，這些皮層網(wǎng)絡(luò)承載了大量冗余信息，未來腦-機(jī)接口或許可以選擇性地從最容易接近的大腦區(qū)域進(jìn)行記錄（而非特定的腦區(qū)）來獲得良好的解碼性能。

?圖5：語義解碼器用于不同皮層網(wǎng)絡(luò)的解碼效果

應(yīng)用：非侵入性語言解碼器用在哪里？

為了探索這種新型解碼器的應(yīng)用價(jià)值，研究者在故事預(yù)測期間使用大腦反應(yīng)為每個(gè)受試者訓(xùn)練了單個(gè)語義語言解碼器，然后將其應(yīng)用于其它任務(wù)期間的大腦反應(yīng)上。

想象語音解碼：根據(jù)大腦想象過程中的活動(dòng)進(jìn)行解碼。針對每一個(gè)故事，將解碼器根據(jù)受試者想象預(yù)測的故事與受試者在不進(jìn)行掃描時(shí)描述的故事進(jìn)行比較，正確地識(shí)別出了哪個(gè)預(yù)測結(jié)果對應(yīng)于哪個(gè)故事（100%正確率）。

跨模態(tài)解碼：針對非語言任務(wù)進(jìn)行語言重建。使用fMRI記錄受試者觀看了四部沒有聲音的短片時(shí)的大腦活動(dòng)并使用語義語言解碼器進(jìn)行解碼。將解碼后的單詞序列與針對視障人士的電影音頻描述進(jìn)行比較，發(fā)現(xiàn)解碼的序列準(zhǔn)確地描述了來自電影的事件。這表明，在故事感知過程中訓(xùn)練的單個(gè)語義解碼器可以用于解碼一系列語義任務(wù)。

注意力解碼：語義表征受到注意力的調(diào)節(jié)，照理語義解碼器應(yīng)該有選擇地重建被關(guān)注的刺激。為了測試這一點(diǎn)，實(shí)驗(yàn)對象聽了兩次重復(fù)的多個(gè)說話者刺激，該刺激是通過暫時(shí)疊加由女性和男性說話者講述的兩個(gè)故事來構(gòu)建的。在每次演講中，受試者都被提示去聽不同的演講者。解碼器的預(yù)測與受試者描述的故事表現(xiàn)一致，表明解碼器選擇性地重構(gòu)了被關(guān)注的刺激。

隱私影響：語義解碼的一個(gè)重要的倫理考慮是它可能會(huì)損害精神隱私。研究試圖使用根據(jù)其他受試者的數(shù)據(jù)訓(xùn)練的解碼器來解碼每個(gè)受試者的感知語音。結(jié)果表明，受試者合作對于解碼器訓(xùn)練仍然是必要的。而且，語義解碼可以被有意識(shí)地抵制。

借鑒：數(shù)據(jù)噪聲從何而來？

為了進(jìn)一步改進(jìn)解碼器的解碼效果，研究還評估了解碼錯(cuò)誤是否反映了大腦記錄中的隨機(jī)噪聲、模型設(shè)定錯(cuò)誤還是兩者兼而有之。結(jié)果發(fā)現(xiàn)，除了訓(xùn)練和測試數(shù)據(jù)中的隨機(jī)噪聲之外，模型設(shè)定錯(cuò)誤是解碼錯(cuò)誤的主要來源。

為了評估解碼性能是否受到訓(xùn)練數(shù)據(jù)集大小的限制，研究使用不同數(shù)量的數(shù)據(jù)來訓(xùn)練解碼器。雖然解碼性能隨著訓(xùn)練數(shù)據(jù)量的增加而提高，大多數(shù)改進(jìn)發(fā)生在第七次掃描會(huì)話時(shí)，即7.5小時(shí)，這表明簡單地收集更多數(shù)據(jù)可能不會(huì)顯著提高解碼性能。

此外，測試數(shù)據(jù)中的低信噪比（SNR）也可能會(huì)限制可以解碼的信息量。研究發(fā)現(xiàn)，通過對不同重復(fù)測試故事期間收集的大腦反應(yīng)進(jìn)行平均來人為增加信噪比，解碼性能隨著平均響應(yīng)的數(shù)量而略微增加，這表明解碼誤差的一些分量反映了測試數(shù)據(jù)中的噪聲。值得注意的是，解碼性能與訓(xùn)練刺激中的詞頻沒有顯著相關(guān)性，這表明模型的錯(cuò)誤設(shè)定不是主要由訓(xùn)練數(shù)據(jù)中的噪聲引起的。此外，研究者還發(fā)現(xiàn)解碼性能與單詞具體性的行為評級(jí)顯著相關(guān)，這表明解碼器在重建具有某些語義屬性的單詞方面較差。

會(huì)議追問

會(huì)議最后，袁則博士總結(jié)道，這項(xiàng)研究表明感知和想象刺激的意義可以從fMRI記錄中解碼為連續(xù)的語言，這標(biāo)志著非侵入性腦機(jī)接口的重要一步。雖然解碼器成功地重建了語言刺激的意義，但它經(jīng)常無法重建準(zhǔn)確的單詞且可能會(huì)發(fā)生特異性的損失。另外，主體反饋是提高解碼性能的重要因素，這種反饋允許受試者適應(yīng)解碼器，為他們提供對解碼器輸出的更多控制。

Q：研究中主要使用了兩種方法進(jìn)行解碼，可以具體介紹一下這兩種方法嗎？

A：一是逐詞生成候選序列的“波束搜索算法”。在波束搜索中，當(dāng)基于聽覺和語言區(qū)域的大腦活動(dòng)檢測到新單詞時(shí)，語言模型為波束中的每個(gè)候選序列生成延續(xù)。然后，編碼模型對每次延續(xù)誘發(fā)記錄的大腦反應(yīng)的可能性進(jìn)行評分，最有可能的延續(xù)被保留在下一時(shí)間步的波束中；另一種方法是GPT，預(yù)訓(xùn)練生成的GPT是一個(gè)12層的神經(jīng)網(wǎng)絡(luò)，它使用多頭自我注意機(jī)制將序列中每個(gè)單詞的表示與之前單詞的表示相結(jié)合。GPT在一個(gè)大的書籍語料庫上被訓(xùn)練來預(yù)測下一個(gè)單詞的概率分布。

閱讀文獻(xiàn):

Tang， J.， LeBel， A.， Jain， S. et al. Semantic reconstruction of continuous language from non-invasive brain recordings. Nat Neurosci 26， 858–866 (2023). https://doi.org/10.1038/s41593-023-01304-9：

https://nautil.us/your-brain-is-shaped-like-nobody-elses-297950/

本文來自微信公眾號(hào)：nextquestion （ID：gh_2414d982daee），主講人：袁則（中國科學(xué)院大學(xué)、北京大學(xué)第六醫(yī)院），作者：梓葳（中國科學(xué)院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心神經(jīng)生物學(xué)研究生）