一項(xiàng)由葡萄牙尚帕莫未知中心，牛津大學(xué)，哥倫比亞大學(xué)，荷蘭鹿特丹伊拉斯謨大學(xué)，麻省理工學(xué)院，倫敦大學(xué)，德國(guó)Max Planck生物控制論研究所，德國(guó)圖歐賓根大學(xué)多方合作的研究于2020年11月4日在Neuron上發(fā)表了題為T(mén)he Anterior Cingulate Cortex Predicts Future States to Mediate Model-Based Action Selection的文章，作者通過(guò)一個(gè)新的兩步謎題任務(wù)了解基于模型的決策使用對(duì)行為具體后果的預(yù)測(cè)，在小鼠的一系列決策任務(wù)中使用Inscopix顯微鈣成像和光遺傳學(xué)來(lái)證明前扣帶皮層（ACC）預(yù)測(cè)了行動(dòng)將導(dǎo)致的狀態(tài)，而不單是預(yù)測(cè)它們是好是壞，并判斷結(jié)果是否與這些預(yù)測(cè)相符。研究結(jié)果表明，ACC是基于模型的控制的關(guān)鍵節(jié)點(diǎn)，在預(yù)測(cè)所選操作的未來(lái)狀態(tài)方面發(fā)揮著特定作用。

Credit:Thomas Akam / Rui Costa / Champalimaud Centre for the Unknown

我們的大腦可以通過(guò)思考未來(lái)和預(yù)測(cè)我們行為的后果來(lái)幫助我們做出決定。例如，想象一下，你試圖找到你家附近的一家新餐廳的路。你的大腦可以為你的鄰居建立一個(gè)心理模型，并計(jì)劃你應(yīng)該走的路線(xiàn)。

科學(xué)家們現(xiàn)在發(fā)現(xiàn)，大腦的前扣帶回皮質(zhì)(ACC)對(duì)決策非常重要，它參與了使用這樣的心理模型進(jìn)行學(xué)習(xí)。發(fā)表在《神經(jīng)元》(Neuron)雜志上的一項(xiàng)關(guān)于小鼠的新研究強(qiáng)調(diào)了幫助大腦模擬不同行為的結(jié)果并做出選擇的復(fù)雜的心理機(jī)制。

牛津大學(xué)研究員、這篇新論文的主要作者托馬斯·阿卡姆博士說(shuō)：“基于模型學(xué)習(xí)的神經(jīng)生物學(xué)仍然知之甚少。在這里，我們能夠識(shí)別出參與這一行為的大腦結(jié)構(gòu)，并證明它的活動(dòng)編碼了決策過(guò)程的多個(gè)方面。”

破譯大腦是如何建立心理模型的，對(duì)于理解我們?nèi)绾芜m應(yīng)變化和靈活做出決定至關(guān)重要：例如，當(dāng)我們發(fā)現(xiàn)通往新餐廳的一條道路因施工而關(guān)閉時(shí)，我們會(huì)怎么做。

“這些結(jié)果非常令人興奮，”作者魯伊·科斯塔(Rui Costa)說(shuō)。魯伊·科斯塔是哥倫比亞大學(xué)扎克曼研究所(Zuckerman Institute)的主任兼首席執(zhí)行官，博士是DVM，他在尚帕里莫未知中心(Champalimaud Centre For The Under)擔(dān)任研究員時(shí)開(kāi)始了這項(xiàng)研究，大部分?jǐn)?shù)據(jù)都是在那里收集的。

“這些數(shù)據(jù)表明，在基于模型的決策中，前扣帶回皮質(zhì)是一個(gè)關(guān)鍵的大腦區(qū)域，更具體地說(shuō)，是在預(yù)測(cè)如果我們選擇做一個(gè)特定動(dòng)作而不是另一個(gè)動(dòng)作時(shí)，世界上會(huì)發(fā)生什么。”

模型或非模型？

研究基于模型學(xué)習(xí)的神經(jīng)基礎(chǔ)的一大挑戰(zhàn)是，它通常與另一種稱(chēng)為無(wú)模型學(xué)習(xí)的方法并行運(yùn)行。在無(wú)模型學(xué)習(xí)中，大腦不會(huì)花太多精力去創(chuàng)建模擬。它只是依賴(lài)于過(guò)去曾產(chǎn)生良好結(jié)果的行動(dòng)。

例如，當(dāng)你去你喜歡的餐廳旅行時(shí)，你可能會(huì)使用一種沒(méi)有模型的心理方法。因?yàn)槟阋郧叭ミ^(guò)那里，所以你不需要投入心力去規(guī)劃路線(xiàn)。你可以簡(jiǎn)單地沿著你習(xí)慣性的道路走下去，讓你的注意力集中在其他事情上。

為了分離這兩種認(rèn)知模式--基于模型和無(wú)模型--的貢獻(xiàn)，研究人員為小鼠設(shè)置了一個(gè)兩步謎題。
​
在這項(xiàng)任務(wù)中，一只動(dòng)物首先從兩個(gè)位于中心的洞中選擇一個(gè)來(lái)進(jìn)行探鼻。這個(gè)動(dòng)作會(huì)激發(fā)側(cè)面的另外兩個(gè)洞中的一個(gè)，每個(gè)洞都有一定的提供水的可能性。

圖1 兩步謎題

阿卡姆博士說(shuō)：“就像在現(xiàn)實(shí)生活中一樣，為了獲得預(yù)期的結(jié)果，受試者必須進(jìn)行一系列延長(zhǎng)的行動(dòng)，并帶來(lái)不確定的后果。”

為了做好這項(xiàng)工作，小鼠必須找出兩個(gè)關(guān)鍵變量。一個(gè)是，側(cè)面的哪個(gè)孔更有可能提供飲水。第二個(gè)是中心的哪個(gè)孔激發(fā)了哪個(gè)側(cè)孔。一旦小鼠學(xué)會(huì)了這項(xiàng)任務(wù)，它們就會(huì)選擇提供結(jié)果的動(dòng)作序列。然而，除了這種基于模型的解謎方式外，小鼠還可以學(xué)習(xí)簡(jiǎn)單的無(wú)模型預(yù)測(cè)，例如“頂端是好的”，這是過(guò)去通常會(huì)帶來(lái)獎(jiǎng)勵(lì)的選擇。

研究人員隨后改變了實(shí)驗(yàn)方式，要求動(dòng)物保持靈活性。時(shí)不時(shí)地會(huì)出現(xiàn)提供水的側(cè)孔會(huì)切換--或者中間孔和側(cè)孔之間的映射會(huì)顛倒。

隨著情況的變化，這些動(dòng)物的選擇揭示了它們學(xué)習(xí)時(shí)使用的策略。

阿卡姆博士說(shuō)：“無(wú)模型學(xué)習(xí)和基于模型學(xué)習(xí)應(yīng)該產(chǎn)生不同的選擇模式。通過(guò)觀(guān)察小鼠的行為，我們能夠評(píng)估這兩種方法的貢獻(xiàn)。”

當(dāng)研究小組分析了大約23萬(wàn)個(gè)個(gè)體決策的結(jié)果時(shí)，他們了解到小鼠同時(shí)使用了基于模型的方法和無(wú)模型的方法。

科斯塔博士說(shuō)：“這證實(shí)了這項(xiàng)任務(wù)適合研究這些機(jī)制的神經(jīng)基礎(chǔ)。然后我們進(jìn)入下一步：調(diào)查這種行為的神經(jīng)基礎(chǔ)。”

一種基于模型學(xué)習(xí)的神經(jīng)圖譜

研究小組專(zhuān)注于大腦的前扣帶回皮質(zhì)(ACC)區(qū)域。

科斯塔博士解釋說(shuō)：“先前的研究證實(shí)ACC參與了行動(dòng)選擇，并提供了一些證據(jù)表明它可能參與基于模型的預(yù)測(cè)。但在一項(xiàng)旨在區(qū)分這些不同類(lèi)型學(xué)習(xí)的任務(wù)中，還沒(méi)有人檢查單個(gè)ACC神經(jīng)元的活動(dòng)。”

研究人員發(fā)現(xiàn)，ACC神經(jīng)元的活動(dòng)與小鼠的行為之間存在緊密聯(lián)系。例如，科學(xué)家只需觀(guān)察一組細(xì)胞的活動(dòng)模式，就可以破譯小鼠是在選擇一個(gè)孔還是另一個(gè)孔，或者它是否在喝水。

除了表示動(dòng)物在任務(wù)中的當(dāng)前位置，ACC神經(jīng)元還編碼了下一步可能出現(xiàn)的狀態(tài)。

阿卡姆博士說(shuō)：“這提供了直接證據(jù)，表明ACC參與了對(duì)行為具體后果的基于模型的預(yù)測(cè)，而不單預(yù)測(cè)它們是好是壞。”

圖2 小鼠完成兩步謎題時(shí)的ACC鈣成像

此外，ACC神經(jīng)元還表明了行動(dòng)的結(jié)果是意料之中的，還是出乎意料的，從而潛在地提供了一種機(jī)制，當(dāng)預(yù)測(cè)被證明是錯(cuò)誤的時(shí)，它可以更新預(yù)測(cè)。

研究小組還在動(dòng)物試圖做出決定時(shí)抑制ACC神經(jīng)元。這阻止了這些動(dòng)物在情況變化時(shí)做出靈活的反應(yīng)，這表明它們?cè)谑褂没�于模型的預(yù)測(cè)時(shí)遇到了困難。

圖3 兩步謎題中對(duì)ACC進(jìn)行光遺傳抑制

理解大腦是如何控制計(jì)劃和順序決策等復(fù)雜行為，是當(dāng)代神經(jīng)科學(xué)面臨的一大挑戰(zhàn)。

阿卡姆博士說(shuō)：“這是首批在小鼠進(jìn)行操作決策的研究，證明小鼠在這些方面具有決策行為是可能的。這些結(jié)果將讓我們和其他人建立對(duì)靈活決策的機(jī)械性理解。”

參考文獻(xiàn)

“The anterior cingulate cortex predicts future states to mediate model-based  action selection,” was published on November 4, 2020, in Neuron. Additional coauthors include Ines Rodrigues-Vaz, Ivo Marcelo, Xiangyu Zhang, Michael Pereira, Rodrigo Freire Oliveira and Peter Dayan.

歡迎對(duì)此技術(shù)和應(yīng)用感興趣的老師咨詢(xún)
滔博生物
咨詢(xún)熱線(xiàn)4009659906/15262408659
郵箱sales@top-bright.com
 

 

關(guān)于滔博生物
滔博生物TOP-Bright是一家集研發(fā)、生產(chǎn)、銷(xiāo)售于一體的的高科技企業(yè)。我司專(zhuān)注于神經(jīng)科學(xué)產(chǎn)品的研究且致力于向高校、科研機(jī)構(gòu)等領(lǐng)域提供實(shí)驗(yàn)室一體化方案，業(yè)務(wù)范圍遍布全國(guó)上百家實(shí)驗(yàn)室。公司主營(yíng)產(chǎn)品均為享譽(yù)全球的國(guó)際品牌, 這些儀器設(shè)備都是科學(xué)研究所必備且不可替代的。

目前公司主營(yíng)產(chǎn)品是享譽(yù)全球的國(guó)際一線(xiàn)領(lǐng)導(dǎo)品牌，主要有：Inscopix自由活動(dòng)超微顯微成像系統(tǒng)，Bruker多光子顯微鏡，功能神經(jīng)外科電生理平臺(tái)，動(dòng)物行為系統(tǒng)（自身給藥、條件恐懼、斯金納、睡眠剝奪、經(jīng)典迷宮等），PiezoSleep無(wú)創(chuàng)睡眠檢測(cè)系統(tǒng)，NeuroNexus神經(jīng)電極，電生理信號(hào)采集系統(tǒng)，膜片鉗系統(tǒng)，雙光子顯微鏡等。這些儀器設(shè)備都是科學(xué)研究所必備且不可替代的基礎(chǔ)儀器之一。

成像平臺(tái)：
1.Inscopix自由活動(dòng)超微顯微成像系統(tǒng)

 

2.Bruker雙光子顯微鏡


3.Neurotar Mobile HomeCage 氣浮籠

 

動(dòng)物行為學(xué)平臺(tái)：
1.PiezoSleep無(wú)創(chuàng)睡眠檢測(cè)系統(tǒng)
2.自身給藥、條件恐懼、斯金納、睡眠剝奪、跑步機(jī)、各類(lèi)經(jīng)典迷宮等

神經(jīng)電生理：
1.NeuroNexus神經(jīng)電極
2.多通道電生理信號(hào)采集系統(tǒng)
3.膜片鉗系統(tǒng)

科研/臨床級(jí)3D打�。�
1.德國(guó)envisionTEC 3D Bioplotter生物打印機(jī)
2.韓國(guó)Invivo醫(yī)療級(jí)生物打印機(jī)等