一項由葡萄牙尚帕莫未知中心，牛津大學，哥倫比亞大學，荷蘭鹿特丹伊拉斯謨大學，麻省理工學院，倫敦大學，德國Max Planck生物控制論研究所，德國圖歐賓根大學多方合作的研究于2020年11月4日在Neuron上發(fā)表了題為The Anterior Cingulate Cortex Predicts Future States to Mediate Model-Based Action Selection的文章，作者通過一個新的兩步謎題任務(wù)了解基于模型的決策使用對行為具體后果的預(yù)測，在小鼠的一系列決策任務(wù)中使用Inscopix顯微鈣成像和光遺傳學來證明前扣帶皮層（ACC）預(yù)測了行動將導(dǎo)致的狀態(tài)，而不單是預(yù)測它們是好是壞，并判斷結(jié)果是否與這些預(yù)測相符。研究結(jié)果表明，ACC是基于模型的控制的關(guān)鍵節(jié)點，在預(yù)測所選操作的未來狀態(tài)方面發(fā)揮著特定作用。

Credit:Thomas Akam / Rui Costa / Champalimaud Centre for the Unknown

我們的大腦可以通過思考未來和預(yù)測我們行為的后果來幫助我們做出決定。例如，想象一下，你試圖找到你家附近的一家新餐廳的路。你的大腦可以為你的鄰居建立一個心理模型，并計劃你應(yīng)該走的路線。

科學家們現(xiàn)在發(fā)現(xiàn)，大腦的前扣帶回皮質(zhì)(ACC)對決策非常重要，它參與了使用這樣的心理模型進行學習。發(fā)表在《神經(jīng)元》(Neuron)雜志上的一項關(guān)于小鼠的新研究強調(diào)了幫助大腦模擬不同行為的結(jié)果并做出選擇的復(fù)雜的心理機制。

牛津大學研究員、這篇新論文的主要作者托馬斯·阿卡姆博士說：“基于模型學習的神經(jīng)生物學仍然知之甚少。在這里，我們能夠識別出參與這一行為的大腦結(jié)構(gòu)，并證明它的活動編碼了決策過程的多個方面。”

破譯大腦是如何建立心理模型的，對于理解我們?nèi)绾芜m應(yīng)變化和靈活做出決定至關(guān)重要：例如，當我們發(fā)現(xiàn)通往新餐廳的一條道路因施工而關(guān)閉時，我們會怎么做。

“這些結(jié)果非常令人興奮，”作者魯伊·科斯塔(Rui Costa)說。魯伊·科斯塔是哥倫比亞大學扎克曼研究所(Zuckerman Institute)的主任兼首席執(zhí)行官，博士是DVM，他在尚帕里莫未知中心(Champalimaud Centre For The Under)擔任研究員時開始了這項研究，大部分數(shù)據(jù)都是在那里收集的。

“這些數(shù)據(jù)表明，在基于模型的決策中，前扣帶回皮質(zhì)是一個關(guān)鍵的大腦區(qū)域，更具體地說，是在預(yù)測如果我們選擇做一個特定動作而不是另一個動作時，世界上會發(fā)生什么。”

模型或非模型？

研究基于模型學習的神經(jīng)基礎(chǔ)的一大挑戰(zhàn)是，它通常與另一種稱為無模型學習的方法并行運行。在無模型學習中，大腦不會花太多精力去創(chuàng)建模擬。它只是依賴于過去曾產(chǎn)生良好結(jié)果的行動。

例如，當你去你喜歡的餐廳旅行時，你可能會使用一種沒有模型的心理方法。因為你以前去過那里，所以你不需要投入心力去規(guī)劃路線。你可以簡單地沿著你習慣性的道路走下去，讓你的注意力集中在其他事情上。

為了分離這兩種認知模式--基于模型和無模型--的貢獻，研究人員為小鼠設(shè)置了一個兩步謎題。
​
在這項任務(wù)中，一只動物首先從兩個位于中心的洞中選擇一個來進行探鼻。這個動作會激發(fā)側(cè)面的另外兩個洞中的一個，每個洞都有一定的提供水的可能性。

圖1 兩步謎題

阿卡姆博士說：“就像在現(xiàn)實生活中一樣，為了獲得預(yù)期的結(jié)果，受試者必須進行一系列延長的行動，并帶來不確定的后果。”

為了做好這項工作，小鼠必須找出兩個關(guān)鍵變量。一個是，側(cè)面的哪個孔更有可能提供飲水。第二個是中心的哪個孔激發(fā)了哪個側(cè)孔。一旦小鼠學會了這項任務(wù)，它們就會選擇提供結(jié)果的動作序列。然而，除了這種基于模型的解謎方式外，小鼠還可以學習簡單的無模型預(yù)測，例如“頂端是好的”，這是過去通常會帶來獎勵的選擇。

研究人員隨后改變了實驗方式，要求動物保持靈活性。時不時地會出現(xiàn)提供水的側(cè)孔會切換--或者中間孔和側(cè)孔之間的映射會顛倒。

隨著情況的變化，這些動物的選擇揭示了它們學習時使用的策略。

阿卡姆博士說：“無模型學習和基于模型學習應(yīng)該產(chǎn)生不同的選擇模式。通過觀察小鼠的行為，我們能夠評估這兩種方法的貢獻。”

當研究小組分析了大約23萬個個體決策的結(jié)果時，他們了解到小鼠同時使用了基于模型的方法和無模型的方法。

科斯塔博士說：“這證實了這項任務(wù)適合研究這些機制的神經(jīng)基礎(chǔ)。然后我們進入下一步：調(diào)查這種行為的神經(jīng)基礎(chǔ)。”

一種基于模型學習的神經(jīng)圖譜

研究小組專注于大腦的前扣帶回皮質(zhì)(ACC)區(qū)域。

科斯塔博士解釋說：“先前的研究證實ACC參與了行動選擇，并提供了一些證據(jù)表明它可能參與基于模型的預(yù)測。但在一項旨在區(qū)分這些不同類型學習的任務(wù)中，還沒有人檢查單個ACC神經(jīng)元的活動。”

研究人員發(fā)現(xiàn)，ACC神經(jīng)元的活動與小鼠的行為之間存在緊密聯(lián)系。例如，科學家只需觀察一組細胞的活動模式，就可以破譯小鼠是在選擇一個孔還是另一個孔，或者它是否在喝水。

除了表示動物在任務(wù)中的當前位置，ACC神經(jīng)元還編碼了下一步可能出現(xiàn)的狀態(tài)。

阿卡姆博士說：“這提供了直接證據(jù)，表明ACC參與了對行為具體后果的基于模型的預(yù)測，而不單預(yù)測它們是好是壞。”

圖2 小鼠完成兩步謎題時的ACC鈣成像

此外，ACC神經(jīng)元還表明了行動的結(jié)果是意料之中的，還是出乎意料的，從而潛在地提供了一種機制，當預(yù)測被證明是錯誤的時，它可以更新預(yù)測。

研究小組還在動物試圖做出決定時抑制ACC神經(jīng)元。這阻止了這些動物在情況變化時做出靈活的反應(yīng)，這表明它們在使用基于模型的預(yù)測時遇到了困難。

圖3 兩步謎題中對ACC進行光遺傳抑制

理解大腦是如何控制計劃和順序決策等復(fù)雜行為，是當代神經(jīng)科學面臨的一大挑戰(zhàn)。

阿卡姆博士說：“這是首批在小鼠進行操作決策的研究，證明小鼠在這些方面具有決策行為是可能的。這些結(jié)果將讓我們和其他人建立對靈活決策的機械性理解。”

參考文獻

“The anterior cingulate cortex predicts future states to mediate model-based  action selection,” was published on November 4, 2020, in Neuron. Additional coauthors include Ines Rodrigues-Vaz, Ivo Marcelo, Xiangyu Zhang, Michael Pereira, Rodrigo Freire Oliveira and Peter Dayan.

歡迎對此技術(shù)和應(yīng)用感興趣的老師咨詢
滔博生物
咨詢熱線4009659906/15262408659
郵箱sales@top-bright.com
 

 

關(guān)于滔博生物
滔博生物TOP-Bright是一家集研發(fā)、生產(chǎn)、銷售于一體的的高科技企業(yè)。我司專注于神經(jīng)科學產(chǎn)品的研究且致力于向高校、科研機構(gòu)等領(lǐng)域提供實驗室一體化方案，業(yè)務(wù)范圍遍布全國上百家實驗室。公司主營產(chǎn)品均為享譽全球的國際品牌, 這些儀器設(shè)備都是科學研究所必備且不可替代的。

目前公司主營產(chǎn)品是享譽全球的國際一線領(lǐng)導(dǎo)品牌，主要有：Inscopix自由活動超微顯微成像系統(tǒng)，Bruker多光子顯微鏡，功能神經(jīng)外科電生理平臺，動物行為系統(tǒng)（自身給藥、條件恐懼、斯金納、睡眠剝奪、經(jīng)典迷宮等），PiezoSleep無創(chuàng)睡眠檢測系統(tǒng)，NeuroNexus神經(jīng)電極，電生理信號采集系統(tǒng)，膜片鉗系統(tǒng)，雙光子顯微鏡等。這些儀器設(shè)備都是科學研究所必備且不可替代的基礎(chǔ)儀器之一。

成像平臺：
1.Inscopix自由活動超微顯微成像系統(tǒng)

 

2.Bruker雙光子顯微鏡


3.Neurotar Mobile HomeCage 氣浮籠

 

動物行為學平臺：
1.PiezoSleep無創(chuàng)睡眠檢測系統(tǒng)
2.自身給藥、條件恐懼、斯金納、睡眠剝奪、跑步機、各類經(jīng)典迷宮等

神經(jīng)電生理：
1.NeuroNexus神經(jīng)電極
2.多通道電生理信號采集系統(tǒng)
3.膜片鉗系統(tǒng)

科研/臨床級3D打�。�
1.德國envisionTEC 3D Bioplotter生物打印機
2.韓國Invivo醫(yī)療級生物打印機等