熒光顯微鏡是生物醫(yī)學(xué)研究中的重要工具，通過使用熒光染料或熒光蛋白標(biāo)記特定的細(xì)胞或分子，使其在顯微鏡下發(fā)出熒光，從而實(shí)現(xiàn)高分辨率的成像。

光片熒光顯微鏡是一種革命性的新興三維成像技術(shù)，通過快速掃描薄片樣本，實(shí)現(xiàn)高通量、高分辨率的三維成像。該技術(shù)具有光漂白與光毒性低、光子利用效率高、成像速度快和分辨率高等優(yōu)點(diǎn)，廣泛應(yīng)用于神經(jīng)科學(xué)、細(xì)胞生物學(xué)、病理學(xué)等生物醫(yī)學(xué)領(lǐng)域。光片熒光顯微成像技術(shù)在三維病理分析中展現(xiàn)出了巨大的潛力。

相比于傳統(tǒng)的二維病理切片，三維病理分析能夠提供組織結(jié)構(gòu)的完整空間信息，有助于更全面地理解疾病的發(fā)生和發(fā)展機(jī)制。三維病理分析領(lǐng)域的發(fā)展，將極大地推動(dòng)病理學(xué)研究的深入和臨床診斷的精確化，為疾病的早期發(fā)現(xiàn)、精準(zhǔn)治療和個(gè)性化醫(yī)療提供強(qiáng)有力的支持。

華中科技大學(xué)光學(xué)與電子信息學(xué)院的費(fèi)鵬團(tuán)隊(duì)發(fā)表綜述，介紹了光片顯微成像技術(shù)的發(fā)展及其在病理領(lǐng)域的應(yīng)用，然后介紹了目前三維病理分析的主要工作和方法，著重討論了新興的多模態(tài)大語言模型在病理分析領(lǐng)域的應(yīng)用前景。

光片顯微鏡的發(fā)展及應(yīng)用

光片顯微鏡的發(fā)展歷程
2004年，Huisken課題組提出SPIM，首次將光片顯微鏡帶入人們的視野，大大降低了光漂白和光毒性，并能連續(xù)采集長時(shí)間序列圖像。

2007年，基于之前工作提出mSPIM，減少了SPIM中的條紋偽影。2008年，Keller等人提出DSLM，其通過掃描高斯光束形成虛擬光片。SPIM和DSLM奠定了光片顯微鏡的基本模式。

光片生成的并行化。SPIM同時(shí)照明并捕捉整個(gè)視野的熒光，而mSPIM通過圍繞其中心旋轉(zhuǎn)光片來減少條紋偽影。DSLM通過時(shí)間共享光束生成虛擬光片，任何給定時(shí)間內(nèi)僅有被照明條帶產(chǎn)生熒光。為了保持相同信噪比，隨著視野大小（沿掃描軸）相對(duì)于光片厚度的增加，DSLM需要更高的峰值強(qiáng)度Ipeak

近年來，光片顯微鏡朝著更高分辨率、更低光漂白和光毒性、更快成像速度以及更大成像體積發(fā)展。例如貝塞爾光片顯微鏡、Lattice顯微鏡、平面掃面共焦（SCAPE）顯微鏡及其改進(jìn)版等多種先進(jìn)顯微鏡技術(shù)被提出。

傳統(tǒng)熒光顯微鏡在三維成像、長時(shí)間活體成像、光漂白和光毒性方面存在局限性，寬場(chǎng)熒光顯微鏡圖像對(duì)比度低，共聚焦顯微鏡成像速度慢且光漂白和光毒性較大。

為解決這些問題，光片熒光顯微鏡應(yīng)運(yùn)而生。它用一束薄薄的光片從側(cè)面照射樣品，減少了總曝光量，大大降低了光漂白和光毒性，同時(shí)實(shí)現(xiàn)了快速、高分辨率的三維成像。

光片顯微鏡的重要技術(shù)發(fā)展
組織透明化技術(shù)：組織透明化技術(shù)通過化學(xué)試劑置換、沖洗等方法對(duì)生物樣本進(jìn)行脫水、脫脂等操作，然后填充試劑使樣本具有均勻折射率，最后放入折射率匹配的試劑中實(shí)現(xiàn)光的透明。該技術(shù)與光片顯微鏡結(jié)合，可提取復(fù)雜哺乳動(dòng)物和大型人類標(biāo)本的結(jié)構(gòu)信息，如構(gòu)建單細(xì)胞分辨率小鼠大腦圖譜。

光片顯微鏡在病理組織樣本中的應(yīng)用
腫瘤病理學(xué)研究：光片顯微鏡可實(shí)現(xiàn)腫瘤組織的三維成像，提供詳細(xì)結(jié)構(gòu)信息，用于評(píng)估藥物療效和指導(dǎo)個(gè)性化治療。如開頂光片顯微鏡可對(duì)前列腺組織樣本進(jìn)行成像，還有研究對(duì)乳腺癌、膀胱腫瘤等的相關(guān)組織進(jìn)行了成像研究，展示了其在腫瘤病理診斷和藥物研究中的價(jià)值。

神經(jīng)病理學(xué)和大腦研究：在研究神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)方面具有優(yōu)勢(shì)，可觀察腦組織及神經(jīng)元等結(jié)構(gòu)的三維形態(tài)特征。如對(duì)腦部標(biāo)本的透明化方法進(jìn)行可視化，在人腦組織中尋找感興趣區(qū)域并進(jìn)行相關(guān)研究，以及對(duì)人腦枕葉組織、厚人腦切片中的淀粉樣斑塊等進(jìn)行成像研究，體現(xiàn)了其在研究神經(jīng)系統(tǒng)疾病病理機(jī)制中的重要性。

其他病理學(xué)研究：在皮膚、眼球、口腔等病理組織研究中也有重要應(yīng)用。如對(duì)人體皮膚活檢組織樣本、人眼、人類牙髓等進(jìn)行成像，展示了其在臨床環(huán)境的體內(nèi)組織原位體積成像中的重要作用。

病理分析的應(yīng)用及發(fā)展
病理分析是一門醫(yī)學(xué)分支，其主要包含組織學(xué)、細(xì)胞學(xué)、免疫組織化學(xué)、分子病理學(xué)等方面。對(duì)于許多常見的癌癥和腫瘤，比如乳腺癌、前列腺癌、肺癌、胃腸道癌、皮膚癌以及各種良性和惡性的腫瘤等，病理分析通過對(duì)這些疾病的組織樣本進(jìn)行詳細(xì)檢查，提供了明確的診斷依據(jù)，幫助醫(yī)生制定有效的治療方案。

光片顯微鏡作為一種新興的顯微成像技術(shù)，能夠以高速度、高分辨率和低光毒性成像大體積樣本。這種技術(shù)極其適用于三維組織成像、活體成像、多色熒光成像等場(chǎng)景，在病理分析中有著廣泛的應(yīng)用前景。隨著光片顯微鏡技術(shù)的不斷發(fā)展，算法的進(jìn)步也在推動(dòng)病理分析邁向新的高度。

虛擬染色技術(shù)
傳統(tǒng)組織染色方法如H&E染色雖對(duì)病理學(xué)發(fā)展有重要作用，但存在時(shí)間成本高、操作繁瑣、樣本損壞和染色一致性差等問題。

虛擬染色技術(shù)興起得益于數(shù)字病理學(xué)和計(jì)算機(jī)視覺技術(shù)的快速發(fā)展。它利用圖像算法將顯微鏡下的無染色或輕度染色的生物組織圖像轉(zhuǎn)換為類似于傳統(tǒng)染色效果的技術(shù)。其顯著減少染色過程所需時(shí)間和成本，在組織病理學(xué)中，除固定樣本外，只需用類似H&E染色的熒光標(biāo)記物進(jìn)行標(biāo)記，整個(gè)樣本準(zhǔn)備過程少于3分鐘，并且減少額外材料開支。其圖像算法在GPU上并行處理時(shí)可在亞毫秒級(jí)處理每幀圖像。例如Jonathan T.C.Liu課題組提出的快速數(shù)字染色軟件包（FalseColor-Python）通過GPU加速處理大規(guī)模數(shù)據(jù)集，實(shí)現(xiàn)高效虛擬染色。

不同研究者針對(duì)各種視覺的定量指標(biāo)進(jìn)行對(duì)比，發(fā)現(xiàn)虛擬染色的結(jié)果與傳統(tǒng)染色結(jié)果非常接近。同時(shí)對(duì)一些臨床分析的結(jié)果進(jìn)行對(duì)比，發(fā)現(xiàn)虛擬染色的結(jié)果并不會(huì)影響最終的判斷。這些結(jié)果表明通過虛擬染色生成的病理圖像是可靠的，可以在不影響診斷信息的情況下提供高質(zhì)量的組織圖像。

虛擬染色技術(shù)允許研究者在同一圖像上應(yīng)用不同的染色方案，無需對(duì)樣本進(jìn)行多次處理，減少對(duì)樣本的損耗和操作成本，提供更加靈活和多樣化的選擇。例如Zhang等人通過深度學(xué)習(xí)技術(shù)對(duì)未標(biāo)記的組織樣本進(jìn)行虛擬染色，成功復(fù)現(xiàn)H&E染色、Masson三色和Jones'銀染色，該方法能在單個(gè)組織切片上實(shí)現(xiàn)多重染色，無需進(jìn)行多次物理處理，大大提高組織學(xué)分析的效率和準(zhǔn)確性。Liu等人同樣利用深度學(xué)習(xí)方法，從H&E染色圖像中生成虛擬的免疫組織化學(xué)（Immunohistochemistry，IHC）圖像，從而在不進(jìn)行實(shí)際染色的情況下，獲得同樣高質(zhì)量的診斷信息。

虛擬染色通過算法實(shí)現(xiàn)，對(duì)于同樣的組織樣本，只要保持參數(shù)一致，就能夠提供一致的染色效果，避免傳統(tǒng)染色方法中的人為誤差和實(shí)驗(yàn)室間差異。

傳統(tǒng)染色方法可能對(duì)樣本造成損傷，而虛擬染色技術(shù)是非破壞性的。研究者可以多次對(duì)同一樣本進(jìn)行不同的虛擬染色處理，保留原始樣本的完整性。例如Jonathan T.C.Liu課題組的研究展示一種多分辨率非破壞性三維病理學(xué)方法，通過結(jié)合熒光染色和光學(xué)透明化技術(shù)，對(duì)淋巴結(jié)進(jìn)行全方位成像，提高淋巴結(jié)轉(zhuǎn)移分期的準(zhǔn)確性。

同時(shí)，虛擬染色技術(shù)可以很好地與光片熒光顯微鏡相結(jié)合。例如 Jonathan T.C.Liu課題組的研究中采用開頂式光片顯微鏡對(duì)經(jīng)過H&E染色熒光類似物標(biāo)記的組織樣本進(jìn)行成像。

這種結(jié)合可以顯著降低染色成本、提高病理分析效率、減少樣品損傷等，為病理分析提供強(qiáng)有力的工具，具有廣闊的應(yīng)用前景。

病理分析的研究進(jìn)展
光片熒光顯微成像技術(shù)：可快速、非破壞性地獲取高分辨率三維圖像，在癌癥研究、神經(jīng)科學(xué)和發(fā)育生物學(xué)等領(lǐng)域有巨大潛力，能實(shí)現(xiàn)大樣本高通量分析和動(dòng)態(tài)過程實(shí)時(shí)監(jiān)測(cè)。

虛擬染色技術(shù)：通過計(jì)算方法替代傳統(tǒng)染色過程，加快病理切片處理速度，減少染色劑使用，提高環(huán)境友好性。

機(jī)器學(xué)習(xí)和數(shù)字圖像處理技術(shù)：

• 二維病理分析：是病理學(xué)研究的基石，隨著人工智能發(fā)展，利用深度學(xué)習(xí)算法對(duì)病理圖像進(jìn)行分類診斷，在乳腺癌等疾病的病理分析中有諸多應(yīng)用，但存在無法充分展示組織結(jié)構(gòu)復(fù)雜性和空間關(guān)系的局限性。

• 三維病理分析：光片熒光顯微鏡在三維病理分析中有諸多優(yōu)勢(shì)，能提供更全面精準(zhǔn)的組織結(jié)構(gòu)信息。如 Jonathan T.C.Liu課題組提出的TriPath平臺(tái)，以及在前列腺癌、乳腺癌等組織上的一系列工作，還有其他關(guān)于不同組織的研究，都展示了三維病理分析的優(yōu)勢(shì)，結(jié)合自動(dòng)化算法可幫助醫(yī)生更準(zhǔn)確診斷疾病。

病理分析大模型：病理分析大模型是在醫(yī)療健康領(lǐng)域應(yīng)用的大規(guī)模預(yù)訓(xùn)練模型，參數(shù)量大，具備更強(qiáng)的特征提取和學(xué)習(xí)能力，在不同任務(wù)場(chǎng)景下泛化性好。如UNI模型、Prov-GigaPath模型、Virchow模型等，這些模型在不同的病理學(xué)任務(wù)中表現(xiàn)優(yōu)異。

多模態(tài)大語言模型的應(yīng)用及發(fā)展
多模態(tài)大語言模型的發(fā)展追溯到Transformer結(jié)構(gòu)的提出，隨后基于Transformer的GPT、BERT等語言基礎(chǔ)模型誕生，接著ViT模型將Transformer應(yīng)用到計(jì)算機(jī)視覺領(lǐng)域，CLIP架構(gòu)實(shí)現(xiàn)了多模態(tài)信息的融合。

主流多模態(tài)大語言模型主要由圖像編碼器和文本編碼器經(jīng)過CLIP框架預(yù)訓(xùn)練，再結(jié)合預(yù)訓(xùn)練的LLM等組成，采用多種訓(xùn)練方式，如參數(shù)高效微調(diào)方法等。

多模態(tài)大語言模型在病理分析領(lǐng)域的應(yīng)用

• 生成醫(yī)學(xué)報(bào)告：根據(jù)病人影像資料和病歷文本自動(dòng)生成詳細(xì)醫(yī)學(xué)報(bào)告，節(jié)省醫(yī)生時(shí)間，提高工作效率和報(bào)告準(zhǔn)確性。

• 診斷疾�。航Y(jié)合影像和文本數(shù)據(jù)提高疾病診斷準(zhǔn)確性，如在肺癌早期篩查中的應(yīng)用。

• 數(shù)字病理分析：通過學(xué)習(xí)病理圖像和診斷信息，自動(dòng)識(shí)別、計(jì)算和分類病理組織，為病理醫(yī)生提供輔助工具。

• 人機(jī)交互：實(shí)現(xiàn)自然和直觀的人機(jī)交互，方便醫(yī)學(xué)工作者獲取信息和建議。

• 應(yīng)用案例：如Tiu等人利用CLIP模型實(shí)現(xiàn)對(duì)多種疾病的檢測(cè)，還有CONCH模型、PathChat模型、PathAsst模型、M3D-LaMed模型等在不同病理分析任務(wù)中的應(yīng)用。

 

多模態(tài)大語言模型結(jié)合光片顯微鏡展望

• 模型復(fù)雜性與計(jì)算資源：模型結(jié)構(gòu)復(fù)雜、參數(shù)多，三維病理圖像數(shù)據(jù)處理更復(fù)雜，需要強(qiáng)大計(jì)算資源，這是研究機(jī)構(gòu)和醫(yī)療機(jī)構(gòu)的瓶頸，但隨著技術(shù)發(fā)展有望突破。

• 三維病理數(shù)據(jù)獲取與標(biāo)注困難：需要大量三維病理圖像-文本對(duì)數(shù)據(jù)，目前缺乏大規(guī)模三維病理數(shù)據(jù)集，光片顯微鏡可解決此問題，還可通過模態(tài)遷移與適配在現(xiàn)有二維病理大模型上進(jìn)行改進(jìn)。

• 可能存在的問題：可能存在偏見和知識(shí)抄襲問題，且容易產(chǎn)生幻覺和錯(cuò)誤推薦，需要謹(jǐn)慎整合到病理實(shí)踐中，病理學(xué)家要驗(yàn)證其生成內(nèi)容。

• 應(yīng)用前景：光片顯微鏡與多模態(tài)大語言模型結(jié)合可改善三維病理數(shù)據(jù)獲取與標(biāo)注困難，處理一系列病理分析任務(wù)，具有巨大臨床價(jià)值，雖然面臨挑戰(zhàn)，但隨著技術(shù)進(jìn)步有望解決，應(yīng)用前景廣闊。

總結(jié)與展望
光片熒光顯微鏡具有高分辨率、成像速度快、光毒性和光漂白低等優(yōu)勢(shì)，在生物醫(yī)學(xué)領(lǐng)域應(yīng)用廣泛且不斷發(fā)展，在三維病理成像領(lǐng)域潛力巨大。人工智能技術(shù)在病理分析中的應(yīng)用不斷發(fā)展，從傳統(tǒng)的CNN模型到通用的綜合性病理分析大模型。光片熒光顯微鏡與多模態(tài)大語言模型結(jié)合將為病理分析領(lǐng)域提供更強(qiáng)大的工具支持，推動(dòng)該領(lǐng)域進(jìn)一步發(fā)展。

內(nèi)容來源：費(fèi)鵬, 思文天, 張敏超. 基于光片熒光顯微鏡的三維病理分析綜述[J]. 光學(xué)學(xué)報(bào)（網(wǎng)絡(luò)版）, 2024, 01(05): 02.