熒光顯微鏡具有對(duì)樣品損傷小、可特異性成像等優(yōu)點(diǎn)，是生物醫(yī)學(xué)研究的主流成像手段。隨著人工智能技術(shù)的快速發(fā)展，深度學(xué)習(xí)在逆問題求解中取得了巨大成功，被廣泛應(yīng)用于諸多領(lǐng)域。

近年來，深度學(xué)習(xí)在熒光顯微成像中的應(yīng)用掀起了一個(gè)研究熱潮，為熒光顯微技術(shù)發(fā)展提供了性能上的突破與新思路。

基于此，西安電子科技大學(xué)的熊子涵、宋良峰團(tuán)隊(duì)在《紅外與激光工程》發(fā)表文章，介紹了深度學(xué)習(xí)的基本網(wǎng)絡(luò)模型，然后對(duì)基于深度學(xué)習(xí)的熒光顯微成像技術(shù)在熒光顯微的空間分辨率、圖像采集及重建速度、成像通量和成像質(zhì)量提升方面的應(yīng)用進(jìn)行了闡述。

深度學(xué)習(xí)基本介紹與發(fā)展
深度學(xué)習(xí)源于人工神經(jīng)網(wǎng)絡(luò)，是機(jī)器學(xué)習(xí)方法中最受歡迎的算法。1943年，Mcculloch等人提出第一個(gè)腦神經(jīng)元抽象模型，隨后Rumelhart和McClelland于1986年提出多層網(wǎng)絡(luò)學(xué)習(xí)的誤差反向傳播學(xué)習(xí)算法，但1991年該算法被指出存在梯度消失問題。2006年，Hinton提出深度神經(jīng)網(wǎng)絡(luò)模型，使深度學(xué)習(xí)再次崛起。2012年，AlexNet在ImageNet競(jìng)賽中的優(yōu)異表現(xiàn)引起了公眾的全面關(guān)注。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）
是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，主要由卷積層、池化層以及全連接層組成。U-Net是一種基于全卷積網(wǎng)絡(luò)的經(jīng)典圖像分割網(wǎng)絡(luò)，由編碼器、解碼器和跳躍連接組成，能有效防止信息丟失。

循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）
是一類具有短期記憶能力的神經(jīng)網(wǎng)絡(luò)，通過自反饋的神經(jīng)元來處理任意長(zhǎng)度的時(shí)序數(shù)據(jù)，由輸入層、隱含層以及輸出層組成。為解決長(zhǎng)期記憶問題，可采用長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）。

生成對(duì)抗網(wǎng)絡(luò)（GAN）
是一種無監(jiān)督深度學(xué)習(xí)模型，由生成器與判別器兩個(gè)模塊組成，兩部分網(wǎng)絡(luò)相互博弈以提高網(wǎng)絡(luò)性能，在樣本數(shù)據(jù)生成、圖像生成以及提高圖像分辨率等方面有廣泛應(yīng)用前景。

深度學(xué)習(xí)在熒光顯微中的應(yīng)用
1、增強(qiáng)空間分辨率
基于GAN的深度網(wǎng)絡(luò)框架：加州大學(xué)Wang等提出，選用U-Net神經(jīng)網(wǎng)絡(luò)，將在低倍物鏡、共聚焦顯微鏡以及全內(nèi)反射熒光顯微鏡下獲取的低分辨率圖像轉(zhuǎn)換為高分辨率圖像，具有大視場(chǎng)、高信噪比與高自由度等特點(diǎn)。

通過對(duì)牛肺動(dòng)脈內(nèi)皮細(xì)胞結(jié)構(gòu)和熒光小球進(jìn)行成像實(shí)驗(yàn)，驗(yàn)證了該網(wǎng)絡(luò)的性能和通用性，實(shí)現(xiàn)了跨模態(tài)成像，將共聚焦顯微鏡圖像轉(zhuǎn)換為STED顯微圖像，使空間分辨率得到顯著提升。

其他網(wǎng)絡(luò)模型：Zhang等采用GAN實(shí)現(xiàn)從LR圖像到HR圖像的轉(zhuǎn)換，對(duì)人類病理切片、熒光標(biāo)記的成纖維細(xì)胞以及轉(zhuǎn)基因小鼠大腦深層組織進(jìn)行高分辨成像；Zhou等提出基于3D深度學(xué)習(xí)的雙生成對(duì)抗網(wǎng)絡(luò)（Dual GAN），實(shí)現(xiàn)LR圖像轉(zhuǎn)換為HR圖像；Wang課題組提出一種深度對(duì)抗網(wǎng)絡(luò)（DAN），以一個(gè)STED圖像作為輸入，輸出一個(gè)對(duì)應(yīng)更高分辨率的STED圖像；Christensen等提出ML-SIM重建方法，使用端到端深度殘差神經(jīng)網(wǎng)絡(luò)；Shah等提出基于深度學(xué)習(xí)的SR-SIM圖像重建方法RED-fairSIM，在低SNR條件下獲得超分辨率圖像，并有效地抑制了噪聲。

2、提升圖像采集與重建速度
DL-SIM方法：Jin等提出基于U-Net網(wǎng)絡(luò)的DL-SIM方法，依次使用15張/3張SIM原始圖像與相應(yīng)的15張常規(guī)SIM重建結(jié)果分別作為輸入和真值，訓(xùn)練得到U-Net-SIM15/U-Net-SIM3，將超分辨率SIM所需的原始圖像數(shù)量減少5倍，以提高SIM的時(shí)間分辨率。對(duì)4種不同的亞細(xì)胞結(jié)構(gòu)圖像進(jìn)行恢復(fù)重建，證明該方法可以以較少的原始圖像數(shù)量來實(shí)現(xiàn)快速超分辨SIM成像。

CycleGAN深度神經(jīng)網(wǎng)絡(luò)：深圳大學(xué)袁小聰教授課題組提出，將 SIM超分辨圖像重建所需的原始圖像幀數(shù)由9幀減少至3幀，實(shí)現(xiàn)快速SIM超分辨成像。

其他方法：Boyd等使用DeepLoco方法將SMLM中活躍的熒光團(tuán)位置生成簡(jiǎn)短列表，使用CNN改善傳統(tǒng)算法復(fù)雜、耗時(shí)的問題；Shechtman課題組將CNN與SMLM相結(jié)合，提出了一種快速、精確和無參數(shù)的算法；Speiser等開發(fā)了DECODE模型，可在發(fā)光樣品分子局部重疊的情況下實(shí)現(xiàn)單分子定位，將成像時(shí)間減少了一個(gè)數(shù)量級(jí)；Weigert等提出了基于深度學(xué)習(xí)的內(nèi)容感知圖像恢復(fù)（CARE）網(wǎng)絡(luò)，有效解決了光片熒光顯微鏡軸向采樣率低的問題；華中科技大學(xué)費(fèi)鵬教授課題組提出視道深度神經(jīng)網(wǎng)絡(luò)（VCD-Net），以解決光場(chǎng)顯微鏡在捕獲毫秒量級(jí)生命過程中空間分辨率低且不均勻的限制。

3、提高熒光顯微成像通量
Recurrent-MZ：美國(guó)加州大學(xué)Huang等設(shè)計(jì)，采用基于編碼器-解碼器卷積循環(huán)網(wǎng)絡(luò)（CRNN），通過一系列級(jí)聯(lián)的編碼器-解碼器對(duì)，更好地利用且合并來自不同軸向位置上的不同尺度的特征圖。使用63X/1.4NA物鏡采集3張軸向間隔為6μm的線蟲樣品圖像作為網(wǎng)絡(luò)輸入，同時(shí)采集軸向間隔為0.2μm的91張圖像作為GT，結(jié)果表明網(wǎng)絡(luò)預(yù)測(cè)結(jié)果與GT圖像質(zhì)量相當(dāng)，標(biāo)準(zhǔn)均方根誤差均值為4、峰值信噪比均值為34。該方法將傳統(tǒng)3D成像所需要的軸向切片數(shù)量減少了30倍，成像速度和吞吐量得到顯著提升，并且拓展了成像系統(tǒng)景深。

Deep-Z：Ozcan教授課題組提出，從單個(gè)2D寬場(chǎng)圖像對(duì)熒光樣品進(jìn)行3D重建，最終實(shí)現(xiàn)在±10μm的軸向范圍內(nèi)重聚焦，將自然景深擴(kuò)展約20倍，克服傳統(tǒng)技術(shù)成像速度和吞吐量的限制，并減少了對(duì)樣品的曝光量與光損傷。

DL-fMOST：華中科技大學(xué)的Ning等提出，首次使用深度學(xué)習(xí)進(jìn)行全腦成像，以0.32μm×0.32μm×2μm分辨率完成對(duì)單個(gè)小鼠大腦的數(shù)據(jù)采集，采集時(shí)間由3天縮短為1.5天，大大提高了成像吞吐量。

SRRF-Deep：中國(guó)科學(xué)院西安光學(xué)精密機(jī)械研究所姚保利課題組提出，通過減少掃描次數(shù)與重建時(shí)間，顯著提高了利用超分辨率徑向波動(dòng)（SRRF）方法成像的吞吐量，同時(shí)減輕了光漂白與光毒性的影響。將所需的掃描次數(shù)減少至SRRF的1/100，同時(shí)將1024pixel×1024pixel大小的切片的重建時(shí)間由3s減少至約0.1s，將重建速度提升了約30倍。

DSP-Net：華中科技大學(xué)費(fèi)鵬教授課題組提出，通過網(wǎng)絡(luò)端到端非迭代推理突破3D熒光顯微鏡通量的極限，可在6min內(nèi)完成小鼠大腦的3D成像，成像速度比傳統(tǒng)成像方法提升了兩個(gè)數(shù)量級(jí)。在3300μm×830μm×55μm大視場(chǎng)下，以30Hz的體積速率對(duì)秀麗隱桿線蟲活動(dòng)進(jìn)行追蹤，提高了捕獲瞬時(shí)生物過程的時(shí)間分辨率，有效改善了LSFM光學(xué)吞吐量限制。

4、改善熒光顯微成像質(zhì)量
熒光顯微鏡去噪（FMD）數(shù)據(jù)集：Zhang等構(gòu)建，由12000張真實(shí)熒光顯微圖像組成，主要包含了共聚焦、雙光子、寬場(chǎng)顯微鏡和具有代表性生物樣本如細(xì)胞、斑馬魚和小鼠腦組織，使用圖像平均來獲取60000張不同噪聲水平的圖像和對(duì)應(yīng)的標(biāo)簽，填補(bǔ)了該領(lǐng)域在原始數(shù)據(jù)上的空白。

尺度循環(huán)像差矯正網(wǎng)絡(luò)（SRACNet）：浙江大學(xué)的Hu等提出，包含參數(shù)共享的3個(gè)尺度循環(huán)訓(xùn)練，由卷積層、激活層以及修改后的殘差塊組成。修改后的殘差塊在殘差連接基礎(chǔ)上加入2個(gè)具有不同卷積核大小的分支，為每個(gè)水平提供不同的感受野，同時(shí)并行化處理，提高網(wǎng)絡(luò)訓(xùn)練速度。網(wǎng)絡(luò)采用RMSE與SSIM相結(jié)合的損失函數(shù)來執(zhí)行訓(xùn)練，可有效增強(qiáng)圖像細(xì)節(jié)，降低圖像噪聲，抑制偽影以及像差修正，且處理速度達(dá)到40.70ms/幅（512pixel×512pixel），適用于實(shí)時(shí)生物應(yīng)用。該方法的 PSNR和SSIM值分別為29.29和0.83，而U-Net對(duì)應(yīng)的值分別為28.74和0.82，前者成像質(zhì)量明顯優(yōu)于后者。

ScatNet：華中科技大學(xué)的Xiao等提出，與光片熒光顯微鏡（LSFM）相結(jié)合，能夠直接從散射圖像中預(yù)測(cè)高質(zhì)量的圖像，擴(kuò)展了LSFM的成像深度。通過對(duì)小鼠腦組織進(jìn)行實(shí)驗(yàn)，提高了小鼠大腦中超出光子彈道區(qū)域的神經(jīng)元的SNR和分辨率，還將LSFM傳統(tǒng)成像深度提高至300μm。

5、其他應(yīng)用
In Silico Labeling（ISL）：谷歌公司提出，樣品無需進(jìn)行熒光染色，運(yùn)用ISL模型就可從未標(biāo)記的固定或活體樣本的透射光的z-stack圖像中預(yù)測(cè)多種熒光標(biāo)記，準(zhǔn)確預(yù)測(cè)細(xì)胞核的位置、細(xì)胞的活性狀態(tài)、細(xì)胞類型及亞細(xì)胞結(jié)構(gòu)類型，還可進(jìn)行遷移學(xué)習(xí)適應(yīng)新的數(shù)據(jù)集。

無標(biāo)簽預(yù)測(cè)3D熒光圖像：Ounkomol等采用U-Net架構(gòu)成功從透射光圖像中預(yù)測(cè)三維（3D）熒光活細(xì)胞圖像，對(duì)64×64×32的3D圖像預(yù)測(cè)僅需1s。

自動(dòng)識(shí)別生物結(jié)構(gòu)：Khater等使用CNN可以從SMLM數(shù)據(jù)中自動(dòng)識(shí)別生物結(jié)構(gòu)，對(duì)前列腺癌細(xì)胞（PC-3）細(xì)胞膜上的小窩結(jié)構(gòu)進(jìn)行識(shí)別分類，分類準(zhǔn)確率達(dá)到了94%。

無監(jiān)督圖像變換網(wǎng)絡(luò)框架（UTOM）：清華大學(xué)戴瓊海課題組提出，不需要通過配對(duì)訓(xùn)練數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，就能找到訓(xùn)練對(duì)之間的映射關(guān)系，實(shí)現(xiàn)不同成像模式之間的高保真轉(zhuǎn)換，為醫(yī)生在手術(shù)中快速診斷癌癥、腫瘤等提供便捷。

定量評(píng)價(jià)STED圖像質(zhì)量：Robitaille等提出了一個(gè)基于深度神經(jīng)網(wǎng)絡(luò)對(duì)STED圖像質(zhì)量的定量評(píng)價(jià)系統(tǒng)，網(wǎng)絡(luò)輸入需要評(píng)價(jià)的圖像，輸出對(duì)應(yīng)圖像的質(zhì)量分?jǐn)?shù)，其結(jié)果是輸入樣本結(jié)構(gòu)分辨率、SNR、光漂白及光氧化等的綜合評(píng)價(jià)。

總結(jié)與展望
深度學(xué)習(xí)為熒光顯微技術(shù)的發(fā)展提供了全新的途徑，解決了傳統(tǒng)熒光顯微存在的一些問題，提高了其空間分辨率、成像速度、吞吐量和成像質(zhì)量。

但深度學(xué)習(xí)也存在一些局限性，如需要大量高質(zhì)量的數(shù)據(jù)標(biāo)注、泛化能力有待增強(qiáng)以及缺乏可靠的理論解釋等。

未來，我們可以通過FPGA編程將深度學(xué)習(xí)算法集成到顯微鏡硬件中，開發(fā)出基于深度學(xué)習(xí)的熒光顯微鏡，使其成為更多領(lǐng)域成像和分析的核心技術(shù)。相信在不久的將來，深度學(xué)習(xí)將為熒光顯微技術(shù)帶來更多的突破和創(chuàng)新，為生物醫(yī)學(xué)研究等領(lǐng)域提供更強(qiáng)大的支持。

內(nèi)容來源：
熊子涵,宋良峰,劉欣,左超,郜鵬.基于深度學(xué)習(xí)的熒光顯微性能提升（特邀）[J]. 紅外與激光工程,2022,51(11):20220536.Zihan Xiong,Liangfeng Song,Xin Liu,Chao Zuo,Peng Gao.Performance enhancement of fluorescence microscopy by using deep learning (invited)[J].Infrared and Laser Engineering,2022,51(11):20220536.