熒光顯微鏡具有對樣品損傷小、可特異性成像等優(yōu)點，是生物醫(yī)學研究的主流成像手段。隨著人工智能技術的快速發(fā)展，深度學習在逆問題求解中取得了巨大成功，被廣泛應用于諸多領域。

近年來，深度學習在熒光顯微成像中的應用掀起了一個研究熱潮，為熒光顯微技術發(fā)展提供了性能上的突破與新思路。

基于此，西安電子科技大學的熊子涵、宋良峰團隊在《紅外與激光工程》發(fā)表文章，介紹了深度學習的基本網(wǎng)絡模型，然后對基于深度學習的熒光顯微成像技術在熒光顯微的空間分辨率、圖像采集及重建速度、成像通量和成像質(zhì)量提升方面的應用進行了闡述。

深度學習基本介紹與發(fā)展

深度學習源于人工神經(jīng)網(wǎng)絡，是機器學習方法中最受歡迎的算法。1943年，Mcculloch等人提出第一個腦神經(jīng)元抽象模型，隨后Rumelhart和McClelland于1986年提出多層網(wǎng)絡學習的誤差反向傳播學習算法，但1991年該算法被指出存在梯度消失問題。2006年，Hinton提出深度神經(jīng)網(wǎng)絡模型，使深度學習再次崛起。2012年，AlexNet在ImageNet競賽中的優(yōu)異表現(xiàn)引起了公眾的全面關注。

卷積神經(jīng)網(wǎng)絡（CNN）

是一類包含卷積計算且具有深度結構的前饋神經(jīng)網(wǎng)絡，主要由卷積層、池化層以及全連接層組成。U-Net是一種基于全卷積網(wǎng)絡的經(jīng)典圖像分割網(wǎng)絡，由編碼器、解碼器和跳躍連接組成，能有效防止信息丟失。

循環(huán)神經(jīng)網(wǎng)絡（RNN）

是一類具有短期記憶能力的神經(jīng)網(wǎng)絡，通過自反饋的神經(jīng)元來處理任意長度的時序數(shù)據(jù)，由輸入層、隱含層以及輸出層組成。為解決長期記憶問題，可采用長短期記憶網(wǎng)絡（LSTM）。

生成對抗網(wǎng)絡（GAN）

是一種無監(jiān)督深度學習模型，由生成器與判別器兩個模塊組成，兩部分網(wǎng)絡相互博弈以提高網(wǎng)絡性能，在樣本數(shù)據(jù)生成、圖像生成以及提高圖像分辨率等方面有廣泛應用前景。

深度學習在熒光顯微中的應用

1、增強空間分辨率

基于GAN的深度網(wǎng)絡框架：加州大學Wang等提出，選用U-Net神經(jīng)網(wǎng)絡，將在低倍物鏡、共聚焦顯微鏡以及全內(nèi)反射熒光顯微鏡下獲取的低分辨率圖像轉(zhuǎn)換為高分辨率圖像，具有大視場、高信噪比與高自由度等特點。

通過對牛肺動脈內(nèi)皮細胞結構和熒光小球進行成像實驗，驗證了該網(wǎng)絡的性能和通用性，實現(xiàn)了跨模態(tài)成像，將共聚焦顯微鏡圖像轉(zhuǎn)換為STED顯微圖像，使空間分辨率得到顯著提升。

其他網(wǎng)絡模型：Zhang等采用GAN實現(xiàn)從LR圖像到HR圖像的轉(zhuǎn)換，對人類病理切片、熒光標記的成纖維細胞以及轉(zhuǎn)基因小鼠大腦深層組織進行高分辨成像；Zhou等提出基于3D深度學習的雙生成對抗網(wǎng)絡（Dual GAN），實現(xiàn)LR圖像轉(zhuǎn)換為HR圖像；Wang課題組提出一種深度對抗網(wǎng)絡（DAN），以一個STED圖像作為輸入，輸出一個對應更高分辨率的STED圖像；Christensen等提出ML-SIM重建方法，使用端到端深度殘差神經(jīng)網(wǎng)絡；Shah等提出基于深度學習的SR-SIM圖像重建方法RED-fairSIM，在低SNR條件下獲得超分辨率圖像，并有效地抑制了噪聲。

2、提升圖像采集與重建速度

DL-SIM方法：Jin等提出基于U-Net網(wǎng)絡的DL-SIM方法，依次使用15張/3張SIM原始圖像與相應的15張常規(guī)SIM重建結果分別作為輸入和真值，訓練得到U-Net-SIM15/U-Net-SIM3，將超分辨率SIM所需的原始圖像數(shù)量減少5倍，以提高SIM的時間分辨率。對4種不同的亞細胞結構圖像進行恢復重建，證明該方法可以以較少的原始圖像數(shù)量來實現(xiàn)快速超分辨SIM成像。

CycleGAN深度神經(jīng)網(wǎng)絡：深圳大學袁小聰教授課題組提出，將 SIM超分辨圖像重建所需的原始圖像幀數(shù)由9幀減少至3幀，實現(xiàn)快速SIM超分辨成像。

其他方法：Boyd等使用DeepLoco方法將SMLM中活躍的熒光團位置生成簡短列表，使用CNN改善傳統(tǒng)算法復雜、耗時的問題；Shechtman課題組將CNN與SMLM相結合，提出了一種快速、精確和無參數(shù)的算法；Speiser等開發(fā)了DECODE模型，可在發(fā)光樣品分子局部重疊的情況下實現(xiàn)單分子定位，將成像時間減少了一個數(shù)量級；Weigert等提出了基于深度學習的內(nèi)容感知圖像恢復（CARE）網(wǎng)絡，有效解決了光片熒光顯微鏡軸向采樣率低的問題；華中科技大學費鵬教授課題組提出視道深度神經(jīng)網(wǎng)絡（VCD-Net），以解決光場顯微鏡在捕獲毫秒量級生命過程中空間分辨率低且不均勻的限制。

3、提高熒光顯微成像通量

Recurrent-MZ：美國加州大學Huang等設計，采用基于編碼器-解碼器卷積循環(huán)網(wǎng)絡（CRNN），通過一系列級聯(lián)的編碼器-解碼器對，更好地利用且合并來自不同軸向位置上的不同尺度的特征圖。使用63X/1.4NA物鏡采集3張軸向間隔為6μm的線蟲樣品圖像作為網(wǎng)絡輸入，同時采集軸向間隔為0.2μm的91張圖像作為GT，結果表明網(wǎng)絡預測結果與GT圖像質(zhì)量相當，標準均方根誤差均值為4、峰值信噪比均值為34。該方法將傳統(tǒng)3D成像所需要的軸向切片數(shù)量減少了30倍，成像速度和吞吐量得到顯著提升，并且拓展了成像系統(tǒng)景深。

Deep-Z：Ozcan教授課題組提出，從單個2D寬場圖像對熒光樣品進行3D重建，最終實現(xiàn)在±10μm的軸向范圍內(nèi)重聚焦，將自然景深擴展約20倍，克服傳統(tǒng)技術成像速度和吞吐量的限制，并減少了對樣品的曝光量與光損傷。

DL-fMOST：華中科技大學的Ning等提出，首次使用深度學習進行全腦成像，以0.32μm×0.32μm×2μm分辨率完成對單個小鼠大腦的數(shù)據(jù)采集，采集時間由3天縮短為1.5天，大大提高了成像吞吐量。

SRRF-Deep：中國科學院西安光學精密機械研究所姚保利課題組提出，通過減少掃描次數(shù)與重建時間，顯著提高了利用超分辨率徑向波動（SRRF）方法成像的吞吐量，同時減輕了光漂白與光毒性的影響。將所需的掃描次數(shù)減少至SRRF的1/100，同時將1024pixel×1024pixel大小的切片的重建時間由3s減少至約0.1s，將重建速度提升了約30倍。

DSP-Net：華中科技大學費鵬教授課題組提出，通過網(wǎng)絡端到端非迭代推理突破3D熒光顯微鏡通量的極限，可在6min內(nèi)完成小鼠大腦的3D成像，成像速度比傳統(tǒng)成像方法提升了兩個數(shù)量級。在3300μm×830μm×55μm大視場下，以30Hz的體積速率對秀麗隱桿線蟲活動進行追蹤，提高了捕獲瞬時生物過程的時間分辨率，有效改善了LSFM光學吞吐量限制。

4、改善熒光顯微成像質(zhì)量

熒光顯微鏡去噪（FMD）數(shù)據(jù)集：Zhang等構建，由12000張真實熒光顯微圖像組成，主要包含了共聚焦、雙光子、寬場顯微鏡和具有代表性生物樣本如細胞、斑馬魚和小鼠腦組織，使用圖像平均來獲取60000張不同噪聲水平的圖像和對應的標簽，填補了該領域在原始數(shù)據(jù)上的空白。

尺度循環(huán)像差矯正網(wǎng)絡（SRACNet）：浙江大學的Hu等提出，包含參數(shù)共享的3個尺度循環(huán)訓練，由卷積層、激活層以及修改后的殘差塊組成。修改后的殘差塊在殘差連接基礎上加入2個具有不同卷積核大小的分支，為每個水平提供不同的感受野，同時并行化處理，提高網(wǎng)絡訓練速度。網(wǎng)絡采用RMSE與SSIM相結合的損失函數(shù)來執(zhí)行訓練，可有效增強圖像細節(jié)，降低圖像噪聲，抑制偽影以及像差修正，且處理速度達到40.70ms/幅（512pixel×512pixel），適用于實時生物應用。該方法的 PSNR和SSIM值分別為29.29和0.83，而U-Net對應的值分別為28.74和0.82，前者成像質(zhì)量明顯優(yōu)于后者。

ScatNet：華中科技大學的Xiao等提出，與光片熒光顯微鏡（LSFM）相結合，能夠直接從散射圖像中預測高質(zhì)量的圖像，擴展了LSFM的成像深度。通過對小鼠腦組織進行實驗，提高了小鼠大腦中超出光子彈道區(qū)域的神經(jīng)元的SNR和分辨率，還將LSFM傳統(tǒng)成像深度提高至300μm。

5、其他應用

In Silico Labeling（ISL）：谷歌公司提出，樣品無需進行熒光染色，運用ISL模型就可從未標記的固定或活體樣本的透射光的z-stack圖像中預測多種熒光標記，準確預測細胞核的位置、細胞的活性狀態(tài)、細胞類型及亞細胞結構類型，還可進行遷移學習適應新的數(shù)據(jù)集。

無標簽預測3D熒光圖像：Ounkomol等采用U-Net架構成功從透射光圖像中預測三維（3D）熒光活細胞圖像，對64×64×32的3D圖像預測僅需1s。

自動識別生物結構：Khater等使用CNN可以從SMLM數(shù)據(jù)中自動識別生物結構，對前列腺癌細胞（PC-3）細胞膜上的小窩結構進行識別分類，分類準確率達到了94%。

無監(jiān)督圖像變換網(wǎng)絡框架（UTOM）：清華大學戴瓊海課題組提出，不需要通過配對訓練數(shù)據(jù)對網(wǎng)絡進行訓練，就能找到訓練對之間的映射關系，實現(xiàn)不同成像模式之間的高保真轉(zhuǎn)換，為醫(yī)生在手術中快速診斷癌癥、腫瘤等提供便捷。

定量評價STED圖像質(zhì)量：Robitaille等提出了一個基于深度神經(jīng)網(wǎng)絡對STED圖像質(zhì)量的定量評價系統(tǒng)，網(wǎng)絡輸入需要評價的圖像，輸出對應圖像的質(zhì)量分數(shù)，其結果是輸入樣本結構分辨率、SNR、光漂白及光氧化等的綜合評價。

總結與展望

深度學習為熒光顯微技術的發(fā)展提供了全新的途徑，解決了傳統(tǒng)熒光顯微存在的一些問題，提高了其空間分辨率、成像速度、吞吐量和成像質(zhì)量。

但深度學習也存在一些局限性，如需要大量高質(zhì)量的數(shù)據(jù)標注、泛化能力有待增強以及缺乏可靠的理論解釋等。

未來，我們可以通過FPGA編程將深度學習算法集成到顯微鏡硬件中，開發(fā)出基于深度學習的熒光顯微鏡，使其成為更多領域成像和分析的核心技術。相信在不久的將來，深度學習將為熒光顯微技術帶來更多的突破和創(chuàng)新，為生物醫(yī)學研究等領域提供更強大的支持。

 

內(nèi)容來源：

熊子涵,宋良峰,劉欣,左超,郜鵬.基于深度學習的熒光顯微性能提升（特邀）[J]. 紅外與激光工程,2022,51(11):20220536.Zihan Xiong,Liangfeng Song,Xin Liu,Chao Zuo,Peng Gao.Performance enhancement of fluorescence microscopy by using deep learning (invited)[J].Infrared and Laser Engineering,2022,51(11):20220536.