在生物醫(yī)學研究領域，雙光子成像技術因其高成像分辨率、大深度和強三維層析能力等優(yōu)點，成為獲取關鍵高分辨三維信息的重要手段。然而，傳統(tǒng)雙光子顯微鏡成像視場有限，通常在1mm以內，極大地限制了其在更廣泛生物醫(yī)學研究中的應用。

為拓展雙光子顯微鏡的成像視場，研究人員嘗試了多種方法。例如，通過設計特殊的掃描中繼系統(tǒng)來減小大角度掃描引起的離軸像差，或自制高通量物鏡來實現更大的成像視場。但這些方法往往實現難度大、成本高，難以在生物醫(yī)學研究領域廣泛推廣。

近年來，一種通過自適應光學技術增加成像物鏡可用視場的方法被提出。然而，該方法需要在光學系統(tǒng)中增加相位補償器件，這增加了成像系統(tǒng)的光路復雜性與硬件成本。

在此背景下，來自曲阜師范大學、香港理工大學的李遲件團隊提出了一種利用深度學習替代自適應光學相位補償從而擴展雙光子成像視場的新方法。

深度學習帶來的新突破
商用物鏡通常有一個廠商標定的成像視場，在該范圍內，物鏡像差可忽略，成像質量好；超過該視場后，物鏡像差急劇增大，成像質量嚴重劣化。

研究團隊之前通過自適應光學方法使擴展視場的成像質量與信噪比接近于標定視場區(qū)域，成功拓展了大視場物鏡的可用視場。而本文所提方法通過采集擴展視場自適應光學校正前后的數據并使用改進網絡框架進行訓練，無需使用自適應光學相位補償裝置進行像差校正便可得到近似無像差的圖像。

該方法具有以下優(yōu)勢：

• 無需復雜光學元件：無須使用復雜的自適應光學元件進行像差校正。

• 降低成本與提高便捷性：利用深度學習替代硬件自適應光學補償，不僅降低了系統(tǒng)成本，還實現了無須硬件自適應光學補償的大視場成像，提高了系統(tǒng)的便捷性。

實驗過程
在實驗中，研究團隊使用了大視場雙光子顯微系統(tǒng)，包括鈦藍寶石激光器、擴束器、中繼鏡、檢流計、掃描振鏡、物鏡、二向分光鏡、收集透鏡和光電倍增管等。采用間接波前檢測中的模式法實現像差測量和校正，將整個視場區(qū)域分為3×3個子區(qū)域進行分區(qū)校正，使用Zernike多項式的第5-15項進行像差計算，重復測量三次后取平均以保證測量準確度。

為提高神經網絡的可靠性，研究團隊對數據準備進行了兩方面改進：

• 提高信噪比：對每組校正前后的圖像各采集3張，并通過平均圖像的灰度值來提高圖像的信噪比。

• 匹配三維位置：將自適應光學技術校正前的圖像作為參照，對校正后的圖像進行X和Y方向的配準，將配準后的有效數據尺寸裁剪為1000pixel×1000pixel。

研究團隊采用的基于U-Net改進的nBRAnet網絡，具有U型對稱結構，保留了多個跳躍連接結構。同時，引入殘差結構以緩解反向傳播造成的梯度爆炸和梯度消失，提高網絡的精準度和精度；引入輕量級的空間注意力機制以增強網絡性能；移除了所有卷積塊中的BN層以增強網絡輸出的圖像質量。

在網絡訓練設置方面，研究團隊在Windows環(huán)境下進行，采用 PyTorch（Python3.7）編寫代碼，使用MATLAB代碼處理圖片，在桌面工作站上進行。數據集由熒光小球和離體生物樣品經自適應光學校正前后的顯微圖像構成，網絡模型輸入圖像和輸出圖像的尺寸均為1000pixel×1000pixel，分別取數據集的95％和5％用作訓練集和測試集，利用網絡輸出與標簽之間的均方誤差作為損失函數來訓練模型，同時利用反向傳播算法Adam來優(yōu)化網絡，初始學習速率為1×10-4。

實驗結果
熒光小球實驗：無論是在像差較小的標定視場區(qū)域，還是在具有較大離軸像差的擴展視場區(qū)域，研究團隊所提網絡均能較好地校正畸變的圖像，證明了深度學習技術可以替代硬件自適應光學像差校正技術擴展成像視場并實現畸變圖像的校正。

生物樣品實驗：研究團隊改進的網絡框架可將Thy1-GFP樣品擴展視場區(qū)域的分辨率和信噪比恢復至接近硬件自適應光學校正之后的結果，可有效擴展物鏡的可用視場，使分辨率和熒光強度近似地恢復到硬件自適應光學校正后無像差時的水平。

與超深超分辨率模型（VDSR）、傳統(tǒng)的U-Net模型相比，研究團隊的nBRAnet網絡框架具有明顯優(yōu)勢，VDSR的實驗結果中含有大量噪聲，U-Net的實驗結果中丟失了一些細節(jié)信息，而研究團隊的網絡框架具有較高的PSNR值。

總結與展望
研究團隊提供了一種有效擴展雙光子顯微鏡成像視場的新思路、新途徑，利用深度學習來擴展商業(yè)物鏡的可用視場。經網絡恢復后的擴展區(qū)域圖像，無論是分辨率還是熒光強度，均能恢復到接近硬件自適應光學校正后無像差時的水平。該方法簡化了操作，降低了系統(tǒng)的復雜度和成本，提高了成像分辨率及其拓展的通用性，具有較高的實用價值。

希望研究成果能為生物醫(yī)學研究帶來新的突破，為跨區(qū)域腦成像或全腦成像提供一種經濟實用的方案。未來，我們將繼續(xù)深入研究，不斷完善這一技術，為推動生物醫(yī)學研究的發(fā)展貢獻更多力量。

聲明：本文僅用作學術目的。文章來源于:李遲件, 姚靖, 高玉峰, 賴溥祥, 何悅之, 齊蘇敏, 鄭煒. 利用深度學習擴展雙光子成像視場[J]. 中國激光, 2023, 50(9): 0907107. Chijian Li, Jing Yao, Yufeng Gao, Puxiang Lai, Yuezhi He, Sumin Qi, Wei Zheng. Extending Field‑of‑View of Two‑Photon Microscopy Using Deep Learning[J]. Chinese Journal of Lasers, 2023, 50(9): 0907107.