單像素成像突破傳統(tǒng)成像依賴(lài)陣列探測(cè)器的模式，僅依靠單個(gè)像素探測(cè)器實(shí)現(xiàn)物體場(chǎng)景的高質(zhì)量成像，在眾多領(lǐng)域展現(xiàn)出獨(dú)特優(yōu)勢(shì)。其起源于量子成像，自1995年P(guān)ittman等利用糾纏雙光子實(shí)現(xiàn)量子成像后，研究不斷演進(jìn)。它能夠?qū)⒍�維或三維物體場(chǎng)景經(jīng)調(diào)制光場(chǎng)編碼為一維探測(cè)信號(hào)，再憑借特定算法還原高維信息，這種特殊機(jī)制為高光譜成像中獲取豐富光譜數(shù)據(jù)、遙感領(lǐng)域遠(yuǎn)距離探測(cè)、三維成像構(gòu)建立體模型、高速成像捕捉快速動(dòng)態(tài)場(chǎng)景以及顯微成像洞察微觀世界提供了有效途徑，解決傳統(tǒng)技術(shù)難題。

從發(fā)展脈絡(luò)看，早期量子糾纏主導(dǎo)量子成像，隨后贗熱光實(shí)現(xiàn)經(jīng)典光源鬼成像，推動(dòng)對(duì)其物理本質(zhì)探索。2008年，Shapiro實(shí)現(xiàn)計(jì)算鬼成像，揭示光場(chǎng)強(qiáng)度二階關(guān)聯(lián)特性關(guān)鍵作用，單像素成像同期提出，二者成像機(jī)理相通。此后，差分鬼成像、歸一化鬼成像、對(duì)應(yīng)鬼成像及壓縮感知算法應(yīng)用，提升成像質(zhì)量與效率。如壓縮感知算法利用信號(hào)稀疏性，在采樣點(diǎn)不足時(shí)重建圖像，為單像素成像發(fā)展注入活力。近年，深度學(xué)習(xí)崛起，其強(qiáng)大學(xué)習(xí)與建模能力為單像素成像帶來(lái)革新機(jī)遇，開(kāi)啟新突破征程。

東北大學(xué)信息科學(xué)與工程學(xué)院王琦團(tuán)隊(duì)發(fā)表文章，探討深度學(xué)習(xí)在單像素成像中的應(yīng)用，介紹單像素成像的理論，其中包括三種經(jīng)典成像理論與深度學(xué)習(xí)成像理論與根據(jù)驅(qū)動(dòng)方式的不同將深度學(xué)習(xí)單像素成像分為數(shù)據(jù)驅(qū)動(dòng)式、物理驅(qū)動(dòng)式及混合驅(qū)動(dòng)式，又在每個(gè)驅(qū)動(dòng)模式下根據(jù)神經(jīng)網(wǎng)絡(luò)所扮演的不同角色，將其劃分出“圖像到圖像”和“測(cè)量值到圖像”兩種成像方法，介紹深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)技術(shù)是如何應(yīng)用到單像素成像中的；然后給出了不同成像方法的具體原理和典型研究進(jìn)展，并對(duì)它們進(jìn)行討論對(duì)比。

基本理論

一、關(guān)聯(lián)成像算法
成像原理基于激光照射旋轉(zhuǎn)毛玻璃形成調(diào)制光場(chǎng)，經(jīng)分束器分別作用于待測(cè)物體與CCD相機(jī)，單像素探測(cè)器收集物體透射或反射總光強(qiáng)，結(jié)合調(diào)制光場(chǎng)空間信息成像。通過(guò)公式計(jì)算單像素光強(qiáng)值，經(jīng)多次測(cè)量依公式恢復(fù)場(chǎng)景信息。但實(shí)際恢復(fù)含像素場(chǎng)景圖像時(shí)，測(cè)量次數(shù)致調(diào)制矩陣不可逆，形成不適定問(wèn)題，壓縮感知成為解決關(guān)鍵，其依據(jù)信號(hào)稀疏性，在稀疏基下表示圖像信號(hào)，經(jīng)欠采樣與凸優(yōu)化求解稀疏信號(hào)進(jìn)而恢復(fù)圖像。

二、壓縮感知成像算法
核心在于信號(hào)稀疏性可降低采樣要求，以稀疏變換（傅里葉、小波、離散余弦變換等）為基礎(chǔ)，將圖像信號(hào)于稀疏基表示。欠采樣過(guò)程后，因從低維信號(hào)恢復(fù)高維稀疏信號(hào)為不適定問(wèn)題，借助凸優(yōu)化求解，最終代入恢復(fù)圖像，大幅提升單像素成像重建質(zhì)量

三、傅里葉成像算法
核心在于信號(hào)稀疏性可降低采樣要求，以稀疏變換（傅里葉、小波、離散余弦變換等）為基礎(chǔ)，將圖像信號(hào)于稀疏基表示。欠采樣過(guò)程后，因從低維信號(hào)恢復(fù)高維稀疏信號(hào)為不適定問(wèn)題，借助凸優(yōu)化求解，最終代入恢復(fù)圖像，大幅提升單像素成像重建質(zhì)量。

四、深度學(xué)習(xí)成像算法
核心是神經(jīng)網(wǎng)絡(luò)擬合單像素系統(tǒng)輸入輸出映射關(guān)系。通過(guò)獲取反映真實(shí)分布訓(xùn)練數(shù)據(jù)、搭建適配網(wǎng)絡(luò)模型及利用優(yōu)化器訓(xùn)練權(quán)重最小化代價(jià)函數(shù)，構(gòu)建映射函數(shù)。完成后，輸入桶信號(hào)或傳統(tǒng)算法恢復(fù)的噪聲圖像，即可輸出高質(zhì)量圖像，為單像素成像智能化發(fā)展開(kāi)辟道路。

深度學(xué)習(xí)單像素成像分類(lèi)
一、驅(qū)動(dòng)方式
● 數(shù)據(jù)驅(qū)動(dòng)式：
聚焦從數(shù)據(jù)挖掘先驗(yàn)知識(shí)求圖像最優(yōu)解。通過(guò)神經(jīng)網(wǎng)絡(luò)擬合輸入輸出數(shù)據(jù)對(duì)構(gòu)建映射關(guān)系，重建圖像時(shí)輸入近似圖像或單像素探測(cè)信號(hào)，無(wú)需迭代運(yùn)算，快速獲最佳結(jié)果，體現(xiàn)高效數(shù)據(jù)處理優(yōu)勢(shì)。

二、神經(jīng)網(wǎng)絡(luò)角色

數(shù)據(jù)驅(qū)動(dòng)式憑借大量數(shù)據(jù)集預(yù)訓(xùn)練網(wǎng)絡(luò)學(xué)習(xí)映射關(guān)系，如常見(jiàn)全連接層或卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)應(yīng)用；物理驅(qū)動(dòng)式先以傳統(tǒng)算法獲物體粗略近似，搭建含物理約束未訓(xùn)練網(wǎng)絡(luò)，經(jīng)迭代縮小模擬與真實(shí)探測(cè)值損失，優(yōu)化權(quán)重逼近真實(shí)圖像。

● “測(cè)量值到圖像”：
數(shù)據(jù)驅(qū)動(dòng)式端到端網(wǎng)絡(luò)直接從測(cè)量值重建圖像，如2019年開(kāi)創(chuàng)性工作及后續(xù)拓展，還廣泛用于 “無(wú)圖像” 目標(biāo)識(shí)別，依場(chǎng)景定標(biāo)簽類(lèi)型，突破傳統(tǒng)成像信息局限；物理驅(qū)動(dòng)式網(wǎng)絡(luò)依物理模型將一維探測(cè)信號(hào)映射為二維目標(biāo)圖像，迭代優(yōu)化成像質(zhì)量。

深度學(xué)習(xí)單像素成像方法與進(jìn)展
一、數(shù)據(jù)驅(qū)動(dòng)式
● “圖像到圖像”：
早期運(yùn)用全連接層神經(jīng)網(wǎng)絡(luò)，后卷積神經(jīng)網(wǎng)絡(luò)因局部連接、權(quán)值共享優(yōu)勢(shì)凸顯。2019年端到端網(wǎng)絡(luò)實(shí)現(xiàn)從一維測(cè)量信號(hào)重建二維圖像重大突破，無(wú)需傳統(tǒng)算法與調(diào)制光場(chǎng)信息，后續(xù)改進(jìn)聚焦提升重建質(zhì)量、適應(yīng)復(fù)雜場(chǎng)景及融合多元技術(shù)，推動(dòng)數(shù)據(jù)驅(qū)動(dòng) “圖像到圖像” 方法在多領(lǐng)域蓬勃發(fā)展。

● “測(cè)量值到圖像”：
2019年端到端網(wǎng)絡(luò)革新開(kāi)啟新篇，此后動(dòng)態(tài)解碼框架、多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)、卷積遞歸網(wǎng)絡(luò)等多元技術(shù)涌現(xiàn)，提升目標(biāo)檢測(cè)效率與精度，拓展至激光制導(dǎo)、雷達(dá)探測(cè)等領(lǐng)域，成為數(shù)據(jù)驅(qū)動(dòng)式成像發(fā)展關(guān)鍵驅(qū)動(dòng)力。

二、物理驅(qū)動(dòng)式
● “圖像到圖像”：
2022年物理約束神經(jīng)網(wǎng)絡(luò)超遠(yuǎn)場(chǎng)鬼成像方法問(wèn)世，先傳統(tǒng)算法得近似輸入未訓(xùn)練網(wǎng)絡(luò)，經(jīng)物理成像過(guò)程模擬探測(cè)值與真實(shí)值損失迭代優(yōu)化，同期類(lèi)似方法在成像質(zhì)量提升成果豐碩，為物理驅(qū)動(dòng) “圖像到圖像” 方法奠定堅(jiān)實(shí)基礎(chǔ)。

● “測(cè)量值到圖像”：
2021年未訓(xùn)練神經(jīng)網(wǎng)絡(luò)計(jì)算鬼成像首開(kāi)先河，實(shí)現(xiàn)測(cè)量值直接到圖像轉(zhuǎn)化，雖優(yōu)化耗時(shí)但具開(kāi)拓意義。后續(xù)URNet等方法提升抗噪與復(fù)雜圖像恢復(fù)能力，部件模型自監(jiān)督網(wǎng)絡(luò)改善圖像細(xì)節(jié)、融合先驗(yàn)信息確保低采樣率成像質(zhì)量，物理驅(qū)動(dòng) “測(cè)量值到圖像” 方法持續(xù)創(chuàng)新優(yōu)化。

三、混合驅(qū)動(dòng)式
2021年物理增強(qiáng)深度學(xué)習(xí)單像素成像誕生，整合數(shù)據(jù)先驗(yàn)與物理模型驅(qū)動(dòng)優(yōu)勢(shì)。先依數(shù)據(jù)先驗(yàn)優(yōu)化卷積編碼與深度神經(jīng)網(wǎng)絡(luò)增強(qiáng)模塊，再借物理模型微調(diào)網(wǎng)絡(luò)參數(shù)，突破傳統(tǒng)驅(qū)動(dòng)局限，提升成像適應(yīng)性與質(zhì)量，在太赫茲成像等領(lǐng)域成功實(shí)踐，為深度學(xué)習(xí)單像素成像發(fā)展注入新活力。

成像性能影響因素
一、驅(qū)動(dòng)方式與輸入
混合驅(qū)動(dòng)融合數(shù)據(jù)與物理驅(qū)動(dòng)優(yōu)勢(shì)，采樣策略?xún)?yōu)化意義深遠(yuǎn)。傳統(tǒng)收集單像素成像數(shù)據(jù)需長(zhǎng)時(shí)間多模式調(diào)制光場(chǎng)采樣，負(fù)擔(dān)沉重。自編碼器優(yōu)化策略將采樣策略融入網(wǎng)絡(luò)，僅需真實(shí)圖像訓(xùn)練，免除復(fù)雜數(shù)據(jù)制作，提升數(shù)據(jù)利用效率，優(yōu)化成像流程。

二、網(wǎng)絡(luò)結(jié)構(gòu)
網(wǎng)絡(luò)結(jié)構(gòu)抉擇影響深遠(yuǎn)，卷積網(wǎng)絡(luò)局部感知與參數(shù)共享特性?xún)?yōu)于全連接網(wǎng)絡(luò)，深層網(wǎng)絡(luò)抽象表達(dá)能力強(qiáng)于淺層網(wǎng)絡(luò)，跳躍連接促進(jìn)信息跨層流動(dòng)優(yōu)于直接連接。但神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)存在不可解釋性，選擇結(jié)構(gòu)應(yīng)權(quán)衡性能與信號(hào)特征保留，確保成像質(zhì)量與特征完整性。

三、損失函數(shù)
損失函數(shù)是網(wǎng)絡(luò)性能關(guān)鍵調(diào)節(jié)杠桿，適當(dāng)引入物理先驗(yàn)與全變分正則化意義重大。物理先驗(yàn)依據(jù)成像物理原理約束網(wǎng)絡(luò)學(xué)習(xí)方向，全變分正則化抑制圖像噪聲與細(xì)節(jié)丟失，協(xié)同提升圖像質(zhì)量、增強(qiáng)網(wǎng)絡(luò)泛化能力、緩解過(guò)擬合現(xiàn)象，保障成像效果穩(wěn)定性與可靠性。

總結(jié)與展望
硬件維度，二維陣列探測(cè)器缺失或昂貴場(chǎng)景下單像素成像成本效益顯著，且能捕獲傳統(tǒng)技術(shù)遺漏的光場(chǎng)偏振、相位等多維信息，在高速成像與瞬態(tài)觀測(cè)場(chǎng)景，其高帶寬、高分辨率特性無(wú)可替代。軟件視角，成像效率受采樣與重構(gòu)效率制約，依賴(lài)適配重構(gòu)算法還原場(chǎng)景信息，不同應(yīng)用需求催生算法優(yōu)化核心課題，深度學(xué)習(xí)算法雖有進(jìn)展，但網(wǎng)絡(luò)自適應(yīng)調(diào)整能力仍是發(fā)展關(guān)鍵。

從目前來(lái)看，深度學(xué)習(xí)單像素成像方法一直緊隨機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)的發(fā)展，從全連接網(wǎng)絡(luò)到復(fù)雜結(jié)構(gòu)網(wǎng)絡(luò)、從淺層網(wǎng)絡(luò)到深度神經(jīng)網(wǎng)絡(luò)、從人工神經(jīng)元到大模型、從數(shù)據(jù)驅(qū)動(dòng)到物理微調(diào)，都表現(xiàn)出了巨大優(yōu)勢(shì)。具體表現(xiàn)為更高質(zhì)量的重構(gòu)、更高速實(shí)時(shí)的成像效率和散射介質(zhì)、空間遙感和顯微觀測(cè)等更多復(fù)雜場(chǎng)景的適用性。但在目前眾多深度學(xué)習(xí)單像素成像系統(tǒng)中，當(dāng)采樣次數(shù)、調(diào)制光場(chǎng)和成像大小等改變時(shí)，網(wǎng)絡(luò)結(jié)構(gòu)需要重新調(diào)整與訓(xùn)練。因此一個(gè)靈活的自適應(yīng)的深度學(xué)習(xí)單像素成像方法尤為重要。

隨著深度學(xué)習(xí)技術(shù)的不斷改進(jìn)，可以預(yù)期深度學(xué)習(xí)單像素成像將與更多的計(jì)算機(jī)最新領(lǐng)域模型相結(jié)合，持續(xù)挖掘深度學(xué)習(xí)潛力，拓寬廣度增大神經(jīng)網(wǎng)絡(luò)形成大模型，實(shí)現(xiàn)規(guī)模量變到性能質(zhì)變，完成深度學(xué)習(xí)單像素成像算法的突破，為應(yīng)對(duì)不斷復(fù)雜化的圖像場(chǎng)景和更多干擾因素提供更有力的解決方案，使小視場(chǎng)生物醫(yī)學(xué)成像、大視野空間遙感和高速自動(dòng)駕駛目標(biāo)檢測(cè)等領(lǐng)域走向?qū)嶋H應(yīng)用，開(kāi)啟一系列潛在的機(jī)遇和挑戰(zhàn)。

聲明：本文僅用作學(xué)術(shù)目的。文章來(lái)源于：王琦, 米佳帥. 基于深度學(xué)習(xí)的單像素成像研究進(jìn)展[J]. 激光與光電子學(xué)進(jìn)展, 2024, 61(10): 1000005.