偏振成像技術(shù)作為一種新型的光學(xué)成像技術(shù),可以實(shí)現(xiàn)抑制背景噪聲、提高探測距離、獲取目標(biāo)細(xì)節(jié)特征和識別偽裝目標(biāo)等功能。由于成像空間維度的不同,偏振二維成像和偏振三維成像在不同領(lǐng)域中具有良好的應(yīng)用前景。
根據(jù)偏振成像系統(tǒng)結(jié)構(gòu)的不同,偏振成像系統(tǒng)可分為分時(shí)型、分振幅型、分孔徑型和分焦平面型四種。
太原理工大學(xué)李智淵團(tuán)隊(duì)從偏振光的表示與傳播方式入手,先后對偏振成像系統(tǒng)、偏振二維成像技術(shù)、偏振三維成像技術(shù)和基于超表面偏振器件的偏振探測及成像的研究展開綜述,并對以上偏振成像系統(tǒng)分別進(jìn)行詳細(xì)介紹和比較分析。最后,對偏振成像技術(shù)的發(fā)展前景進(jìn)行了展望。
背景與優(yōu)勢
傳統(tǒng)光學(xué)成像技術(shù)主要利用光的強(qiáng)度信息進(jìn)行目標(biāo)探測和識別。經(jīng)過多年的發(fā)展,雖然取得了顯著進(jìn)步,但仍然存在一些問題。例如,它只能獲取光的強(qiáng)度信息,而無法獲取光譜、偏振、相位等其他多維物理量,這導(dǎo)致在成像過程中光場信息丟失,并且在惡劣環(huán)境下難以正常工作。
而偏振成像技術(shù)則不同,它利用了光的偏振特性。光作為一種電磁波,其偏振特性反映了電場矢量在空間傳播時(shí)的振動(dòng)方向。偏振成像技術(shù)通過分析光波被物體反射前后偏振特性的改變,如偏振度、偏振角等,可以獲得物體的形狀、材料和粗糙度等多維信息。而且,在有散射介質(zhì)存在的弱光環(huán)境中,反射光的偏振信息保持能力遠(yuǎn)大于強(qiáng)度信息,這使得偏振成像技術(shù)在特殊環(huán)境下能夠更有效地實(shí)現(xiàn)目標(biāo)探測;谶@些獨(dú)特優(yōu)勢,偏振成像技術(shù)在通信、成像和探測等領(lǐng)域都得到了廣泛應(yīng)用。
基本理論
1.偏振光的Stokes表示
Stokes矢量法是描述偏振光的常用方法。它通過四個(gè)分量S=[S0,S1,S2,S3]T來表示任意偏振光的偏振態(tài)。其中,S0表示光場總強(qiáng)度,S1表示0°和90°方向線偏振光的光強(qiáng)差,S2表示±45°方向線偏振光的光強(qiáng)差,S3表示左旋與右旋圓偏振光的光強(qiáng)差。這些分量可通過采集特定角度(通常選取0°、±45°、90°方向)的偏振子圖像并對其強(qiáng)度信息處理得到。由于現(xiàn)有探測器無法直接獲取光的相位信息,所以采用這種方式。同時(shí),偏振度DoP和偏振角β是描述偏振光特性的重要參數(shù),可根據(jù)Stokes矢量計(jì)算得到。
偏振成像系統(tǒng)的分類與特點(diǎn)
1.分時(shí)型偏振成像系統(tǒng)
分時(shí)型偏振成像系統(tǒng)的工作原理是將連續(xù)旋轉(zhuǎn)的線偏振片置于探測器前,依次獲得各線偏振方向的圖像,最后計(jì)算得到偏振特征圖像。例如,2000年J.Peterson等針對遙感目標(biāo)設(shè)計(jì)的分時(shí)型偏振成像儀,將探測器積分時(shí)間與偏振片旋轉(zhuǎn)時(shí)間同步克服了延時(shí)問題;2007年L.Bigué設(shè)計(jì)的高速偏振儀利用鐵電液晶光調(diào)制器作為半波片,可實(shí)現(xiàn)正交雙穩(wěn)態(tài)切換,通過處理兩幀正交組態(tài)圖像獲得偏振度,圖像采集速率可達(dá)360Hz;2010年該團(tuán)隊(duì)改進(jìn)系統(tǒng)實(shí)現(xiàn)全Stokes偏振探測,幀率為200fps。雖然這種系統(tǒng)結(jié)構(gòu)簡單,但由于工作時(shí)需要機(jī)械旋轉(zhuǎn)偏振片,無法實(shí)現(xiàn)動(dòng)態(tài)場景的實(shí)時(shí)探測,不過它常用于偏振差分成像和三維成像。
偏振二維成像技術(shù)的方法與應(yīng)用
基于偏振差分的偏振二維成像技術(shù)
偏振差分成像(PDI)的原理是根據(jù)渾濁介質(zhì)的散射光與目標(biāo)反射光偏振特性的差異對散射光進(jìn)行抑制。實(shí)際應(yīng)用中,對偏振方向相互正交的線偏振圖像進(jìn)行差分得到偏振差分圖像(即 Stokes矢量中的S1)。
基于圖像融合的偏振二維成像技術(shù)
基于偽彩色映射的圖像融合:2010年D.A.Lavigne等通過提取紅外強(qiáng)度圖像、偏振度圖像和偏振角圖像的公共信息,完成HSV三通道的偽彩色融合,最后映射到RGB空間獲得增強(qiáng)圖像。2011年周浦成等采用分解非負(fù)矩陣的方法對采集的偏振圖像進(jìn)行處理,得到特征基向量,再映射到HIS空間最后轉(zhuǎn)變到RGB空間獲得增強(qiáng)圖像,可實(shí)現(xiàn)偽裝目標(biāo)的分離。
偏振三維成像技術(shù)的原理與方法
1.偏振三維成像原理
光照射到各向異性的物質(zhì)表面時(shí),會產(chǎn)生鏡面反射光和漫反射光,根據(jù)反射光成分不同,偏振三維成像可分為基于鏡面反射光和漫反射光的偏振三維成像。物體表面法線方向由天頂角θ(入射角)和入射平面的方位角φ共同決定。在成像過程中,基于鏡面反射光的偏振三維成像技術(shù)存在天頂角不確定的問題,基于漫反射光的偏振三維成像技術(shù)雖然不存在天頂角模糊問題,但存在方位角的模糊問題,都需要進(jìn)行去模糊處理以得到準(zhǔn)確的目標(biāo)表面法線場,進(jìn)而實(shí)現(xiàn)三維重建。由馬呂斯定律知,探測器收集到的光強(qiáng)隨偏振器件的旋轉(zhuǎn)而變化,目標(biāo)像素?zé)o論是以鏡面反射光為主還是以漫反射光為主,其法線方位角的實(shí)際值與計(jì)算值均存在180°的不確定性,導(dǎo)致三維面形恢復(fù)出現(xiàn)嚴(yán)重畸變,所以也需要對方位角進(jìn)行去模糊處理。
2.基于鏡面反射光的偏振三維成像技術(shù)
1)天頂角的確定
2002年D.Miyazak等人采用旋轉(zhuǎn)目標(biāo)測量法解決天頂角模糊問題,利用布儒斯特曲線將物體表面劃分為三個(gè)區(qū)域,可對天頂角進(jìn)行分區(qū)域消歧。如果物體是封閉光滑的,解決特定區(qū)域內(nèi)某一個(gè)點(diǎn)的模糊問題,即可完成全區(qū)域消歧。同年發(fā)現(xiàn)當(dāng)使用紅外光照明時(shí),鏡面反射光偏振度與天頂角的相關(guān)函數(shù)是單調(diào)的,通過測得光的偏振度可唯一確定天頂角,但紅外光的偏振度明顯比可見光小,對于較小的入射角,偏振度很難測量,所以將可見光和紅外光相結(jié)合是處理天頂角模糊問題的有效手段。2012年C.Stolz等提出用多光譜偏振處理方法得到準(zhǔn)確的天頂角,根據(jù)不同波長光照下偏振度和布儒斯特角間的差異性解決天頂角的模糊問題,但需要測量多個(gè)波段的強(qiáng)度值,實(shí)驗(yàn)裝置復(fù)雜。2015年G.Missael等提出利用圓偏振的方法處理天頂角的模糊問題,由天頂角與圓偏振度的關(guān)系為單調(diào)函數(shù),可唯一確定天頂角。
2)方位角消歧
2006年O.Morel等提出利用主動(dòng)照明法消除方位角歧義,采用LED環(huán)狀光源照明,從四個(gè)方向拍攝目標(biāo),通過分析各方向的強(qiáng)度圖像確定方位角,但成像過程較為復(fù)雜,且對光源和,且對光源和環(huán)境的要求嚴(yán)格。2017年D.Miyazak等提出利用偏振分析和空間雕刻法恢復(fù)目標(biāo)三維形貌,首先通過空間雕刻技術(shù)粗略估計(jì)物體的三維形貌,然后加入偏振信息實(shí)現(xiàn)多視角偏振三維探測,利用奇異值分解(SVD)計(jì)算曲面法向量,使最小二乘誤差最小化,可估計(jì)光滑物體的形狀。
3.基于漫反射光的偏振三維成像技術(shù)
1)基于傳統(tǒng)光學(xué)三維成像方法的偏振三維成像技術(shù)
結(jié)合光度立體視覺法的偏振三維成像:2007年G.Atkinson等提出利用光度立體視覺技術(shù)對方位角進(jìn)行消歧,通過比較三個(gè)照明角度下拍攝圖像光強(qiáng)的大小實(shí)現(xiàn)對方位角的消歧,但對光源的位置要求嚴(yán)格,成像系統(tǒng)較為復(fù)雜,不易實(shí)現(xiàn)。
結(jié)合飛行時(shí)間法(TOF)的偏振三維成像:2017年A. Kadambi等將偏振信息與飛行時(shí)間法相結(jié)合解決方位角的模糊問題,首先由Kinect(TOF相機(jī))得到的粗糙深度獲取表面法線信息,然后結(jié)合公式校正由偏振信息得到的surface法線場。2019年北京大學(xué)楊錦發(fā)等利用Astra3D相機(jī)獲取目標(biāo)的粗糙深度圖,并與偏振信息融合對方位角進(jìn)行消歧,實(shí)現(xiàn)對光滑低紋理目標(biāo)的三維重建,但該方法僅適用于反射成分為漫反射的物體,且引入了圖像配準(zhǔn)的問題。
結(jié)合多目立體視覺法的偏振三維成像:2017年西北工業(yè)大學(xué)平茜茜等將偏振信息與雙目立體視覺相結(jié)合,利用雙目立體視覺法標(biāo)定得到相機(jī)參數(shù),將偏振得到的圖像像素坐標(biāo)系下的點(diǎn)云數(shù)據(jù)轉(zhuǎn)化為世界坐標(biāo)系下的絕對數(shù)據(jù),實(shí)現(xiàn)了高反光無紋理目標(biāo)真實(shí)深度的測量。2019年D.Zhu等提出偏振相機(jī)和RGB相機(jī)的混合探測系統(tǒng),通過計(jì)算粗糙深度圖的梯度計(jì)算引導(dǎo)表面法線,再利用引導(dǎo)表面法線消除由偏振信息獲取的表面法線的歧義。2021年北京大學(xué)張瑞華等采用多視角立體幾何與偏振信息融合的三維重建算法消除了方位角歧義,并采用泊松優(yōu)化方法糾正天頂角偏差,實(shí)現(xiàn)對低紋理目標(biāo)形貌的三三維重建。2022年武漢大學(xué)田昕等采用擬合數(shù)據(jù)項(xiàng)描述偏振面與融合結(jié)果之間的線性關(guān)系,將目標(biāo)紋理從偏振曲面轉(zhuǎn)移到融合深度中,采用魯棒低秩矩陣分解約束雙目深度和融合深度,提高了融合深度的精度。
結(jié)合結(jié)構(gòu)光投影的偏振三維成像:2017年浙江大學(xué)汪凱巍等采用液晶投影儀(LCD),通過在液晶兩端施加不同強(qiáng)度的電壓可快速獲得具有不同偏振方向的出射光,無需旋轉(zhuǎn)線偏振片進(jìn)行偏振調(diào)制,通過對每個(gè)結(jié)構(gòu)光圖的快照估計(jì)場景中的線偏振度(DoLP),通過DoLP來識別目標(biāo),并有選擇性地進(jìn)行重建,有利于高效的三維重建和偏振目標(biāo)增強(qiáng)。
2)基于紅外偏振的三維成像
2021年西安電子科技大學(xué)韓平麗等提出一種近紅外單目偏振三維成像技術(shù),在權(quán)重約束中引入?yún)⒖继荻葓,對非均勻反射目?biāo)表面法線的模糊進(jìn)行全局校正,可成功重構(gòu)出近場和遠(yuǎn)場反射不均勻的目標(biāo)形狀,并將偏振三維成像的應(yīng)用擴(kuò)展到復(fù)雜光照條件和較長的探測距離,分辨率為微米級。同年西北工業(yè)大學(xué)李磊磊等建立紅外偏振輻射模型,該方法不依賴光照條件和目標(biāo)表面的紋理特征,具有重建精度較高、實(shí)時(shí)性好和無數(shù)據(jù)空洞等優(yōu)點(diǎn)。
3)基于其他方位角校正算法的偏振三維成像
結(jié)合陰影恢復(fù)法與偏振信息相結(jié)合的偏振三維成像:2012年A.Mahmoud等提出將陰影恢復(fù)法與偏振信息相結(jié)合對目標(biāo)實(shí)現(xiàn)三維重建,首先利用偏振信息得到模糊的方位角,然后根據(jù)陰影信息得到的方位角構(gòu)成的集合,通過比較元素使公式值最小來確定方位角的值,但該方法假設(shè)目標(biāo)表面是漫進(jìn)行漫反射表面,對鏡面反射像素并未處理,應(yīng)用具有一定的局限性。
基于求解大型稀疏線性方程組的偏振三維成像:2019年W.Smith等提出通過求解大型稀疏線性方程組從單幀偏振圖像中恢復(fù)表面高度,該方法不需要單獨(dú)進(jìn)行方位角去模糊處理,在已知光源方向和目標(biāo)表面均勻反射的情況下,首先對表面梯度進(jìn)行平滑中心差分近似,然后將偏振約束和陰影約束表示為與未知深度相關(guān)的大型稀疏線性方程組的形式,最后利用線性最小二乘法對高度進(jìn)行優(yōu)化,并將其擴(kuò)展到一個(gè)未校準(zhǔn)的室外場景,對不同材料的物體形貌均能實(shí)現(xiàn)三維重建。2022年該團(tuán)隊(duì)利用獨(dú)立成分分析的算法將鏡面反射和漫反射進(jìn)行分離,然后利用朗伯體反射模型將漫反射光的強(qiáng)度數(shù)據(jù)轉(zhuǎn)換為高度數(shù)據(jù),再根據(jù)高度信息得到表面法線信息,最后利用公式進(jìn)行校正,可達(dá)到微米級的深度分辨率。
4)基于深度學(xué)習(xí)的偏振三維成像
2020年Y.Ba等提出深度學(xué)習(xí)結(jié)合偏振信息的方法實(shí)現(xiàn)目標(biāo)三維重建,將0°、45°、90°、135°的偏振圖像和模糊法線作為輸入,通過神經(jīng)網(wǎng)絡(luò)學(xué)習(xí),最終輸出準(zhǔn)確的表面法線。2022年西安電子科技大學(xué)韓平麗等采用基于卷積神經(jīng)網(wǎng)絡(luò)的3DMM(3D Morphable Model)模型獲取每一像素的模糊表面法線,對由偏振信息得到的表面法線進(jìn)行約束,從而實(shí)現(xiàn)了在自然光照明的環(huán)境中實(shí)現(xiàn)人臉的三維重建。
基于超表面偏振器件的偏振成像
1.超表面的特性與優(yōu)勢
超表面是一種由亞波長人造天線按照特定順序均勻或非均勻排列而成的二維光學(xué)元件。與傳統(tǒng)光學(xué)元件不同,超表面的亞波長結(jié)構(gòu)與入射電磁波相互作用,引發(fā)界面上光學(xué)參量的“突變”,對電磁波的相位產(chǎn)生調(diào)控,進(jìn)而實(shí)現(xiàn)對電磁波偏振轉(zhuǎn)換。超表面偏振器件具有體積小、制備簡單且易集成的獨(dú)特優(yōu)勢。
2.基于超表面偏振器件的研究與應(yīng)用
近年來,隨著偏振成像技術(shù)領(lǐng)域的蓬勃發(fā)展,高效準(zhǔn)確地獲取偏振信息成為關(guān)鍵。傳統(tǒng)偏振元件集成度低,導(dǎo)致偏振成像系統(tǒng)結(jié)構(gòu)復(fù)雜、圖像配準(zhǔn)誤差較大,制約了該領(lǐng)域發(fā)展;诔砻娼Y(jié)構(gòu)的偏振器件能夠?qū)⒏鞣N偏振元件的功能集成于一體實(shí)現(xiàn)偏振探測,彌補(bǔ)了傳統(tǒng)偏振成像系統(tǒng)的不足。
總結(jié)與展望
文章從偏振光的表示與傳播方式入手,先后對偏振成像系統(tǒng)、偏振二維成像技術(shù)、偏振三維成像技術(shù)和基于超表面偏振器件的偏振探測及成像的研究展開綜述,并對以上偏振成像系統(tǒng)分別進(jìn)行詳細(xì)介紹和比較分析。
針對偏振成像過程中存在的問題,未來需從優(yōu)化偏振成像系統(tǒng)、改進(jìn)偏振器件和探測器集成工藝、增強(qiáng)算法普適性和降低復(fù)雜度、實(shí)現(xiàn)高實(shí)時(shí)偏振探測等四個(gè)方向深入研究。
偏振成像技術(shù)作為一種具有巨大潛力的光學(xué)成像技術(shù),在未來還有很大的發(fā)展空間。通過不斷的研究和創(chuàng)新,相信它將在更多領(lǐng)域發(fā)揮重要作用,為我們帶來更清晰、更準(zhǔn)確的成像效果。
聲明:本文僅用作學(xué)術(shù)目的。文章來源于:李智淵, 翟愛平, 冀瑩澤, 李國輝, 王東, 王文艷, 石林林, 冀婷, 劉飛, 崔艷霞. 光學(xué)偏振成像技術(shù)的研究、應(yīng)用與進(jìn)展[J]. 紅外與激光工程, 2023, 52(9): 20220808. Zhiyuan Li, Aiping Zhai, Yingze Ji, Guohui Li, Dong Wang, Wenyan Wang, Linlin Shi, Ting Ji, Fei Liu, Yanxia Cui. Research, application and progress of optical polarization imaging technology[J]. Infrared and Laser Engineering, 2023, 52(9): 20220808.