在當(dāng)今醫(yī)療領(lǐng)域，微創(chuàng)手術(shù)因其創(chuàng)傷小、恢復(fù)快等優(yōu)勢(shì)，逐漸成為許多疾病治療的首選方式。然而，微創(chuàng)手術(shù)也面臨著一些挑戰(zhàn)，其中之一就是如何從小創(chuàng)口全面獲取病灶信息。普通內(nèi)窺鏡由于視場(chǎng)角較小，成像范圍有限，往往容易遺漏病變部位。
為了解決這一問(wèn)題，全景內(nèi)窺成像技術(shù)應(yīng)運(yùn)而生，為微創(chuàng)手術(shù)帶來(lái)了新的視野和機(jī)遇。浙江大學(xué)霍嘉燚團(tuán)隊(duì)發(fā)表文章，從原理和產(chǎn)品應(yīng)用兩個(gè)方面對(duì)全景內(nèi)窺成像技術(shù)進(jìn)行了梳理。首先綜述了基于二維和三維成像的各種全景內(nèi)窺成像技術(shù)，闡述了它們各自的實(shí)現(xiàn)方式，并分析了其關(guān)鍵指標(biāo)和性能。其次，對(duì)比分析了由全景內(nèi)窺成像技術(shù)衍生出來(lái)的膠囊內(nèi)窺鏡、全景結(jié)直腸鏡等多種不同類型的產(chǎn)品，并展望了全景內(nèi)窺成像技術(shù)的發(fā)展趨勢(shì)和應(yīng)用前景。

二維全景內(nèi)窺成像技術(shù)
二維全景內(nèi)窺成像主要有兩種實(shí)現(xiàn)方式，一種是多攝像頭全景成像技術(shù)，另一種是全景鏡頭技術(shù)。

基于ORB的內(nèi)窺全景拼接
原始ORB算法在關(guān)鍵點(diǎn)匹配中沒(méi)有尺度不變性，容易受到噪聲影響。

無(wú)拼接算法的全景成像技術(shù)
無(wú)拼接算法的多攝顯示技術(shù)對(duì)于計(jì)算的需求較低，但對(duì)鏡體的機(jī)械設(shè)計(jì)水平要求較高，需要在較小的體積下集成多個(gè)攝像頭，對(duì)鏡頭的設(shè)計(jì)和加工技術(shù)等方面提出了更高的要求。同時(shí)，由于是多個(gè)攝像頭采集到的圖像同時(shí)顯示，因此對(duì)數(shù)據(jù)的存儲(chǔ)和通訊也有較高要求。對(duì)于膠囊內(nèi)窺鏡而言，多個(gè)攝像頭同時(shí)工作引起的功耗提升也需要設(shè)計(jì)人員去解決。

2.全景鏡頭技術(shù)
自由曲面棱鏡
自由曲面棱鏡的設(shè)計(jì)方法已經(jīng)日趨成熟，在傳統(tǒng)成像光學(xué)系統(tǒng)中，自由曲面能夠進(jìn)一步實(shí)現(xiàn)系統(tǒng)的小型化，從而可以放入體積狹小的內(nèi)窺鏡中。

2015年，Katkam等人設(shè)計(jì)了一種緊湊的雙視角內(nèi)窺鏡，該內(nèi)窺鏡基于自由曲面棱鏡實(shí)現(xiàn)了前向90°和后向45°的成像。該設(shè)計(jì)中僅使用了一個(gè)自由曲面棱鏡來(lái)組合前視圖和后視圖，為確保兩個(gè)FOV都具有良好的性能，對(duì)表面進(jìn)行了特殊設(shè)計(jì)以降低像差。

全景環(huán)形透鏡
全景環(huán)形透鏡（PAL）是一種緊湊的光學(xué)結(jié)構(gòu)，具有大視場(chǎng)和小畸變的特點(diǎn)，能夠提供全景視圖和清晰的成像質(zhì)量。

2016年，Liu等人設(shè)計(jì)了基于全景環(huán)形透鏡和自由曲面棱鏡的內(nèi)窺鏡系統(tǒng)，該設(shè)計(jì)能夠?qū)崿F(xiàn)全景成像，同時(shí)可獲得局部高分辨率圖像，充分利用了傳統(tǒng)全景環(huán)形透鏡系統(tǒng)圖像表面的盲區(qū)像素，解決了寬視場(chǎng)和高分辨率之間的矛盾。其PAL子系統(tǒng)的FOV達(dá)（60°-97.5°）×360°，高分辨率系統(tǒng)實(shí)現(xiàn)了0.008mm的物方分辨率。

折反射成像系統(tǒng)
折反射成像系統(tǒng)是一種使用較少鏡片即可實(shí)現(xiàn)超廣角成像的技術(shù)，可以通過(guò)錐形鏡、拋物面鏡、凹凸鏡片折疊等方式實(shí)現(xiàn)，成像方式簡(jiǎn)單、易于加工、成本較低，具有廣泛的應(yīng)用潛力。

2015年，Sahli設(shè)計(jì)的系統(tǒng)可以實(shí)現(xiàn)側(cè)視圖360°成像；2016年，Dallaire等人通過(guò)設(shè)計(jì)凹凸鏡頭折疊的方式實(shí)現(xiàn)折反射，視場(chǎng)角可以達(dá)到180°；2017年，Tseng等人設(shè)計(jì)的全景內(nèi)窺系統(tǒng)使用拋物面鏡作為反射鏡，用于實(shí)現(xiàn)側(cè)視圖的360°全景成像，后續(xù)加入了一個(gè)中繼鏡頭，接收由凹面鏡反射回來(lái)的側(cè)向光，圖像失真更少。

仿生光學(xué)系統(tǒng)
研究人員從昆蟲(chóng)的復(fù)眼獲得靈感，提出了兼具均勻性和高分辨率的成像能力的全景內(nèi)窺成像系統(tǒng)。

2016年，Tseng等人根據(jù)昆蟲(chóng)的復(fù)眼結(jié)構(gòu)提出了一種具有大視場(chǎng)的靈活膠囊內(nèi)窺鏡，使用31個(gè)球透鏡覆蓋175°的觀察區(qū)域，應(yīng)用光纖陣列來(lái)擬合曲線圖像平面，以改善場(chǎng)曲像差并將圖像傳送到圖像傳感器中，該膠囊內(nèi)窺鏡可以通過(guò)基于球透鏡設(shè)計(jì)的復(fù)合透鏡捕獲175°的可視區(qū)域。2017年，Cogal等人受昆蟲(chóng)復(fù)眼啟發(fā)，提出了一種小型化高清視覺(jué)系統(tǒng)，采用分布式照明方法，可覆蓋180°×180°的視場(chǎng)，能以120MHz的處理時(shí)鐘頻率生成具有1080pixel×1080pixel分辨率的25frame/s視頻。

多系統(tǒng)組合
該方法將不同的超廣角技術(shù)組合起來(lái)，充分發(fā)揮各項(xiàng)技術(shù)的長(zhǎng)處，彌補(bǔ)不同技術(shù)存在的缺陷，從而實(shí)現(xiàn)良好的畸變和體積控制。2019年，Chen等人設(shè)計(jì)的緊湊雙視場(chǎng)內(nèi)窺鏡物鏡視場(chǎng)角達(dá)±80°，畸變控制在了10%以內(nèi)，提高了邊緣視場(chǎng)的成像質(zhì)量，結(jié)構(gòu)更加緊湊，易于安裝。

三維內(nèi)窺成像技術(shù)
三維全景內(nèi)窺技術(shù)通過(guò)三維拼接能夠獲得更全面的信息，目前根據(jù)采用的方法不同，可分為深度相機(jī)與單目相機(jī)兩大類。

1.深度相機(jī)
內(nèi)窺鏡中深度相機(jī)的實(shí)現(xiàn)方式
主動(dòng)形式：

• ToF相機(jī)：ToF相機(jī)向目標(biāo)連續(xù)發(fā)射光脈沖，傳感器不斷接收由物體反射回來(lái)的信號(hào)，通過(guò)計(jì)算光脈沖的飛行時(shí)間得到各個(gè)像素對(duì)應(yīng)點(diǎn)與相機(jī)的距離。2009年，Penne等首次將其應(yīng)用到內(nèi)窺鏡系統(tǒng)中，完成了大量體外實(shí)驗(yàn)，實(shí)現(xiàn)了3072個(gè)三維點(diǎn)的20frame/s實(shí)時(shí)測(cè)量，誤差為0.89mm。2013年，Köhler等人將低分辨率ToF傳感器與高分辨率RGB傳感器相結(jié)合，提出一種多幀超分辨率框架有效提升了深度圖的信噪比及分辨率。2022年，Stolyarov等將ToF系統(tǒng)整合進(jìn)商用內(nèi)窺鏡中，像素?cái)?shù)提升至幾十萬(wàn)級(jí)別，在30frame/s實(shí)時(shí)成像速度下精度能達(dá)到亞毫米級(jí)。

• 結(jié)構(gòu)光系統(tǒng)：結(jié)構(gòu)光系統(tǒng)使用投影儀將特定信息投射至目標(biāo)物體表面，再由攝像頭采集圖像，通過(guò)對(duì)圖像上結(jié)構(gòu)光的特征信息進(jìn)行解碼，得到目標(biāo)物體表面的三維信息。根據(jù)結(jié)構(gòu)光的編碼方式，可以將其分為順序投影模式結(jié)構(gòu)光、連續(xù)變化投影模式結(jié)構(gòu)光、條紋模式結(jié)構(gòu)光、網(wǎng)格模式結(jié)構(gòu)光和混合模式結(jié)構(gòu)光等。

被動(dòng)形式：雙目相機(jī)模仿人眼的視覺(jué)系統(tǒng)，可以通過(guò)雙目的單幀圖像計(jì)算獲得對(duì)應(yīng)的深度圖，從而可以與RGB-D相機(jī)一樣實(shí)時(shí)獲得深度圖，且擁有更高的分辨率，因此現(xiàn)在多使用雙目相機(jī)來(lái)實(shí)現(xiàn)最初基于RGB-D的SLAM方案。

內(nèi)窺鏡中深度相機(jī)拼接成像技術(shù)
通過(guò)深度相機(jī)獲得深度圖即局部點(diǎn)云后，需要對(duì)多個(gè)局部點(diǎn)云進(jìn)行拼接以獲得全景三維點(diǎn)云。2021年，Zhou等人將雙目相機(jī)獲得的圖像轉(zhuǎn)換為局部點(diǎn)云，通過(guò)使用SURF檢測(cè)相鄰左圖像的特征點(diǎn)并進(jìn)行匹配來(lái)估計(jì)攝像機(jī)姿態(tài)變化。最后，在計(jì)算得到變換矩陣的基礎(chǔ)上，利用迭代最近點(diǎn)（ICP）算法進(jìn)行更精細(xì)的點(diǎn)云配準(zhǔn)，實(shí)現(xiàn)了整個(gè)胃器官的三維密集重建。

現(xiàn)有研究多采用基于概率估計(jì)的內(nèi)窺鏡視覺(jué)SLAM方法來(lái)描述該問(wèn)題，其主要由特征提取、特征匹配以及內(nèi)窺鏡定位方法組成。隨著雙目相機(jī)研究的深入及計(jì)算機(jī)配置的不斷提高，目前通過(guò)對(duì)雙目相機(jī)采集到的單幀圖像進(jìn)行視差計(jì)算，已可以與RGB-D相機(jī)一樣實(shí)時(shí)獲得深度圖，且擁有分辨率更高等優(yōu)點(diǎn)，因此，現(xiàn)在多使用雙目相機(jī)實(shí)現(xiàn)原本基于RGB-D的SLAM方案。ORB-SLAM3在軌跡估計(jì)方面大大優(yōu)于ElasticFusion，并且其腹腔鏡手術(shù)圖像序列更穩(wěn)定，而在表面全景重建上則有著相似的性能。

2.單目?jī)?nèi)窺鏡
單目?jī)?nèi)窺鏡體積小、功耗低，但無(wú)法直接獲得深度圖，因此對(duì)算法提出了很高的要求。目前使用更多的是SLAM方法，根據(jù)其前端匹配方式的不同，可分為基于特征的SLAM、稠密SLAM和半稠密SLAM�；�于特征的SLAM通過(guò)對(duì)多幅圖像進(jìn)行特征提取及匹配，計(jì)算出相機(jī)位姿及運(yùn)動(dòng)軌跡，從而進(jìn)行三維全景重建，因?yàn)閮H使用特征點(diǎn)進(jìn)行計(jì)算，減少了處理數(shù)據(jù)量，在實(shí)時(shí)性上有優(yōu)勢(shì)，但在弱紋理區(qū)域因特征稀少而不穩(wěn)定。單目稠密SLAM不提取特征點(diǎn)，直接對(duì)整幅圖像進(jìn)行處理，可以利用的信息更多，重建也更精確，但計(jì)算復(fù)雜度高，導(dǎo)致實(shí)時(shí)性較差。單目半稠密的SLAM結(jié)合上述兩種方法的優(yōu)點(diǎn)，實(shí)時(shí)性尚可，且在缺少紋理時(shí)較為穩(wěn)定。

近年來(lái)，研究人員開(kāi)始嘗試將卷積神經(jīng)網(wǎng)絡(luò)與單目SLAM相結(jié)合。Chen等人使用對(duì)抗性訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)對(duì)從人體結(jié)腸的計(jì)算機(jī)斷層掃描測(cè)量中渲染出來(lái)的圖像以及對(duì)應(yīng)的正確深度圖進(jìn)行訓(xùn)練，由單目?jī)?nèi)窺鏡圖像實(shí)時(shí)預(yù)測(cè)深度圖并使用ElasticFusion進(jìn)行三維拼接，實(shí)現(xiàn)對(duì)豬胃腸道組織的全景密集重建。Widya等人設(shè)計(jì)了一種基于平面擬合的三維點(diǎn)離群點(diǎn)去除算法，使用單目?jī)?nèi)窺鏡視頻重建整個(gè)胃的彩色紋理3D模型，實(shí)現(xiàn)了將視頻任意幀定位到三維模型。

全景內(nèi)窺成像應(yīng)用
全景內(nèi)窺成像目前主要應(yīng)用于膠囊內(nèi)鏡和大視場(chǎng)結(jié)直腸鏡中。
1.膠囊內(nèi)鏡
目前，國(guó)內(nèi)外多個(gè)廠家均能提供大視角的膠囊內(nèi)窺鏡。隨著小型化技術(shù)的進(jìn)步和相關(guān)元件功耗的降低，各個(gè)廠家逐漸開(kāi)始在膠囊內(nèi)鏡中集成更多的攝像頭。單個(gè)超廣角鏡頭的膠囊內(nèi)窺鏡的視場(chǎng)角均在156°-170°之間，可視范圍大致相同，區(qū)別在于幀率、通信方式和電池壽命等方面不同。

膠囊內(nèi)鏡在診斷治療OGIB、克羅恩病及復(fù)雜乳糜瀉等方面起到了重要的作用。在一項(xiàng)對(duì)比研究中，提供全景視野的膠囊可以觀察到更加豐富的病變信息，檢查到更多的出血病例，醫(yī)生和病人滿意度高。在克羅恩病和CD的診治方面，膠囊內(nèi)鏡也能提供重要的診斷依據(jù)，幫助醫(yī)生制定治療方案。

2.結(jié)直腸鏡
結(jié)直腸癌是目前診斷率第三普遍的癌癥，常規(guī)的結(jié)腸鏡檢查仍會(huì)遺漏大量的息肉。
最近的相關(guān)研究提出褶皺可視化技術(shù)（BFT），旨在提高腺瘤檢出率。Full Spectrum Endoscopy（FUSE）系統(tǒng)中在單個(gè)前視鏡頭上添加了兩個(gè)側(cè)視鏡頭，使視野擴(kuò)大到330°；EWAVE結(jié)腸鏡由一個(gè)標(biāo)準(zhǔn)的147°前視鏡頭和兩個(gè)額外的42.5°橫向后視鏡頭組成，將所有鏡頭的視圖進(jìn)行合成并顯示在顯示器上；Third Eye Panoramic設(shè)備是兩個(gè)可以連接到標(biāo)準(zhǔn)結(jié)腸鏡末端的側(cè)視攝像頭，可以獲得3個(gè)可以投射到屏幕上的圖像，將視角擴(kuò)展到300°以上。

使用這些技術(shù)相對(duì)于傳統(tǒng)結(jié)腸鏡對(duì)提高ADR沒(méi)有明顯的影響，但使用BFT可以提高對(duì)非晚期息肉和病變的檢測(cè)，很好地降低非晚期腺瘤漏診的風(fēng)險(xiǎn)，對(duì)于經(jīng)驗(yàn)不足的結(jié)腸鏡醫(yī)師效果更為明顯。

總結(jié)與展望
全景內(nèi)窺成像技術(shù)正逐步成為未來(lái)內(nèi)窺鏡研究的重要發(fā)展方向之一，具有廣闊的應(yīng)用前景。但該技術(shù)目前仍存在部分問(wèn)題有待解決，例如更高效率的內(nèi)窺全景圖像拼接算法、更高性能的內(nèi)窺全景成像鏡頭以及更準(zhǔn)確的內(nèi)窺全景信息重建技術(shù)等。

聲明：本文僅用作學(xué)術(shù)目的。文章來(lái)源于:霍嘉燚, 李冕豪, 王子川, 袁波, 楊青, 王立強(qiáng). 全景內(nèi)窺成像技術(shù)及應(yīng)用[J]. 中國(guó)光學(xué), 2023, 16(1): 44. Jia-yi HUO, Mian-hao LI, Zi-chuan WANG, Bo YUAN, Qing YANG, Li-qiang WANG. Panoramic endoscopic imaging technology and it’s applications[J]. Chinese Optics, 2023, 16(1): 44.