在當今醫(yī)療領(lǐng)域，微創(chuàng)手術(shù)因其創(chuàng)傷小、恢復(fù)快等優(yōu)勢，逐漸成為許多疾病治療的首選方式。然而，微創(chuàng)手術(shù)也面臨著一些挑戰(zhàn)，其中之一就是如何從小創(chuàng)口全面獲取病灶信息。普通內(nèi)窺鏡由于視場角較小，成像范圍有限，往往容易遺漏病變部位。
為了解決這一問題，全景內(nèi)窺成像技術(shù)應(yīng)運而生，為微創(chuàng)手術(shù)帶來了新的視野和機遇。浙江大學(xué)霍嘉燚團隊發(fā)表文章，從原理和產(chǎn)品應(yīng)用兩個方面對全景內(nèi)窺成像技術(shù)進行了梳理。首先綜述了基于二維和三維成像的各種全景內(nèi)窺成像技術(shù)，闡述了它們各自的實現(xiàn)方式，并分析了其關(guān)鍵指標和性能。其次，對比分析了由全景內(nèi)窺成像技術(shù)衍生出來的膠囊內(nèi)窺鏡、全景結(jié)直腸鏡等多種不同類型的產(chǎn)品，并展望了全景內(nèi)窺成像技術(shù)的發(fā)展趨勢和應(yīng)用前景。

二維全景內(nèi)窺成像技術(shù)
二維全景內(nèi)窺成像主要有兩種實現(xiàn)方式，一種是多攝像頭全景成像技術(shù)，另一種是全景鏡頭技術(shù)。

基于ORB的內(nèi)窺全景拼接
原始ORB算法在關(guān)鍵點匹配中沒有尺度不變性，容易受到噪聲影響。

無拼接算法的全景成像技術(shù)
無拼接算法的多攝顯示技術(shù)對于計算的需求較低，但對鏡體的機械設(shè)計水平要求較高，需要在較小的體積下集成多個攝像頭，對鏡頭的設(shè)計和加工技術(shù)等方面提出了更高的要求。同時，由于是多個攝像頭采集到的圖像同時顯示，因此對數(shù)據(jù)的存儲和通訊也有較高要求。對于膠囊內(nèi)窺鏡而言，多個攝像頭同時工作引起的功耗提升也需要設(shè)計人員去解決。

2.全景鏡頭技術(shù)
自由曲面棱鏡
自由曲面棱鏡的設(shè)計方法已經(jīng)日趨成熟，在傳統(tǒng)成像光學(xué)系統(tǒng)中，自由曲面能夠進一步實現(xiàn)系統(tǒng)的小型化，從而可以放入體積狹小的內(nèi)窺鏡中。

2015年，Katkam等人設(shè)計了一種緊湊的雙視角內(nèi)窺鏡，該內(nèi)窺鏡基于自由曲面棱鏡實現(xiàn)了前向90°和后向45°的成像。該設(shè)計中僅使用了一個自由曲面棱鏡來組合前視圖和后視圖，為確保兩個FOV都具有良好的性能，對表面進行了特殊設(shè)計以降低像差。

全景環(huán)形透鏡
全景環(huán)形透鏡（PAL）是一種緊湊的光學(xué)結(jié)構(gòu)，具有大視場和小畸變的特點，能夠提供全景視圖和清晰的成像質(zhì)量。

2016年，Liu等人設(shè)計了基于全景環(huán)形透鏡和自由曲面棱鏡的內(nèi)窺鏡系統(tǒng)，該設(shè)計能夠?qū)崿F(xiàn)全景成像，同時可獲得局部高分辨率圖像，充分利用了傳統(tǒng)全景環(huán)形透鏡系統(tǒng)圖像表面的盲區(qū)像素，解決了寬視場和高分辨率之間的矛盾。其PAL子系統(tǒng)的FOV達（60°-97.5°）×360°，高分辨率系統(tǒng)實現(xiàn)了0.008mm的物方分辨率。

折反射成像系統(tǒng)
折反射成像系統(tǒng)是一種使用較少鏡片即可實現(xiàn)超廣角成像的技術(shù)，可以通過錐形鏡、拋物面鏡、凹凸鏡片折疊等方式實現(xiàn)，成像方式簡單、易于加工、成本較低，具有廣泛的應(yīng)用潛力。

2015年，Sahli設(shè)計的系統(tǒng)可以實現(xiàn)側(cè)視圖360°成像；2016年，Dallaire等人通過設(shè)計凹凸鏡頭折疊的方式實現(xiàn)折反射，視場角可以達到180°；2017年，Tseng等人設(shè)計的全景內(nèi)窺系統(tǒng)使用拋物面鏡作為反射鏡，用于實現(xiàn)側(cè)視圖的360°全景成像，后續(xù)加入了一個中繼鏡頭，接收由凹面鏡反射回來的側(cè)向光，圖像失真更少。

仿生光學(xué)系統(tǒng)
研究人員從昆蟲的復(fù)眼獲得靈感，提出了兼具均勻性和高分辨率的成像能力的全景內(nèi)窺成像系統(tǒng)。

2016年，Tseng等人根據(jù)昆蟲的復(fù)眼結(jié)構(gòu)提出了一種具有大視場的靈活膠囊內(nèi)窺鏡，使用31個球透鏡覆蓋175°的觀察區(qū)域，應(yīng)用光纖陣列來擬合曲線圖像平面，以改善場曲像差并將圖像傳送到圖像傳感器中，該膠囊內(nèi)窺鏡可以通過基于球透鏡設(shè)計的復(fù)合透鏡捕獲175°的可視區(qū)域。2017年，Cogal等人受昆蟲復(fù)眼啟發(fā)，提出了一種小型化高清視覺系統(tǒng)，采用分布式照明方法，可覆蓋180°×180°的視場，能以120MHz的處理時鐘頻率生成具有1080pixel×1080pixel分辨率的25frame/s視頻。

多系統(tǒng)組合
該方法將不同的超廣角技術(shù)組合起來，充分發(fā)揮各項技術(shù)的長處，彌補不同技術(shù)存在的缺陷，從而實現(xiàn)良好的畸變和體積控制。2019年，Chen等人設(shè)計的緊湊雙視場內(nèi)窺鏡物鏡視場角達±80°，畸變控制在了10%以內(nèi)，提高了邊緣視場的成像質(zhì)量，結(jié)構(gòu)更加緊湊，易于安裝。

三維內(nèi)窺成像技術(shù)
三維全景內(nèi)窺技術(shù)通過三維拼接能夠獲得更全面的信息，目前根據(jù)采用的方法不同，可分為深度相機與單目相機兩大類。

1.深度相機
內(nèi)窺鏡中深度相機的實現(xiàn)方式
主動形式：

• ToF相機：ToF相機向目標連續(xù)發(fā)射光脈沖，傳感器不斷接收由物體反射回來的信號，通過計算光脈沖的飛行時間得到各個像素對應(yīng)點與相機的距離。2009年，Penne等首次將其應(yīng)用到內(nèi)窺鏡系統(tǒng)中，完成了大量體外實驗，實現(xiàn)了3072個三維點的20frame/s實時測量，誤差為0.89mm。2013年，Köhler等人將低分辨率ToF傳感器與高分辨率RGB傳感器相結(jié)合，提出一種多幀超分辨率框架有效提升了深度圖的信噪比及分辨率。2022年，Stolyarov等將ToF系統(tǒng)整合進商用內(nèi)窺鏡中，像素數(shù)提升至幾十萬級別，在30frame/s實時成像速度下精度能達到亞毫米級。

• 結(jié)構(gòu)光系統(tǒng)：結(jié)構(gòu)光系統(tǒng)使用投影儀將特定信息投射至目標物體表面，再由攝像頭采集圖像，通過對圖像上結(jié)構(gòu)光的特征信息進行解碼，得到目標物體表面的三維信息。根據(jù)結(jié)構(gòu)光的編碼方式，可以將其分為順序投影模式結(jié)構(gòu)光、連續(xù)變化投影模式結(jié)構(gòu)光、條紋模式結(jié)構(gòu)光、網(wǎng)格模式結(jié)構(gòu)光和混合模式結(jié)構(gòu)光等。

被動形式：雙目相機模仿人眼的視覺系統(tǒng)，可以通過雙目的單幀圖像計算獲得對應(yīng)的深度圖，從而可以與RGB-D相機一樣實時獲得深度圖，且擁有更高的分辨率，因此現(xiàn)在多使用雙目相機來實現(xiàn)最初基于RGB-D的SLAM方案。

內(nèi)窺鏡中深度相機拼接成像技術(shù)
通過深度相機獲得深度圖即局部點云后，需要對多個局部點云進行拼接以獲得全景三維點云。2021年，Zhou等人將雙目相機獲得的圖像轉(zhuǎn)換為局部點云，通過使用SURF檢測相鄰左圖像的特征點并進行匹配來估計攝像機姿態(tài)變化。最后，在計算得到變換矩陣的基礎(chǔ)上，利用迭代最近點（ICP）算法進行更精細的點云配準，實現(xiàn)了整個胃器官的三維密集重建。

現(xiàn)有研究多采用基于概率估計的內(nèi)窺鏡視覺SLAM方法來描述該問題，其主要由特征提取、特征匹配以及內(nèi)窺鏡定位方法組成。隨著雙目相機研究的深入及計算機配置的不斷提高，目前通過對雙目相機采集到的單幀圖像進行視差計算，已可以與RGB-D相機一樣實時獲得深度圖，且擁有分辨率更高等優(yōu)點，因此，現(xiàn)在多使用雙目相機實現(xiàn)原本基于RGB-D的SLAM方案。ORB-SLAM3在軌跡估計方面大大優(yōu)于ElasticFusion，并且其腹腔鏡手術(shù)圖像序列更穩(wěn)定，而在表面全景重建上則有著相似的性能。

2.單目內(nèi)窺鏡
單目內(nèi)窺鏡體積小、功耗低，但無法直接獲得深度圖，因此對算法提出了很高的要求。目前使用更多的是SLAM方法，根據(jù)其前端匹配方式的不同，可分為基于特征的SLAM、稠密SLAM和半稠密SLAM�；�于特征的SLAM通過對多幅圖像進行特征提取及匹配，計算出相機位姿及運動軌跡，從而進行三維全景重建，因為僅使用特征點進行計算，減少了處理數(shù)據(jù)量，在實時性上有優(yōu)勢，但在弱紋理區(qū)域因特征稀少而不穩(wěn)定。單目稠密SLAM不提取特征點，直接對整幅圖像進行處理，可以利用的信息更多，重建也更精確，但計算復(fù)雜度高，導(dǎo)致實時性較差。單目半稠密的SLAM結(jié)合上述兩種方法的優(yōu)點，實時性尚可，且在缺少紋理時較為穩(wěn)定。

近年來，研究人員開始嘗試將卷積神經(jīng)網(wǎng)絡(luò)與單目SLAM相結(jié)合。Chen等人使用對抗性訓(xùn)練的卷積神經(jīng)網(wǎng)絡(luò)對從人體結(jié)腸的計算機斷層掃描測量中渲染出來的圖像以及對應(yīng)的正確深度圖進行訓(xùn)練，由單目內(nèi)窺鏡圖像實時預(yù)測深度圖并使用ElasticFusion進行三維拼接，實現(xiàn)對豬胃腸道組織的全景密集重建。Widya等人設(shè)計了一種基于平面擬合的三維點離群點去除算法，使用單目內(nèi)窺鏡視頻重建整個胃的彩色紋理3D模型，實現(xiàn)了將視頻任意幀定位到三維模型。

全景內(nèi)窺成像應(yīng)用
全景內(nèi)窺成像目前主要應(yīng)用于膠囊內(nèi)鏡和大視場結(jié)直腸鏡中。
1.膠囊內(nèi)鏡
目前，國內(nèi)外多個廠家均能提供大視角的膠囊內(nèi)窺鏡。隨著小型化技術(shù)的進步和相關(guān)元件功耗的降低，各個廠家逐漸開始在膠囊內(nèi)鏡中集成更多的攝像頭。單個超廣角鏡頭的膠囊內(nèi)窺鏡的視場角均在156°-170°之間，可視范圍大致相同，區(qū)別在于幀率、通信方式和電池壽命等方面不同。

膠囊內(nèi)鏡在診斷治療OGIB、克羅恩病及復(fù)雜乳糜瀉等方面起到了重要的作用。在一項對比研究中，提供全景視野的膠囊可以觀察到更加豐富的病變信息，檢查到更多的出血病例，醫(yī)生和病人滿意度高。在克羅恩病和CD的診治方面，膠囊內(nèi)鏡也能提供重要的診斷依據(jù)，幫助醫(yī)生制定治療方案。

2.結(jié)直腸鏡
結(jié)直腸癌是目前診斷率第三普遍的癌癥，常規(guī)的結(jié)腸鏡檢查仍會遺漏大量的息肉。
最近的相關(guān)研究提出褶皺可視化技術(shù)（BFT），旨在提高腺瘤檢出率。Full Spectrum Endoscopy（FUSE）系統(tǒng)中在單個前視鏡頭上添加了兩個側(cè)視鏡頭，使視野擴大到330°；EWAVE結(jié)腸鏡由一個標準的147°前視鏡頭和兩個額外的42.5°橫向后視鏡頭組成，將所有鏡頭的視圖進行合成并顯示在顯示器上；Third Eye Panoramic設(shè)備是兩個可以連接到標準結(jié)腸鏡末端的側(cè)視攝像頭，可以獲得3個可以投射到屏幕上的圖像，將視角擴展到300°以上。

使用這些技術(shù)相對于傳統(tǒng)結(jié)腸鏡對提高ADR沒有明顯的影響，但使用BFT可以提高對非晚期息肉和病變的檢測，很好地降低非晚期腺瘤漏診的風(fēng)險，對于經(jīng)驗不足的結(jié)腸鏡醫(yī)師效果更為明顯。

總結(jié)與展望
全景內(nèi)窺成像技術(shù)正逐步成為未來內(nèi)窺鏡研究的重要發(fā)展方向之一，具有廣闊的應(yīng)用前景。但該技術(shù)目前仍存在部分問題有待解決，例如更高效率的內(nèi)窺全景圖像拼接算法、更高性能的內(nèi)窺全景成像鏡頭以及更準確的內(nèi)窺全景信息重建技術(shù)等。

聲明：本文僅用作學(xué)術(shù)目的。文章來源于:霍嘉燚, 李冕豪, 王子川, 袁波, 楊青, 王立強. 全景內(nèi)窺成像技術(shù)及應(yīng)用[J]. 中國光學(xué), 2023, 16(1): 44. Jia-yi HUO, Mian-hao LI, Zi-chuan WANG, Bo YUAN, Qing YANG, Li-qiang WANG. Panoramic endoscopic imaging technology and it’s applications[J]. Chinese Optics, 2023, 16(1): 44.