在现代科技的推动下,成像技术已成为人类认识和探索世界的重要工具。基于面阵探测器电荷耦合器件(charge-coupled device,CCD)、互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)的传统成像技术在分辨率和灵敏度方面已取得显著进展[1⇓-3],但在某些特定应用场景中仍面临诸多挑战[4]。在这一背景下,鬼成像(ghost imaging, GI)技术应运而生。GI通过双光子复合探测来恢复待测物体的空间信息,而不依赖于直接探测目标反射或散射的光线。这种基于光子相关性的独特成像方式使得GI在低光强、恶劣环境以及非可见光波段展现出巨大潜力,解决了许多传统面阵成像技术难以应对的问题。目前,GI已广泛应用于目标追踪[5⇓-7]、偏振散射成像[8⇓⇓-11]、多光谱成像[12-13]、显微成像[14]、三维成像[15⇓⇓-18]、雷达探测[19-20]和图像加密传输[21⇓⇓⇓-25]等领域。
与传统即时成像不同,GI需要通过投射大量编码图案,逐步收集目标的空间信息。在过去的几十年里,研究人员提出了一系列提高GI成像效率的技术,如:压缩感知GI[26⇓-28]、哈达玛GI[29⇓-31]和傅里叶GI[32-33]等。然而,这些技术主要用于灰度图像的重建,较少应用于彩色成像。随着成像技术的不断发展,光谱成像[34]逐渐成为获取和处理多波段图像数据的重要技术。通过分析不同波长的光谱特征,光谱成像能够更精确地识别和分类目标物质。为克服传统灰度鬼成像的局限性,多光谱鬼成像(multispectral ghost imaging, MGI)技术[35⇓⇓⇓⇓⇓⇓⇓⇓⇓⇓⇓⇓⇓⇓-50]应运而生。MGI结合了GI和光谱成像的优势,不仅能够通过编码图案高效采集目标的空间信息,还能获取丰富的多波段光谱数据。MGI的实现可以采用两种照明方式:主动和被动照明。在主动照明模式下,MGI系统通过主动发射光信号以获取目标信息,这种方式通常在高对比度场景中表现出色。然而,在某些应用中,例如低光环境或对隐私敏感的场景,被动照明方式更为合适。被动MGI通过捕捉目标自然发出的光或背景光来获取图像,具有较好的隐蔽性和灵活性。虽然两者在成像方式上有所不同,但它们的实现原理基本类似。此综合性成像方案为多光谱图像的获取和处理提供了全新的途径,有望为各种应用场景带来更丰富、更准确的图像信息。
2013年,Welsh等[51]提出了一种利用光学分光原理的快速MGI方案。该方案使用数字光投影仪向目标场景投射一系列结构化编码图案,并在接收端通过分光系统将目标场景的反射光分离为红、绿、蓝光谱波段。每个波段的光信号由不同的单像素探测器接收,随后通过求迭代运算重建出相应的光谱分量图像。最后,将这些光谱分量图像融合为一幅具有良好空间结构和光谱特征的多光谱图像。2016年,Wang等[52]提出了一种基于时分复用的MGI方案。该方案利用桶形检测器的快速响应与空间照明调制之间的速度差异,在时间域内将不同光谱复用到每个二维照明模式中。接收端仅需一个桶形检测器来采集透射目标的光信号,随后通过求解相应的测量值和照明模式,重建出原始目标的多光谱图像。同年,Bian等[53]提出了一种基于频分复用的MGI方案,该方案通过在每个空间调制模式的传输中引入与频谱相关的正弦强度调制,实现了不同光谱段的分频复用。由于不同波段的响应信号在傅里叶域中具有不同主频率,因此可以根据各自的频率特征有效分离光谱信息。随后,利用压缩感知(compressed sensing, CS)算法处理光谱数据,重建多光谱图像。然而,尽管这些技术展现了高效的多光谱图像重建能力,但由于系统复杂且实现难度大,限制了其实际应用。
近年来,基于编码复用的MGI技术因能够高效复用和提取光谱信息而受到研究者的广泛关注。与传统方法相比,该技术引入了巧妙的编码复用策略,使其能够在单次投影循环中高效捕获和重建物体的空间结构及光谱特征。这不仅提高了MGI的成像效率,还在一定程度上降低了系统的复杂性和硬件成本,使MGI技术更具实用性与可行性。因此,系统分析和总结基于编码复用的MGI技术的研究进展至关重要。鉴于照明模式是影响成像和信息采集效率的重要因素,本文将从MGI技术的基本原理和关键技术出发,按照不同照明模式逐一介绍各方案的编码复用策略及其重构算法,并评估这些方案在实际应用中的性能。最后,本文总结了基于编码复用的MGI技术的关键要点,并探讨了其潜在的改进方向和未来的发展前景。
1 多光谱鬼成像原理
1.1 鬼成像基本原理
图1a为鬼成像原理示意图。激光光源首先通过旋转的毛玻璃生成随机散斑,然后利用分束镜将光束分为2路:一束光直接照射目标物体,并由不具备空间分辨率的桶探测器收集透射光信号;另一束光则作为参考光束,由具备空间分辨率的CCD面阵探测器直接接收,记录散斑图案以确定光源的空间分布。最终,通过关联2个光路探测到的数据,可以重构出目标物体的清晰图像。
在CGI系统中,光源经过SLM调制生成了一系列预知的照明散斑P,并将其投射到目标物体O上。结构光与目标物体相互作用后,由桶形探测器记录透射光的总强度值B。整个采样过程[56]可表示为
Bi= O(x,y)·Pi(x,y)。
式中:i表示第i次采样;M和N分别表示目标的长度和宽度;(x, y)表示二维像素点坐标。照明采样完成后,通过将预知的照明编码图案与探测到的光强值进行关联计算,重构出目标物体的图像O',如式(2)所示:
O'(x,y)=<P(x,y)B>m-<P(x,y)>m<B>m= Pi(x,y)Bi- Pi(x,y)· Bi。
式中:<·>表示平均值;m表示采样总次数。
1.2 光谱成像技术
光谱成像技术根据光谱分辨率和波段数的不同,通常分为超光谱成像、高光谱成像和多光谱成像。超光谱成像具有极高的光谱分辨率(约为1 nm),通常有1 000到10 000个波段,适用于需要精确分析物体化学成分和微小变化的应用场景,例如:气体微粒探测及化学成分测定等。高光谱成像的光谱分辨率介于超光谱和多光谱之间,约为10 nm,波段数为100~200个。由于分辨率和数据传输的限制,高光谱成像通常采用光机扫描或推扫地方式以扩大成像范围,但这往往会导致一定的几何畸变。多光谱成像中每个波段的光谱分辨率约为100 nm,波段数一般为3~12个,能覆盖较宽的光谱范围。多光谱成像能够根据具体的应用场景和目标的光谱特性选择合适的波段组合,有效平衡波段之间的低耦合性与高信息量,从而实现对目标物体快速高效彩色成像[59]。
1.3 多信息编码复用技术
编码照明图案常见类型包括随机散斑、Hadamard散斑和傅里叶散斑等。随机散斑是通过随机生成的0或1元素填充的照明模式,具有良好的随机性和均匀分布特性,适用于高度随机化的应用场景。Hadamard散斑则是通过Hadamard矩阵生成的照明模式,其中每个散斑图案对应于Hadamard矩阵的一行或一列,这些图案具备正交性质(元素取值为±1,且任意两个图案的内积为0)。由于其特殊的编码方式,Hadamard散斑能够有效提高成像的质量和效率。傅里叶散斑通常具有高对比度和特定的空间结构,其构造方法为
Pθ(x,y;fx,fy)=a+bcos(2πfxx+2πfyy+θ)。
式中:a表示平均强度分布;b表示正弦条纹的振幅;θ表示初始相位;(x, y)表示目标的空间直角坐标;(fx, fy)表示目标的空间频率。
在光学成像中,傅里叶散斑能够将目标的光学信息从空间域转换到傅里叶域,以分析目标的频率和相位特性。这种转换有助于提高图像的空间分辨率,增强对细节的探测能力,使得对微小特征的捕捉更加敏感。
综上所述,这些编码图案为捕捉和解析复杂光信号提供了强有力的支持。特别是在多信息编码复用技术中,通过将精心设计的复用照明图案投射到目标场景,系统能够在单次投影循环中有效捕获并重建目标的多维信息。此方法不仅简化了系统结构,提高了成像效率,还为光学成像开辟了一条高效获取多维信息的新途径。
2 编码复用策略
2.1 随机编码复用
2017年,Huang等[62]提出了一种基于空间编码复用的MGI方案。该实验系统包括3-LCD数字投影仪、聚光透镜、单像素光电探测器、模数转换器以及计算机。其中,3-LCD数字投影仪作为光源的调制器件,单像素光电探测器负责接收反射光信号,而模数转换器则将数据传输到计算机,以便进行后续的图像重建。
图3a展示了空间编码复用策略的示意图,通过将随机散斑(random patterns,RPS)与3个满足一定条件的编码矩阵ER、EG、EB进行复用,生成了一系列用于投影的彩色图案(colored patterns,CPI)。其中,ER、EG和EB为二进制矩阵,满足任意两矩阵内积为0,同时ER +EG +EB =E,E是所有元素为1的矩阵。在3-LCD数字投影仪内,随机散斑光源被分光为红、绿、蓝3个光谱段,ER、EG和EB编码矩阵分别调制对应通道的光谱后合成CPI。在重构阶段,首先使用CS算法将桶探测器的数据恢复成混叠光谱图像T,然后与ER、EG和EB依次点乘,以分离出各光谱对应的欠采样图像YR、YG和YB。接着,分别使用CS算法重建出目标完整的光谱分量图像TR、TG和TB,并最终融合这些分量以重建多光谱图像。图3b展示了该系统分别在3 000、4 000、5 000和6 000测量次数下的成像结果,目标物体为81×81像素。由于随机散斑之间存在一定的冗余性,重建的目标图像质量较为一般,并且整个过程使用了4次CS算法,恢复时间较长,导致整体成像效率较低。
2022年,Liu等[63]提出了一种基于即插即用广义交替投影算法 (plug-and-play generalized alternating projection,PnP-GAP) 的MGI方案,该方案通过将随机散斑与拜耳颜色掩模复用,生成用于投影的彩色照明图案,并由单像素探测器进行测量。其中,拜耳颜色掩模利用人眼对色彩的敏感程度,采用1红2绿1蓝的颜色布局,使其在单次投影中能够探测到多个颜色通道的信息,如图4a所示。在复原阶段,该方案提出了一种联合重建和去马赛克的方法,如图4b所示。该方法利用预先训练的高斯去噪网络和深度去马赛克网络,作为PnP-GAP中的去噪和去马赛克先验,在消除噪声和恢复颜色的同时,尽可能保留并重建图像的完整信息。图4c展示了该方案与其他经典重建算法的实验对比结果,其中还包含了对自身方案有无颜色校正的对比。由于空间信息的缺失,其他3种经典算法在低采样率下只能重建出目标的粗略轮廓和单一色彩,而该方案能够在低至0.062 5的采样率下重建出接近原始图像的高信噪比多光谱图像。此外,由于单像素探测器对绿色的响应更强,若不进行颜色校正,重建图像可能会偏绿。总之,该方案克服了以往成像算法效率低、泛化能力差等缺点,显著提升了成像质量和效率。然而,要实现这些优势,需要进行大量的网络预训练。
基于空间编码复用的MGI方案采用随机散斑与正交编码矩阵复用的编码策略,通过4次CS算法反演重建多光谱图像。然而,由于随机散斑固有的冗余特性,该方案的成像质量和成像效率相对较低。而基于即插即用广义交替投影算法的MGI方案则复用随机散斑与拜耳颜色掩模,并通过PnP-GAP算法,在相对较低采样率下实现了多光谱图像的高质量重建。表1对比了2种方案的性能优劣。
表1 随机编码复用方案性能对比Tab.1 Performances comparison of random code-multiplexing schemes |
| 方案特点 | 基于空间编码复用的MGI[62] | 基于即插即用广义交替投影算法的MGI[63] |
|---|---|---|
| 编码策略 | 随机散斑和正交编码矩阵 | 随机散斑和拜耳颜色掩模 |
| 重建算法 | 4次CS算法 | PnP-GAN结合预训练去噪和去马赛克网络 |
| 模拟指标 | SR: 45.72%,RMSE: 0.625 | SR: 6.25%,PSNR: 22.5 dB, SSIM: 0.75 |
| 实验指标 | SR: 6.25%,PSNR: 20 dB, SSIM: 0.66 | |
| 成像质量 | 一般 | 较好 |
| 成像效率 | 耗时较长 | 耗时较短 |
注:SR为采样率(sampling rate);RMSE为均方根误差(root mean square error);PSNR为峰值信噪比(peak signal to noise ratio);SSIM为结构相似性(structural similarity)。 |
2.2 Hadamard编码复用
与随机散斑相比,Hadamard基底的正交特性确保了每个图案之间的相互独立,避免了随机散斑中可能出现的信息冗余,使得每次采样都能提取到有效的信息。实验结果如图5b所示,该方案在较低的采样率下能够较好地重建多光谱图像,并且随着采样率的增加,成像效果显著提高。此外,该方案使用进化CS技术来恢复混叠光谱图像,因其迭代算法比传统CS算法更为快速,降低了时间成本。然而,由于该方案在还原欠采样光谱分量图像的过程中仍需进行3次CS算法,导致成像系统的整体效率未能得到显著提升。
2022年,Sun等[65]提出了一种基于Hadamard基余弦编码复用的MGI方案,该方案的核心在于采用了一种新颖的编码复用策略,具体流程如图6a所示。通过将Hadamard基底与具有特定频率的余弦编码矩阵相结合,形成用于投影的复用照明图案。在图像复原阶段,首先使用线性迭代算法恢复目标场景的混叠光谱图像,然后将其转换到频域进行分离操作。由于各通道的信息在频域中分布于不同位置,可以将这些信息依次搬移到中心区域,并利用低通滤波器选择性地提取特定范围内的频谱信息,从而实现分离。提取到的频谱信息经过傅里叶逆变换后,可以恢复出各通道对应的光谱分量图像mR、mG和mB。最终,将这3幅光谱分量图像融合,实现目标多光谱图像的重建。
为了验证Hadamard基余弦编码复用策略的成像性能,文中展示了其与Hadamard基随机正交编码复用策略的成像效果对比,如图6b所示。结果表明,该方案在不同采样率下均能保持较高的成像质量。即使在6.25%的低采样率下,仍能有效提取目标图像的空间及光谱信息,重建出高质量的多光谱图像。此外,该方案摒弃了耗时较长的CS恢复算法,而是采用数字信号处理方法对数据进行解码,显著提高了MGI的重建效率。
如表2所示,基于正交调制模式的MGI方案采用Hadamard基底与正交编码矩阵复用的编码策略,通过1次进化CS算法和3次组稀疏CS算法进行反演重建,虽然成像质量较高,但恢复算法的耗时较长。相比之下,基于Hadamard基余弦编码复用的MGI方案则采用Hadamard基底与余弦编码矩阵复用的编码策略,通过简单的线性迭代算法和傅里叶逆变换,可以高效地重建高质量的多光谱图像。同时,由于算法的简便性,显著提升了MGI的重建效率。
表2 Hadamard编码复用方案性能对比Tab.2 Performances comparison of Hadamard code-multiplexing schemes |
| 方案特性 | 基于正交调制模式的MGI[64] | 基于Hadamard基余弦编码复用MGI[65] |
|---|---|---|
| 编码策略 | Hadamard基底图案和正交编码矩阵 | Hadamard基底图案和余弦编码矩阵 |
| 重建算法 | 进化CS算法和3次CS算法 | 线性迭代算法和傅里叶逆变换 |
| 模拟指标 | SR: 6.25%,PSNR: 59 dB, MSE: 0.28 | SR: 6.25%,PSNR: 27.1 dB, SSIM: 0.75 |
| 实验指标 | SR: 6.25%,PSNR: 30.97 dB, SSIM: 0.856 | |
| 成像质量 | 一般 | 较好 |
| 成像效率 | 耗时较长 | 耗时较短 |
注:SR为采样率(sampling rate);MSE为均方误差(mean square error);PSNR为峰值信噪比(peak signal to noise ratio);SSIM为结构相似性(structural similarity)。 |
2.3 傅里叶编码复用
2018年,Zhang等[66]提出了一种基于傅里叶MGI的编码复用成像方案,能够同时编码和恢复物体的空间、光谱及三维信息。该方案采用傅里叶基底与基于拜耳滤色镜设计的多光谱掩模进行复用,生成用于投影的照明图案。如图7所示,多光谱掩模可以分解为红、绿、蓝3种光谱掩模, 每种光谱掩模在傅里叶域表现为频率响应。尽管不同掩模对应的频率响应有一定的重叠,但它们的相位并不完全相同,这使得3种光谱掩模能够保持线性独立。因此,投影的多光谱照明图案能够将物体的光谱信息压缩到傅里叶域的不同高频区域,并将空间信息压缩到傅里叶域的低频区域。在复原阶段,通过二维傅里叶逆变换和彩色重建算法,可以从傅里叶频谱中重建出物体的多光谱图像。
2023年,Huang等[67]提出了一种基于学习的高效傅里叶MGI方案,如图8所示。该方案采用傅里叶基底与多光谱掩模进行复用,形成用于投影的彩色照明图案。与上述方法不同的是,该方案引入了一种自适应欠采样网络 (AuSamNet),能够同时优化欠采样掩模和深度神经网络重建模型,从而实现自适应采样和高质量图像重建。实验结果如图8e所示,传统方法通常采用固定布局的掩模,这使得它们难以有效适应不同目标的重要采样点分布,从而影响后续的重建过程。而该方案则得益于AuSamNet的自适应采样和优化重建能力,即使在采样率低至7.5%的情况下,仍能重建出高质量的多光谱图像。此外,尽管该方案在数据采集过程中较为耗时,难以实现实时成像,但其在图像质量和采样效率上的显著提升,展现了其在高效MGI中的潜力。
基于傅里叶MGI的编码复用成像方案采用傅里叶基底与多光谱掩模复用的编码策略,并通过傅里叶逆变换和彩色重建算法实现目标多光谱图像的重建,整体成像质量较好且耗时较短。相比之下,基于学习的高效傅里叶MGI方案同样采用傅里叶基底与多光谱掩模复用的编码策略,但额外引入了AuSamNet网络。该网络能够针对不同目标动态调整采样掩模,实现自适应采样和优化重建,从而显著提高多光谱图像的重建质量。表3对比了2种方案的性能优劣。
表3 傅里叶编码复用方案性能对比Tab.3 Performances comparison of Fourier code-multiplexing schemes |
| 方案特性 | 基于傅里叶MGI的编码复用方案[66] | 基于学习的高效傅里叶MGI方案[67] |
|---|---|---|
| 编码策略 | 傅里叶基底图案和多光谱掩模 | 傅里叶基底图案和多光谱掩模 |
| 重建算法 | 傅里叶逆变换和彩色重建算法 | AuSamNet |
| 模拟指标 | SR: 7.5%,PSNR: 26.37 dB, SSIM: 0.89 | |
| 实验指标 | SR: 7.5%,PSNR: 19.15 dB, SSIM: 0.77 | |
| 成像质量 | 较好 | 好 |
| 成像效率 | 耗时较短 | 预训练网络耗时较长 |
注:SR为采样率(sampling rate);PSNR为峰值信噪比(peak signal to noise ratio);SSIM为结构相似性(structural similarity)。 |
3 总结与展望
本文从MGI发展历程出发,详细介绍了基于编码复用的MGI的原理和技术方法,并探讨了其在提高成像质量和增强光谱分辨率方面的独特优势。相比于传统的MGI技术,编码复用策略的引入不仅简化了成像系统的硬件结构,还在不同光谱波段下展示了强大的特征提取与目标重建能力,显著提高了MGI系统的成像性能,从而赋予MGI技术在实际应用中更大的适应性与灵活性。
尽管基于编码复用的MGI技术取得了巨大的进步,但它目前仍面临一些实际的挑战,例如投影效率、计算复杂等问题,未来有望通过以下方面的改进来克服这些困难:
1)开发更高效的图像重建算法。结合先进的优化算法和深度学习技术,进一步提升MGI系统的成像质量和效率;例如,引入多尺度或多模态的重建算法,在不同分辨率和光谱通道上实现更高的复原精度,从而更好地满足复杂场景的高质量成像需求。
2)利用智能化技术实现成像参数的自动调节。借助人工智能和机器学习技术,MGI系统能够根据场景变化和成像条件自动调节关键参数(如光源强度、投影模式、采样频率等),从而提高成像的鲁棒性,减少人为干预,确保在多样化环境下的高效成像;此外,还可以通过强化学习等技术逐步学习和优化成像策略,以适应更复杂的动态场景。
3)结合先进的光学器件和微型化技术。开发基于微机电系统的更高效光学投影系统,以进一步提升MGI系统的投影效率;通过集成多功能光学器件,打造适用于多种环境的便携式MGI设备,增强其在野外勘测、移动医疗和无人机平台等实际应用场景中的适应性和灵活性。
综上所述,基于编码复用的MGI技术不仅在提高成像质量和光谱分辨率方面具有显著优势,还通过简化硬件结构增强了成像系统的灵活性,为实际应用带来了新的可能。随着技术的不断创新和应用的扩展,基于编码复用的MGI技术有望进一步推动光学成像技术的发展,在医学成像、环境监测和遥感探测等领域发挥重要作用。