自多视图几何理论提出以来,多视角成像与图像增强技术已广泛应用于智能制造[1]、机器人导航[2]、自动驾驶[3]和安全监控[4]等领域。在极端环境任务中,如水下搜救、深腔作业、军事对抗等,对成像增强技术的准确性、可靠性和灵活性提出了更高要求[5]。在无人驾驶与自主导航任务中,复杂未知的环境进一步提升了对视觉系统环境感知能力的需求,要求系统能够实现精准的环境预测和高效的避障操作,以支持复杂任务的执行和自主导航的安全性[6]。此外,在高精度工业检测、医疗影像分析等领域,多视角成像技术同样面临着在多变条件下获取可靠信息的挑战[7],因此,复杂环境下精准感知与检测对智能视觉成像系统提出了很高的技术要求。
传统的单视角成像技术在面对遮挡、光照变化以及动态场景等复杂因素时,往往难以提供全面、可靠的信息[8]。而多视角成像技术通过从多个角度获取图像数据,提供了丰富的三维空间和纹理信息,显著增强了系统在复杂环境中的适应能力,成为解决这些问题的重要途径[9]。该技术可以分为传统多视角成像和虚拟多视角成像2类,前者依赖于多相机系统或运动载体,适用于广泛的应用场景;后者则通过光学元件的设计,构造出多个虚拟相机阵列,实现单相机的多视角成像,具有成像精度高、成本低等优点。随着图像应用需求的复杂化,基于多视角的图像增强技术包括传统的多视角图像增强方法与基于深度学习的图像增强方法,这些方法利用多视角成像系统捕获的图像数据,不仅能够显著提升图像的质量,增强细节的可见度,还能在多种环境条件下提供更为可靠的视觉支持。
然而多视角成像与图像增强技术在实际应用中仍面临诸多挑战。例如传统的成像设备通常由复杂且笨重的光学系统和低效的数据处理模块组成,限制了其在高性能和小型化方面的应用潜力[10]。同时,数据处理与融合的复杂性、算法的实时性要求,以及对系统成本的严格控制等都是当前技术发展中的瓶颈[11]。因此,对多视角成像与图像增强的硬件和算法进行优化,提升其在复杂环境下的应用效果,已成为当前研究的热点。本文综述了基于多视角的成像与图像增强方法的最新进展,分析了不同成像系统的性能特点与图像增强技术的具体方法,并展望这些技术未来的发展方向。通过全面的分析和讨论,旨在为研究人员和工程师提供有价值的参考,以推动多视角成像技术在智能制造、精密测量、机器人探索等领域的广泛应用与深入发展。
1 传统多视角成像技术
依据成像原理的不同,传统的多视角成像系统可以分为2类:一类是基于多个固定或协同工作的相机构建的多视角成像系统,另一类是利用运动载体进行动态多视角成像的系统。
1.1 基于多相机的多视角成像系统
基于多相机的多视角成像系统采用多个相机从不同角度捕获目标的成像系统,可以在长距离、宽视场、大范围以及光照不佳等条件下实现对场景的良好感知。相比于单目成像系统,多目相机成像可以捕获信息在空域、时域、频谱等维度的丰富特征,以此实现更高质量图像的重建[12]。
多相机阵列成像系统需要精密的光学与机械设计,同时面临着同步问题与视差校正的挑战。Brady等[14]在传统阵列相机的基础上,提出了多尺度设计的概念,实现了阵列相机多视角成像系统的小型化。为解决多尺度阵列相机标定时间长、布置设计复杂的问题,Yuan等[15]开发了一种非结构化阵列相机系统,该系统采用分层模块化设计,多尺度混合相机组成不同的模块,可以自适应地分配图像资源,从而大幅降低硬件成本,并具有高度的灵活性、鲁棒性和多功能性,能够进行大视场高清图像的拼接,如图2a和图2b所示。此外,阵列相机多视角成像系统的三维视场有限,无法捕获大尺度场景的光场信息。为此,Wang等[16]设计了多相机成像系统,将多个视场逐渐变化的相机组合在一起,通过计算多视角图像中三维空间点的深度,根据深度信息可以生成大视场的全景图像,如图2c所示。
基于多相机的多视角成像系统整合多个相机的视角信息,能够提供传统单目系统难以企及的性能。系统的小型化和高性能化需求正在推动多相机阵列从传统的精密光学和机械设计,向更加灵活和适应性强的方向发展。进一步结合深度学习和人工智能技术,以提升图像配准、视差校正和数据处理的效率和精度,从而实现更为智能化的感知与决策能力。
1.2 基于运动载体的多视角成像系统
基于无人机的多视角成像系统是指利用无线遥控装置或机载程序操控的非载人飞行器搭载成像系统的摇杆设备,相比于其他多视角成像系统具有灵活性好、成像范围广、成本低等优势,但容易受到环境的影响,常用于环境监测、地理测绘、军事对抗等领域[22]。系统搭载不同的成像设备,能够完成不同的多视角成像任务。可搭载红外成像系统,可以实现低成本、高空间、高光谱的多视角图像数据采集方案,能够精准分析农业气象条件、作物表型等参数的空间变异性和相互关系[23-24],如图4a所示。通过搭载红外与可见光图像传感器,无人机可在一次飞行中采集同一场景的可见光与红外图像,通过将低分辨率、缺乏纹理信息的红外图像与可见光图像叠加,形成一幅具有纹理的红外图像,利于后续巡检、救灾等任务[25]。配合激光指示器与激光跟踪器等设备,无人机多视角成像系统还可以实现自动对准、目标精确定位和惯性跟踪等功能[26],如图4b所示。
基于机械臂的多视角成像系统,又称为随动成像单元眼在手系统,成像单元安装在机器人手臂末端,通过改变成像单元的位姿实现多视角成像,所采集的图像具有较高的空间分辨率,再结合相关技术能够实现图像增强任务,具有位置灵活、稳定性好等优势,适用于室内环境多视角成像[27-28]。手眼标定是基于机械臂的多视角成像系统中的一个关键步骤,其目的是确定成像单元与机械臂末端之间的相对位置和姿态,从而实现精准的多视角成像[29]。Zhan等[30]在线识别了手眼动态参数,所识别的参数被用于机械臂多视角成像系统,获得了良好的定位性能。Pachtrachai等[31]将识别出的手眼同构变换矩阵用于机械臂辅助微创手术的多视角成像与控制系统,提高了成像精度与控制性能。Wang等[32]使用对偶方程确定世界坐标与手眼变换方程,将其应用在单目多视角成像系统中,如图5a所示。Chen等[33]利用手眼矩阵的优化模型,设计了位置误差更低的双目机械臂多视角成像系统,如图5b所示。
基于云台的多视角成像系统是指将伺服云台与成像元件相结合的成像系统,能够实现短时间360°大范围的图像采集,相较于其他多视角成像系统具有成像速度快等优势,但视场范围相较固定[38]。Murray等[39]最初研制的双目多视角成像云台,采用直流伺服电机和谐波齿轮减速箱,具有较好的回转精度,能够实现对目标的简易跟踪。Nebeluk等[40]提出一种基于云台相机的多视角成像伺服机器人,通过模型预测控制能够保持跟踪目标始终在图像的中间位置。Cao等[41]采用粒子滤波的伺服策略,设计了一种云台多视角成像系统,具有较好的成像性能与跟踪鲁棒性,如图7所示。Guo等[42]研制的一种微型机载云台视觉伺服装置,在运动状态下能够保持相机光轴的稳定,获取清晰的图像并对目标进行检测和跟踪。侯凡等[43]提出一种适用于排水管道的机器人云台成像系统,能够在狭窄的管道环境中实现相机360°转动拍摄目标,具有较好的精度和可靠性。
基于运动载体的多视角成像系统通过机械驱动的方式,显著扩展了成像的灵活性和应用范围,能够在复杂和动态的场景中实现高精度的图像采集和处理。不同载体各具特色,在灵活性、空间分辨率和快速全景采集等方面展现了独特的优势。通过技术整合,能实现图像配准、超分辨率重建等高级图像处理功能,为各领域的智能化和自动化发展提供强有力的技术支撑。
1.3 性能对比分析
表1列出了传统多视角成像系统的成像原理、附加元件类型、动态成像可行性、成像精度、系统成本及主要性能特点。传统的多视角成像系统,系统成本普遍偏高且成像精度低。多相机成像系统的成像原理简单、设计方便,但系统标定复杂;基于运动载体的多视角成像系统灵活性好、成像范围更广,可适用于不同的应用领域。
表1 传统多视角成像系统性能分析对比Tab.1 Performance analysis comparison of conventional multi-view imaging systems |
| 附加组 件类型 | 动态成像 可行性 | 成像 精度 | 系统 成本 | 优越性 | 局限性 |
|---|---|---|---|---|---|
| 多相机 | 是 | 中 | 低 | 成像原理简单、距离远、视野宽 | 系统标定复杂、成像处理时间长 |
| 无人机 | 是 | 低 | 高 | 灵活性好、成像范围广 | 仅适用于高空成像、对天气有要求 |
| 机械臂 | 是 | 低 | 高 | 成像角度灵活、位置调整能力好 | 运动控制复杂、维护成本高 |
| 转台 | 是 | 中 | 高 | 视角覆盖均匀、适用于全景成像 | 成像视野固定 |
2 虚拟多视角成像技术
虚拟多视角成像技术是在相机前布置一定的光学元件,利用光学元件的排列与设计,改变视轴光束的指向,实现单个相机在固定位置情况下,进行多个视角的信息采集,相当于通过多个虚拟相机捕获目标。根据光学元件的不同,虚拟多视角成像系统包括基于镜面反射的虚拟多视角成像系统、基于光栅衍射的虚拟多视角成像系和基于棱镜折射的虚拟多视角成像系统[44]。
2.1 基于镜面反射的虚拟多视角成像系统
基于镜面反射的虚拟多视角成像系统,与其他的成像系统相比,成像原理简单,结构形式灵活,它可以仅通过单个相机和一组反射镜就能实现多视角成像,需要根据具体应用需求设置不同的镜面排布方式。根据反射镜的结构特点,镜面反射又可以分为平面反射镜和曲面反射镜2类[45]。
相机可以与平面反射镜结合实现多视角成像,在动态场景、参数结算、三维测量、误差矫正等方面具有相对优势。Yin等[46]设计了平面镜虚拟多视角成像系统,可以同时从3个不同的视角捕捉被测物体的变形图像,系统包括1个真实相机和2个由平面镜实现的虚拟相机,并通过校准和相位补偿技术实现非接触、高精度的动态场景多视角成像。文献[47-48]报道了利用平面反射镜,对多相机进行自动校准,实现虚拟成像系统参数的高精度解算,如图8所示。此外,Pan等[49]设计了正交平面镜多视角成像系统,能够同时捕捉和重建反射镜形成的目标前后表面的虚拟表面,根据每个状态下的表面形状,可以测量两个表面和厚度方向的三维变形。Gluckman等[50-51]借助4块平面反射镜搭建虚拟多视角成像系统,设定镜面的限制条件减少矫正误差,将成像的外极几何自由度从7个减少为6个,证明了用平面镜进行多视角成像替代传统多相机成像的可行性。
曲面反射镜配合相机能够实时高速全向成像,可以应用于自主导航、虚拟现实和远程监控等多个领域,其主要结构包括:椭圆面、双曲面、抛物面等[52]。椭圆镜面可以减少虚像,系统尺寸更小,新型成像系统由2个大小和椭圆度不同的椭圆镜组成,可以通过镜面扫描动态捕获多视点图像[53]。为克服部分区域被遮挡的问题,结合双曲面反射镜的全景相机可以安装在房间入口或墙壁等角落实现各个区域的多视角成像。此外,利用双曲面镜折射的几何特性,成像系统还可以估算横向移动目标的具体方位[54]。在抛物镜面多视角成像系统中,相机与成像目标分别设置在镜孔的两侧,通过求解点扩散函数位置变化的线性关系,能够重建出特定深度的清晰图像[55]。利用抛物面切平面与单个相机结合,可以实现虚拟相机阵列,引入单向镜来防止相机本身出现在图像上,以稳健、低成本的方式获取动态光场作为多视角图像[56],如图9所示。另外,通过抛物面镜、远心镜头和中性密度滤光镜的组合,可以实时捕捉大范围的场景辐射,以光学方式扩展机器人全景视觉可感知动态范围[57]。
2.2 基于光栅衍射的虚拟多视角成像系统
在基于光栅衍射的虚拟多视角成像系统中,被观察目标的多角度成像光线通过衍射光栅汇聚到相机。结合衍射成像模型,将各阶衍射图像进行匹配,能够重建被测目标的三维信息[58]。与基于棱镜阵列或相机阵列的成像系统相比,衍射光栅多视角成像系统具有无球差、少干扰、低成本等优点。
衍射光栅多视角成像系统结合空间滤波的方法能够对衍射图像阵列进行多深度提取,系统的深度分辨率维持恒定,与探测目标的深度无关[59],如图10A所示。通过单色光源照射测试样品,放置在相机前方的衍射光栅可产生样品表面的两个横向间隔的一阶衍射视图,2幅视图均被相机捕获,可用于测量物体表面的三维位移与应变[60]。光栅衍射成像存在噪声、伪像和模糊等问题,Jang等[61]利用衍射光栅成像系统提供的多组视差图像,通过对每组视差图像进行滤波与重叠,可以减少视差图像受到相干光源产生的斑点噪声,如图10B所示。针对伪像和模糊等问题,将多个个体的信号通过计算重建方法进行整合,可以减少光栅成像中的伪影和模糊[62]。
2.3 基于棱镜折射的虚拟多视角成像系统
在基于棱镜折射的虚拟多视角成像系统中,入射光线透过棱镜发生折射被相机接收,产生与入射法线对称的虚拟成像视角。根据镜子的数目与状态,可以分为二分棱镜、棱镜阵列、微透镜阵列和旋转棱镜。
Lee等[66]首先使用二分棱镜进行多视角成像,提出虚拟点的概念,利用光学原理推导出2台以真实相机为轴的对称虚拟相机,如图11a所示。单个相机与二分棱镜结合能够在单次拍摄中获取同一目标的不同视图,基于几何分析,可以建立棱镜参数与系统FOV之间的关系式[67],如图11b所示。利用无模型图像畸变校正方法可以纠正双棱镜折射造成的图像失真,简化图像对的匹配,使高精度三维形变测量成为可能[68]。使用2个二分棱镜和单个相机能够克服传统双目相机规格与同步机制上的差异,利用同轴照明可以对狭窄区域进行测量[69]。基于双二分棱镜的虚拟双目成像系统分析棱镜折射和目标表面反射光的路径,通过多频外差法和立体匹配、双目标定能够得到被测目标的深度信息并重建点云[70],如图11c所示。
微透镜阵列由多个透镜组成,能够捕获包括视差和连续视点的三维场景信息,广泛应用于多视角光场信息的采集,具有大视场、低像差及无限大的景深等特点。Stevens等[76]利用微透镜阵列设计了基于整体摄影的多视角三维成像系统。Lumsdaine等[77]通过增加微透镜阵列与光敏传感器之间的距离,并在空间和角度之间进行均衡,设计了便携小型化的聚焦性光场成像系统,同时提出一种光场图像增强算法,提高了成像系统的最终分辨率。Cha等[78]将微透镜阵列应用于高动态范围成像,设计了一种可变孔径多视角成像系统,该系统由可变光圈、微透镜阵列、间隙垫片和CMOS图像传感器组成,能够在单次曝光下捕捉不同光圈的低动态范围图像,并通过重建算法实现超越初始图像的扩展动态范围,以及无运动伪影的高分辨率。此外,微透镜阵列还可以应用于仿生复眼领域,Bae等[79]利用光刻胶热回流技术,制得200 μm级多焦点微透镜阵列,并实现了在单个图像传感器上生成多焦点图像,扩展了复眼相机的景深范围。
旋转棱镜又称Risley棱镜,能够动态调整相机视轴,在指向精度、扫描范围及环境适应性方面具有明显优势。本课题组在基于Risley棱镜的多视角成像技术方面进行了一系列的研究,结合Risley棱镜的成像原理与系统特点,首先提出了基于动态虚拟相机的三维计算成像架构,通过旋转棱镜来调整相机孔径,从不同的视角捕捉物体,简化了立体矩阵和轮廓重建的计算过程[80]。在大视场三维成像方面,将相机与双棱镜同轴安装,通过旋转Risley棱镜,产生虚拟阵列相机,以实现虚拟相机场构建能够从不同角度捕捉多帧图像,产生的点云数据可用于三维重建等领域[81],如图12所示。此外,本课题组提出了基于Risley棱镜的成像反馈快速定位目标跟踪方法[82]、基于Risley棱镜的空间自适应多视角三维成像方法[83]等。通过这些研究与应用的拓展,Risley棱镜在多视角成像技术领域的潜力得到了进一步的挖掘和实现,能够为相关领域的技术进步和创新提供坚实的基础。
综上,虚拟多视角成像技术通过前置光学元件,实现单个相机在固定位置情况下的多视角信息采集。基于镜面反射的虚拟多视角系统能够实现高精度的动态场景捕捉和三维测量。光栅衍射技术的引入使得虚拟多视角成像系统能够在深度提取和视差图像处理方面展现出更好的性能,尤其是在低成本、无球差和少干扰的成像需求下,表现尤为突出。而基于棱镜折射的系统则进一步提升了系统的视角范围和成像精度。相比传统多相机系统,这些方法有效简化了系统设计,还能显著降低硬件成本,提升系统的灵活性和便携性。
2.4 性能分析对比
如表2所示,相比于传统的多视角成像系统,虚拟多视角成像系统成本更低,成像精度高,同时兼顾更广的成像范围,但光学元件的布置设计与系统标定较为复杂。值得注意的是,虚拟多视角成像技术与传统的成像系统结合,可以兼顾两者优点,能够为成像系统的功能集成化提供重要的发展方向。
表2 虚拟多视角成像系统性能分析对比Tab.2 Performance analysis and comparison of virtual multi-view imaging systems |
| 附加组 件类型 | 动态成像 可行性 | 成像 精度 | 系统 成本 | 优越性 | 局限性 |
|---|---|---|---|---|---|
| 平面镜 | 否 | 中 | 低 | 成像原理简单、结构灵活 | 成像质量有限 |
| 曲面镜 | 否 | 中 | 低 | 聚焦光线、视野开阔 | 镜面形状精度要求高 |
| 衍射光栅 | 否 | 中 | 中 | 适用多光谱图像采集 | 光照要求高、成像时间成本高 |
| 二分棱镜 | 否 | 中 | 低 | 系统轻巧便携 | 成像质量低、视野受限 |
| 棱镜阵列 | 否 | 中 | 中 | 设计灵活、可以控制多路光束 | 设计和制造难度增加 |
| 微透镜阵列 | 是 | 中 | 中 | 大视场、低像差、大景深 | 光线损失、深度感知受限 |
| 旋转棱镜 | 是 | 高 | 低 | 系统集成、扫描范围广、环境适应性强 | 系统校准困难、成像原理复杂 |
3 多视角图像增强方法
多视角图像增强方法通过结合多个视角下的图像信息,可以更全面地捕捉场景的光照和结构特征。在低光照环境下,相机捕获的图像往往因曝光不足而呈现出较低的画质,导致图像整体显得昏暗,从而显著降低了视觉体验。这种现象在图像的暗部区域尤为明显,细节丢失严重,对比度降低,色彩还原度差,导致在自动驾驶、监控系统等领域的应用受到严重影响。传统的图像增强技术通过对单张图像进行统一的亮度和对比度调整[84]。然而,这种方法存在的问题是它可能会对图像中已经曝光过度的区域造成进一步的增强,从而导致这些区域的细节进一步丢失,甚至出现高光溢出,影响图像的整体质量。根据增强方法的原理,利用多视角进行图像增强方法可以分为传统多视角图像增强方法和基于人工智能算法的多视角图像增强方法。
3.1 传统多视角图像增强方法
将多视角成像系统获取的图像组进行融合,利用不同视角图像中的互补信息,实现对图像细节、对比度以及分辨率的显著增强,不仅能提高图像的视觉效果,还能提升其信息量,为后续的分析与应用提供更可靠的图像数据支持。
作为多视角图像融合增强的基础,图像配准是将在不同时间点内捕获的多视角图像在空间上进行对齐和匹配的过程,广泛应用于医学诊断、遥感检测等领域[85]。这个过程不会直接增强图像的视觉效果,但能够为后续的多视角图像分析或融合提供准确的空间对应关系,主要可以分为基于灰度信息的方法、基于变换域的方法及基于特征的方法[86]。Wells等[87]最初基于灰度信息的方法,通过调整图像像素的相对位置和方向,使配准图像间的互信息最大化。Li等[88]结合正余弦机制与混沌映射策略,提出了一种从粗到精的灰度信息分层配准方法,具有较好的鲁棒性,如图13所示。这种方法实现简单,可用于各种多视角成像设备,但缺乏利用空间信息,容易陷入局部极值而导致误配。Kuglin等[89]提出了相位相关法,通过变换域结合互补功率计算待配准图像间的平移量,提升了一定的配准精度,但这种方法仅适用于有平移关系的图像,配准速度慢,使用范围有限。Ordonez等[90]基于特征的方法,利用加速鲁棒特征(speeded-up robust features,SURF)算子通过选择图像的特定波段,并调整关键点描述符和匹配阶段,以充分利用图像的光谱信息,提高了配准的有效性。基于特征的方法计算效率高、鲁棒性好,但特征提取的过程相对复杂,针对参数复杂的模型时,配准效果较差[91]。
多视角图像融合是在配准后的图像基础上,将来自不同视角或传感器的图像信息进行综合处理,以生成一幅更具信息量、更高质量的图像。通过多视角信息的融合,图像能够包括不同图像所包含的时空信息,从而提高图像的质量和信息量,比如提高分辨率、增强对比度、扩展动态范围等,能够满足复杂应用的需求。
通过传统的多视角图像融合技术实现图像增强始于2011年,Rajpoot等[92]引入多视角图像融合的概念,通过对比单视角图像和多视角融合图像的质量和信息量,发现多视角融合图像在解决视野限制和提升图像质量与信息量方面具有显著优势。在此研究基础上,Rubio-Guivernau等[93]提出了应用于多视角图像领域的小波融合算法,将各视角图像的互补矢量信息进行合成,实现融合图像的细节改善和对比度增强,如图14所示。Zhang等[94]针对单视角图像可获取信息的局限性,提出了一种多视角图像非相干叠加融合的算法,完成了识别目标的轮廓连续表示。Zhang等[95]提出一种多视角声呐图像融合方法,将不同噪声、强度、形状的多视角图像通过小波变换和方向滤波器进行融合,增加了冗余信息,实现了多分辨率描述和细节的增强。Richter等[96]设计了一套多视角图像融合成像系统,通过算法对不同偏振序列的图像进行融合,实现了高质量多通道叠加成像。Xue等[97]提出了一种面向群体感知的融合算法,其按照不同视角图像的外观进行融合权重的分配,通过一个优化目标函数进行判别,实现输出融合图像的最优化。
相较于视角与目标位置固定的静态场景,物体或相机处于运动状态时,同一视角下的相机坐标系并不一致,利用多视角图像增强技术进行融合时,会存在鬼影等问题。Pece等[100]通过简单的二进制运算,在包围式曝光序列中检测移动像素群,能够在不引入伪影的情况下处理动态场景,但这种方法受像素亮度和纹理影响较大,适用范围有限。Liu等[101]提出了一种基于密集尺度不变特征变换的多视角多曝光图像融合方法,利用尺度不变特征变换(scale invariant feature transform,SIFT)算子从源图像中提取局部细节,并去除动态场景下的鬼影,然而这种方法使得非参考图像的所有像素均被识别为运动像素,而不是只有运动物体的部分区域,未实现融合的最优效果。Xue等[102]引入立体视觉技术,对动态多视角图像进行特征匹配,并结合随机漫步框架对未知亮度的像素点进行融合,实验结果表明,这种方法适用性更强、准确性更高。
综上,传统多视角图像增强方法主要依赖特征算子、小波变换等方法实现多视点图像的配准与融合,通过充分整合和利用不同视角间的互补信息,从而显著增强图像的质量和信息量。尽管在特定应用场景中传统方法已经相当成熟,但面对多样化和复杂成像需求,其仍具有明显的局限性,包括:计算效率低、适应性差以及易陷入局部极值等问题。正是这些不足之处,为深度学习算法在多视角图像增强领域的应用提供了机遇。
3.2 基于深度学习算法的多视角图像增强方法
近年来,随着深度学习技术的快速发展,多视角图像增强方法也得到了显著的进步。这些方法利用深度学习模型的强大特征提取能力,对多个视角的图像进行多维度分析和处理,以增强图像质量。
在多视角图像配准方面,Wu等[103]率先将深度学习技术应用于医学图像配准,构建了一个堆叠的双层卷积网络,寻求多视角图像的分层表示,并取得了很好的配准结果,表明能够利用深度学习使用图像数据的自适应特征来改进图像配准。不同成像模式下的组织外观差异很大,传统的配准方法难以正确的选择相似性度量,Simonovsky等[104]提出了一种基于卷积神经网络的度量方法,只需要几对对齐的多视角图像就能实现主体的可变性配准。然而,上述方法用于配准的卷积神经网络的训练都是在预先定义的配准示例的监督下进行的,获取配准示例存在挑战。针对这一问题,文献[105]提出了用于无监督仿射和可变性图像配准的深度学习框架,避免了对预定义配准示例的需求,提高了网络训练的便利性。Kori等[106]将预训练技术引入到图像配准中,预训练的深度神经网络能够实现对图像关键点的自动估计,具有很强的鲁棒性。除了上述的卷积神经网络,不少学者对生成对抗网络(generative adversarial network,GAN)、Transformer等新模型在多视角图像配准领域的应用展开探索。Xu等[107]提出了一种具有严格约束条件的GAN模型,能够自动学习多视角图像的最佳配准方法。Wang等[108]在可变形多视角图像配准问题中引入了注意力机制,并使用Transformer模型来学习变形场,在解决图像配准任务的稳定性和高效性问题方面显示出了良好的效果。
将深度学习技术应用于多视角图像融合领域,能够提供通用高效的融合网络框架,这种融合不仅提升了图像的视觉质量,还增强了图像在各种场景下的应用潜力。Liu等[109]使用卷积神经网络,克服了传统融合算法不能同时兼顾多视角融合与多模态融合的问题,展示了神经网络在多视角图像融合问题上的潜力。然而在处理大规模和高维图像数据时,融合网络的计算复杂性较高,实用性降低,针对此问题,Luo等[110]利用形态分解,提出了注意力特征集成的多视角图像融合网络,提高了复杂环境中多视角图像融合的效率和有效性,如图16所示。面对多视角图像标签缺乏的问题,Jung等[111]提出了一种用于图像融合的无监督学习框架,可以在不参考实际标签的情况下,通过训练单一的前向网络生成保留源图像细节的融合图像,适用于各种图像融合问题,包括多视角、多曝光图像融合。Xu等[112]提出的无监督端到端图像融合网络,利用特征提取和信息测量,可以自动估计相应源图像的重要性,以解决不同的图像融合任务。上述多视角图像融合的结果可以与经典的图像增强技术相结合,进一步提升图像质量,实现更为高效的图像增强效果。
深度学习技术的核心优势是其端到端学习的能力,可以针对特定应用场景设计定制化的网络架构和训练策略。利用这种灵活性,可以开发出能够直接从输入图像生成增强效果的端到端多视角图像增强解决方案,不仅能提高处理效率,而且能够根据具体需求优化图像质量,实现更加精细的图像增强效果。在超分辨率重建方面,Xiao等[113]提出了一种名为CutMIB的多视角图像增强网络框架,通过在同一位置切割每个视图中的低分辨率补丁,CutMIB网络将所有低分辨率补丁混合生成混合补丁,再将混合补丁粘贴到高分辨率视图的相应区域。这就实现了让超分辨网络在训练阶段学习到隐含的几何信息,提高了超分辨网络的性能,同时保持其结构不变,在实际应用中还能够有效去噪。在低照度可视增强方面,Wang等[114]利用深度学习技术,提出了一种高效的低照度图像增强网络框架,在单个网络中使用多头执行中间任务,包括去噪、亮度调整、细化和细节增强,实现从小比例到全比例的渐进式低照度可视增强,如图17所示。然而,上述方法的网络模型较大,向前推理速度缓慢,且未充分利用多幅图像间的视角差异与信息交互。Ji等[115]提出了一种新型的多尺度图像交互网络,将图像的特征按不同尺度进行融合,实现了以更低的计算成本、更快的速度完成多视角图像间的信息交换,对弱光环境下的图像进行了改善与增强。
此外,深度学习技术为动态场景下的多视角图像增强与融合技术提供了更加高效的架构,能够有效克服鬼影等问题。Peng等[116]利用基于深度卷积网络的光流方法将动态场景下的多视角图像序列进行对齐,并设计了名为MergeNet网络用于融合对齐后的图像组。这种结合光流方法与深度学习算法的融合方法在动态场景下去除鬼影的效果优于传统方法。然而,利用光流法进行图像对齐存在鲁棒性有限的问题,Yan等[117]提出了双注意力引导的端到端深度神经网络(DAHDR-Net),该网络由空间注意力和特征通道注意力2个子网络组成,空间注意力模块会自动抑制由错位和饱和度引起的非必要成分,并增强非参考图像中的精细度,而通道注意模块通过考虑通道之间的相互依赖关系,自适应地调整通道特征的大小。这种端到端的注意力网络机制,不仅能生成高质量的无鬼影融合图像,在鲁棒性方面也超越了传统方法。
综上所述,随着多视角图像增强技术不断进步,尤其是深度学习技术的发展,增强算法将能够更加精准地识别和融合多视角图像中的复杂特征。然而,深度学习技术在图像增强应用中仍存在着很多挑战,如对大量标注数据的依赖、计算资源的高消耗、模型的黑箱决策过程以及模型的复杂性。未来的研究将可能集中在如何根据不同应用场景定制化融合策略,提升深度学习模型的实用性和可靠性,以最大化发挥人工智能算法在多视角图像配准、融合与增强领域的优势。
3.3 多视角成像与图像增强技术的应用
多视角成像与图像增强技术广泛应用于自动驾驶、智能制造、机器人导航等领域。例如:在自动驾驶领域,Hazarika等[118]设计了一种多相机成像系统,用于捕获车辆周围目标的图像。该系统通过汇总来自不同视角的图像信息,预测车辆的三维属性,并结合视觉Transformer模型进行图像增强与融合,有效克服了传统方法在处理遮挡区域时深度图估算不准确的问题。这一方法不仅提升了自动驾驶系统对周围环境的感知能力,还增强了其在复杂场景下的适应性。此外,Liu等[119]通过部署多个鱼眼相机,收集车辆周围的环视信息,同时结合红外热成像仪和毫米波雷达等其他成像技术,获取夜间或低照度条件下的前视信息。之后,利用环视图像融合算法和前视图像融合算法,对采集的图像信息进行增强处理,最终结合深度学习智能检测算法,提供精确的检测结果。这些技术的整合,为自动驾驶车辆的视频监控系统提供了更强的环境监控能力,并在极端条件下保证了系统性能的稳定性。
在智能制造领域,多视角成像与图像增强技术多用于生产过程中的产品质量检测。如Chen等[120]设计的BubCam智能协作成像系统用于对工厂生产的油墨袋进行自动检测,能够估算油墨袋中可能影响印刷质量的气泡体积。该系统部署了多个无线相机,通过多视角传感实现更高的精度。为了节省无线相机的功耗,针对配置适应问题,开发了一种基于强化学习的解决方案,根据气泡存在和光反射的变化调整每个无线摄像头的运行模式和帧率。最后,利用深度学习技术,对获取的多视角图像进行了深度融合与图像分割,在实验室测试平台和实际工厂试验中进行了评估,结果表明,BubCam智能协作成像系统与人工检测方法相比,BubCam的准确性提高了1.34倍,延迟时间大大缩短,其系统设计如图18所示。吴玉生等[121]深入探讨了多视角成像与图像增强技术在烟草在线检测视觉系统的具体应用,包括烟丝异物检测、烟支缺陷检测和烟盒外观检测3种检测过程,每种检测过程针对其特点与问题,涵盖不同的视觉成像设备与图像检测算法,并详细阐述了深度学习模型在提高检测准确性和效率方面的应用价值,指出了这一技术在烟草工业检测中的发展潜力。
本课题组在多视角成像与图像增强技术领域的研究成果不仅推动了成像技术的发展,也为机器人视觉等多个行业提供了创新的解决方案。我们采用虚拟多视角成像技术,通过旋转棱镜调整相机视轴,实现对大范围场景的分区成像。在此基础上,设计了图像预定位拼接算法,通过预先定位的重叠子区域,有效降低了图像拼接过程中的计算量和时间消耗。这种成像方法不仅提高了图像的拼接效率,而且生成的全景图像具有大视场和高分辨率的特点,拼接效率的提升幅度为21.89%~39.38%,对于军事侦察、遥感监测和红外搜索等需要兼顾场景搜索与目标辨识的应用场景具有重要的实用价值[124]。
综上所述,基于多视角的成像与图像增强方法将更加精准地应用于各种复杂场景,它们将为这些领域提供更加高效、智能的视觉解决方案,在提高生产效率和保障产品质量方面发挥关键作用。
4 总结与展望
智能成像已经走向了广泛的应用实践,涵盖了智能制造、机器人导航、自动驾驶和航空航天等多个领域。本文综述了多种多视角成像技术和图像增强方法,详细分析了各个多视角成像系统的性能特点以及在不同应用场景中的独特优势。传统的多视角图像增强方法相对成熟,但在处理高复杂度图像时,其性能往往受限于算法的固定模式和有限的参数调整能力。基于深度学习的图像增强技术通过学习丰富的图像特征,能够在更广泛的应用场景中提供更为精确的增强效果。
随着应用需求的不断增长,多视角的成像与图像增强技术仍然面临诸多挑战。成像系统的动态成像可行性、视场范围、成像精度、设计成本等关键指标相互制约,多元化的图像数据要求研究者根据具体应用场景设计合适的增强策略,以兼顾系统、算法等多方面需求。未来多视角成像和图像增强技术的研究重点包括:
1)小型化与低功耗的多视角成像系统。随着技术应用领域的不断拓宽,特别是在对设备体积重量和功耗要求严格的机器人技术领域,研究者们更加专注于开发更为小型化和低功耗的多视角成像系统。这一趋势促进了轻量级硬件组件和高效图像处理算法的创新,实现性能、便携性与节能性之间的优化平衡。随着微纳光学技术的进步和超构成像技术的进步,预计未来的多视角成像系统将能够在保持高分辨率成像能力的基础上,大幅减小体积和降低能耗,为复杂环境下的成像提供更加高效和可靠的解决方案。
2)高效的多视角图像增强计算技术。未来研究应在保证实时性的同时,进一步提高多视角图像增强的效率和精度,尤其是在处理高分辨率、大规模多视角图像数据集时。深度学习特别是大模型技术在增强算法中的应用将继续拓展,通过基于深度学习的大模型整合多视角信息,自动学习图像增强的最佳策略,并结合模型压缩和加速等技术,使这些大模型能够在资源受限的设备上部署,实现更加智能、高效和安全的图像处理能力。
3)多模态数据的高效集成研究。多视角成像技术将越来越多地与其他传感器(如红外、激光雷达等)相结合,以提供更全面的环境感知能力。未来的研究应探讨如何将来自不同传感器的数据进行有效整合,以提供更为全面和精确的环境感知,这包括数据同步、特征级融合、决策级融合、信息优化和智能处理等策略,以及在特定应用场景下的实际表现。通过这些研究,未来的多视角成像与图像增强技术将能够提供更加丰富和可靠的感知能力,以适应复杂多变的应用环境,在各个领域发挥关键作用。