散射介质中的成像过程是指光在经过如水体、大气等散射介质时,由于介质中的微粒或分子对光的散射作用,导致光在传播过程中发生方向、强度和偏振状态的改变,从而影响成像系统接收到的光学信息的过程[1-2]。散射介质中的偏振图像数据集对更好地理解和分析不同散射介质的偏振成像的特点和规律,并开发更为精准和有效的处理算法具有重要意义[3⇓-5]。
目前,散射介质中真实偏振图像数据集较为常见。Ding等[6]通过将线性偏振片放置在CCD相机前面,旋转偏振片角度,获得了自然散射环境下的彩色偏振图像数据集。由于相应清晰图像难以获取,因此使用了一系列图像增强算法获取的结果作为真值图像,使得该数据集缺乏可靠性。Shen等[7]搭建了搭载双目偏振相机的水下机器人系统,采集了真实的水下偏振马赛克视频序列,但也缺少对应的真值图像。另外一些真实偏振图像数据集是在实验室条件下取得[8⇓⇓-11],通常是引入偏振光照明,使用偏振相机接收场景反射信号。首先获取一组清晰图像,之后通过不断增加散射介质的方法获取不同散射条件下的偏振图像。此类方法的应用较为普遍,但由于实验室中的散射介质和光照条件无法模仿复杂的散射介质中的退化过程,使得一些依此数据集评估图像恢复的算法对真实散射环境的适应性较差。为了解决此类问题,研究者尝试设计散射环境下的模拟偏振图像数据集。Ba等[12]利用仿真模拟的RGB彩色图像以及表面法向量根据菲涅尔公式反演求得偏振图像,由于目标表面往往同时存在漫反射与镜面反射,但利用菲涅尔公式反演推理偏振图像时往往假设只有单一反射的存在,这会导致偏振信息估计不准确;Shi等[13] 首先获取清晰的偏振图像,之后获取到其深度信息,最后使用散射退化模型获得退化图像;Zhou等[14]利用清晰图像和其深度图以及语义图,并结合随机生成的退化和偏振参数,先合成散射退化图像,再合成散射退化的偏振图像。现有方法只能合成特定场景下的退化场景,对于同一目标在不同环境下的散射退化无法进行模拟,因而无法有效评估图像恢复算法的鲁棒性。
为了解决以上问题,本文针对常见的散射介质(雾天、水下)提出了一种新型散射介质中偏振图像模拟方法。 首先利用图像渲染器来精确模拟光的传播和偏振行为来生成无退化的偏振图像,再结合真实的散射环境图像获取相关退化参数,代入散射介质退化模型生成模拟散射偏振数据。与同类模拟方法相比,该模拟方案可以针对同一场景建立不同散射介质下的图像数据集,图像情况更符合真实散射退化情况。该方法为偏振图像复原算法的开发提供有效依据。
1 散射介质成像模型
1.1 偏振成像原理
Stokes向量是一个4维向量,用来描述偏振光的状态。它通常表示为(S0, S1, S2, S3),其中每个分量表示了不同的偏振信息,Stokes向量可以表示为
S= = 。
式中:I0°和 I90° 是光通过两个正交偏振片的透过光强度;I45°和 I135°是通过两个正负45°方向旋转的偏振片的透过光强度;Ilh和Irh是通过右旋圆偏振片和左旋圆偏振片的透过光强度。通过计算获得的Stokes参数,可以进一步计算入射光的2个主要偏振参数,即偏振度DoLP(degree of linear polarization)和偏振角AoP(angle of polarization),公式中用VDoLP和VAop表示:
VDoLP= ,
VAoP= arctan 。
偏振度是介于0到1之间的值,表示光的线偏振光成分在总光强中所占的比例。偏振角表示光的偏振方向相对于参考方向的角度。使用最大光强Imax和最小光强Imin来计算偏振度也是一种常用方式:
VDoLP= 。
1.2 散射介质非偏振成像模型
I(x,y)=D(x,y)+B(x,y)=J(x,y)t(x,y)+B∞(x,y)[1-t(x,y)]。
式中:I(x,y)表示成像设备捕获的像素(x,y)处的光强度值;J表示场景反射光,表示光到达目标场景后反射光的强度,即待恢复的图像;B∞为场景在无穷远处的强度,也称为散射光强度;t为传输图,表示经过散射退化后达到成像设备的场景反射光所占的比例;D(x,y)(direct transmission)为直接传输分量;B(x,y)(back scattering)为后向散射分量。成像过程的示意图可由图2表示。传输图t(x,y)与相机到物体的距离以及水下悬浮颗粒或空气中气溶胶的浓度相关,具体表达式为
t(x,y)=e-βz(x,y)。
式中:β被称为衰减系数,反映水下悬浮颗粒或空气中气溶胶的浓度;z(x,y) 表示每个像素点到成像设备的空间距离。
由公式(5)可得恢复图像的表达式为
J(x,y)= 。
在此模型中,获得待恢复图像 J(x,y)的关键步骤是对 t(x,y)和 B∞(x,y)的准确估计。
1.3 散射介质偏振成像模型
文献[20]假设场景反射光相比悬浮粒子发出的散射光具有更弱的偏振效应。进一步可假设直接透射光无偏振,偏振完全由后向散射光引起。由此引入散射介质的偏振成像模型。
通过旋转偏振片,可以获得强度分别为最大和最小的图像[21]:
式中:Imax、Imin 表示通过旋转偏振片得到强度最大与最小的两幅图像(Imax>Imin);I= Imax+Imin。
后向散射B的偏振度定义为
(x,y)= = 。
式中:Bmax、Bmin 表示后向散射部分强度最大与最小的强度值(Bmax >Bmin ),B= Bmax+Bmin。
后向散射B的偏振度计算可通过选取整幅图像中只包含后向散射的区域,即场景目标直接传输的部分不存在(D=0)。假设后向散射光强B已知,联立公式(5)和(9),得到
t(x,y)=1- =1- 。
式中:B∞(x,y)被假定为在图像I中排名前5%最亮的像素值的平均值; (x,y)取为后向散射区域B中的偏振度的平均值;公式(10)中B∞(x,y)与 (x,y)将转化为与像素位置无关的全局变量。所以公式(10)可以转化为
t(x,y)=1- 。
将公式(10)带入公式(7)可得恢复图像J。
2 偏振模拟数据集建立
2.1 模拟数据集框架
本文提出了结合计算机图形学与散射成像模型的模拟偏振图像的方法,在建立模拟散射介质的偏振数据集时,首先利用物理渲染器得到清晰无噪声的空气中的模拟偏振图像作为场景反射光;接着利用真实散射环境的彩色图像估计其散射光强度,并以此模拟4个偏振角度的散射光强度;随后利用渲染得到的深度图与利用真实散射环境的彩色图像估计得到的传输图融合得到RGB 3个通道的传输图;最后利用散射介质的成像模型即可合成模拟散射介质的偏振数据。具体的流程图如图3所示。
2.2 模拟过程
2.2.1 模拟偏振场景反射光J
假设已知目标的三维结构,赋予目标不同的材质与表面特征,设置环境光源,利用物理渲染器模拟光的物理过程,生成高逼真的偏振图像,以此作为模拟的场景反射光。具体的模拟步骤如下。
1)图像渲染器:渲染器的核心功能是模拟光线在三维环境中的物理过程,确定图像的最终亮度和色彩,生成二维图像。本文采用Mitsuba[22]渲染器,它具有高度的可扩展性、允许用户通过插件手段,灵活地更改目标材质与光源的特性。更重要的是,Mitsuba渲染器能够通过模拟真实的光学过程,支持生成高质量的偏振模拟图像。
3)目标材质:目标材质数据描述了物体表面的光学特性,包括漫反射和镜面反射、金属和介电质、粗糙和光滑等特性,以及在可见光谱范围内的反射率等信息。本文所使用的目标材质数据来自韩国科学技术院[25]。这些数据提供了关于材质、粗糙度、颜色、介电常数等外观参数的信息,帮助揭示双向反射分布函数与材质外观之间的关系。
4)光源设置:在渲染中光源起着至关重要的作用,决定了图像的照明效果,并直接影响图像的最终外观。本文中光源设置为复杂的环境光源[26],可以模拟真实环境中的复杂光照条件,增强图像的真实性和丰富性。
2.2.2 模拟散射光B∞与传输图t
散射介质光强度B∞通常根据图像中最亮像素得到。由于可能的人工光源或高反射目标区域的影响,这种选择缺乏鲁棒性。为了提高其鲁棒性,本文采用了基于四叉树的分步搜索方法来估计散射光强度B∞。将真实图像均分为4个相等的矩形子区域,计算每个子区域的像素均值与标准差之间的差值,选取差值最高区域作为下一个待选区域,重复此操作,直到候选区域像素数小于原始图像的1%。图5分别展示了估计水下和大气环境中B∞的示例。
由于真实的散射介质退化图像不含偏振信息,所以无法得到后向散射区域的偏振信息。本文中假设散射光均一,随机生成后向散射区域偏振度 ,取值范围为[0.05,0.4],并且随机生成后向散射部分强度最小的强度值Bmin的偏振角度θmin,取值范围为[0°,180°]。根据马吕斯定律[16],各个角度的散射光强度Bθ,∞为
Bθ,∞= 。
传输图t反映了光的衰减速率,其不受光的偏振方向的影响,因此模拟传输图t时不考虑偏振的影响。针对大气环境和水下环境光衰减过程的差异性,本文给出了不同的传输图t的模拟方案。
大气传输图t的模拟方案为:暗通道先验在估计大气传输图t过程中具有较好的稳定性。本文对大气中传输图t的模拟采用暗通道先验估计[29],并认为大气中不同通道的传输图t差异不大。
由暗通道先验方法可以得到大气传输图t的粗略估计 (x)为
(x)=1-w·minc∈{R,G,B} 。
式中:Ω(x)表示以像素x为中心的一个窗口;w为常量参数(0<w<1);Ic和Bc分别是探测器接收到的光强度和背向散射光强度在不同颜色通道下的值。w参数的引入是考虑到即使晴天环境空气中也有一定的散射粒子,引入该参量保留些许雾保证图像的真实性。
水下传输图t的模拟方案为:在真实水下环境,红色通道经常遭受严重的衰减,并且其强度迅速下降,导致其始终具有最低的强度。红色通道先验(red channel prior,RCP)估计充分考虑了红色通道的影响,对水下传输图t的估计具有较强的鲁棒性,其具体实现过程可参考文献[30]。最终得到的水下红色通道的传输图为
tR(x)=1-min{1- , , }≈0。
式中: 、 与 分别为水下散射光强度B∞的RGB三通道的值;JR、JG与JB分别表示场景反射光的RGB三通道的图像;Ω(x)表示为中心点x的局部邻域。
蓝色通道和绿色通道的传输图表示为
tG(x)=[tR(x) , tB(x)=[tr(x) 。
式中:
= , = ,
cλ=(-0.001 13λ+1.625 17)τ(λR)。
式中:λ是波长,本文选择红色、绿色和蓝色的波长分别为620 nm、540 nm和450 nm。τ(λR)是与红色光波长相关的固定值,在计算不同波长散射系数之间比例关系中可被消去。
至此,已知散射介质成像模型中的所有参数,可以利用公式(5)求得模拟散射介质中偏振图像为
(x,y)= (x,y)tλ(x,y)+ (x,y)[1-tλ(x,y)],λ∈{R,G,B},θ∈{0°,45°,90°,135°}。
3 算法测试与评价
为验证本文提出的模拟数据集的可行性及性能,本文在MATLAB平台上使用提出的算法完成了数据生成工作,并通过主观和客观评价对处理算法进行了性能分析。
为验证本数据集的有效性,本文进一步给出了在不同模拟场景反射光与不同真实散射环境组合模拟出的偏振图像,如图9所示。可以看出本文提出的模拟方法可以模拟出不同真实散射环境下的散射退化和颜色退化,并且由于在模拟过程中利用了场景的偏振信息与深度信息,使得模拟结果更符合散射环境中的物理成像模型。
进一步使用FID(Fréchet inception distance)指标[32]来评价生成数据与真实图像分布之间的差异。FID通过计算两个分布之间的Fréchet距离来衡量生成数据与真实数据分布之间的差异。Fréchet距离考虑2个分布的均值和协方矩阵,可以更好地描述两个分布之间的差异。其计算公式为
VFID=‖μr-μf‖2+Tr(σr+σf-2 )。
式中:Tr(·)表示矩阵对角元素之和;μf和μr分别表示2个分布的均值;σf和σr是2个分布的协方差矩阵。
在计算FID时,首先从真实数据分布和生成模型中分别抽取一组样本,然后使用预训练的Inception网络从这些样本中提取特征向量。计算两个分布的均值和协方差矩阵,最终得到FID值。FID值越小,表示生成模型生成的图像越接近于真实数据分布。
本文针对水下和雾天两种散射环境下的现有数据集分别进行了比较。针对水下环境,UIEBD数据集[33]使用增强的方法和大量主观实验生成的真实-模糊图像对,被广大研究者用于水下计算机视觉算法中,可以认为是水下真实图像数据集;EUVP数据集[34]通过cycleGAN网络生成水下退化图像的配对数据集,这是一种较新的水下图像模拟算法。针对雾天环境,本文比较了RESIDE数据集[28]中的生成雾天图像数据集和Zhou等[14]生成的雾天偏振图像数据集,以及O-HAZY数据集[35]中的真实雾天数据集。如图10所示,左侧3列为水下图像数据集,UIEBD作为标准数据集,EUVP为比较数据集。右侧4列为雾天数据集,O-HAZY作为标准数据集,SOTS和Zhou为比较数据集,由图10可知,本文生成的模拟图像数据集在雾天和水下情况下都更接近于真实图像结果,特别是在水下环境中,本文的生成效果十分接近于真实的配对图像。因此本数据集可以作为各种去散射算法的实验数据,也可以用于散射环境下的图像复原和检测网络的训练。
4 结论
本文利用图像渲染器精确模拟光的传播和偏振行为生成无退化偏振图像,结合真实散射环境获取退化参数,并结合散射退化模型生成了模拟散射介质退化图像。通过实验结果可以看出,水下图像和雾天散射退化的模拟均符合实际散射环境中的图像情况。进一步,通过分析其偏振度和偏振角可以看到,本文模拟的散射退化过程使得原有的偏振信息在后向散射中被不同程度的湮没,可以验证本文提出的散射介质的偏振图像模拟方法可以很好地反映偏振信息在散射介质中的退化情况。模拟偏振图像可以用于分析散射环境中目标与背景的偏振性质,通过与真实散射环境中偏振图像的恢复结果进行比对,可以为散射环境下的偏振成像算法改进提供宝贵的依据。