欢迎访问陕西师范大学学报(自然科学版)官方网站！

陕西师范大学学报(自然科学版) >

2024 , Vol. 52 >Issue 6: 24 - 37

DOI: https://doi.org/10.15983/j.cnki.jsnu.2024325

偏振光谱成像专题 主持人：任立勇

基于低秩近似与多重虚拟曝光融合的偏振去雾算法

  • 周逸夫 1, 2 ,
  • 魏寒月 1, 2 ,
  • 马菲雅 1, 2 ,
  • 杨瑞 1, 2 ,
  • 梁健 1, 2 ,
  • 任立勇 , 1, 2, 3, *
展开
  • 1 陕西师范大学 物理学与信息技术学院,陕西 西安 710119
  • 2 西安市光信息调控与增强技术重点实验室,陕西 西安 710119
  • 3 西咸新区诺博思特光电技术有限公司,陕西 西安 712000
*任立勇,男,教授,博士生导师,研究方向为偏振光学成像探测、信息光子技术与应用。E-mail:

Copy editor: 李博

收稿日期: 2024-06-30

  网络出版日期: 2024-11-25

基金资助

陕西省技术创新引导专项秦创原“科学家+工程师”队伍建设项目(2024QCY-KXJ-179)

陕西省重点研发计划关键核心技术攻关项目(2024QY2-GJHX-45)

收起

Polarimetric dehazing method based on low-rank approximation and multiple virtual-exposure fusion

  • ZHOU Yifu 1, 2 ,
  • WEI Hanyue 1, 2 ,
  • MA Feiya 1, 2 ,
  • YANG Rui 1, 2 ,
  • LIANG Jian 1, 2 ,
  • REN Liyong , 1, 2, 3, *
Expand
  • 1 School of Physics and Information Technology, Shaanxi Normal University, Xi’an 710119,Shaanxi,China
  • 2 Xi’an Key Laboratory of Optical Information Manipulation and Augmentation (OMA), Xi’an 710119, Shaanxi, China
  • 3 Robust (Xixian New Area) Opto-Electro Technologies Co., Ltd, Xi’an 712000, Shaanxi, China

Received date: 2024-06-30

  Online published: 2024-11-25

Fold

摘要

偏振去雾成像算法中的偏振参数图像极易受噪声干扰并且去雾后图像的亮度不稳定,这导致算法无法普遍适应不同的光照条件。针对此问题,提出了一种新的偏振去雾算法,其中引入基于低秩近似的新型偏振参数图像用于降低噪声干扰,并且采用多重虚拟曝光融合方法来压缩图像动态范围。对比实验表明:该方法能够有效地去除图像中的雾霾,具有较强的鲁棒性,显著提高不同环境下拍摄到的含雾霾图像的整体质量。在标准差、图像信息熵、自然图像质量评估器评分、基于感知的图像质量评估器评分4项图像质量指标上,所提方法相对于Schechner等的方法与暗通道方法分别平均提升了22.99%、4.06%、17.42%、32.89%与33.33%、2.80%、12.31%、76.14%。

关键词： 偏振去雾; 低秩近似; 多重虚拟曝光融合

本文引用格式

周逸夫 , 魏寒月 , 马菲雅 , 杨瑞 , 梁健 , 任立勇 . 基于低秩近似与多重虚拟曝光融合的偏振去雾算法[J]. 陕西师范大学学报(自然科学版), 2024 , 52(6) : 24 -37 . DOI: 10.15983/j.cnki.jsnu.2024325

Abstract

The polarization parameter images in polarization dehazing algorithms are highly susceptible to noise interference, and the brightness of the dehazed images is unstable. This leads to the algorithm’s inability to adapt universally to different lighting conditions. To address this issue, a new polarization dehazing algorithm is proposed, which introduces a novel polarization parameter image based on low-rank approximation to reduce noise interference. Additionally, a multi-exposure fusion method is employed to compress the image’s dynamic range. Comparative experiments demonstrate that this method effectively removes haze from images, exhibiting strong robustness and significantly improving the overall quality of haze-affected images captured in various environments. In terms of standard deviation, image information entropy, NIQE and PIQE, the indicaters of the proposed method are improved by 22.99%,4.06%,17.42%,32.89% and 33.33%,2.80%,12.31%,76.14% respectively compared with the method proposed by Schechner and dark channel method.

Key words： polarimetric dehazing; low-rank approximation; multiple virtual-exposure

光波是人们感知并记录客观世界的重要载体,光学的发展全方面地提高着人们对物质、信息、能量的生产与利用能力。其中,光学成像技术旨在记录客观世界,为人们提供准确且多维度的光学信息。期望成像的结果是客观世界的真实映射,准确地反映成像对象的物理特性。然而,在诸如水下或雾霾等存在散射介质的条件下,由于水体或空气中浮游的水颗粒对光的散射作用,成像质量往往不理想,一般体现为目标失真[1-2]。为了从失真的图像中尽可能恢复出物体的信息以提高散射介质下成像质量,偏振去散射成像技术[3-4]应运而生。它作为一种结合偏振成像与计算机算法的去散射成像技术,能够基于光波的偏振信息估计出散射光的强度参数,以实现将散射光从成像结果中剥离,获得高质量图像[5]。由于偏振去散射成像技术能够在有限的设备条件下尽可能地提供散射介质作用下目标的清晰成像,具有轻量化、数字化、低成本等特点,因此近年来备受关注。
偏振去雾技术[6⇓-8]是偏振去散射成像技术的分支,其专注于去除图像中的雾霾。在众多方法中,Schechner等[9]首创使用偏振度来估计大气散射光的强度以实现去雾,其理论框架沿用至今。在此框架的基础上,人们开发了一系列改进算法以增强偏振去雾的效果,例如:文献[10]使用低通滤波方法来去除偏振参数图像中的噪声以获得更加清晰的去雾图像。除了偏振去雾技术外,还有基于传统计算机视觉的图像去雾方法,例如:暗通道先验方法[11] 使用图像的暗通道图像来实现对散射光强度的估计,实现了不借助任何额外的物理信息,仅凭雾霾图像本身即可实现去雾效果。
然而,现有的偏振去雾算法仍然存在诸多问题,使该技术稳定性不足。首先,偏振去雾方法容易受到噪声的影响。在偏振去雾方法中,偏振成像所测得的偏振参数,如线性度偏振度(degree of linear polarization, DoLP)和偏振角(angle of polarization, AOP)被用来估计雾霾的物理特征,以便进一步消除图像中的雾霾。偏振去雾算法的结果质量在很大程度上依赖于这些参数的估计精度。然而,这些参数对噪声非常敏感,因为算法中执行的一些数学运算可能会放大噪声。此外,目前流行的偏振成像解决方案,即分孔径偏振相机和分焦平面偏振相机,都存在不可避免的缺陷,导致较大的测量误差(配准误差、瞬时视场误差等)。这意味着,与传统的强度图像相比,偏振参数图像有更多的不确定性。因此,提高偏振去雾方法的鲁棒性十分重要。其次,偏振去雾方法的结果通常是高动态范围(high dynamic range,HDR)的图像,这意味着这种图像的对比度可能非常高。在某些情况下,高对比度意味着图像中的细节更多,有助于提高图像质量。然而,大多数普通显示器只支持标准动态范围(standard dynamic range,SDR)。如果图像的动态范围太大,远远超出显示器的动态范围,则显示器传递给人的信息量反而会减少。因此,需要在SDR内保留更多去雾图像的细节。
本文针对偏振去雾方法存在的上述2个问题,提出了一种新的去雾算法,以降低其对偏振去雾效果的影响。对于偏振参数容易受噪声影响的问题,提出了一种基于低秩矩阵近似的方法来估计DoLP,代替传统的斯托克斯方法。需要强调的是,虽然低秩近似方法作为一种数学方法已经被用于一般的图像去噪处理[12-13],但由于偏振参数的特性,该方法特别适合于DoLP图像的去噪处理。对于去雾图像的动态范围过大的问题,提出了一种多虚拟曝光融合(multiple virtual-exposure fusion, MVEF)方案,将HDR图像转换为SDR图像,同时尽可能地保留更多细节。

1 算法原理和流程

1.1 偏振去雾的基本原理

光学退化模型是描述目标物体信号光在散射介质中退化作用的物理模型,它是偏振去雾成像算法的基石。图1为光学退化模型示意图。其中,目标物体发出或反射的光被称为物光,物光在通过散射介质时被吸收衰减和散射,衰减后的物光到达相机参与成像;另外,大气光被散射介质散射也会产生散射光。由于退化过程,相机所捕获的光波是衰减后的物光与散射光的叠加。
图1 光学退化模型示意图

Fig.1 Diagram of the optical degradation model

令相机像平面上的总光强分布为I(x,y)、物光的光强分布为D(x,y)、散射光的光强分布为A(x,y),根据图1所示模型,则有
I(x,y)=D(x,y)+A(x,y)。
D(x,y)可以表示为物面处物光的原始光强分布L(x,y)与一个衰减因子t(z)的乘积:
D(x,y)=t(z)L(x,y)。
式中:z是散射介质的宽度(通常也是物体到相机的距离)。通常,t(z)被建模为关于z的负指数函数,具有如下的性质:
t ( z ) = 1 , z = 0 ; t ( z ) = 0 , z = ∞ 。
式(3)表明,当散射介质足够厚时,物光强度能够衰减至任意小。
假设物光发生衰减主要原因是散射,根据能量守恒关系可以得到
∫ ∫ - ∞ + ∞ L(x,y)dxdy= ∫ ∫ - ∞ + ∞ I(x,y)dxdy= ∫ ∫ - ∞ + ∞ (x,y)dxdy+ ∫ ∫ - ∞ + ∞ (x,y)dxdy。
即散射光与衰减后物光的总能量等于衰减前物光的总能量,同时也是相机像平面上光波的总能量。联立式(2)与(4),可得
∫ ∫ - ∞ + ∞ A(x,y)dxdy=[1-t(z)] ∫ ∫ - ∞ + ∞ L(x,y)dxdy。
根据式(3)与(5)可知,若假定散射介质的宽度z为无穷,记此时的散射光强度为A∞(x,y),那么有
∫ ∫ - ∞ + ∞ A∞(x,y)dxdy= ∫ ∫ - ∞ + ∞ L(x,y)dxdy。
式(6)表明,当散射介质的宽度z为无穷时,物光将全部转化为散射光,此时不存在衰减后的物光。假设散射光A(x,y)与介质宽度为无穷时的散射光A∞(x,y)具备相同的空间分布特性,即存在常数c使得A(x,y)=cA∞(x,y),那么根据式(6)可得
A(x,y)=[1-t(z)]A∞(x,y)。
联立式(1)、(2)、(7),即可得到物光的反演公式为
L(x,y)= I ( x , y ) - A ( x , y ) 1 - A ( x , y ) / A ∞ ( x , y )。
反演公式(8)表明,若I(x,y)、A(x,y)、A∞(x,y)已知,则物光L(x,y)能够被恢复,而恢复出物光L(x,y)则是去雾成像的目的所在。
公式(8)表明要恢复出物光L(x,y),需先测出相机像平面上的光强I(x,y)、散射光强A(x,y)、散射介质宽度为无穷时的散射光强A∞(x,y)。通常,I(x,y)可通过相机直接测得,但A(x,y)与A∞(x,y)难以直接测量。偏振去雾技术可通过相机像平面上光波的偏振信息来估计A(x,y)与A∞(x,y),实现对二者的间接测量。
根据米氏散射理论,散射光是部分偏振光,而部分偏振光总是可被视作为完全偏振光与非偏振光的叠加。令散射光在像平面上的偏振度分布为pA(x,y),则有
pA(x,y)= A p ( x , y ) A ( x , y )。
式中:Ap(x,y)表示散射光中完全偏振部分的光强。进一步,假设衰减后的物光D(x,y)是完全非偏振的,令p(x,y)代表像平面上光波I(x,y)的偏振度分布,那么有
p(x,y)= A p ( x , y ) I ( x , y )。
由于I(x,y)≥A(x,y),因此总是有pA(x,y)≥p(x,y)。另一方面,散射光的偏振度与散射角有关,在物体距离相机足够远,以至于视场角足够小的情况下,我们可认为散射光的偏振度在视场内近乎为常数。结合以上两点,可通过下式来对pA进行估计:
pA=max[p(x,y)]。
式中:pA为p(x,y)在视场内的最大值。获得了pA的估计值后,即可通过式(9)得到散射光强分布A(x,y)。
散射光的强度同样与散射角有关,在散射介质长度为无穷时,可认为相机视场内任意一点的散射光都具有相同的散射角。因此A∞也可认为是一个常量。一般来说,针对去雾的应用场景,可通过图像中天空区域的散射光强来估计A∞,因为天空区域的散射介质宽度可被认为是无穷大,但这种估计方式显然限制了算法的应用范围。因此,考虑到A∞≥A(x,y),可通过下式来对A∞进行估计:
A∞=1.02max[A(x,y)]。
之所以确定A∞比max[A(x,y)]稍大,是为了避免式(8)中出现分母为0的错误。
综上,偏振去雾算法的流程如图2所示。首先,通过偏振成像,可直接获得I(x,y)与p(x,y)。其次,通过式(10)、(11),可分别获得Ap(x,y)与pA,再结合式(9)即可估计出A(x,y)。估计出A(x,y)后,通过式(12)可估计出A∞。最后,利用估计出的A(x,y)与A∞,以及测量出的I(x,y),即可通过反演公式(8)获得出物光L(x,y)。
图2 偏振去雾算法的流程图

注:网络版为彩图。

Fig.2 Flowchart of polarization dehazed algorithm

1.2 低秩近似计算DoLP

在偏振去雾算法中,偏振度图像是决定去雾质量的关键参数。然而,偏振度图像很容易受到噪声的干扰,特别是在场景照度较低的场合。因此,在进行去雾算法之前对偏振相机获取的偏振度图像进行降噪处理是偏振去雾算法中的关键步骤。本文采用基于低秩矩阵近似的偏振度图像降噪方法。
偏振相机所采集的原始图像由光波经过多个偏振滤波器产生的多个图像构成。以线偏振相机为例,该相机可输出光波中的0°、45°、90°和135°线偏振图像,分量由矩阵I0°、I45°、I90°和I135°表示,其属于Rm×n(m与n分别为图像的纵向与横向分辨率),定义矩阵M∈Rmn×4满足
M=[vec(I0°) vec(I45°) vec(I90°) vec(I135°)]。
式中:vec(·)是按行优先向量化算符,它能使尺寸为m×n的矩阵变为维度为mn的列向量,在这个过程中矩阵元素的位置会改变,但值不变。矩阵M的重要性质是,假定光强测量是完全准确的,那么当入射光波为完全非偏振光时,有rank(M)=1。这是因为在这种情况下有I0°=I45°=I90°=I135°。然而,在实际过程中,由于不可避免的光强测量误差,往往M是列满秩的,即有rank(M)=4。
考虑到光波可认为是完全偏振光与完全非偏振光的线性叠加,假设矩阵M中的完全偏振部分由矩阵P表示、完全非偏振部分由矩阵M'表示、噪声由矩阵N表示,则M可被写作
M=M'+P+N。
根据之前的讨论,光波中完全非偏振的无噪声光强矩阵M'是秩为1的矩阵。对于由日光或非偏振光源照明的自然场景,光波的偏振度往往较低,因此在这些场景下,M'对M的贡献将远大于P、N,这一点在数学上可被表示为
‖M'‖≫‖P+N‖。
另外,考虑到M'的秩总为1的特性,可通过求解低秩矩阵近似问题来获得一个M'的估计值:
M'≈ a r g   m i n x ∈ R m n × 4‖M-X‖F s.t. rank(X)=1。
所以M'可认为是M的秩为1的低秩近似矩阵。
解得M'后,可按列对其求平均值,得到一个维度为mn的列向量,该列向量记作vec(In)。按照按行优先的规则,可将vec(In)重新展开为一个尺寸为m×n的矩阵In,此时In可认为是像平面上中非偏振分量的图像。在这种情况下,光波的线偏振度可由下式计算:
VDoLP= I ( x , y ) - 2 I n ( x , y ) I ( x , y )。
式中:I(x,y)表示像平面上的总光强;2In(x,y)为物平面上非偏振部分的光强。在这里In(x,y)实质上是矩阵In的一个元素。根据上面的讨论,M'可认为是低噪声的非偏振分量光强值所构成的矩阵,因此In所含噪声较低,进而由In可计算出噪声较低的DoLP图像。
综上,基于低秩矩阵近似的偏振度图像降噪方法如图3所示。
图3 基于低秩矩阵近似的偏振度图像降噪方法的流程图

注:网络版为彩图。

Fig.3 Flowchart of the method for denoising DoP image based on low-rank approximation

由图3所示,首先对4幅线偏振图像I0°、I45°、I90°和I135°按行优先向量化,得到vec(I0°)、vec(I45°)、vec(I90°)和vec(I135°)后,通过式(13)构建光强矩阵M。然后,求解公式(16),获得M的秩为1的低秩近似M'。最后,对M'的每一行求平均值,得到vec(In),对其进行反向量化即可得到低噪声的非偏振图像In。此时利用式(17)与In即可得到低噪声的偏振度图像。

1.3 多重虚拟曝光融合

在本文中,SDR图像是指其灰度值为0~255的图像,而HDR图像是指灰度值可以高于255的图像,因此HDR图像可以显示更高的对比度。然而,高对比度并不代表图像质量更高。事实上,若HDR图像的动态范围远高于显示器的动态范围,其显示效果反而较低。另一方面,偏振相机所直接输出的偏振滤波图像一般是灰度范围为0~255的标准8位SDR图像,这些图像将作为原始素材输入至偏振去雾算法以获取去雾图像。然而,由于偏振去雾算法中涉及图像运算,这些运算无法在数学上保证去雾图像的灰度范围依旧为0~255,因此算法所输出的去雾图像往往是最大灰度值超过255的HDR图像。此时,为了适配SDR显示设备以获取良好的显示效果,需要压缩去雾算法所直接输出的HDR去雾图像的动态范围,将其转换为一幅标准的8位SDR图像。
为了生成高质量的SDR去雾图像,提出了一种多重虚拟曝光融合(MVEF)方案来压缩HDR去雾图像的动态范围。曝光融合是一种获得高质量SDR图像以供直接显示的成像技术,它将融合同一场景不同曝光时间的一系列图像(这样的图像集合通常被称为包围曝光序列[14-15])中的曝光良好区域,以形成一幅高质量的SDR图像。图4给出了曝光融合的流程图。首先,用不同的曝光时间对目标场景进行拍摄,形成一个包围曝光序列;之后根据图像中每一个像素的质量(具体指标为对比度、饱和度和良曝光指数),计算每个图像的权值图;最后在权值图的引导下,将包围曝光序列图像融合成一幅图像。这些步骤中使用的详细算法可以参考文献[16]。
图4 曝光融合流程图

注:网络版为彩图。

Fig.4 Flow chart of the exposure fusion

在MVEF方案中,去雾算法所直接输出的HDR图像将被视作环境的真实光强分布,用饱和较亮像素的方式进行多次模拟曝光,以获得去雾后的包围曝光序列,并通过曝光融合算法生成靓丽的SDR去雾图像。首先需要确定模拟曝光的饱和阈值,图5展示了一幅HDR去雾图像及其灰度直方图。通过灰度直方图,可以确定灰度值的第40%、60%、85%、100%分位数(以图5为例,这4个分位数对应的灰度值分别是162、218、358、598)。这4个分位数对应的灰度值将作为饱和阈值以饱和较亮的像素。第二步是基于饱和阈值对亮度较高的像素进行饱和处理:若一个像素的灰度值大于饱和阈值,则该像素的灰度值将被设为饱和阈值。第三步是对图像中所有像素的灰度进行线性缩放,使得图片的灰度范围为0~255,得到4幅曝光程度不同的SDR图像。第四步是将这4幅SDR图像进行曝光融合,其结果即为MVEF方法的输出图像。方法流程如图6所示。
图5 计算HDR去雾图像的4个饱和度阈值

注:网络版为彩图。

Fig.5 Calculating four saturation threshold values of an HDR dehazed image

图6 MVEF方法流程图

注:网络版为彩图。

Fig.6 Flow chart of the MVEF method

在MVEF方法中,对图像进行饱和操作类似于物理上的一次曝光,其中饱和阈值类似于图像传感器在一定曝光时间下的饱和光通量。因此,用不同饱和阈值的饱和操作,实现了类似于用不同曝光时间捕获图像的效果。

1.4 偏振去雾算法流程

本文所提出的基于低秩近似与MVEF融合的偏振去雾成像算法流程如图7所示。该算法的输入图像为线偏振相机所拍摄的0°、45°、90°和135°偏振图像。具体流程包括:1)分别将偏振图像分割为m×n个大小相同的图像块;2)采用低秩近似方法估计每一个图像块所对应的线偏振度;3)将线偏振度图像块拼接为一幅完整的线偏振度图像,得到估计出的线偏振度图像;4)采用传统偏振去雾算法,得到HDR去雾图像;5)利用MVEF方法,将HDR去雾图像转化为可直接显示的高质量SDR去雾图像。
图7 本文偏振去雾算法流程图

注:网络版为彩图。

Fig.7 Flow chart of the proposed polarimetric dehazing algorithm

2 结果

利用不同雾霾环境下拍摄的偏振图像开展了5组去雾实验。每组实验采用3种不同的去雾算法进行处理,以生成3个去雾结果进行对比。5组雾霾实验的原始偏振图像均由可旋转的线偏振片与普通强度相机组合拍摄。3种去雾算法分别为基于暗通道先验的去雾算法、Schechner等提出的偏振去雾算法以及本文偏振去雾算法。
为了客观评估去雾效果,使用了不同的图像质量量化评价指标:标准差、信息熵、自然图像质量评估器[17](natural image quality evaluator, NIQE)给出的评价分数、基于感知的图像质量评估器[18](perception-based image quality evaluator, PIQE)给出的评价分数。标准差S与信息熵E的计算公式为
S= 1 N ∑ ( x , y ) [I(x,y)- I -]j,
E=- ∑ i = 0 255p(i)log2p(i)。
式中:I(x,y)是图像(x,y)处的灰度值; I -为图像的平均灰度值;p(i)为灰度为i的像素在图像中的出现概率。
一般来说,标准差能够反映图像的对比度,标准差越高则对比度越高;信息熵能够反映图像中所包含的信息量,信息熵越高则信息量越大;NIQE与PIQE都是基于机器学习的图像质量评估模型,它们接受一个图像作为输入,并输出该图像的评价分数,评价分数越低则图像质量越高。
图8给出了5组雾霾图像及其在不同去雾算法下的去雾结果。 表1~4分别给出了每个实验组中4幅图像的标准差、信息熵、NIQE分数、PIQE分数,其中每组图像中的最优指标以黑体形式显示。需要说明的是,图8与各表也给出了未经MVEF处理的去雾图像及对应评价指标。从表1~4的对比结果可知,在标准差、图像信息熵、NIQE、PIQE 4项指标上,本文所提方法之指标相对于Schechner等所提出的方法与暗通道方法分别平均提升了22.99%、4.06%、17.42%、32.89%与33.33%、2.80%、12.31%、76.14%。
图8 雾霾图像和相应的去雾效果

注:网络版为彩图。

Fig.8 Hazy images and corresponding dehazed results

表1 去雾图像的标准差

Tab.1 Standard variances of dehazed images

实验组 雾霾图像 本文提出算法
的去雾图像		 未经MVEF方案处理
的去雾图像		 暗通道方法的
去雾图像		 Schechner等提出方法
的去雾图像
A 43.99 70.84 70.66 53.58 51.46
B 17.61 56.62 56.45 40.80 44.47
C 31.48 65.80 64.72 45.23 80.87
D 20.82 41.32 41.69 35.28 26.97
E 28.07 71.99 55.70 54.10 62.39

注:黑体代表每一行中的最优结果。

表2 去雾图像的信息熵

Tab.2 Information entropies of dehazed images

实验组 雾霾图像 本文提出算法
的去雾图像		 未经MVEF方案处理
的去雾图像		 暗通道方法的
去雾图像		 Schechner等提出方法
的去雾图像
A 7.24 7.81 7.94 7.67 7.50
B 6.14 7.60 7.56 7.23 7.40
C 6.89 7.60 7.77 7.41 7.41
D 6.30 7.34 7.23 6.98 6.74
E 6.67 7.58 6.92 7.63 7.58

注:黑体代表每一行中的最优结果。

表3 去雾图像的NIQE值

Tab.3 NIQE scores of dehazed images

实验组 雾霾图像 本文提出算法
的去雾图像		 未经MVEF方案处理
的去雾图像		 暗通道方法的
去雾图像		 Schechner等提出方法
的去雾图像
A 5.30 3.44 3.47 3.81 3.60
B 6.35 2.85 3.00 3.67 4.06
C 5.99 3.61 3.52 3.65 3.71
D 7.98 4.36 4.74 4.63 4.99
E 7.29 3.73 3.55 4.28 4.58

注:黑体代表每一行中的最优结果。

表4 去雾图像的PIQE值

Tab.4 PIQE scores of dehazed images

实验组 雾霾图像 本文提出算法
的去雾图像		 未经MVEF方案处理
的去雾图像		 暗通道方法的
去雾图像		 Schechner等提出方法
的去雾图像
A 36.68 10.71 19.14 24.42 7.95
B 43.01 17.93 19.16 26.75 19.24
C 33.42 13.68 14.06 26.26 30.60
D 28.40 16.59 7.46 26.05 23.03
E 41.96 24.25 19.06 37.47 29.20

注:黑体代表每一行中的最优结果。

在实验结果中,值得注意的是表1中实验组C的标准差。由Schechner等人提出的方法生成的去雾图像的标准差明显高于本文提出的方法与暗通道先验方法,这意味着其所生成的去雾图像具有较高的对比度。然而,高对比度牺牲了图像细节。图9a展示了实验组C的4幅图像中的同一块天空区域。可以看出,Schechner等人提出的方法生成的去雾图像的天空区域过曝光,建筑物的细节被强光盖住,这正是因为强烈的明亮对比使得该图具有较高的对比度。从这一角度可以看出,较高的对比度不意味着图像具有较高的质量。另一方面,本文提出的方法与暗通道先验方法所生成的去雾图像的天空区域则没有这样的问题,建筑物的细节被保留下来,但暗通道先验方法所生成的去雾图像中存在较为严重的噪声与颜色畸变。
图9 三个实验组的局部区域

注:网络版为彩图。

Fig.9 Local areas in three experimental group

图9b展示了实验组A的4幅图像中的输电塔区域。可以看出,暗通道先验方法生成的去雾图像中的输电塔在隐隐发光,该现象一般被称为发光效应(glow effect)或光环效应(halo effect)。事实上,如何克服发光效应是图像去雾领域中的难题[19-20]。一般情况下,该效应是对大气光强的模糊估计所引起的。基于偏振的去散射方法能够在一定程度上抑制该现象,因为利用偏振信息,可以得到关于大气光强的较准确估计。因此,从图9b可以看出,本文提出的方法与Schechner等人提出的方法所生成的去雾图像中不存在发光效应。类似的例子也出现在实验组E中,如图9c所示,暗通道先验方法所生成的去雾图像中的广播塔在隐隐发光,而本文提出的方法与Schechner等人提出的方法所生成的去雾图像中则不存在这一问题。另一方面,从图9c也可以看出,本文提出的方法与Schechner等人提出的方法虽然都能抑制发光效应,但本文方法的效果明显优于后者。

3 讨论

3.1 低秩近似方法与斯托克斯方法的去雾效果比较

图10b与图10c分别给出了基于低秩近似方法与斯托克斯方法计算的DoLP图像,它们对应如图10a所示的同一个雾霾场景[21],相应的去雾结果分别如图10d、10e所示。从图10b与图10c的颜色条标尺可以看出,低秩近似方法得到的DoLP范围为0.029到0.033,而斯托克斯方法得到的DoLP范围为0到0.242,这意味着通过低秩近似方法得到的DoLP更加平滑。在光学退化模型中,物体发出或反射的光线是完全非偏振光,而图10c中高达0.242的DoLP值不可能由散射效应所导致,因此如此高的偏振度违背了基本的物理模型。事实上,图10c中的高偏振度是由分孔径偏振相机的图像配准误差导致,图中的异常高偏振度出现在建筑物边缘处,如图10g所示。另一方面,这种异常高的偏振度也会使去雾图像产生错误:以图10i为例,可以明显看到具有异常高偏振度的建筑边缘在去雾图像中异常地亮,但低秩近似方法得到了更加平滑的DoLP图像,如图10f与图10h所示。
图10 低秩近似方法与斯托克斯方法的对比

注:网络版为彩图。

Fig.10 The comparison between the low-rank approximation method and the Stokes method

另外,在偏振去雾算法中,DoLP用于估计散射光的强度。因此,估计出的散射光强的准确性也能反映出DoLP图像的质量。图11a与图11b分别给出了基于低秩近似方法与斯托克斯方法估计出的散射光强。从图11a可以看出,基于低秩近似方法估计出的散射光强与场景的深度及物体光强呈正相关,这符合光学退化模型中的基本假设。然而,并无法从图11b中观察到类似的现象。图11b中存在很严重的噪声,这是斯托克斯方法估计出的DoLP值较为粗糙所导致。另一方面,如图10g和10i所示,斯托克斯方法所估计出的DoLP图像的建筑边缘处出现了异常高的数值,这也导致了散射光强图的相应位置出现了异常数值,如图11d所示,然而图11c中则没有类似的问题。此外,图11e给出了图11a与图11b中y=400横线上的散射光强分布,可以看出图11a所对应曲线比图11b所对应曲线更加平滑,这意味着低秩近似方法所估计的散射光强图的噪声更小。
图11 基于低秩近似方法所估计的散射光强度图与基于斯托克斯方法所估计的散射光强图之对比

注:网络版为彩图。

Fig.11 The comparison between intensity map of scattering light based on low-rank approximation and the Stokes method

综上,4幅原始偏振图像中的噪声与误差将显著影响斯托克斯方法所估计的DoLP与散射光强的准确度,但低秩近似方法能够抑制这样的负面影响,因为其可估计出更加平滑的DoLP图像。因此,低秩近似方法能够降低图像的噪声、增加算法的鲁棒性。

3.2 多重虚拟曝光方法与伽马校正方法的去雾效果比较

本文提出采用MVEF方法将HDR图像转化为SDR图像。此外,伽马校正也是一种将HDR图像转化为SDR图像的常用方法。下面基于实验结果,讨论MVEF方法的有效性及其相对于伽马校正方法的优越性。
伽马校正公式可表示为
Iout(x,y)= I i n γ(x,y)。
式中: I i n γ(x,y)为待校正图像的归一化灰度值;Iout(x,y)是校正后图像的归一化灰度值;γ是可调参数。为了压缩图像的动态范围,γ的取值范围应为[0,1]。显然,γ值越小,动态范围被压缩得越窄。考虑到γ的取值会对伽马校正的结果产生较大影响,因此在接下来的实验中,将取多个γ值进行伽马校正,并分析不同γ值校正结果之间的区别。
图12给出了雾霾图像及其对应的去雾图像。其中,图12a是原始的雾霾图像;图12b是传统去雾算法直接输出的HDR去雾图像;12c是基于MVEF方法获得的SDR去雾图像;图12d是基于不同的γ值,通过伽马校正方法得到的SDR去雾图像。HDR去雾图像中屋顶区域的亮度过高,以至于其余区域在视觉上显得较暗。因此,需要压缩HDR去雾图像的动态范围,以减小其他区域与屋顶区域的亮度差异,即在视觉上提升其余区域的亮度。从图12d可以看出,如果γ值较大(例如γ=0.8),那么非屋顶区域依然显得较暗,这意味着动态范围没有得到充分压缩;如果γ较小(例如γ=0.2),那么图像会仿佛再次笼罩在雾霾之中,这意味着图像对比度过低。然而,对于γ取值适中的情况(例如γ=0.4或0.6)也并没有成功平衡动态范围压缩程度与图像对比度之间的矛盾。相对于图12c所示的基于MVEF方法得到的SDR去雾图像,γ=0.6时的非屋顶区域依然较暗,难以被看清,而γ=0.4时图像整体上显得较为模糊,仿佛有薄雾笼罩,所以图12表明伽马校正的效果较差。
图12 MVEF方法与伽马校正方法的对比

注:网络版为彩图。

Fig.12 The comparison between the MVEF method and the Gamma correction method

图13给出了图12中基于伽马校正得到的SDR去雾图像的标准差与γ值的关系曲线以及图12中HDR去雾图像本身的标准差与基于MVEF方法得到的SDR去雾图像的标准差。从图13可以看出,基于MVEF方法得到的标准差略大于HDR去雾图像的标准差,而无论γ的取值如何,基于伽马校正的标准差总是小于或等于HDR去雾图像的标准差。这些结果表明,虽然MVEF方法压缩了图像的动态范围,但图像细节能够得到有效保留,并且无论γ的取值如何,伽马校正都无法达到与MVEF方法类似的性能表现。
图13 图12中图像灰度值的标准差

注:网络版为彩图。

Fig.13 Standard variances of gray values of images shown in Fig.12

3.3 本文方法与基于低通滤波的偏振去雾算法比较

本文所提出的偏振去雾算法使用低秩近似方法来降低线偏振度图像中的噪声。但低通滤波作为一种广泛使用的图像降噪方法,也在偏振去雾领域中有所应用。因此,本小节将以基于低通滤波的去雾算法作为基准开展对比实验,探讨本文所提算法的优势。
作为直观对比,图14展示了本文所提算法与基于低通滤波去雾算法的去雾结果。本文算法与基于低通滤波方法的主要区别是引入了MVEF方案以压缩HDR去雾图像的动态范围,以调整图像中各区域的亮度。可以发现,在图14所示的5组图像中,本文所提出的去雾算法的去雾图像中各个区域亮度相对均衡,没有出现过亮或过暗现象。但由于HDR去雾图像过高的动态范围,没有MVEF方案的低通滤波去雾算法出现了部分区域过亮的现象,例如实验组B~E的天空区域。同时,对于低通滤波去雾算法的去雾图像而言,明亮区域过高的亮度影响了较暗区域的显示质量,例如实验组E中近处的建筑区域出现了过暗情况。由此可见,MVEF方案的引入能够显著地增强去雾算法的稳定性,提高去雾结果的质量。
图14 雾霾图像和相应的去雾效果

注:网络版为彩图。

Fig.14 Hazy images and corresponding dehazed results

4 结论

本文提出了一种新的偏振去雾算法,该方法利用低秩近似方法来抑制DoLP图像中的噪声,并利用MVEF方法对HDR去雾图像的动态范围进行压缩。基于多组数据,比较了本文算法与暗通道去雾算法、Schechner等人提出方法、基于低通滤波的去雾算法的效果。结果表明,低秩近似方法能更加有效地抑制噪声,而MVEF方法则能在压缩动态范围后保持更多的图像细节。图像质量的量化指标表明,在大多数情况下,本文算法的去模糊图像质量优于其他2种经典算法(暗通道先验算法和Schechner等人提出方法)。相比于传统的斯托克斯方法,低秩近似方法获取的线偏振度图像中的噪声更少;相比于传统的伽马校正方法,MVEF方法能够在压缩图像动态范围的同时保留更多的图像细节。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
LIANG J, REN L Y, JU H J, et al. Polarimetric dehazing method for dense haze removal based on distribution analysis of angle of polarization[J]. Optics Express, 2015, 23(20):26146-26157.

DOI PMID

[2]
WANG X H, OUYANG J H, WEI Y, et al. Real-time vision through haze based on polarization imaging[J]. Applied Sciences, 2019, 9(1):142.

[3]
ZHANG W F, LIANG J, WANG G M, et al. Review of passive polarimetric dehazing methods[J]. Optical Engineering, 2021, 60(3):030901.

[4]
梁健, 任立勇. 一种基于颜色编码滤波的同时偏振成像方法[J]. 陕西师范大学学报(自然科学版), 2022, 50(1):91-96.

LIANG J, REN L Y. Simultaneous polarimetric imaging scheme based on division of chromatic coding filter[J]. Journal of Shaanxi Normal University (Natural Science Edition), 2022, 50(1):91-96.

[5]
郭少犇. 基于偏振去散射的实时水下成像算法与系统[D]. 西安: 陕西师范大学, 2023.

GUO S B. Real time underwater imaging algorithm and system based on polarization descattering[D]. Xi’an: Shaanxi Normal University, 2023.

[6]
梁健. 全偏振成像相机及偏振去雾技术研究[D]. 西安: 中国科学院大学(中国科学院西安光学精密机械研究所), 2017.

LIANG J. Research on fully polarized imaging camera and polarization defogging technology[D]. Xi’an: Xi’an Institute of Optics and Precision Mechanics,Chinese Academy of Sciences, 2017.

[7]
LIANG J, REN L Y, JU H J, et al. Visibility enhancement of hazy images based on a universal polarimetric imaging method[J]. Journal of Applied Physics, 2014, 116(17):173107.

[8]
LIANG J, JU H J, REN L Y, et al. Generalized polarimetric dehazing method based on low-pass filtering in frequency domain[J]. Sensors, 2020, 20(6):1729.

[9]
SCHECHNER Y Y, NARASIMHAN S G, NAYAR S K. Polarization-based vision through haze[J]. Applied Optics, 2003, 42(3):511-525.

PMID

[10]
LIANG J, REN L Y, LIANG R G. Low-pass filtering based polarimetric dehazing method for dense haze removal[J]. Optics Express, 2021, 29(18):28178-28189.

DOI PMID

[11]
HE K M, SUN J, TANG X O. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(12):2341-2353.

DOI PMID

[12]
CHEN Y Y, GUO Y W, WANG Y L, et al. Denoising of hyperspectral images using nonconvex low rank matrix approximation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(9):5366-5380.

[13]
ZHAO Y Q, YANG J X. Hyperspectral image denoising via sparse representation and low-rank constraint[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(1):296-308.

[14]
ZENG K, MA K D, HASSEN R, et al. Perceptual evaluation of multi-exposure image fusion algorithms[C]//2014 Sixth International Workshop on Quality of Multimedia Experience(QoMEX), 2014, Singapore.New York: IEEE,2014:7-12.

[15]
MA K D, ZENG K, WANG Z. Perceptual quality assessment for multi-exposure image fusion[J]. IEEE Transactions on Image Processing, 2015, 24(11):3345-3356.

DOI PMID

[16]
MERTENS T, KAUTZ J, VAN REETH F. Exposure fusion[C]//15th Pacific Conference on Computer Graphics and Applications (PG’07), 2007, Maui.New York: IEEE,2007:382-390.

[17]
MITTAL A, SOUNDARARAJAN R, BOVIK A C. Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing Letters, 2013, 20(3):209-212.

[18]
VENKATANATH N, PRANEETH D, BH M C, et al. Blind image quality evaluation using perception based features[C]//2015 Twenty First National Conference on Communications(NCC), 2015, Mumbai.New York: IEEE,2015:1-6.

[19]
XIAO J S, SHEN M Y, LEI J F, et al. Single image dehazing based on learning of haze layers[J]. Neurocomputing, 2020,389:108-122.

[20]
JIN Y Y, LIN B B, YAN W D, et al. Enhancing visibility in nighttime haze images using guided APSF and gradient adaptive convolution[C]//Proceedings of the 31st ACM International Conference on Multimedia, 2023, Ottawa.New York: ACM,2023:2446-2457.

[21]
周逸夫. 基于低秩近似降噪的偏振去雾高动态范围成像技术[D]. 西安: 陕西师范大学, 2024.

ZHOU Y F. A polarimetric-dehazing high-dynamic-range imaging technique based on low-rank approximation for denoising[D]. Xi’an: Shaanxi Normal University, 2024.

Options
文章导航

/

〈 〉

版权所有 © 《陕西师范大学学报(自然科学版)》编辑部
地址：中国西安陕西师范大学长安校区文汇楼C段3层　
邮编：710119
电话：029-81530883，81530879，81530885　
E-mail：lkxuebao@snnu.edu.cn
技术支持：北京玛格泰克科技发展有限公司