欢迎访问陕西师范大学学报(自然科学版)官方网站！

陕西师范大学学报(自然科学版) >

2025 , Vol. 53 >Issue 4: 54 - 66

DOI: https://doi.org/10.15983/j.cnki.jsnu.2025304

偏振光谱成像专题(主持人:任立勇)

小型全Stokes矢量分孔径偏振相机的图像处理技术与精度提升研究

  • 窦文涛 1, 2 ,
  • 马菲雅 1, 2 ,
  • 王芳 1, 2 ,
  • 梁健 1, 2 ,
  • 任立勇 , 1, 2, 3, *
展开
  • 1 陕西师范大学 物理学与信息技术学院,陕西 西安 710119
  • 2 西安市光信息调控与增强技术重点实验室,陕西 西安 710119
  • 3 西咸新区诺博思特光电技术有限公司,陕西 西安 712000
* 任立勇,男,教授,博士生导师,研究方向为偏振光学成像探测、信息光子技术与应用。E-mail:

Copy editor: 李博

收稿日期: 2024-07-03

  网络出版日期: 2025-07-21

基金资助

陕西省技术创新引导专项秦创原“科学家+工程师”队伍建设项目(2024QCY-KXJ-179)

陕西省重点研发计划关键核心技术攻关项目(2024QY2-GJHX-45)

收起

Research on image processing techniques and accuracy improvement of a compact full-Stokes vector division-of-aperture polarization camera

  • DOU Wentao 1, 2 ,
  • MA Feiya 1, 2 ,
  • WANG Fang 1, 2 ,
  • LIANG Jian 1, 2 ,
  • REN Liyong , 1, 2, 3, *
Expand
  • 1 School of Physics and Information Technology, Shaanxi Normal University, Xi’an 710119, Shaanxi, China
  • 2 Xi’an Key Laboratory of Optical Information Manipulation and Augmentation, Xi’an 710119, Shaanxi, China
  • 3 Robust (Xixian New Area) Opto-Electro Technologies Co., Ltd., Xi’an 712000, Shaanxi, China

Received date: 2024-07-03

  Online published: 2025-07-21

Fold

摘要

为提升小型全Stokes矢量分孔径偏振相机的测量精度,提出并建立了一系列偏振图像处理技术,具体包括:暗电流校正、双边滤波去噪、图像畸变校正、偏振参数校正与通道图像配准等步骤,并进行了偏振成像实验研究。结果表明:相关技术能够有效降低诸多非理想因素对相机成像过程产生的影响。经图像处理后4个偏振通道的重投影误差均小于0.2像素,4幅偏振子图像间的结构相似性指数平均提升15.2%。研究提出的偏振图像处理技术能够有效提高偏振信息测量的准确度。

关键词： 偏振成像; 分孔径偏振相机; 相机标定; 图像配准; 计算成像

本文引用格式

窦文涛 , 马菲雅 , 王芳 , 梁健 , 任立勇 . 小型全Stokes矢量分孔径偏振相机的图像处理技术与精度提升研究[J]. 陕西师范大学学报(自然科学版), 2025 , 53(4) : 54 -66 . DOI: 10.15983/j.cnki.jsnu.2025304

Abstract

To enhance the measurement accuracy of a compact full-Stokes vector aperture-division polarimetric camera, a series of polarimetric image processing techniques have been proposed and established. These techniques specifically encompass dark current correction, bilateral filtering for noise reduction, image distortion correction, polarization parameter calibration, and channel image registration, followed by experimental research on polarimetric imaging. The results demonstrate that these techniques effectively mitigate the impact of various non-ideal factors on the camera’s imaging process. After image processing, the reprojection errors of the four polarization channels are all less than 0.2 pixels, and the average structural similarity index (SSIM) between the four polarimetric sub-images is improved by 15.2%. This signifies a significant enhancement in the accuracy of polarimetric information measurement.

Key words： polarization imaging; division-of-aperture polarimetric camera; camera calibration; image registration; computational imaging

由于人眼对偏振信息不敏感,传统光学成像技术长期局限于记录光波振幅和波长信息,即强度成像和光谱成像。近年来,随着偏振成像技术发展,偏振信息在目标特征探测与识别发挥出了重要作用。
偏振成像是通过获取目标的偏振信息从偏振维度对目标特征进行重构与增强的过程[1],一般通过Stokes矢量来描述光波的偏振信息,并进一步计算得到入射光的偏振度(degree of polarization, DoP)、线偏振度(degree of linear polarization, DoLP)和偏振角(angle of polarization, AoP)等偏振参数。利用上述偏振参数能够实现目标材质特性、表面粗糙度、透明材料内部应力分布等特性的检测以及去雾/去散射成像、低对比度背景目标信息增强等。与传统强度成像方式相比,偏振成像能够提供更加丰富的目标信息,特别是在低信噪比、低对比度的复杂背景下,偏振成像技术能够更加明显地突出目标特征,是一种更具优势的独立信息维度。
目前,偏振成像技术已在目标特征识别与分类[2-5]、生物医学成像[6-8]、地物遥感探测[9-10]及三维重构成像[11-12]等领域得到了广泛应用。Rogne等[13]将偏振成像技术用于低对比度复杂环境下的隐藏目标(金属地雷)识别,有效提高了图像对比度。2005年,Harchanko等[3]将长波红外偏振成像应用于海面目标探测与识别,有效改善了海面目标成像质量,提升了探测能力与作用距离。同年,Aron等[14]利用长波红外偏振成像技术对场景中的两辆隐藏在树荫下的卡车目标进行了探测,实验结果表明偏振图像从低对比度隐藏背景中很好地凸显出了目标信息,有效提升了隐藏目标探测能力和识别概率。Jacques等[15]利用偏振成像技术对皮肤癌变组织进行了准确鉴别与边缘标定,并以此诊断信息指导手术进行切除。Miyazaki等[16]通过测量目标表面反射光的偏振信息重建出透明物体三维形状信息,通过将目标物体表面法线信息融入传统三维重构模型,得到了精度更高的三维重构结果。2014年,Liang等[17]提出了一种基于Stokes矩阵偏振角信息的偏振去雾/去散射方法,有效提升了包含浓雾场景的图像对比度,极大地改善了成像质量。2023年,Guo等[18]提出了一种基于偏振干预与图像退化模型的水下去散射实时成像方法,并基于Lucid彩色偏振相机将算法成功部署在Windows平台,克服了传统偏振水下成像算法实时性能差的问题,有效提高了水下成像对比度与清晰度。
偏振成像技术的不断发展也推动着偏振成像系统技术形态的日趋成熟,使其向着不同偏振态同时探测、系统稳定可靠和轻小集成化的技术形态发展。偏振成像系统可以测量由Stokes参数描述的光束偏振态信息,通过在传统成像设备前使用偏振片、波片等偏振光学元件将入射光束的偏振信息调制为图像传感器可以直接感知测量的强度信息,利用不同偏振方向的灰度图像计算出待测光束的Stokes参数,并进一步计算出DoP、DoLP和AoP等偏振参数。目前,偏振成像系统可分为分时成像系统和同时成像系统2大技术形态[19],同时成像型结构又可细分为分振幅型、分焦平面型与分孔径型。其中,分孔径型偏振成像系统具有时间分辨率高、偏振消光比高、全偏振态同时探测、结构紧凑稳定且成本较低的优点。为发挥分孔径型偏振成像系统结构优势,使分孔径偏振相机能够准确测量目标场景中的偏振信息,需要对相机获取的原始图像进行一系列图像处理,以校正相机噪声及装配过程中引入的透镜和偏振元件的装配误差。
本文介绍了基于自研的小型全Stokes矢量分孔径偏振相机所开展的一系列偏振图像校正处理与偏振成像应用方面的研究工作。首先分析了影响分孔径偏振相机探测精度的非理想因素,并设计了一种图像校正处理方法。通过对比图像处理前后不同的客观量化评价标准,验证了该方法能够有效降低诸多非理想因素对相机成像过程产生的影响,提高了偏振信息探测的准确度。之后,基于自研分孔径偏振相机与图像处理软件开展了一系列的偏振成像应用实验研究,实验结果表明,偏振成像能够有效提升低信噪比环境下的图像对比度与可见度,相较于普通强度成像能够提供更加丰富的目标信息。

1 小型全Stokes矢量分孔径偏振相机

分孔径型偏振成像结构在前端光学镜头的孔径光阑处并行放置了0°、45°和90° 3个线偏振片和1个右旋圆偏振片,可以同时获取目标场景中的线偏振信息与圆偏振信息;经过4个检偏通道的子光束在系统后端经过不同聚焦透镜后投影在图像传感器的不同区域,实现了场景目标全偏振态同时测量[20]。
如图1所示为分孔径型偏振成像系统的结构示意图,相机前端与普通相机镜头成像方式相同,在结构后端增加了由准直透镜、2×2聚焦透镜组与4个偏振元件组成的远心成像光路,光束经过不同偏振元件调制后分别聚焦到图像传感器的不同区域[21]。
图1 分孔径型偏振成像系统[21]

注:网络版为彩图。

Fig.1 Division-of-aperture polarization imaging system[21]

基于分孔径型偏振成像结构原理,研制了小型全Stokes矢量分孔径偏振相机,图2所示为相机实物图与偏振通道分布图。基于CameraLink传输协议,相机可实现2 048×2 048分辨率下50帧/s的光场全偏振态信息高速同时探测,并实现了相机全系统整装国产化。相机4个偏振通道中线偏振片在450~700 nm探测波段内消光比可达1 000∶1;同时,圆偏振通道所装配的1/4消色差波片的相位延迟量误差范围为±λ/100,因此所采用的圆偏振片在可见光波段内获取的圆偏振矢量对波长不敏感。相机的主要性能参数如表1所示。
图2 自研的全Stokes矢量分孔径偏振相机

Fig.2 Full-Stokes vector division-of-aperture polarimetric camera newly developed by our team

表1 全Stokes矢量分孔径偏振相机性能参数

Tab.1 Performance parameters of full-Stokes vector division-of-aperture polarimetric camera

性能参数 量化指标 性能参数 量化指标
探测波段/nm 450~700 分辨率 2 048×2 048
焦距/mm 50 像元大小 5.5 μm×5.5 μm
D∶f(光圈比) 1∶4 视场角 6.5°×6.5°
角分辨率/mrad 0.11 可测Stokes参量 S0、S1、S2、S3
输出帧率/(帧·s-1) 50 动态范围/dB ≥65
传输协议 CameraLink 通信方式 RS422
尺寸 130 mm×45 mm×45 mm 质量/g <250(含镜头)
在偏振成像探测领域,大部分多偏振态同时成像的偏振相机只能检测线偏振信息;而能够同时探测圆偏振信息与线偏振信息的全偏振态相机均为分时成像系统,无法兼顾高全偏振态探测和高时间分辨率,以实现对动态场景的探测。因此,本文提出的全Stokes矢量分孔径偏振相机填补了全偏振态同时探测商用偏振相机领域的空白。

2 分孔径偏振相机的图像处理方法

为准确测量复杂环境中场景目标的偏振信息,提升偏振成像质量,需要对分孔径偏振成像系统获取的原始图像进行一系列图像校正处理,具体处理流程包括暗电流校正、双边滤波去噪、图像畸变校正、偏振参数校正与通道图像配准等步骤。

2.1 暗电流校正

分孔径偏振相机所装配的图像传感器为国产成都微光ISG4006A CMOS,可采集8位原始RAW格式数据,单个像素的有效灰阶为0~255。但在实际成像过程中,由于CMOS 传感器电路本身存在暗电流,导致图像传感器在没有光照时会产生灰度读数,即“黑电平”。暗电流与CMOS曝光时间及增益值有关,传感器不同位置区域的暗电流也有所不同,且主要与增益值相关:当增益值增大时,暗电流也会随之增大。
为提高偏振测量的准确度,需要对相机输出图像先进行暗电流校正以还原为最真实的理想图像。暗电流校正主要从硬件优化与算法校正两方面展开。硬件方面,受限于AD芯片模数转换能力,传感器厂商一般会在AD芯片的输入之前加上一个固定偏移量,使像素输出的灰度范围为15~255。而非理想的输出(灰度范围为0~255),这会导致图像中损失部分暗区域的细节信息。因此可以通过修改CMOS Sensor电路寄存器预设值减小AD偏移量,使灰度探测范围进一步下探。软件算法方面,由于暗电流大小主要与增益值(gain)相关,因此采集不同增益值下全暗环境的原始图像并计算局部均值,并在Sensor输出图像上减去不同增益值下的局部均值,校正过程如图3所示。
图3 暗电流校正算法示意图

Fig.3 Schematic diagram of dark current correction algorithm

暗电流校正的效果主要体现在相机探测灰度下限这一参考标准上,经校正,室温条件下相机拍摄的全暗环境原始图像的全局灰度均值由22.984下降至1.832,相机探测灰度范围进一步拓展。

2.2 滤波去噪处理

在相机实际成像过程中,噪声会影响数字图像的质量,因此在进入后续图像处理流程之前需进行滤波去噪处理。双边滤波是一种同时考虑图像空域信息和灰度相似性的非线性滤波方法[22],可以对图像进行滤波去噪的同时最大程度地保留图像中的边界信息。偏振成像实际应用中对场景目标的边界信息十分敏感,因此双边滤波非常适用于偏振图像的滤波去噪处理。
为了验证双边滤波算法的有效性,使用常用滤波去噪算法,包括均值滤波、中值滤波、高斯滤波与双边滤波算法,对多幅目标场景偏振图像进行了去噪处理,并对比了实际去噪效果。如表2所示为去噪前后偏振图像峰值信噪比(peak signal-to-noise ratio, PSNR)对比,对于8位灰度图像其PSNR的典型建议值范围为30~50 dB,建议范围内PSNR值愈高,去噪效果愈好。由表2中数据可以看出,双边滤波对于偏振图像具有较好的保边去噪效果。
表2 去噪前后偏振图像PSNR对比

Tab.2 PSNR comparison of polarization images before and after denoising 单位:dB

不同场景 均值滤波 中值滤波 高斯滤波 双边滤波
场景一 40.379 42.937 43.510 48.551
场景二 37.934 39.697 41.483 47.254
场景三 39.522 42.227 46.397 50.140

2.3 图像畸变校正方法

在实际成像过程中,透镜畸变会对成像质量造成较大影响,为了进一步提高分孔径偏振相机的测量精确度,需对每个子孔径偏振通道分别进行标定,并利用标定得到的参数建立准确的成像模型,校正透镜畸变。

2.3.1 透镜畸变模型

透镜畸变主要分为径向畸变与切向畸变,如图4所示为图像坐标系下径向畸变与切向畸变示意图。
图4 图像畸变示意图

Fig.4 Schematic of image distortion

由于透镜畸变所引起的误差量主要为距离长度变化,而长度的变化在图像坐标系中具体体现为坐标值的加减变化,因此将径向畸变与切向畸变整合为最终作用于真实数字图像的畸变模型[23],如式(1)所示。
x d i s t o r t e d = x ( 1 + k 1 r 2 + k 2 r 4 ) + 2 p 1 x y + p 2 ( r 2 + 2 x 2 ) , y d i s t o r t e d = y ( 1 + k 1 r 2 + k 2 r 4 ) + p 1 ( r 2 + 2 y 2 ) + 2 p 2 x y 。
式中:({xdistorted}_{ }, ydistorted)和(x, y)分别为图像坐标系下任意像素的畸变坐标和理想坐标;k1、k2和p1、p2分别为径向畸变校正系数和切向畸变校正系数。

2.3.2 相机标定与畸变校正

在相机标定过程中,使用张正友相机标定法求解标定参数并进行畸变校正[24]:利用待标定相机从不同角度拍摄20张黑白棋盘格标定板图像,基于20张标定图像计算出相机内参矩阵、外参矩阵与透镜畸变系数。图5所示为拍摄所用的黑白棋盘格标定板与拍摄的20张标定图像。
图5 使用黑白棋盘格标定相机

Fig.5 Calibrate the camera with black-white checkerboard

为了验证相机标定与畸变校正的实际效果,采用重投影误差作为量化评价标准。重投影误差Erms是指世界坐标系下真实三维空间点投影到像素坐标系图像平面上的点p(x, y)与利用标定参数计算所得的虚拟像素点pu (xu, yu)之间的坐标差值,理想误差值为0,数学表示如式(2)所示:
Erms= 1 n ∑ i = 1 n ( x i - x u , i ) 2 + ( y i - y u , i ) 2。
式中:n为图像中所有重投影点的数量。表3中为通过20张黑白棋盘格标定图像得到的4个偏振通道的重投影误差平均值,由表3中数据可以看出,经过畸变校正0°、45°、90°与圆偏振通道的重投影误差分别为0.102 3、0.100 0、0.156 5与0.162 2,均小于0.2像素,得到了较好的畸变校正效果。
表3 不同线偏振通道的灰度峰值与谷值

Tab.3 Gray scale peaks and valleys for different linear polarization channels

状态 0°偏振通道 45°偏振通道 90°偏振通道
校正前 220.895/1.748 209.235/1.781 222.120/1.957
校正后 220.895/1.748 221.449/1.583 224.073/1.707

2.4 偏振参数校正方法

由于各偏振通道的透过率存在差异,因此会造成光强测量误差,从而导致偏振参数产生误差。为了进一步提高偏振参数的探测精度,需要对畸变校正后的图像进行偏振通道透过率校正。如图6所示为基于旋转偏振片法的校正实验系统示意图,系统由积分球光源、线偏振片旋转台与分孔径偏振相机组成。
图6 偏振参数校正实验系统示意图

注:网络版为彩图。

Fig.6 Schematic diagram of the polarization parameter correction experiment system

采集实验数据时,积分球输出的均匀非偏振光经过线偏振片进入偏振相机,通过电控旋转台控制线偏振片以1°步长值从0°检偏方向旋转至180°,相机共拍摄181幅原始帧图像,取各偏振通道子图像中心300×300像素的平均灰度值作为图像强度值。进行通道透过率校正时,以0°偏振通道的光强曲线为基准曲线,设其曲线上的灰度峰值与谷值分别为I0max与I0min,待校正线偏振通道(45°偏振通道与90°偏振通道)光强曲线的灰度峰值与谷值分别为 I l _ m a x与 I l _ m i n,则线偏振通道增益校正系数Gl与偏置校正参数{Ol}^{[25]}可分别表示为
Gl= I 0 m a x - I 0 m i n I l _ m a x - I l _ m i n,
Ol=I0min-Gl·Il_min。
设Il与Il_cal分别为通道透过率校正前后的图像强度,则有
Il_cal=Gl·Il+Ol。
圆偏振通道的透过率校正需要计算增益校正系数Gc,设Ic_max与Ic_min分别为圆偏振通道光强曲线的灰度峰值与谷值,Ic与Ic_cal分别为校正前后圆偏振通道的图像强度,则有
Gc= I 0 m a x - I 0 m i n I c _ m a x - I c _ m i n,
Ic_cal=Gc·Ic。
图7所示为通道透过率校正处理前后各偏振通道图像随着入射光偏振角度变化的光强曲线,从图中可以看出校正处理前3个线偏振通道间存在着明显的透过率差异,校正后各通道透过率基本一致。
图7 透过率校正前后各偏振通道光强曲线

Fig.7 Intensity curves for each polarization channel before and after transmittance calibration

校正前后各线偏振通道的灰度峰值与谷值对比如表3所示,由表中数据可以看出各线偏振通道的灰度探测范围得到了明显提升。
如图8所示为校正前后偏振度随入射光偏振角度变化的曲线。理想情况下DoP的值为1,校正前根据实际测得的偏振信息计算得到DoP的最大偏差值出现在46°附近,此处DoP最小为0.797;校正后DoP的最大偏差值出现在45°附近,此处DoP最小值为0.923。由此可以看出经过偏振参数校正,相机测得的偏振信息准确度明显提升。
图8 透过率校正前后偏振度曲线对比

Fig.8 Comparison of DoP curves before and after transmittance calibration

2.5 偏振图像配准方法

分孔径型偏振成像系统由于其孔径分光的结构特点,其4个偏振通道获取的同一场景目标的偏振图像会存在位置偏差。而偏振参数的计算需要对4幅偏振图像中的同一物点进行像素间的相关强度运算,像素错误匹配会直接影响计算所得偏振参数的准确性,因此使用分孔径偏振相机测量偏振信息时需要进行4幅偏振子图像间的高精度配准。

2.5.1 基于图像特征的粗配准方法

基于图像特征的配准方法不受图像噪声、照明强度、曝光差异与方向变化等因素影响,可以处理复杂的图像失真问题且具有较高鲁棒性,因此适合置于图像配准流程前端。基于特征的图像粗配准首先使用加速鲁棒特征(speeded up robust features, SURF)算法[26]检测待配准图像与参考图像之间的特征点并构建具有特定属性的特征描述符,然后使用随机采样一致性(random sample consensus, RANSAC)算法[27]从初始特征点匹配集中剔除错误匹配。图9为基于图像特征的粗配准结果,以0°偏振通道图像作为基准参考图像,45°、90°与右旋圆偏振通道图像为待配准图像,粗配准后图像中的黑色边框为投影变换后产生的像素空余。
图9 基于特征的图像粗配准结果

Fig.9 Rough registration results based on images’ feature

2.5.2 基于像素灰度的细配准方法

基于像素灰度的配准方法适用于图像显著特征由像素灰度体现而非局部形状或细节结构体现的情况。当待配准图像与参考图像大部分区域有着明显重叠时,基于像素灰度的方法能够实现亚像素级配准。使用增强相关系数(enhanced correlation coefficient, ECC)[28]算法对上节中经图像粗配准后的4幅偏振子图像进行细配准。
为了量化评估图像配准效果,使用结构相似性指数(structure similarity index measure, SSIM)对配准图像与参考图像进行相似性对比。SSIM的取值范围为[0,1],其值越大表示2幅图像越相似。表4为图像配准处理前后4幅偏振子图像之间的结构相似性指数,连接号“&”用于表示待评价的2幅图像,如“0°&45°”表示对比0°图像与45°图像, “C”表示右旋圆偏振通道。从表中数据可以看出经过图像配准处理后4幅偏振子图像间的结构相似性指数均有明显提升,配准算法在提升图像相似度上具有一定效果,从而提升了偏振信息计算的准确性。
表4 4幅偏振子图像间的结构相似性指数SSIM(车辆目标)

Tab.4 SSIM between four polarization images(the vehicle target)

图像状态 0°&45° 0°&90° 0°&C 45°&90° 45°&C 90°&C
配准前 0.738 0.761 0.853 0.818 0.761 0.803
粗配准后 0.843 0.846 0.929 0.908 0.874 0.895
细配准后 0.955 0.933 0.959 0.942 0.958 0.953
为了进一步验证图像配准方法的有效性,选取了一处直线距离约1.5 km的远距离建筑物作为拍摄目标,并对各通道图像进行了配准处理。如图10所示为基于配准后的4幅偏振子图像分别计算的该目标场景的S0图像(总光强)、DoP图像与AoP图像,同时还给出了由配准前图像计算结果的对比。
图10 远距离建筑目标S0图像、DoP图像与AoP图像

注:网络版为彩图。

Fig.10 S0 image, DoP image and AoP image of the distant building target

从图10可以看出由未配准图像计算所得的偏振图像存在着明显重影,目标信息湮没在重影中无法辨别,且由于像素错误匹配导致图像中存在大量的错误信息。而经过图像配准处理后,目标场景的细节信息得到了高精度重构,远处建筑物顶部的字牌及近处白色建筑物表面的瓷砖贴线都清晰可见,进一步验证了图像配准处理的必要性与配准方法的有效性。

3 分孔径偏振相机图像处理软件设计

基于CameraLink传输协议,通过OpenCV与LabVIEW联合开发的设计方式,完成了偏振图像处理算法在自研分孔径偏振相机平台上的部署,同时搭建了图像处理软件框架并布局了GUI界面,实现了相机图像获取、图像信息显示、偏振图像实时计算与图像处理结果存储等功能。

3.1 基于OpenCV的图像处理算法部署

图11所示为基于OpenCV环境在分孔径偏振相机平台上部署的图像处理算法流程图,具体可分为原始帧图像预处理、通道子图像校正与偏振图像计算3部分。算法获取到相机原始帧图像后首先进行暗电流校正与双边滤波去噪处理,并将其裁切为4幅偏振子图像;之后,4幅偏振子图像分别独立进行图像畸变校正、通道透过率校正和图像配准处理;最后,通过4幅校正后的偏振子图像计算目标场景的DoP图像与AoP图像,还可进一步计算偏振去雾/去散射图像。
图11 图像处理算法流程图

Fig.11 Flowchart of image processing algorithm

为提升DoP、AoP与去雾/去散射等实时计算偏振图像的输出帧率,进一步优化了图像算法的处理性能,主要优化策略包括AoP计算函数优化、逐像素计算访问优化与DLL动态链接库封装优化等。经过一系列算法优化处理后,在相机采集帧率为50帧/s的情况下,基于电脑(Intel (R) Core (TM) i7-9750H CPU @2.60 GHz,NVIDIA GTX 1660Ti GPU)可实现不低于20帧/s的DoP、AoP图像实时输出与不低于15帧/s的去雾/去散射图像实时输出。算法部署完成后将其封装为DLL动态链接库,留置函数API调用接口,方便在后续软件框架中实时调用。

3.2 基于LabVIEW的软件功能与图像用户界面设计

图12所示为软件图形用户界面(GUI),主要包括图像显示区、图像信息预览区与用户操作区三大模块,具体实现了相机图像采集、图像信息显示、图像插值与图像增强、偏振图像实时计算和图像处理结果保存等功能。在LabVIEW程序框架中通过使用“Call Library Function Node”组件调用封装好的OpenCV图像处理算法DLL动态链接库。在输出图像类型中,可选择实时输出全画幅原始帧图像、直方图均衡化图像、4幅偏振子图像、DoP图像、AoP图像及偏振去雾/去散射图像。
图12 软件图形用户界面

注:网络版为彩图。

Fig.12 Graphics user interface of the software

4 偏振成像实验研究

基于自研分孔径偏振相机平台与偏振图像处理软件研究了不同目标场景的偏振成像效果,同时应用相关图像质量评价标准对部分实验结果进行了客观量化评价,验证偏振成像在不同应用场景中相较于传统强度成像的独特优势。

4.1 图像质量评价标准

1)对比度C:图像对比度是图像质量评价的一个重要指标,影响着图像的视觉效果和可辨识度。对比度具体是指一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层级的测量,也可以理解为图像灰度差异的大小。对比度计算公式为
C= 1 N ∑ i = 1 N ( I i - I - ) 2 I -。
式中:N为图像像素总数;Ii为图像中第i个像素的灰度值; I -为图像平均灰度。对比度高的图像,明暗区域之间的界限分明,细节清晰可见;而对比度低的图像则显得柔和、平坦或暗淡,可能缺乏细节和清晰度。
2)信息熵H:图像信息熵是衡量图像信息复杂度的指标,当图像具有较大的信息熵时,意味着图像具有高对比度,灰度变化明显,整体图像质量较好。图像信息熵与信息量的期望密切相关,对于离散形式的二维图像,其信息熵的计算公式为
H=- ∑ n = 0 255 A n Nlog2 A n N。
式中:0~255表示8位像素位深的图像灰阶;N为图像中的像素总数;An为图像中灰度值为n的像素数目。
3)平均梯度G:图像平均梯度是用于表示图像清晰度的重要参数,它反映了图像中微小细节反差变化的速率,即图像在多维方向上密度变化的速率。平均梯度越大,表示图像的清晰度越高,图像中的微小细节和纹理变化得到了更好的表现。平均梯度的计算公式为
G= 1 M · N ∑ i = 1 M ∑ j = 1 N ∂ f ∂ x 2 + ∂ f ∂ y 2 2。
式中:M与N分别表示图像水平与竖直方向的像素数。

4.2 远距离目标探测实验

图13所示为低照度环境下直线距离为500 m的3辆目标车辆偏振成像实验结果,由图可以看出在S0强度图像中由于照度较低大部分目标信息已湮没在黑暗背景中,而在DoP图像中车辆目标信息得到了有效恢复,且在经过去雾算法[18]处理得到的增强图像中车辆细节信息得到了清晰恢复,远处桥梁与树木等背景信息也得到了较好恢复。
图13 远距离目标探测实验(车辆目标)

Fig.13 Remote target detection experiment (vehicle targets)

表5所示为该目标场景的图像质量评价对比,可以看出DoP图像与去雾增强图像的3项客观评价指标相较于S0强度图像均有明显提升。
表5 图像质量评估对比(车辆目标)

Tab.5 Image quality assessment comparison(vehicle targets)

不同图像 对比度C 信息熵H 平均梯度G
S0强度图像 0.357 3.309 1.873
DoP图像 0.484 6.030 50.656
偏振去雾增强图像 0.508 7.369 23.990
为进一步评估不同图像类型的图像质量,采用灰度直方图从像素灰度分布维度进行描述评价。如图14所示为3幅图像的灰度直方图,由图可以看出S0强度图由于图像整体较暗、对比度较低,其灰度分布集中于较低范围内;DoP图像的灰度分布相对比较分散,但存在灰度分布差异较大的现象;去雾增强图像的灰度分布更加分散,大部分灰阶均有像素分布,图像对比度明显提升。
图14 目标场景灰度直方图(车辆目标)

注:网络版为彩图。

Fig.14 Gray scale histogram of the target scene (vehicle target)

4.3 远距离偏振去雾成像实验

图15所示为浓雾环境下直线距离3.5 km左右的山丘风力发电机组目标的偏振去雾成像实验结果,由图可以看出在S0强度图像中目标信息已湮没在浓雾中,无法清晰辨别;而在经过偏振去雾算法处理后得到的增强图像中目标信息得到了较好恢复。
图15 远距离偏振去雾成像实验

Fig.15 Remote polarization dehazing imaging

表6所示为该目标场景的图像质量评价对比,可以看出经过偏振去雾算法处理得到的增强图像的整体质量较好,微小细节和纹理变化得到更好的凸显。
表6 图像质量评估对比(树木目标)

Tab.6 Image quality assessment comparison(tree target)

不同图像 对比度C 信息熵H 平均梯度G
S0强度图像 0.403 6.665 5.161
偏振去雾增强图像 0.559 6.900 20.551
图16为S0强度图像与去雾增强图像的灰度直方图,由图可以看出S0强度图的灰度分布集中于两个区域内,缺失了图像细节信息;而去雾增强图像的灰度分布更加分散,大部分灰阶均有像素分布,图像对比度明显提升,进一步验证了偏振成像在去雾场景应用中的独特优势。
图16 目标场景灰度直方图(风力发电机目标)

注:网络版为彩图。

Fig.16 Gray scale histogram of the target scene (wind turbine target)

5 结论

偏振成像技术通过测量光束在经过介质表面或内部时其偏振态发生的变化,从偏振维度对目标特征进行重构与增强,能够探测目标在表面纹理、轮廓结构及材质理化特性等方面的特点。相较于传统的强度成像与光谱成像,偏振成像能够提供更加丰富的目标信息,进一步凸显目标特征。本文基于自研的小型全Stokes矢量分孔径偏振相机,提出了偏振图像处理方法并进行了相应的偏振成像实验。
1)基于自研分孔径偏振相机平台,提出了偏振图像处理方法。具体流程为:第1步,对相机获取到的原始图像进行暗电流校正与双边滤波去噪预处理;第2步,基于张正友标定法进行了相机标定参数获取与图像畸变校正,并通过实验结果验证了畸变校正方法的有效性;第3步,基于旋转偏振片方法对偏振相机通道透过率进行了校正;第4步,对4幅偏振子图像进行了基于图像特征与像素灰度的配准,以减少像素错误匹配并实现偏振参数高精度计算。
2)通过OpenCV与LabVIEW联合开发的设计方式,将偏振图像处理算法成功部署在自研分孔径偏振相机平台上,并开发了上位机软件实时获取并处理偏振图像。经过一系列算法优化,在相机采集帧率为50帧/s的情况下,基于普通笔记本电脑平台的图像处理软件可实现不低于20帧/s的DoP、AoP图像实时输出与不低于15帧/s的去雾/去散射图像实时输出。
3)偏振成像实验结果表明自研分孔径偏振相机能够有效提升图像对比度与可见度,进而提升成像作用距离与探测能力。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
罗海波, 张俊超, 盖兴琴, 等. 偏振成像技术的发展现状与展望(特邀)[J]. 红外与激光工程, 2022, 51(1): 109-118.

LUO H B, ZHANG J C, GAI X Q, et al. Development status and prospects of polarization imaging technology(invited)[J]. Infrared and Laser Engineering, 2022, 51(1): 109-118.

[2]
SCHECHNER Y Y, NARASIMHAN S G, NAYAR S K. Instant dehazing of images using polarization[C]// Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2001, Kauai,Hawaii.New York: IEEE,2001:325-332.

[3]
HARCHANKO J S, CHENAULT D B. Water-surface object detection and classification using imaging polarimetry[C]// SPIE Proceedings,Polarization Science and Remote Sensing Ⅱ2005 San Diego,California.Bellingham:SPIE, 2005,5888:330-336.

[4]
ZHOU Y W, LI Z F, ZHOU J, et al. High extinction ratio super pixel for long wavelength infrared polarization imaging detection based on plasmonic microcavity quantum well infrared photodetectors[J]. Scientific Reports, 2018, 8(1):15070.

[5]
GURTON K, FELTON M, MACK R, et al. MidIR and LWIR polarimetric sensor comparison study[C]// SPIE Proceedings,Polarization:Measurement,Analysis,and Remote Sensing Ⅸ2010,Orlando,Florida.Bellingham:SPIE, 2010, 7672:44-57.

[6]
SALOMATINA-MOTTS E, NEEL V A, YAROSLAVSKAYA A N. Multimodal polarization system for imaging skin cancer[J]. Optics and Spectroscopy, 2009, 107(6):884-890.

[7]
YORK T, POWELL S B, GAO S K, et al. Bioinspired polarization imaging sensors:from circuits and optics to signal processing algorithms and biomedical applications:analysis at the focal plane emulates nature’s method in sensors to image and diagnose with polarized light[J]. Proceedings of the IEEE:Institute of Electrical and Electronics Engineers, 2014, 102(10):1450-1469.

[8]
HE C, HE H H, CHANG J T, et al. Characterizing microstructures of cancerous tissues using multispectral transformed Mueller matrix polarization parameters[J]. Biomedical Optics Express, 2015, 6(8):2934-2945.

[9]
GE B Y, MEI X D, LI Z Q, et al. An improved algorithm for retrieving high resolution fine-mode aerosol based on polarized satellite data:application and validation for POLDER-3[J]. Remote Sensing of Environment, 2020,247:111894.

[10]
ELHABASHI A, BOWLES J, FOSTER R, et al. Polarized observations for advanced atmosphere-ocean algorithms using airborne multi-spectral hyper-angular polarimetric imager[J]. Journal of Quantitative Spectroscopy and Radiative Transfer, 2021,262:107515.

[11]
REDA M, ZHAO Y Q, CHAN J C W. Polarization guided autoregressive model for depth recovery[J]. IEEE Photonics Journal, 2017, 9(3):6803016.

[12]
MIYAZAKI D, SHIGETOMI T, BABA M, et al. Surface normal estimation of black specular objects from multiview polarization images[J]. Optical Engineering, 2017, 56(4):041303.

[13]
ROGNE T J, SMITH F G, RICE J E. Passive target detection using polarized components of infrared signatures[C]// SPIE Proceedings,Polarimetry:Radar,Infrared,Visible,Ultraviolet,and X-Ray,1990,Huntsville.Bellingham:SPIE, 1990, 1317:242-251.

[14]
ARON Y, GRONAU Y. Polarization in the MWIR: a method to improve target aquisition[C]// Infrared Technology and Applications ⅩⅩⅪ,Proceedings of SPIE,2005,Orlando.Bellingham:SPIE, 2005, 5783: 653-661.

[15]
JACQUES S L, RAMELLA-ROMAN J C, LEE K. Imaging skin pathology with polarized light[J]. Journal of Biomedical Optics, 2002, 7(3):329-340.

[16]
MIYAZAKI D, KAGESAWA M, IKEUCHI K. Transparent surface modeling from a pair of polarization images[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(1):73-82.

[17]
LIANG J, REN L Y, JU H J, et al. Visibility enhancement of hazy images based on a universal polarimetric imaging method[J]. Journal of Applied Physics, 2014, 116(17):173107.

[18]
GUO S B, LIANG J, REN L Y, et al. Towards real-time polarimetric de-scattering imaging: from thread framework to algorithm optimization and underwater demonstration[J]. Optik, 2023, 288: 171179.

[19]
梁健, 任立勇. 一种基于颜色编码滤波的同时偏振成像方法[J]. 陕西师范大学学报(自然科学版), 2022, 50(1): 91-96.

LIANG J, REN L Y. Simultaneous polarimetric imaging scheme based on division of chromatic coding filter[J]. Journal of Shaanxi Normal University(Natural Science Edition), 2022, 50(1): 91-96.

[20]
任立勇, 梁健, 屈恩世, 等. 偏振光学成像:器件,技术与应用(特邀)[J]. 光子学报, 2022, 51(8):96-131.

REN L Y, LIANG J, QU E S, et al. Polarimetric optical imaging:devices,technologies and applications(invited)[J]. Acta Photonica Sinica, 2022, 51(8):96-131.

[21]
PEZZANITI J L, CHENAULT D B. A division of aperture MWIR imaging polarimeter[C]// SPIE Proceedings,Polarization Science and Remote Sensing Ⅱ2005,San Diego,California.Bellingham:SPIE, 2005, 5888:239-250.

[22]
TOMASI C, MANDUCHI R. Bilateral filtering for gray and color images[C]// Sixth International Conference on Computer Vision, 1998, Bombay.New York: IEEE,1998:839-846.

[23]
高翔, 张涛, 刘毅, 等. 视觉SLAM十四讲:从理论到实践[M]. 北京: 电子工业出版社, 2017.

GAO X, ZHANG T, LIU Y, et al. Fourteen lectures on visual SLAM:from theory to practice[M]. Beijing: Publishing House of Electronics Industry, 2017.

[24]
ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11):1330-1334.

[25]
梁健. 全偏振成像相机及偏振去雾技术研究[D]. 西安: 中国科学院西安光学精密机械研究所, 2017.

LIANG J. Study of full-polarization imaging camera and polarimetric dehazing technique[D]. Xi’an: Xi’an Institute of Optics and Precision Mechanics of Chinese Academy of Science, 2017.

[26]
BAY H, TUYTELAARS T, VAN GOOL L. SURF:speeded up robust features[M]// HERBERTB. Lecture notes in computer science. Berlin: Springer,2006:404-417.

[27]
FISCHLER M A, BOLLES R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[28]
EVANGELIDIS G D, PSARAKIS E Z. Parametric image alignment using enhanced correlation coefficient maximization[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(10): 1858-1865.

Options
文章导航

/

〈 〉

版权所有 © 《陕西师范大学学报(自然科学版)》编辑部
地址：中国西安陕西师范大学长安校区文汇楼C段3层　
邮编：710119
电话：029-81530883，81530879，81530885　
E-mail：lkxuebao@snnu.edu.cn
技术支持：北京玛格泰克科技发展有限公司