欢迎访问陕西师范大学学报(自然科学版)官方网站！

陕西师范大学学报(自然科学版) >

2024 , Vol. 52 >Issue 6: 57 - 66

DOI: https://doi.org/10.15983/j.cnki.jsnu.2024321

偏振光谱成像专题 主持人：任立勇

基于超像素分割算子的高分辨率多光谱图像重构方法

  • 杨瑞 1, 2 ,
  • 马菲雅 1, 2 ,
  • 王芳 1, 2 ,
  • 梁健 1, 2 ,
  • 魏寒月 1, 2 ,
  • 任立勇 , 1, 2, 3, *
展开
  • 1 陕西师范大学 物理学与信息技术学院,陕西 西安 710119
  • 2 西安市光信息调控与增强技术重点实验室,陕西 西安 710119
  • 3 西咸新区诺博思特光电技术有限公司,陕西 西安 712000
*任立勇,男,教授,博士生导师,研究方向为偏振光学成像探测、信息光子技术与应用。E-mail:

Copy editor: 李博

收稿日期: 2024-07-05

  网络出版日期: 2024-11-25

基金资助

陕西省技术创新引导专项秦创原“科学家+工程师”队伍建设项目(2024QCY-KXJ-179)

陕西省重点研发计划关键核心技术攻关项目(2024QY2-GJHX-45)

收起

A method for high-resolution multispectral image reconstruction based on a superpixel segmentation operator

  • YANG Rui 1, 2 ,
  • MA Feiya 1, 2 ,
  • WANG Fang 1, 2 ,
  • LIANG Jian 1, 2 ,
  • WEI Hanyue 1, 2 ,
  • REN Liyong , 1, 2, 3, *
Expand
  • 1 School of Physics and Information Technology, Shaanxi Normal University, Xi’an 710119, Shaanxi, China
  • 2 Xi’an Key Laboratory of Optical Information Manipulation and Augmentation (OMA), Xi’an 710119, Shaanxi, China
  • 3 Robust (Xixian New Area) Opto-Electro Technologies Co., Ltd, Xi’an 712000, Shaanxi, China

Received date: 2024-07-05

  Online published: 2024-11-25

Fold

摘要

针对分焦平面多光谱相机在成像过程中存在的图像空间分辨率较低问题,提出了分焦平面马赛克图像的高分辨率重构方法。该方法首先通过拍摄漫反射白板对分焦平面马赛克式传感器进行定标,获得了无马赛克的场景反射率图像;之后将场景反射率图像和分焦平面马赛克图像代入多光谱图像与高光谱图像的融合模型进行高分辨率重构。分析了基于超像素分割算子的2种重构方法(最小二乘-多光谱数据融合法和正则化最小秩-多光谱数据融合法)的重构结果。结果发现:最小二乘-多光谱数据融合法的求解过程简单,求解速度较快,针对反射率较为均一的场景可以取得较好的重构结果;正则化最小秩-多光谱数据融合法求解过程复杂,求解速度较慢,针对复杂场景可以取得较好的重构结果。研究提出的2种重构方法的平均像素误差约为0.12,小于其他典型重构方法,且重构评价参数也具有明显优势,表明这2种重构方法在光谱图像高分辨率融合模型的迁移上取得了较好的结果,实现了待重构图像在空间信息和光谱信息上的高度还原。

关键词： 分焦平面马赛克图像; 反射率图像; 高分辨率重构; 正则化算子

本文引用格式

杨瑞 , 马菲雅 , 王芳 , 梁健 , 魏寒月 , 任立勇 . 基于超像素分割算子的高分辨率多光谱图像重构方法[J]. 陕西师范大学学报(自然科学版), 2024 , 52(6) : 57 -66 . DOI: 10.15983/j.cnki.jsnu.2024321

Abstract

A high-resolution reconstruction method of split-focal plane mosaic images is proposed due to the low spatial resolution of split-focal plane multispectral cameras. The method realizes the acquisition of a demosaicking reflectance image, which shoot a diffuse reflective white plate to calibrate a division-of-focal-plane (DoF) mosaic sensor. The reflectance image and the DoF mosaic image are substituted into the fusion model of multispectral and hyperspectral images for high-resolution reconstruction. The reconstruction results of two reconstruction methods based on superpixel segmentation operators (least squares-multispectral data fusion method and regularized minimum rank-multispectral data fusion method) are analyzed, and the root mean square error of the two methods is about 0.12. The results show that the demosaicking method achieves better results in the migration of the high-resolution fusion model for spectral images, and the DoF mosaic images are highly restored in both the spatial and the spectral information.

Key words： split-focal plane mosaic images; reflectance image; high-resolution reconstruction; regularizer

光谱信息可以作为样本的指纹信息,样本对特定波长的光的反射和吸收曲线可以被用来辨别其种类和质量,因此光谱成像技术在果蔬品质检测[1]、材料辨别[2]等方面有广泛应用。偏振成像技术与普通光谱成像技术相比,可以获得强度探测器无法获得的状态信息,所以在散射介质成像[3]、目标识别[4]、去雾成像[5]和生物组织检测[6]等方面发挥着重要作用。为了实现较为复杂场景下目标的快速高精度测量,性能优异的光谱相机和偏振相机的研发工作尤为重要[7]。
为实现多模态光谱图像或偏振图像的快速获取,分焦平面式相机应运而生。分焦平面式相机通常由成像传感器和与其逐像素对应的滤波阵列组成,滤波阵列中的几个像素构成“超级像元”,超级像元中的每个像素负责获取不同模态(偏振态或光谱)的信息,超级像元重复紧密排列,遍布整个传感单元阵列[8],实现拍摄场景的不同模态图像的快速获取。由于分焦平面成像系统与分时成像系统[9]、分孔径成像系统[10]等相比,具有测量速度快、测量精度高、测量范围广等优点,所以在光谱成像和偏振成像方面具有广泛应用。IMEC(Interuniversity Microelectronics Centre in Belgium)公司通过制作“超级像元”为3×3、4×4、5×5的微纳F-P腔阵列,实现了快照式多光谱成像[11];Sony公司通过制作“超级像元”为2×2的金属线栅滤波器阵列,实现了快照式偏振成像[12]。美中不足的是分焦平面成像系统通过牺牲图像的空间分辨率实现多模态图像的快速获取,所以获取图像的空间分辨率的提升工作尤为关键。
为了实现分焦平面图像空间分辨率的提升,国内外团队提出了许多图像去马赛克的方法,均取得了较好的结果。日本东京工业大学团队[13]提出了一种基于导向滤波器的分焦平面光谱图像的去马赛克方法,它通过导向滤波器产生导向图像,使用基于导向图像的滤波器对光谱图像进行插值,实现分焦平面光谱图像空间分辨率的提升。法国巴黎萨克雷大学团队[14]提出了一种基于空间相关性的分焦平面偏振图像的去马赛克方法,分别计算了空间均匀性对光强、偏振度和偏振角的影响,将其作为先验信息进行偏振图像的去马赛克操作。美国纽约大学团队[15]提出了一种频域自适应分焦平面光谱图像的去马赛克方法,利用光谱间的相关性对重建图像进行去马赛克操作,并使用新型抗混叠自适应滤波器抑制重建的伪影和噪声。法国国家科学中心团队[16]提出了一种基于伪彩色图像的分焦平面光谱图像的去马赛克方法,将伪彩色图像各个像素的像素值作为光谱图像各个像素的平均值,对光谱图像进行去马赛克操作。西北工业大学团队[17]提出了基于牛顿插值公式的2×2分焦平面偏振图像的去马赛克方法,图像中心区域的待求解像素值通过牛顿插值公式进行求解,图像边缘区域的待求解像素值通过边缘检测算子与阈值的比较进行修正计算。上海技术物理研究所团队[18]提出了一种基于通道间相关性和边缘补偿的分焦平面偏振图像的去马赛克方法,首先使用固定的权重对每个通道的图像进行插值,然后通过自定义的SRC(spearman rank-order correlation)函数对图像中的边缘信息进行补偿,取得了较好的去马赛克结果。上述分焦平面图像的空间分辨率提升方法通常是基于插值进行计算的,得到的高空间分辨率图像存在轻微的空间失真。
本文以5×5的微纳F-P腔阵列作为超级像元的分焦平面多光谱相机为例,提出了一种分焦平面图像的高分辨率重构方法。首先给出了一种快速简洁的场景图像提取方法,获得场景的反射率图像;然后将场景的反射率图像与分焦平面多光谱图像代入高光谱图像与多光谱图像的融合模型中,进行分焦平面多光谱图像的高分辨率重构。本文方法取得了较好的重建结果,其精度优于目前众多方法。

1 图像建模

1.1 分焦平面图像的场景信息提取

为获取分焦平面多光谱相机原始帧图像中的全部空间信息,从原始帧图像中提取场景反射率图像。获取场景反射率图像的具体步骤如下:首先,在相同的光照下,分别拍摄场景的原始帧图像I场景和漫反射白板的原始帧图像I白板以及相机的暗电流噪声图像I暗电流;然后,场景的反射率图像(Yfp)定义为
Yfp= I 场 景 - I 暗 电 流 I 白 板 - I 暗 电 流。
式中:场景的原始帧图像中包含拍摄场景的全部空间信息,但是相邻的5×5个像素分别代表不同物点在不同波段下的光强值,即25个波段的多光谱图像跨像素分布形成一幅场景的马赛克图像。漫反射白板反射的光可以理想化为各个角度的空间分布均匀的光,所以相机拍摄获得的漫反射白板的原始帧图像可以近似为当前光照条件下,快照式马赛克滤波阵列中每个滤波器的透过率的图像。2幅原始帧图像分别去除暗电流噪声的影响并做比,可以获得包含全部空间信息但无马赛克分布的场景反射率图像,即当前光照下场景中每个物点的反射率的图像。该场景反射率图像的提取方法不受“超级像元”中像素个数的限制,可实现如3×3、4×4或5×5等任意数量的像素级分焦平面图像的场景空间信息的提取,所以本文介绍的高分辨率重构方法适用于任意的像素级分焦平面相机。

1.2 图像建模

相机拍摄得到的25幅多光谱图像为三维张量,为了简化运算,将三维张量表示为二维矩阵,即将每幅多光谱图像向量化,二维矩阵的某一行为某一波段下的光谱图像的所有像素。为了更好地对分焦平面图像进行高分辨率重构,对重构需要的分焦平面多光谱图像和场景的反射率图像分别建模。将低空间分辨率、高光谱分辨率的多光谱图像用M∈ R N B × N w × N h表示;将高空间分辨率、低光谱分辨率的场景反射率图像用F∈ R N b × N W × N H表示;将待求解的高空间分辨率、高光谱分辨率的多光谱图像用G∈ R N B × N W × N H表示。其中,NB和Nb分别表示多光谱图像和场景反射率图像的光谱条带数,且NB>Nb;NW和Nw分别表示场景反射率图像和多光谱图像水平方向的像素数,且NW>Nw;NH和Nh分别表示场景反射率图像和多光谱图像竖直方向的像素数,且NH>Nh。基于矩阵运算,多光谱图像和场景反射率图像可以被建模为
M=GBH+Nm,
F=RG+Nf。
式中:B表示由于下采样造成的图像空间模糊矩阵;H表示下采样矩阵;R表示光谱组合矩阵。为了便于计算,假设图像的空间模糊矩阵B具有圆形边界条件,则重构过程中的快速傅里叶变换计算更加精确和快速。式(2)表示存在噪声的分焦平面多光谱图像M是由图像G经过相机的下采样H和由于下采样造成的空间模糊B共同作用获得的。式(3)表示存在噪声的场景反射率图像F是图像G经过线性组合R得到的。Nm和Nf分别表示多光谱图像和场景反射率图像的独立同分布噪声[19]。通过式(2)和式(3)构建求解模型对图像G进行迭代拟合,为了防止过拟合现象发生,在模型中加入正则化算子,求解模型如式(4)所示
m i n G{ 1 2‖M-GBH ‖ F 2+ 1 2‖F-RG ‖ F 2+ λ ζζ(G)}。
式中:‖·‖F是F范数;λζ和ζ分别为正则化项的正则化参数和正则化算子。

2 重构算法

目前基于矩阵计算的光谱图像重构成像方法包括CNMF[20]、CSTF[21]、CSU[22]、S4-LRR[23,24]、Hysure[19]、LS-MDF和RLR-MDF等多种方法,其中,最小二乘-多光谱数据融合法(least squares-multispectral data fusion method,LS-MDF)和正则化最小秩-多光谱数据融合法(regularized minimum low rank-multispectral data fusion method,RLR-MDF)这2种方法具有重构速度快、重构精度高等优点,被广泛应用。本文为了同时利用高空间分辨率的场景反射率图像的空间信息和低空间分辨率的光谱图像的光谱信息,选取了超像素分割算子为正则化算子的LS-MDF方法和RLR-MDF方法,进行分焦平面马赛克图像的高分辨率重构。

2.1 RLR-MDF高分辨率重构算法

RLR-MDF[25]高分辨重构算法选取超像素分割算子进行正则化,进行分焦平面多光谱图像的高分辨率重构。超像素分割算子[26]是通过熵率超像素算法对图像进行像素分割的算子,它通过数学方法对像素间的权重进行计算并判断相关性,基于相关性对图像中的像素进行分割,分割结果可依据图像中不同空间结构和细节信息进行自适应调整。熵率超像素算法中,计算某一像素与其周围像素的相似性权重Mij的公式为
Mij=exp - w 2 ( i , j ) · ‖ z i - z j ‖ 2 2 2 σ 2。
式中:i和j分别表示图像水平方向和竖直方向上的像素数;σ是图像像素的平均值;zi和zj是图像中相邻的两个像素;ω是两个待分割像素之间的空间欧式距离。基于超像素分割的正则化算子,图像G可通过式(6)进行求解
m i n G{ 1 2‖M-GBH ‖ F 2+ 1 2‖F-RG ‖ F 2+ λ ζζ(G)}。
式中:ζ是超像素分割算子;λζ是超像素分割正则化项的正则化系数。式中的第一项表示多光谱图像M的理论拟合项,第二项表示场景反射率图像F的理论拟合项,第三项是重构模型的正则化项。为了确保求解的精度和实时性,采用矩阵分解的方法将待求解的高空间分辨率、高光谱分辨率的多光谱图像G分解为空间矩阵S和谱矩阵A相乘,即G≈AS,从物理原理方面简化重构求解过程。将空间矩阵S和谱矩阵A代入式(6)的求解模型中可得
m i n A , S{ 1 2‖M-ASBH ‖ F 2+ 1 2‖F-RAS ‖ F 2+ λ ζζ(A,S)}。
由于式(7)中存在耦合项,求解过程中增加了计算复杂度,不利于分焦平面光谱图像的快速重构。采用交替方向乘子法(alternating direction method of multipliers,ADMM)将空间矩阵S分裂为相关辅助变量V1、V2和V3进行迭代求解。分裂求解公式可以表示为
m i n S , V 1 , V 2 , V 3f(S,V1,V2,V3) s.t.V1=SB,V2=S,V3=S。
式中:
f(S,V1,V2,V3)= 1 2‖M-AV1H ‖ F 2+ 1 2‖F-RAV2 ‖ F 2+λζζ(V3)。
为了进一步方便计算,给出式(8)的增广拉格朗日函数形式:
L2(S,V1,V2,V3,D1,D2,D3)=f(S,V1,V2,V3)+ μ 2‖SB-V1-D1 ‖ F 2+ μ 2‖S-V2-D2 ‖ F 2+ μ 2‖S-V3-D3 ‖ F 2。
式中:D1、D2和D3是迭代残差变量;μ>0是惩罚参数。图像G的求解过程分为以下4个步骤。
1)初始化谱矩阵A0。当多光谱图像的光谱数量较少时,通过奇异值分解的方法求解初始化的谱矩阵A0;当多光谱图像的数量较多时,通过顶点向量分析[27]的方法求解初始化的谱矩阵A0。
2)求解空间矩阵S及其相关辅助变量V1、V2和V3,并进行迭代更新。具体步骤包括:
①求解S
S(t+1)= a r g   m i n S{ μ 2‖SB- V 1 ( t )- D 1 ( t ) ‖ F 2+ μ 2‖S- V 2 ( t )- D 2 ( t ) ‖ F 2+ μ 2‖S- V 3 ( t )- D 3 ( t ) ‖ F 2}。
式中:arg min为极值点函数;S的解为
S(t+1)=(BBT+2I)-1[( V 1 ( t )+ D 1 ( t ))BT+ V 2 ( t )+ D 2 ( t )+ V 3 ( t )+ D 3 ( t )]。
②求解V1
V 1 ( t + 1 )= a r g   m i n V 1{ 1 2‖M-A0V1H ‖ F 2+ μ 2‖S(t+1)B-V1- D 1 ( t ) ‖ F 2}。
将V1的解借助两个互补矩阵H和 H -表示为
V 1 ( t + 1 ) H = ( A T 0 A 0 + μ I ) - 1 [ A T 0 M + 　 　 　 　 μ ( S ( t + 1 ) B - D 1 ( t ) ) ] H , V t ( t + 1 ) H - = ( S ( t + 1 ) B - D 1 ( t ) ) H - 。
③求解V2
V 2 ( t + 1 )= a r g   m i n V 2{ 1 2‖Ym-RA0V2 ‖ F 2+ μ 2‖S(t+1)-V2- D 2 ( t ) ‖ F 2}。
V2的解为
V 2 ( t + 1 )=( A T 0RTA0R+μI)-1[ A T 0RTYm+ μ(S (t+1)- D 2 ( t ))]。
④求解V3
V 3 ( t + 1 )= a r g   m i n V 3{λ ∑ k = 1 K‖V3(k)‖F+ μ 2‖S(t+1)- V3- D 3 ( t ) ‖ F 2}。
V3 的解为
V 3 ( t + 1 )=Λλ/μ(S(t+1)- D 3 ( t ))。
式中:Λλ/μ是奇异值阈值函数。
⑤迭代更新:
D 1 ( t + 1 ) = D 1 ( t ) - ( S ( t + 1 ) B - V 1 ( t + 1 ) ) , D 2 ( t + 1 ) = D 2 ( t ) - ( S ( t + 1 ) - V 2 ( t + 1 ) ) , D 3 ( t + 1 ) = D 3 ( t ) - ( S ( t + 1 ) - V 3 ( t + 1 ) ) 。
3)求解谱矩阵A。由于图像的光谱信息主要存在于多光谱图像中,所以只需通过多光谱图像求解谱矩阵A,该方法已被证明可在减少求解过程中计算复杂度的情况下对谱矩阵A进行精确求解[26]。求解公式如式(20)所示
m i n A{‖M-ASBH ‖ F 2+λ‖A ‖ F 2}。
谱矩阵A的解为
A=MHTBTST(SBHHTBTST+λI)-1。
4)通过空间矩阵S和谱矩阵A,求解图像G。

2.2 LS-MDF高分辨率重构算法

LS-MDF多光谱图像高分辨率重构算法选取超像素分割算子作为正则化算子对图像进行重构[26]。
m i n S{ 1 2‖M-ASBH ‖ F 2+ 1 2‖F-RAS ‖ F 2+ λ ζζ(S)}。
根据多光谱图像迭代拟合求解空间矩阵S,满足条件:
m i n S{ 1 2‖M-RAS ‖ F 2+λζζ(S)}。
式中的谱矩阵A需通过奇异值分解方法求解,而空间矩阵S需通过函数极值的方法求解。空间矩阵S的解为
S=(ATRTRA+λI)-1ATRTYm。
根据场景反射率图像迭代拟合求解谱矩阵A,求解公式为
m i n A{‖F-AS ‖ F 2+λ‖A ‖ F 2}。
谱矩阵A的解为
A=FST(SST+λI)-1。
根据空间矩阵S和谱矩阵A,可求解出图像G。

3 实验结果

3.1 多光谱图像重构结果

本文以IMEC公司生产的25波段近红外多光谱相机(SST-CMV2000)为例,对分焦平面多光谱图像进行高分辨率重构。相机的空间分辨率为2 045×1 085,每幅多光谱图像的空间分辨率为405×215。为了获得能衡量图像重构质量的参考图像,将拍摄获得的多光谱图像作为参考图像,对其进行5×5的下采样获得空间分辨率为81×43的待重构图像,对重构图像进行5×5倍的高分辨率重构获得空间分辨率为405×215的重构图像,重构图像与参考图像对比判断图像重构质量。重构模型中对应的物理量取值分别为NW=405, Nw=81, NH =215, Nh=43, NB=25和Nb=1。为了优化实验结果,正则化参数λζ和谱矩阵的秩J分别取值为λζ=10-2,J=30[26]。模型中使用的图像像素强度均被归一化到[0,1]范围内,模糊矩阵B和光谱组合矩阵R通过Hysure方法进行估算[19]。采用均方根误差(root mean square error,RMSE)、相对整体无量纲合成误差(error relative global dimensionless synthesis,ERGAS)[28]、相关系数(correlation coefficient,CC)和通用图像质量指数(universal image quality index,UIQI)4个参量对多光谱图像的重构质量进行评价。所有实验场景均通过焦距为12 mm,放大倍率为0~0.2的镜头进行拍摄。实验数据由64位四核CPU、2.50 GHz的处理器和16 GB内存的计算器进行处理。
图1a为相机的原始帧图像,图1b是场景反射率图像。原始帧图像受像素级马赛克的影响,蝴蝶的细节信息模糊不清,背景中的斑点无法被辨别。场景反射率图像中蝴蝶的纹理信息较为丰富,背景中的斑点清晰可见,空间信息较为丰富和准确。
图1 场景的原始帧图像和场景反射率图像

Fig.1 Raw image and reflectance image of the scene of scene

将场景反射率图像和多光谱图像代入LS-MDF和RLR-MDF两种重构算法中,获得重构图像G。图2a是低分辨率多光谱待重构图像;图2b是参考图像;图2c是LS-MDF方法的重构结果;图2d是RLR-MDF方法的重构结果。通过重构图像与待重构图像的对比可知,重构前后图像的细节信息获得了较大提升,待重构图像中几乎无法辨别的蝴蝶纹理在重构图像中清晰可见,证明了上述两种重构方法的有效性;通过重构结果与参考图像的对比可知,蝴蝶翅膀上的细节信息被高度还原,人眼观测无明显差异,表明重构精度较高。
图2 场景的待重构图像(a)、参考图像(b)、基于LS-MDF方法获得的重构图像(c)和基于RLR-MDF方法获得的重构图像(d)

Fig.2 Image to be reconstructed(a), reference image(b), reconstructed image based on LS-MDF method(c) and reconstructed image based on RLR-MDF method(d) of scene

LS-MDF和RLR-MDF两种方法对25个波段的多光谱图像的高分辨率重构均取得了较好的结果。在求解原理和过程方面,LS-MDF方法通过场景反射率图像直接对谱矩阵进行计算求解,而RLR-MDF方法通过场景反射率图像和25幅多光谱图像对谱矩阵进行迭代求解。由此可见,LS-MDF方法的求解过程简单,求解速度较快,针对室内反射率较为均一的场景可以取得较好的重构结果;而RLR-MDF方法的求解过程复杂,求解速度较慢,针对室外复杂场景可以取得较好的重构结果。
图3为25个波段下的低分辨率多光谱待重构图像,图4为基于LS-MDF方法获得的25个波段下的重构图像,图5为基于RLR-MDF方法获得的25个波段下的重构图像。从3幅图像可知,2种重构方法均获得了较高精度的图像重构,无空间失真,表明了重构方法的有效性。然而,由于被拍摄物体对不同波段的敏感度不同,导致了不同的成像结果及重建质量。例如,752 nm、787 nm和889 nm成像结果中,较少的特征信息导致了超像素分割算子的分割精度相对较低,产生了重构结果的轻微模糊。
图3 25个波段的待重构图像

Fig.3 25-waveband images to be reconstructed

图4 基于LS-MDF方法的25个波段重构图像

Fig.4 25-waveband reconstructed images based on LS-MDF method

图5 基于RLR-MDF方法的25个波段重构图像

Fig.5 25-bandwidth reconstructed images based on RLR-MDF method

图6和图7分别为25个波段下基于LS-MDF方法获得的重构结果和基于RLR-MDF方法获得的重构结果与参考图像的逐像素差分图,其中右侧标尺代表差分绝对值的色标。差分图可以清晰展现重构图像的误差分布,差分图中的颜色越深,重构的误差越小;反之,误差越大。从图6和图7中可知,图像整体重构误差较小,25个波段下的图像重构精度均较高,该重构方法较为有效。
图6 25个波段下基于LS-MDF方法的重构图像与参考图像的差分图

注:网络版为彩图。

Fig. 6 Differential images between the reconstructed images based on LS-MDF method and the reference images of 25 wavebands

图7 25个波段下基于RLR-MDF方法的重构图像与参考图像的差分图

注:网络版为彩图。

Fig.7 Differential images between the reconstructed images based on RLR-MDF method and the reference images of 25 wavebands

图8a为待重构的光谱图像,图8b为基于CNMF方法获得的重构图像,图8c为基于Hysure方法获得的重构图像,图8d为基于LS-MDF方法获得的重构图像,图8e为基于RLR-MDF方法获得的重构图像,图8f为参考图像。从4种方法的重构图像的对比可知,本文提出的基于LS-MDF方法和RLR-MDF方法获得的重构图像精度较高,重构质量较好,该方法值得被广泛应用。
图8 场景的待重构图像(a)、基于CNMF方法获得的重构图像(b)、基于Hysure方法获得的重构图像(c)、

基于LS-MDF方法获得的重构图像(d)、基于RLR-MDF方法获得的重构图像(e)和参考图像(f)

Fig.8 Image to be reconstructed(a), reconstructed image based on CNMF method(b), reconstructed image based on Hysure method(c), reconstructed image based on LS-MDF method(d), reconstructed image based on RLR-MDF method(e) and reference image(f) of scene

表1为基于CNMF、Hysure、LS-MDF和RLR-MDF 4种重构方法获得的重构结果在25个波段下的评价参数的平均值。其中,RMSE和ERGAS的值越趋近于0,表明多光谱图像重构质量越高;CC和UIQI的值越趋近于1,表明多光谱图像的重构质量越高。本文的两种高分辨率重构方法均取得了较好的结果,证明了其对分焦平面马赛克图像高分辨率重构的有效性和准确性。
表1 4种重构方法下的25波段重构图像的评价参数平均值

Tab.1 Evaluation parameters’ mean values for 25-waveband reconstructed images using four reconstruction methods

重构方法 RMSE ERGAS CC UIQI
CNMF 0.135 08 5.631 5 0.627 14 0.589 23
Hysure 0.193 72 6.792 8 0.524 01 0.498 53
LS-MDF 0.126 05 5.510 3 0.684 45 0.652 47
RLR-MDF 0.118 73 5.194 6 0.732 79 0.642 57

3.2 重构误差分析

本文提出的分焦平面马赛克图像的高分辨率重构方法的误差主要存在两个方面。第一部分是图像主体细节信息的模糊,它是由场景反射率图像中的轻微马赛克现象引起的。由于漫反射白板制作工艺的限制,导致利用漫反射白板获得的场景反射率图像中仍然存在轻微的马赛克现象,所以依据高空间分辨率的场景马赛克图像中的细节信息进行高分辨率重构时,重构图像会存在轻微误差。第二部分是存在于图像背景中的模糊,它是由图像背景中的无特征信息引起的。本文使用的LS-MDF算法和RLR-MDF算法中的正则化算子是超像素分割算子,当背景中无特征信息时,超像素分割算子无法对背景进行有效的像素分割,导致图像背景的重构结果较差。针对以上两个误差,可分别通过定做更大、更精确的漫反射白板和对重构图像进行裁切的方法,实现更高精度的高分辨率重构。

4 结论

针对分焦平面马赛克图像的高分辨率重构需求,本文提出了分焦平面多光谱图像的场景信息提取方法,并将分焦平面多光谱图像的高分辨率重构模型从物理上转化为高光谱图像与多光谱图像的融合模型,实现了分焦平面多光谱图像的快速高精度重构。该方法可以应用到所有像素级分焦平面马赛克图像的高分辨率重构,值得广泛应用。
本文提出的分焦平面马赛克图像的高分辨率重构方法不仅适用于分焦平面型光谱相机,也适用于分焦平面型偏振相机。分焦平面型光谱相机和分焦平面型偏振相机重构的方法区别为:在提取场景信息时,光谱相机需要拍摄光谱反射均匀的漫反射白板,偏振相机需要拍摄偏振反射均匀的白板。在对单模态的光谱图像/偏振图像和场景反射率图像建模时,单模态的光谱图像和偏振图像的物理模型相同,但基于光谱图像获得的场景反射率图像建模为各个谱段的光谱图像的线性混合,而基于偏振图像获得的场景反射率图像建模为各个偏振态的图像的线性混合,其余重构方法相同。后续工作将验证该方法对分焦平面偏振图像去马赛克高分辨率重构成像的可行性。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
王静, 李彤, 梁健. 不同树龄苹果树根际土壤的微生物生物量碳、酶和养分特征及其变化规律[J]. 陕西师范大学学报(自然科学版), 2021, 49(1): 96-104.

WANG J, LI T, LIANG J. Characteristics and changes of the microbial biomass carbon, enzyme activities and nutrients in rhizosphere soil of apple trees at different ages[J]. Journal of Shaanxi Normal University (Natural Science Edition), 2021, 49(1): 96-104.

[2]
宋芷仪, 王周平, 马小媛. 基于纳米材料拉曼增强特性的细胞氧化损伤检测[J]. 陕西师范大学学报(自然科学版), 2024, 52(1):62-69.

SONG Z Y, WANG Z P, MA X Y. Cellular oxidative damage detection based on Raman-enhanced property of nanomaterials[J]. Journal of Shaanxi Normal University (Natural Science Edition), 2024, 52(1):62-69.

[3]
GAO C D, ZHAO M L, CAO F Y, et al. Underwater polarization de-scattering imaging based on orthogonal polarization decomposition with low-pass filtering[J]. Optics and Lasers in Engineering, 2023,170:107796.

[4]
CHAMBERLAIN N E, WALTON E K, GARBER F D. Radar target identification of aircraft using polarization-diverse features[J]. IEEE Transactions on Aerospace and Electronic Systems, 1991, 27(1):58-67.

[5]
SHEN L H, ZHAO Y Q, PENG Q N, et al. An iterative image dehazing method with polarization[J]. IEEE Transactions on Multimedia, 2019, 21(5):1093-1107.

[6]
PENG X, KONG L B. Development of a multi-sensor system for defects detection in additive manufacturing[J]. Optics Express, 2022, 30(17):30640-30665.

DOI PMID

[7]
赵永强, 潘泉, 程咏梅. 成像偏振光谱遥感及应用[M]. 北京: 国防工业出版社,2011:35-41.

ZHAO Y Q, PAN Q, CHENG Y M. Imaging spectropolarimetric remote sensing and application[M]. Beijing: National Defense Industry Press,2011:35-41.

[8]
NORDIN G, MEIER J, DEGUZMAN P, et al. Diffractive optical element for Stokes vector measurement with a focal plane array[C]//SPIE Conference on Polarization: Measurement, Analysis, and Remote Sensing Ⅱ, July 19-20, 1999, Denver, Colorado. Washington: SPIE,1999: 169-177.

[9]
LEFAUDEUX N, LECHOCINSKI N, BREUGNOT S, et al. Compact and robust linear Stokes polarization camera[C]//SPIE Conference on Polarization Science and Remote Sensing ⅩⅥ, August 10-11, 2008, San Diego, California. Washington: SPIE, 2008:6972.

[10]
PEZZANITI J L, CHENAULT D B. A division of aperture MWIR imaging polarimeter[C]//SPIE Conference on Polarization Analysis and Applications to Device Technology, August 1-2, 2005, San Diego, California. Washington: SPIE, 2005:5952.

[11]
GOOSSENS T, GEELEN B, PICHETTE J, et al. Finite aperture correction for spectral cameras with integrated thin-film Fabry-Perot filters[J]. Applied Optics, 2018, 57(26):7539-7549.

[12]
HSU W L, MYHRE G, BALAKRISHNAN K, et al. Full-Stokes imaging polarimeter using an array of elliptical polarizer[J]. Optics Express, 2014, 22(3):3063-3074.

[13]
MONNO Y, TANAKA M, OKUTOMI M. Multispectral demosaicking using guided filter[J]. Electronic Imaging, 2012, 8299: 1-7.

[14]
LE TEURNIER B, BOFFETY M, GOUDAIL F. Error model for linear DoFP imaging systems perturbed by spatially varying polarization states[J]. Applied Optics, 2022, 61(24):7273-7282.

[15]
JAISWAL S P, FANG L, JAKHETIYA V, et al. Adaptive multispectral demosaicking based on frequency-domain analysis of spectral correlation[J]. IEEE Transactions on Image Processing, 2017, 26(2):953-968.

DOI PMID

[16]
MIHOUBI S, LOSSON O, MATHON B, et al. Multispectral demosaicing using pseudo-panchromatic image[J]. IEEE Transactions on Computational Imaging, 2017, 3(4):982-995.

[17]
LI N, ZHAO Y Q, PAN Q, et al. Demosaicking DoFP images using Newton’s polynomial interpolation and polarization difference model[J]. Optics Express, 2019, 27(2):1376-1391.

[18]
XIN J Q, LI Z, WU S G, et al. Demosaicking DoFP images using edge compensation method based on correlation[J]. Optics Express, 2023, 31(9):13536-13551.

DOI PMID

[19]
SIMAES M, BIOUCAS D J, ALMEIDA L B, et al. A convex formulation for hyperspectral image superresolution via subspace-based regularization[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(6):3373-3388.

[20]
YOKOYA N, YAIRI T, IWASAKI A. Coupled nonnegative matrix factorization unmixing for hyperspectral and multispectral data fusion[J]. IEEE Transactions on Geoscience and Remote Sensing, 2012, 50(2):528-537.

[21]
LI S T, DIAN R W, FANG L Y, et al. Fusing hyperspectral and multispectral images via coupled sparse tensor factorization[J]. IEEE Transactions on Image Processing, 2018, 27(8): 4118-4130.

[22]
LANARAS C, BALTSAVIAS E, SCHINDLER K. Hyperspectral super-resolution by coupled spectral unmixing[C]//IEEE International Conference on Computer Vision (ICCV), December 7-13, 2015, Santiago,Chile.New York: IEEE, 2015:3586-3594.

[23]
XUE J Z, ZHAO Y Q, LIAO W Z, et al. Nonlocal low-rank regularized tensor decomposition for hyperspectral image denoising[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(7):5174-5189.

[24]
XUE J Z, ZHAO Y Q, BU Y Y, et al. Spatial-spectral structured sparse low-rank representation for hyperspectral image super-resolution[J]. IEEE Transactions on Image Processing, 2021,30:3084-3097.

[25]
LIU J J, WU Z B, XIAO L, et al. A truncated matrix decomposition for hyperspectral image super-resolution[J]. IEEE Transactions on Image Processing, 2020,29:8028-8042.

[26]
LIU M Y, TUZEL O, RAMALINGAM S, et al. Entropy-rate clustering:cluster analysis via maximizing a submodular function subject to a matroid constraint[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(1):99-112.

[27]
NASCIMENTO J M P, DIAS J M B. Vertex component analysis:a fast algorithm to unmix hyperspectral data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2005, 43(4):898-910.

[28]
LONCAN L, DE ALMEIDA L B, BIOUCAS D J M, et al. Hyperspectral pansharpening:a review[J]. IEEE Geoscience and Remote Sensing Magazine, 2015, 3(3):27-46.

Options
文章导航

/

〈 〉

版权所有 © 《陕西师范大学学报(自然科学版)》编辑部
地址：中国西安陕西师范大学长安校区文汇楼C段3层　
邮编：710119
电话：029-81530883，81530879，81530885　
E-mail：lkxuebao@snnu.edu.cn
技术支持：北京玛格泰克科技发展有限公司