古代壁画作为人类文化遗产的重要组成部分,具有独特的历史、文化与艺术价值。世界各地的古代壁画风格多种多样,受到不同地域文化、历史背景和宗教信仰的影响,壁画在视觉表现、技法运用及主题内容上各具特色。无损检测技术能够在不破坏壁画的前提下,从中提取壁画制作材料及工艺的“潜信息”,这对于壁画的保护和修复至关重要。高光谱成像技术是一种先进的光学成像技术,能够在多个波长范围内同时捕捉物体的光谱信息,因此在材料成分识别领域应用广泛。与传统的彩色图像不同,高光谱成像能够提供上百甚至上千个波段的图像数据,从而捕捉到材料在不同光谱波段下的反射或发射特性(如图1所示)。这种高维度的光谱信息,使得高光谱成像技术在材料成分分析、鉴定及质量控制等方面表现出独特的优势。
何勇等[1]利用非接触无损的高光谱技术,针对云冈石窟第5窟壁画,识别并可视化了壁画的颜料种类及其空间分布,为壁画修复和色彩复原提供了科学依据。刘宁等[2]通过高光谱相机采集圣祚隆长寺建筑彩画的图像,并利用ENVI软件进行光谱曲线对比分析,成功识别了6种颜料,为建筑彩画的无损检测和后续修缮提供了科学依据。樊硕[3]通过构建彩绘颜料样本库并结合光谱反射率、颜色指纹、贝叶斯优化神经网络等方法,实现了彩绘文物的浓度映射和精确图像分割,为彩绘文物的色彩复原提供了科学依据和有效支持。赵新春[4]利用现代信息技术、高光谱成像技术等手段,采集壁画的高保真数据,为壁画数字化档案建立和持续保护提供了科学依据,并且高光谱成像技术的应用为壁画颜料层的精准分析和文物保护提供了重要支持。杨文宗等[5]提出了一种融合光谱分析与带通能量积分的壁画颜料色彩虚拟修复方法,通过高光谱成像技术和光谱数据分析,实现了唐墓壁画颜料的识别与色彩虚拟复原,为壁画修复提供了科学依据和视觉修复参考,具有重要的创新示范意义。首先,高光谱成像能够精确识别壁画中物质的成分和结构。每种物质在不同的光谱波段下具有独特的光谱反射特征,类似于其“指纹”。通过高光谱成像,可以对颜料等材料的光谱特征进行详细分析,进而识别其成分。
深度学习是人工智能的一个分支,基于多层神经网络来模拟人类大脑的学习方式,通过大量数据训练模型,使得计算机能够从中自动学习并提取特征、识别模式。深度学习模型通过大量的非线性变换,对数据进行逐层处理,最终实现从输入数据到输出结果的映射。其核心优势在于无需人工设计特征,通过自动化的特征学习,可以在多个领域取得突破性的进展。曹建芳等[6]提出了一种改进的ResNet卷积神经网络,通过优化卷积层、引入多尺度空间通道注意模块和蜂窝式聚合结构,有效提升了壁画图像分类的准确率、精度和稳定性。张乐等[7]提出了一种基于快速傅里叶卷积和坐标注意力的生成对抗网络,用于古代壁画修复,具有较大的感受野和丰富特征提取能力,实验结果表明该方法在修复效果上优于现有方法,能够有效减少人工成本并提高修复质量。田欢[8]提出了Retinex-Pro网络模型,通过改进低照度壁画图像增强方法,结合注意力机制提升处理速度并避免过拟合,实验证明该方法在寺院壁画类文物的低照度图像增强中表现优异。王建华[9]针对敦煌壁画轮廓线提取的挑战,提出了两种改进的边缘检测方法:一是基于多尺度特征融合和薄边缘学习的网络结构,结合空洞卷积和空间注意力模块,以提高轮廓线的精确度;二是结合CNN和Transformer的并行融合方法,通过双分支网络结构和特征交互模块增强局部细节与全局结构的融合,实验结果表明两种方法在敦煌壁画图像处理上均表现出较高的准确性和清晰度。深度学习作为一种前沿技术,在壁画保护的应用中展现了巨大的潜力。它不仅能够提高壁画修复工作的精度和效率,还能在颜料识别、损伤评估、色彩复原等方面提供创新的解决方案。随着技术的不断发展,深度学习有望在未来文化遗产保护的发展中发挥更加重要的作用,成为文物保护和修复领域的重要工具。
本文结合高光谱成像和深度学习技术,一方面对壁画的颜料材质等信息进行更深度的挖掘,另一方面则通过人工智能自动地、高效地对图案内容进行识别,实现了中国古代壁画的风格分类。
1 壁画高光谱图像的采集
本研究采用高光谱技术对壁画数据进行采集,图2是本研究采用的线推扫高光谱成像系统,由支撑组件支撑整个架构,由照明组件提供稳定的光源,驱动组件控制整个相机系统的匀速推扫,由相机组件和扫描组件获取高光谱图像。本文设备获得了壁画380~1 000 nm区间128个波段的高光谱图像。
通过线推扫方式[10]采集壁画的高光谱图像是一种高效、精准的非接触式文物数字化技术,广泛应用于壁画的保护与修复中。该技术通过将高光谱成像系统与推扫采集方法相结合,能够在不直接接触壁画表面的情况下,实时获取壁画的光谱数据。在实际操作中,成像系统通过逐行扫描的方式,沿着壁画表面横向移动,逐步获取每一个像素点在不同波段上的反射光谱。每个像素的光谱数据可以覆盖从可见光到近红外区域的多个波段,提供从表面到深层的多维度信息。与传统的静态采样方法相比,线推扫采集能够有效避免因局部采样带来的信息遗漏,提供壁画更为完整的光谱特征。这种方式特别适用于大面积壁画的扫描,可以较为高效地获取大范围区域的高光谱图像数据,结合高光谱图像数据,研究者还可以对壁画的化学成分、材质构成、涂层厚度等进行深入分析,为文物保护提供重要的科学依据。
2 实验对象
本文的实验对象包括36幅中原风格特征的壁画和21幅西域风格特征的壁画。两种风格的壁画,虽然同属于中国壁画艺术的范畴,但由于地理、文化、宗教等多方面的差异,两者在艺术风格、表现形式和主题内容上展现出鲜明的特点。
中原风格特征通常以儒家思想和道家文化为主导,具有浓厚的民族特色和内敛的文化气质,主要出现在汉代和唐代,如河南洛阳地区的汉代壁画、陕西西安的大雁塔壁画及唐代的壁画。这些壁画的画面主题通常描绘历史人物、神话故事以及宗教场景,表现方式上倾向于对人物的细腻刻画和精神内涵的表现。中原壁画的一个显著特点是其典雅的色彩和写实的表现。无论是人物肖像、祭祀场景,还是历史故事,画面中的人物通常是端庄严肃的,比例和姿态遵循着传统的规范。例如,唐代的壁画中人物的衣饰华丽,表情生动,线条流畅而富有表现力,色彩则明丽而和谐,呈现出一种宏大且庄重的气氛。同时,中原壁画在空间和透视上并不追求西方的透视效果,而是更注重平面上的装饰性与层次感,背景常常是简单的建筑装饰或自然景观,意境深远。
相比之下,西域风格特征的壁画则受到了更多外来文化的影响,尤其是印度、希腊及波斯文化的交融,使得西域壁画呈现出更加多元化和开放性的艺术特征。此类壁画,尤其是敦煌莫高窟、克孜尔千佛洞等地的壁画,往往融入了佛教文化的精髓,表现出丰富的宗教题材和异域风情。其最显著的特点是其强烈的异域风情和文化融合感。受佛教艺术影响,该类壁画的题材多以佛像、菩萨、天王、佛教故事以及诸神传说为主,画面风格则更趋向于装饰性和象征性。在人物的表现上较为生动和夸张,人物面容圆润,衣纹流畅,色彩使用上往往更加鲜艳、对比强烈,充满了梦幻般的视觉效果。尤其是在敦煌壁画中,可以看到印度佛教艺术对中原壁画的影响,佛像的比例和姿态比中原壁画更加高大、神秘,服饰和头饰也呈现出浓厚的异域风情。此外,注重空间的开阔性和多样性,尤其在一些佛教洞窟中,壁画常常呈现出大规模的叙事场景,画面远比中原壁画复杂,有着更强的纵深感和层次感。壁画的背景常描绘异国情景,像是印度的花卉、波斯的图案等元素都常见于其中,融合了多元文化的艺术表达方式,展现了丝绸之路上文化交流的丰富性和多样性。
3 基于三维高光谱Transformer的分类网络
以高光谱图像和3D-Transformer为基础对壁画风格进行分类,是本文提出的一种结合光谱信息和三维结构信息进行深度学习分析的创新方法。高光谱成像技术能够以极高的空间分辨率获取壁画表面的光谱信息,涵盖了从可见光到近红外范围的多个波段。这使得它能够提供壁画表面细节的多维度信息,比如不同的颜料材料在不同的波长下有特定的光谱反应。通过对壁画的高光谱图像分析,可以识别出使用的颜料种类,这对风格分类至关重要。例如,中原壁画可能使用的是红色的朱砂,而敦煌的壁画可能使用了更为复杂的蓝色颜料(如青金石)。此外,高光谱图像可以反映颜料的分布、厚度以及涂层的层次结构。这对于区分不同历史时期、地域或宗教背景下的壁画风格非常有帮助[11]。
3D-Transformer是一种能够处理三维空间数据并有效提取空间特征的深度学习模型。对于壁画风格分类来说,3D-Transformer的引入有助于壁画三维结构的提取:壁画往往有着复杂的表现形式和细节,尤其是在凹凸不平或呈现空间层次的部分,3D-Transformer可以从壁画的三维扫描数据中提取空间信息。此外,3D-Transformer不仅能够处理壁画的空间信息,还能够对壁画中的纹理信息如线条、图案等进行建模,通过对高光谱图像和三维模型的融合,Transformer模型可以学会如何将这些空间和纹理特征进行综合考虑,提高分类的准确性。
本文的网络架构如图4所示。高光谱数据以三维张量形式输入网络,其维度为H×W×B(高度×宽度×波段数)。为保留光谱-空间联合特征,采用波段分组归一化和光谱-空间立方体构建的并行处理策略。波段分组归一化将整个光谱范围按可见光(380~780 nm)和近红外(780~1 000 nm)分成两组,分别进行Min-Max归一化,缓解不同波段间的量纲差异。光谱-空间立方体构建操作以每个像素为中心,截取局部空间邻域及其完整光谱曲线,形成数据立方体作为基本处理单元。
对于Transformer,将图像中的多个补丁输入Transformer编码器中,该编码器捕获图像中的远程关系并动态计算自关注权值以进行自适应建模。为了实现高光谱图像不同波段之间的交互信息,提出了一种基于Transformer的三维高光谱图像分类分解编码器,该编码器由两个串联的Transformer编码器组成。第一个Transformer编码器探索从高光谱图像的同一波段中提取的标记之间的相互作用,以学习每个切片的潜在表示。第二个Transformer编码器模拟了不同波段之间的相互作用。
具体来说,对于一个波段特征图 ,首先,提取p个不重叠的特征块并输入全连通层中。接下来,所有切片补丁都被平铺成词元(token),输入第一个Transformer的编码器的词元序列如下:
= + 。
式中: 是已学习的属于第j个类别的学习分类标记,该波段特征图及其输出作为第一个Transformer编码器的最终波段表示; 是第1个波段特征映射的学习位置嵌入。最后,将词元序列送入第一个Transformer编码器,该编码器由多头自注意力机制、层归一化和多层感知器块组成,其机制如下式表示:
=MSA(LN())+ 。
=MLP(LN())+Zj'。
将第一个Transformer编码器学习到的高光谱特征 合并,进行线性投影,然后网格化成词元Ri∈Rs×d。输入第二个Transformer编码器的词元序列如下所示:
Ki=[;Ri]+Pi。
式中: 是学习到的分类词元;Pi是学习得到的位置嵌入。词元序列被馈送到第二个Transformer编码器如下:
Ki'=MSA(LN(Ki))+Ki。
ri=MLP(LN(Ki')+Ki'。
式中,ri用于最终模型分类。
三维卷积自编码器在编码器阶段,通过交替的3D卷积和池化操作,逐步将光谱维度从原始波段压缩至语义特征层,此过程保留了对颜料分类最关键的光谱吸收/反射特征。预训练完成后,编码器最后一个卷积层每个空间位置的特征向量隐含了对应区域的光谱响应模式,这些特征图将作为Transformer的输入词元。
最后,利用多层感知器头部预测标签li进行高光谱分类。具体来说,将分解编码器的输出ri馈送到归一化层和两个全连接层:
li=Softmax(MLPhead(ri))。
式中,Softmax()是激活函数。
本研究将焦点损失作为交叉熵损失的扩展,用于壁画高光谱图像的分类,并通过测量难分类和易分类样本对总损失函数的贡献来解决类别不平衡问题。为了表示方便,将预测的标签向量定义为li=[l1i,l2i,…,lbi]。如果第i个实例属于正确的类别m,则ui=lmi。焦点损失为
L= -αi lnui。
式中:αi是权重因子; 是调制因子;γ≥0是可调的焦点参数。
由于高光谱壁画的数据集较小,将迁移学习应用于特征图的提取。图5显示了三维卷积自编码器的框架。由于三维卷积自编码器可以最大限度地挖掘空间结构信息进行特征提取,为了提取具有更多底层空间结构信息的高光谱壁画特征图,预先在预处理的Pavia University数据集上通过重建损失训练三维卷积自编码器。三维卷积自编码器包含一组编码器和一组解码器。编码器包括4个3D卷积层Conv3D1、Conv3D2、Conv3D3、Conv3D4。其中,Conv3D1的通道数为16,卷积核大小为3;Conv3D2的通道数为32,卷积核大小为3;Conv3D3的通道数为96,卷积核大小为2;Conv3D4的通道数为1,卷积核大小为1。随后是4个池化层Pool3D1、Pool3D2、Pool3D3、Pool3D4,其中池化层Pool3D1核大小为2,步长为2;池化层Pool3D2核大小为3,步长为3;池化层Pool3D3核大小为2,步长为2;池化层Pool3D4核大小为2,步长为2。最后接一个全连接层。解码器则由一个全连接层,4个3D反卷积层,3个最大池化层组成,其核大小与下采样过程一一对应。随后,将预训练的数据集进行训练,将编码器的最后一个卷积层的输出保存为基于Transformer的分解编码器的特征图,实现小样本迁移学习。
4 实验结果
4.1 实验数据集
实验数据集为高光谱壁画数据集。其中,中原壁画36幅、西域壁画21幅。每幅壁画在空间维度被分割为30个高光谱数据块,形成了1 080个中原壁画块和630个西域壁画块的数据集。本文的数据增强方法包括空间维和光谱维两方面的增强,以应对潜在的过拟合风险。空间维的增强策略包括通过空间上的局部遮挡增强模拟壁画剥落、污渍,其中随机遮挡块的面积占5%~10%;以及通过幅度<5%的轻微弯曲或拉伸模拟墙面不平整或拍摄畸变。光谱维的数据增强包括对光谱维度施加乘性噪声和加性噪声以模拟不同的光照角度或环境光的影响;以及对特定波段施加指数衰减噪声以模拟颜料的退化。
4.2 模型参数
采用ADAM优化器[15]对本文的网络进行训练。ADAM优化器是深度学习中常用的一种自适应学习率优化算法,其能够动态调整学习率,减少梯度波动,通过一阶矩和二阶矩估计来计算每个参数的自适应学习率,并通过偏差修正来提高训练初期的准确性。通过调整每个参数的学习率来加速训练,并且使训练过程更为稳定。学习率为10-4,指数衰减率从0.5到0.999。此外,应用了10倍交叉验证,生成包含不同训练集和测试集的10组数据,用于训练模型并计算测试精度。在每个分割中,90%的数据用于训练,其余10%用于测试,选取10组测试结果的平均值作为最终结果。
4.3 方法对比
表1 各方法的分类精度指标对比Tab.1 Comparison of classification accuracy metrics for different methods |
| 方法 | 准确率 | 精确率 | 召回率 | F1评分 |
|---|---|---|---|---|
| 文献[16] | 0.943 8 | 0.975 8 | 0.934 2 | 0.954 5 |
| 文献[17] | 0.954 9 | 0.981 7 | 0.946 2 | 0.963 6 |
| 文献[18] | 0.947 9 | 0.980 6 | 0.936 1 | 0.957 8 |
| 文献[19] | 0.930 9 | 0.966 0 | 0.923 1 | 0.944 1 |
| 文献[20] | 0.946 7 | 0.969 6 | 0.945 3 | 0.957 3 |
| 本文方法 | 0.963 7 | 0.982 9 | 0.959 2 | 0.970 9 |
注:加粗表示最优。 |
在评价指标上,本文方法的准确率、精确率、召回率和F1评分在各方法中均是最优秀的,对比算法皆为面向高光谱图像分类任务提出的较为新颖方法,在此任务上取得了一定的效果,但仍面临以下潜在问题:文献[16]方法中采用的残差3D-CNN的卷积核对于捕捉壁画中长距离光谱-空间关联在此任务中不利于捕捉颜料退化区域与完好区域的渐变关系;文献[17]中壁画高光谱的频域特征可能包含大量与分类无关的高频噪声;文献[18]在特征交互方式和模态对齐方面可能面临挑战;文献[19]的方法面临邻域适配偏差的问题;文献[20]中双分支结构可能因壁画数据的低空间分辨率导致空间分支贡献有限。本文方法中自注意力机制直接关联任意两个像素-波段位置,适合捕捉壁画中跨区域的非局部特征,而Transformer可自动学习不同波段的重要性权重,能有效把控颜料颗粒的局部细节和壁画主题的全局语义,因此取得了较好的分类效果。图6则是各方法的混淆矩阵,可以发现无论是将中原风格特征的壁画误判为西域风格特征的壁画,还是将西域风格特征的壁画误判为中原风格特征的壁画的两种情况,本文方法的误判程度都足够小。
表2为损失函数中α取值对实验结果的影响。实验结果表明,相对于仅采用交叉损失函数的方法,焦点损失在α=0.25时能一定程度上提升分类精度,其原因在于交叉熵损失在α=0.25时对所有样本平等对待,导致模型偏向多数类(中原壁画),少数类(西域壁画)的分类边界模糊,且其对高置信度样本的梯度更新权重较大。而焦点损失通过调制因子减少了高置信度样本的损失贡献,且一定程度上缓解了少数类因样本少导致的训练不足问题。
表2 损失函数中α取值对实验结果的影响Tab.2 Impact of the α value in the loss function on experimental results |
| α取值 | 0 | 0.25 | 0.5 | 0.75 | 1 |
|---|---|---|---|---|---|
| 准确率 | 0.956 3 | 0.963 7 | 0.949 2 | 0.940 9 | 0.928 8 |
表3 本文方法与基于彩色图像的深度学习分类方法对比Tab.3 Comparison of the proposed method with deep learning classification methods based on color images |
| 方法 | 准确率 | 精确率 | 召回率 | F1评分 |
|---|---|---|---|---|
| VGG19 | 0.881 2 | 0.933 7 | 0.874 0 | 0.902 9 |
| GoogleNet | 0.902 3 | 0.947 9 | 0.894 4 | 0.920 4 |
| ResNet-50 | 0.912 8 | 0.954 1 | 0.905 5 | 0.929 2 |
| ViT | 0.922 2 | 0.964 6 | 0.910 1 | 0.936 6 |
| 本文方法 | 0.963 7 | 0.982 9 | 0.959 2 | 0.970 9 |
注:加粗表示最优。 |
由表3的结果可以看出,基于彩色图像的壁画风格分类网络结果尚可,但与本文采用高光谱图像的方法相比有较大的不足,进一步验证了高光谱信息在这一任务上的重要程度。
5 结语
本文提出了一种基于三维高光谱Transformer的网络用于壁画的风格分类任务。通过采集一定数量中原风格特征的壁画与西域风格特征的壁画的高光谱图像,整合数据集,通过迁移训练的方法训练了此网络。实验结果表明,相较于其他方法,本文所述方法在这一任务上取得了更为突出的结果。
本研究在以下层面具有实质意义的突破:首先,在光谱特征利用层面,准确率提升意味着本文方法具备更优的高光谱特征提取能力,为艺术史分期提供更精细的判别依据;其次,在模型优化层面,焦点损失缓解了中原风格样本的支配效应,三维Transformer的光谱注意力自动强化了颜料光谱特征。这些特定场景的显著改进证明,即便不同时代的壁画整体特征相近,本文方法仍能为文物保护提供更可靠的决策依据。