The review of the graph convolutional neural networks

XIE Juanying; ZHANG Jianyu

doi:10.15983/j.cnki.jsnu.2024003

Journal of Shaanxi Normal University(Natural Science Edition) >

2024 , Vol. 52 >Issue 2: 89 - 101

DOI: https://doi.org/10.15983/j.cnki.jsnu.2024003

The review of the graph convolutional neural networks

XIE Juanying ^,^* ,
ZHANG Jianyu

Expand

School of Computer Science, Shaanxi Normal University, Xi’an 710119, Shaanxi, China

Received date: 2023-09-18

Online published: 2024-04-11

Fold

Abstract

Graph convolutional neural network (GCN) has emerged as the intersection of graph theory and deep learning, becoming the hotspot research field of machine learning.Therefore, a comprehensive overview of the GCN is provided, and the available studies of GCN into two typical categories are summarized: spectral-based methods and spatial-based methods.These two typical types of GCN models are extensively discussed, the fundamental theoretical underpinnings of the graph convolution operations are delved into, diverse applications of GCN across various domains are showcased, the major challenges encountered by GCN are summarized, and valuable insights into the future trends of GCN advancement are offerred. Additionally, the potential utilization of GCN in butterfly recognition tasks is investigated, particularly in identifying butterfly species by leveraging images captured in natural habitats.

Key words： graph convolutional neural network; spectral methods; spatial methods; object detection

Cite this article

XIE Juanying , ZHANG Jianyu . The review of the graph convolutional neural networks[J]. Journal of Shaanxi Normal University(Natural Science Edition), 2024 , 52(2) : 89 -101 . DOI: 10.15983/j.cnki.jsnu.2024003

近年来,卷积神经网络在图像识别、自然语言处理等领域取得快速发展^[1]。然而,尽管卷积神经网络在图像、文本等欧式空间的数据处理方面取得巨大成功,却难以处理现实问题中的非欧数据^[2]。鉴于图的通用表示以及卷积神经网络的强大功能,图卷积神经网络应运而生。

图卷积神经网络(graph convolutional network,GCN)可分为两大类别:基于图谱的方法和基于空间的方法。Bruna等^[3]在2013年提出了第一个基于图谱的图卷积神经网络,结合图理论从卷积定理出发,在频域上定义了图卷积。为了解决其复杂度高的问题,众多学者提出了诸多基于图谱的改进、扩展和近似的图卷积神经网络^[4⇓-6]。基于空间的图卷积神经网络最早由Micheli等^[7]于2009年提出,通过复合非递归层,解决了图的相互依赖性,同时继承了消息传递思想。为处理多样化的数据,提高模型效率,基于空间的图卷积神经网络也引起学者的广泛关注^[8-9]。

至今,已经存在许多从不同角度对图神经网络进行梳理的综述。Wu等^[10]从图神经网络发展历史的角度,创造性地将GNN(graph neural network)模型分为recurrent GNN、convolutional GNN、graph autoencoder和spatial-temporal GNN。Zhou等^[11]从设计者的角度,介绍了GNN的算法流程:寻找图结构(find graph structure)、指定图的类型与规模(specify graph type and scale)、设计损失函数(design loss function)和使用计算模块构建模型(build model using computational modules)。Zhou等^[12]以图结构数据为引导,详细介绍了构建图神经网络的主要概念和模块。本文以GCN为核心,系统介绍两大类别图卷积神经网络的经典方法及研究进展,针对存在的问题,对典型的GCN模型及其应用进行分析,对图卷积神经网络的发展进行展望,并分析其在野外环境下蝴蝶识别的应用。

1 基础概念

图G=(V,E),V是节点集合,E是边集合。‖V‖=n,v_i∈V表示节点i,e_ij表示连接节点i和j的边(这里仅考虑无向图)。节点v的邻居节点为N(v)={u∈V|e_vu∈E}。图G的邻接矩阵A=(A_ij)_n_×_n是一个n阶矩阵,若e_ij∈E,则A_ij=1;否则,A_ij=0;如图G是无向图,则其邻接矩阵是对称阵,即A_ij=A_ji。

L=D-A为图G的拉普拉斯矩阵,其中D是图G的度矩阵,为一个对角阵,其对角线元素D_ii=

∑ j = 1 n

a_ij。图G的归一化拉普拉斯矩阵为L=I_n-D^-1^/²AD^-1^/²,其中I_n∈Rⁿ^×ⁿ是单位矩阵。显然,L是一个实对称矩阵,特征分解得到L=UΛU^T,U={u_i

} i = 1 n

是n个相互正交的特征向量,Λ=diag({λ_i

} i = 1 n

)表示特征值矩阵(diag表示对角阵),λ_i是u_i对应的特征值。图节点属性X∈Rⁿ^×^d,d是节点属性的维度,x_i∈R^d表示节点i的属性向量。

2 图谱GCN

图1展示了图谱GCN的核心机理。如图1所示,图谱GCN利用卷积定理从频域定义图卷积,即利用卷积定理,先利用傅里叶变换将信号从原始空间转换到频域,再在频域将信号做乘法,最终利用傅里叶逆变换将信号转换到原始空间,从而实现图卷积,解决在图结构上卷积定义的问题。因此,图卷积可以理解为在频域中的节点级别信号x∈Rⁿ与g_θ=diag(θ)(θ∈Rⁿ与卷积核的参数)的乘积,如式(1)所示:

(1)g_θ*x=Ug_θU^Tx。

式中:U是图G的拉普拉斯矩阵的特征向量矩阵;L=I_n-D^-1^/²AD^-1^/²,L=UΛU^T,Λ是特征值构成的对角矩阵,U^Tx是输入信号x的图傅里叶变换。实际上,g_θ可以理解为图G的归一化拉普拉斯矩阵的特征值函数, 即g_θ(Λ)。

显示原图|下载原图ZIP|生成PPT

图1 图谱GCN示意图

Fig.1 The diagram of GCN based on graph spectral method

直接计算式(1)是困难的,复杂度是O(n²),n是节点数。为解决计算复杂度问题,许多学者对这一基本模型进行改进。Xu等^[13]用小波变换代替傅里叶变换,从而实现卷积定理。小波变换本质上也是将信号从原始空间转换到频域,与傅里叶变换不同的是,小波变换的基底为

(2)φ_s=UG_sU^T。

式中:U是图G的拉普拉斯矩阵的特征向量矩阵;G_s=diag({g_s(λ_i)

} i = 1 n

)是对角矩阵,λ_i是图G的拉普拉斯矩阵的原始特征值,g_s函数是对原特征值进行变换的函数,s是缩放参数。不同的g_s函数决定了小波基底的不同性质,文献中g_s(λ_i)=

e s λ i

。以φ_s为基底,将信号x的图小波变换定义为

φ s - 1

x,其逆变换为φ_sx,故卷积定理可以表示为

(3)y*x=φ_s((

φ s - 1

y)☉(

φ s - 1

x))。

与傅里叶变换相比,小波变换可以通过相关算法快速获得,无需对相应的拉普拉斯矩阵进行特征分解,并且通过改变g_s函数的缩放参数s,小波变换能更灵活地调整节点邻域。

Hammond等^[14]使用切比雪夫多项式T_k(x)对近似函数g_θ(Λ)展开到第k阶,降低了计算复杂度,其数学表达为

(4)g_θ'(Λ)=

∑ k = 0 K

θ'_kT_k(

Λ ˜

)。

式中:

Λ ˜

2 λ m a x

Λ-I,λ_max是L的最大特征值;θ'∈R^K是切比雪夫系数的向量;T_k(x)是递归的切比雪夫多项式,其定义为T_k(x)=2xT_k_-1(x)-T_k_-2(x), 并且T₀(x)=1,T₁(x)=x。结合以上两式,基于频域的图卷积操作可重新定义为

(5)g_θ'*x=θ'_kT_k(

L ˜

)x,

L ˜

2 λ m a x

L-I。根据上式,每个节点仅依赖于第k阶邻域的信息。上式的整体复杂性是O(|E|)(即与原始图G中的边数线性)。

为了定义图卷积神经网络,根据公式(5),可以堆叠多个卷积层,每层后接非线性变换。Kipf等^[15]建议,将式(5)中每层的卷积数K限制为K=1,则每层的图卷积操作可表示为图拉普拉斯矩阵L上的线性函数;在每个线性函数上,进一步近似λ_max≈2,最终得到

(6)g_θ_'*x=θ'₀x+θ'₁x(L-I_n),

θ'₀、θ'₁是整个图中可以共享的参数。实践中,可以进一步减少参数数量,当θ=θ'₀=-θ'₁时,式(6)可表达为

(7)g_θ_'*x≈θ(I+D^-1^/²AD^-1^/²)x。

一个潜在问题是矩阵I+D^-1^/²AD^-1^/²,其特征值位于[0,2]的区间内。在深度图卷积神经网络中,重复应用上述函数可能会导致梯度爆炸或消失,产生数值不稳定性。因此,可以将I+D^-1^/²AD^-1^/²转换成

D ˜ - 1 / 2 A ˜ D ˜ - 1 / 2

A ˜

=A+I且

D ˜ i i

=∑_j

A ˜ i j

。

以上考虑的是只有一个特征通道和一个卷积核的情况。当有C通道的输入信号,即H⁰∈Rⁿ^×^C以及F个卷积核的情况如下,图卷积过程表达为

(8)H'=

D ˜ - 1 / 2 A ˜ D ˜ - 1 / 2

H⁰W。

式中:W(W∈R^C^×^F)是核参数的矩阵;H'是卷积后的信号矩阵。

基于图谱的图卷积神经网络,在理论上明确了图卷积的定义,为图卷积神经网络提供了数学支撑。但由于计算成本大及固定的图结构,难以应用于大规模图、有向图和动态图等图结构数据。因此,许多学者致力于研究基于空间的图卷积神经网络。

3 空间GCN

空间方法的图卷积操作类似于传统的卷积运算,基于节点的空间关系定义图卷积。从节点集出发,定义聚合操作,聚合每个节点及其邻居节点的信息;定义组合操作,将聚合的信息组合并更新节点的信息^[16]。本节将从通用框架、邻域选择、注意力机制以及图池化操作4个方面进行阐述。

3.1 通用架构

基于空间的GCN的主流架构是神经消息传递网络(message passing neural network, MPNN)^[17],该网络最初提出是用于学习分子图表示。然而,MPNN实际上非常通用,提供了空间方法图卷积的一般框架。在MPNN中有2个重要函数,即消息函数和更新函数,消息函数对应于聚合操作,更新函数对应于组合操作,图卷积的过程表示为

(9)

H i k

=U_k

H i k - 1, ∑ j ∈ N (i) M k (H i k - 1, H j k - 1, e i j)

。

式中:

H i k - 1

表示第k-1层节点i的表示向量;e_ij表示连接节点i和j之间的边;N(i)表示节点i的邻居点集;M_k(·,·,·)是第k层的消息函数,定义了第k层节点i和j之间的消息,这取决于两个节点的表示及其边缘信息;U_k(·,·)是第k层的更新函数,将来自邻居的聚合消息与节点表示向量本身相结合。

Wang等^[18]提出非局部 (non-local) 操作作为一个构建块族,用来捕捉节点间的长程依赖。基于非局部模块搭建的非局部网络(non-local neural network,NLNN),可以对所有位置的特征加权计算,进而聚合更新更多的信息。受计算机视觉中的非局部均值滤波方法的启发,non-local的一般化公式为

(10)y_i=

1 C (x) ∑ ∀ j

f(x_i,x_j)g(x_j)。

式中:x是输入信号;i是输出位置的索引;j是图中可能位置的索引;函数f(·,·)用于计算两个位置间的相关性;函数g(·)是进行信息变换的一元输入函数;函数C(·)进行归一化。

Battaglia等^[19]探讨使用关系归纳偏置,促进深度模型对实体、关系,以及规则进行学习,并提出实现关系归纳偏差架构——图网络(graph network,GN)。GN进一步扩展MPNN架构和NLNN架构。首先阐明框架中图的定义,并且指出GN模块的基本结构与计算步骤,最终讨论GN架构的优势。

在该框架中,图被定义为一个三元组G=(u,V,E)。其中,u表示一个全局属性;V={V_i

} i = 1 … N v

是节点集合,其中,V_i表示节点i的属性,N_v表示节点总数;E={(e_k,r_k,s_k)

} k = 1 … N e

是边的集合,其中e_k表示边k的属性,r_k是边k的接收节点,s_k是边k的发送节点。

GN模块的基本结构包含3个针对节点、边和全局属性的更新函数φ和3个从边到节点、从边到全局属性和从节点到全局属性的聚合函数ρ:

(11)e'_k=φ^e(e_k,

v r k

v s k

,u),

e -

'_i=ρ^e^→^v(E'_i),
v'_i=φ^v(

e - i

,v_i,u),

e -

'=ρ^e^→^u(E'),
u'=φ^u(

e -

v -

',u),

v -

'=ρ^v^→^u(V')。

式中:E'_i={(e'_k,r_k,s_k)

} r k = i, k = 1 … N e

,V'={v'_i

} i = 1 … N v

E'=

∪ i

E'_i={(e'_k,r_k,s_k)

} k = 1 … N e

。

将图G输入GN模块,计算从边开始,到节点层面,最后到全局层面,可分为如下6个步骤:

1)φ^e作用于边,输入为(e_k,

v r k

v s k

,u),输出e'_k;节点i所有边的输出为E'_i,图G所有边的输出为E'。

2)ρ^e^→^v作用于E'_i,将投影到顶点i的所有边更新聚集到

e -

'_i,用于下一步节点更新。

3)φ^v应用于每个节点i,计算更新后节点属性v'_i,所有节点输出的结果集为V。

4)ρ^e^→^u作用于E',将所有边的更新聚合到

e -

',用于下一步的全局更新。

5)ρ^v^→^u作用于V',聚合所有节点的更新

v -

',用于下一步全局更新。

6)φ^u作用于由4)和5)分别更新的边向量

e -

'和节点向量

v -

',以及全局属性u构成的整个图,计算全局属性的一次更新u'。

GN架构具有全面性与灵活性两大优势。相较于之前的模型,GN架构在确定节点属性的基础上,引进边属性和全局属性,通过充分设计更新函数和聚合函数,全面学习图结构上3种属性的相关性质及其内在联系。GN架构具有十分灵活的设计原则,包含模块结构、外在表示以及组合方法。GN模块中的结构和功能可用不同的方式进行配置,就计算步骤而言,6个步骤不是固定不变的,可以根据实际情况对步骤进行取舍,对顺序进行更改。外在的灵活表示体现在属性与图结构上。GN模块的全局属性、节点属性和边属性可以使用任意的表示格式,诸如向量(或张量)、序列以及集合等。GN模块的输入,既可以使用显示指定实体和关系的图结构(如知识图谱等),也可以使用不明确指定关系的图结构(如因果推断图等)。GN架构同样具有灵活的组合方法。一个GN模块的输出可以作为另一个GN模块的输入,因此通过堆叠GN模块来构造复杂结构的图网络;同时,其他技术例如跳跃连接、LSTM等也可以被应用于图网络构造中。

3.2 邻域选择

当图较大且密集时,难以对每个节点的所有邻居进行聚合操作,因此需要通过邻域选择来减少计算负担。图采样聚合网络GraphSAGE^[20]可以被视为传统图卷积网络的扩展。第一个扩展是广义聚合函数,v是目标节点,第l+1层目标节点的邻居的表示向量定义为

(12)

H N (v) l + 1

G A G G R E G A T E l

({

H u l

,∀u∈N(v)}),

式中

G A G G R E G A T E l

为聚合函数。

与传统GCN中的平均聚合函数不同,GraphSAGE提出了LSTM聚合函数和池聚合函数来聚合邻居的信息。第二个扩展是GraphSAGE应用组合函数来组合目标节点和邻域的信息,第l+1层的目标节点的表示向量定义为

(13)

H v l + 1

=σ(W^l⁺¹·C_CONCAT(

H v l

H N (v) l + 1

))。

式中:W^l⁺¹是权重矩阵;C_CONCAT(·,·)是组合函数;σ(·)是激活函数。

图采样聚合网络的设计是为了使GCN适用于大规模图。GraphSAGE引入了小批量训练策略和固定大小的邻居采样算法来加速训练过程。然而,固定大小的邻域采样策略不能完全避免邻域扩展问题并且采样质量没有理论保证。Chen等^[21]分析了节点采样方式的优劣,提出了VR-GCN,通过使用节点的历史激活,对不同尺寸的邻居节点进行采样,进一步减小采样节点的数量并且进行了理论分析。

与GraphSAGE采样邻居节点不同,Chen等^[22]提出了一种针对当前节点所在卷积层的采样方法,称之为快速学习图卷积网络(fast learning with graph convolutional networks,FastGCN)。其核心思想是将图卷积解释为概率测度下嵌入函数的积分变换,从而使用蒙特卡罗方法一致估计积分,推动文章中提出的成批训练方案。Huang等^[23]设计了一种自适应的逐层采样方法,通过自上而下地构建神经网络的每一层,根据顶层的节点采样出下层的节点,可使得采样出的邻居节点被不同的父节点所共享并且便于限制每层的节点数来避免过度扩张。同时提出一种新颖的跳跃连接方法,用于加强相隔较远的节点之间的信息传播。最终实验证明,该方法在有效性和准确性上优于GraphSAGE和FastGCN。Chiang等^[24]提出聚类图卷积神经网络(cluster graph convolutional networks,Cluster-GCN),利用图结构,基于聚类算法设计批次,在计算时将节点信息存储在当前批次中;对由聚类算法识别出的密集子图中相关联的一组节点进行采样,并限制该子图内的邻居搜索,从而有效地减小内存占用率和计算时间,同时能够达到与以前算法相当的测试精度。Zou等^[25]提出一种分层的重要性采样方法(layer dependent importance sampling,LADIES),选择中心节点的邻域节点构造一个二部图,并据此计算重要概率。然后,根据计算的概率对一定数量的节点进行抽样,进而构建整个计算图。实验结果证明,该方法比GraphSAGE占用更少内存,并且得到较FastGCN更小的方差。邻域选择的图卷积神经网络模型可总结归纳为表1。

表1 邻域选择方面GCN模型汇总

Tab.1 The summary of GCN models in neighborhood selection

模型	核心思想
GraphSAGE^[20]	小批量训练策略,扩展聚合函数
VR-GCN^[21]	利用历史激活对邻居节点采样
FastGCN^[22]	蒙特卡罗近似,嵌入函数积分变换
文献[23]模型	自适应逐层采样,跳跃连接方法
Cluster-GCN^[24]	利用聚类算法设计批次
LADIES^[25]	构造二部图计算概率抽样

3.3 注意力机制

在传统GCN中,确定目标节点和邻居节点的关系;在图采样聚合网络中,通过对邻域进行采样操作,确定了输入到聚合函数的邻居节点。图注意力网络(graph attention network)^[26]基于注意力机制学习邻居节点的重要性,其核心在于图注意力层的构造。图注意力层将第k-1层的节点表示(H^k^-1∈R^N^×^F)转移到第k层新的节点表示(H^k∈R^N^×^F'),对每个节点应用一个共享的线性变换,表示为W∈R^F^×^F'。通过一个共享注意力机制(a:R^F'×R^F'→R),来测量任意一对节点之间的注意力系数

(14)e_ij=a(W

H i k - 1

H j k - 1

式中e_ij表示节点i和节点j之间的关系。对于图上的节点,理论上允许它关注图上的任意节点,但这忽略图的结构信息。更合理的方案是只关注其邻居节点,文中只使用第一阶邻居及其自身(表示为N(i))。为了使系数在不同节点之间具有可比性,注意力系数通常使用Softmax函数进行归一化:

(15)α_ij=Softmax_j({e_ij})=

e e i j ∑ l ∈ N (i) e e i l

式中α_ij本质上定义了邻域上的多项式分布,解释为节点i到其每个邻居的转移概率。文中,注意力机制a(·,·)被定义为单层前馈神经网络,包括加权向量的线性变换W₂∈R^1×2^F'和一个LeakyReLU非线性激活函数(其斜率α=0.2),式(15)可进一步表示为

(16)α_ij=

e L e a k y R e L U (W 2 [W H i (k - 1) W H j (k - 1)]) ∑ l ∈ N (i) e L e a k y R e L U (W 2 [W H i (k - 1) W H l (k - 1)])

其中‖表示拼接2个向量的操作。新的目标节点表示向量为

(17)

H i k

=σ

∑ j ∈ N (i) α i j W H j k - 1

。

Zhang等^[27]提出门注意力网络模型(gated attention network,GaAN)用于图学习。与传统的多头注意力机制不同,GaAN使用一个卷积子网络控制每个注意力头的重要性。Zhang等^[28]开发了一种适用于超图的基于注意力机制的图神经网络——自注意力图神经网络,用以处理与学习不同类型的超图信息。Knyazev等^[29]对GCN的注意力机制进行了深入研究,首先利用图同构网络(graph isomorphism network,GIN)模型^[16]进行实验,再将GIN和切比雪夫网络ChebyNet结合,提出ChebyGIN网络模型,并加上注意力机制,采用一种弱监督的训练方法来改善模型性能,最后得出:GCN中注意力机制的主要贡献是可以将GCN推广到更复杂或者有噪声的图结构;影响注意力机制在GCN中性能的因素有很多,例如注意力模型的初始化、GCN模型的选择和注意力机制在GCN模型的超参数等;弱监督的训练方法可以使注意力机制在GCN模型中表现出更好的性能。

相较于传统的GNN,图注意力网络将注意力机制引入图卷积神经网络,综合考虑了图的结构信息与节点的特征信息。

3.4 图池化操作

与卷积神经网络的池化操作类似,图池化操作减少卷积后图的规模。图池化操作可发现图的重要共性,并减少大规模图的计算成本。图池化操作的一个显著例子是可微池^[30]。定义l层的图G具有结构信息(表示为邻接矩阵A⁽^l⁾∈

R n l × n l

)和节点的特征信息(表示为节点属性矩阵X⁽^l⁾∈

R n l × d

)。图G分别通过嵌入GNN(表示为GNN_1,embed)和池化GNN(表示为GNN_1,pool),得到l层的节点状态矩阵Z⁽^l⁾和分配矩阵S⁽^l⁾:

(18)Z⁽^l⁾=GNN_1,embed(A⁽^l⁾,X⁽^l⁾),Z⁽^l⁾∈

R n l × d

(19)S⁽^l⁾=Softmax(GNN_1,pool(A⁽^l⁾,X⁽^l⁾),
S⁽^l⁾∈

R n l × n l + 1

。

式中:S⁽^l⁾中的每一行代表在l层中的一个节点或者一个节点聚类簇,每一列代表在l+1层中的一个节点聚类簇;n_l₊₁对应于第l+1层预定义的最大类簇数,是超参数。通过分配矩阵S⁽^l⁾,得到l+1层的图G'、邻接矩阵A⁽^l⁺¹⁾和节点属性矩阵X⁽^l⁺¹⁾的数学表达如下:

(20)X⁽^l⁺¹⁾=

S (l) T

Z⁽^l⁾,X⁽^l⁺¹⁾∈

R n l + 1 × d

(21)A⁽^l⁺¹⁾=

S (l) T

A⁽^l⁾S⁽^l⁾,A⁽^l⁺¹⁾∈

R n l + 1 × n l + 1

。

式(20)是根据分配矩阵,将l层的节点状态矩阵转化为图G'的节点属性矩阵;式(21)是将l层的邻接矩阵转化为图G'的邻接矩阵。A⁽^l⁺¹⁾和X⁽^l⁺¹⁾再作为l+1层的嵌入GNN的输入。经过多层堆叠,最终实现了图的分层表征。

Top-k池^[31]通过学习投影向量来进行图池操作。其核心思想在于,通过一个可训练的投影向量p,将所有的点投影到一维上,得到向量y,每个点i的特征向量都对应一个y_i, 其保留了节点投影到p方向的信息。池化操作,就是取向量y上的前k个节点索引,并对原始图的矩阵进行切片,保留对应的信息。Zhang等^[32]提出带结构学习的层次图池化算子(hierarchical graph pooling with structure learning,HGP-SL)。HGP-SL是非参数的,充分利用节点特征和图结构信息,并自适应地选择节点子集以形成后续层的诱导子图,其核心思想是通过消减节点数量以及图的重构,得到最终图的表示。Yuan等^[33]提出一种获取图池化方法——STURCTPOOL。STRUCTPOOL将图池化视为节点聚簇问题,通过对原始图的节点进行聚簇,生成新图,进而完成池化操作。在聚簇的过程中,不仅考虑节点特征,还考虑其他节点的簇分配。Gao等^[34]提出一种在图中保留丰富信息的无参数池化算子iPool,其复杂度低并且能够自适应图结构,从而提高GCN在提取网络数据和层次表示方面的能力,并基于局部运算,能够在同构图下保持不变性。Ma等^[35]提出一种基于图傅里叶变换的池化算子,综合考虑局部和全局信息,充分利用节点特征和局部结构,采用合并全局节点的方法来输出整个图的表示。将基于该池化算子的池化层,与传统的图卷积层进一步结合,形成一个用于图分类的图卷积神经网络框架。

设计图池化算子是为了学到图的层级结构。起初的池化算子主要基于图的拓扑结构,启发式地定义一些节点的舍弃或者融合方式^[36],但存在诸多问题。例如,可微池使用2个GNN进行池化操作,造成计算成本过大的问题;Top-k池固定k个节点,造成可能的信息缺失问题。近期,池化算子不仅考虑拓扑结构,还考虑节点的属性信息,同时池化过程也开始通过注意力机制等模型指导完成^[37]。例如,自注意力图池^[38]通过使用图卷积网络计算得分向量作为注意力得分,扩展了Top-k池。

基于空间方法的图卷积直接对图中的每个节点进行操作。由于在节点上进行局部卷积,因此卷积核的权值可以被共享。空间方法的图卷积使用一定的采样策略,可以并行批量化计算,降低了计算时间和存储空间。空间方法的图卷积使用不同的聚合与组合操作,一定程度上可以应用于不同类型的图结构数据。

综上,空间GCN的效果取决于选择的中心节点与邻域,以及合适的聚合操作与组合操作。

4 GCN的理论基石

GCN的核心是利用图结构对节点信息进行聚合和整理,以便生成新的节点表示。从本质上看,图谱方法的图卷积和空间方法的图卷积都是对邻居节点的特征进行聚合,进而传播邻居节点信息,最终生成新的节点信息。从理论上^[39-40]讲,图卷积神经网络可追溯到1维Weisfeiler-Lehman算法(1-WL algorithm),传统的图卷积神经网络的表达力上限是1维Weisfeiler-Lehman测试(1-WL test)结果。 1-WL算法的思想如下。

算法1 1维Weisfeiler-Lehman算法

输入:G=(V,E),X∈Rⁿ^×^d,
v_i∈V,‖V‖=n,N(v)={u∈V|e_vu∈E},

x i 0

∈R^d,代表节点v_i,
输出: {

x T i

}。
For t=1,2,…,T Do
Get {

x i t - 1

};
N(

x i t - 1

)={

x j t - 1

|v_j∈N(v_i)};
更新:{

x i t

}←HASH ({

x i t - 1

},N(

x i t - 1

));∥HASH可以看作是一个注入映射,其中不同的元组映射到不同的标签。
End∥For
返回{

x T i

}。

1-WL算法将邻居节点和自身的特征向量,通过不断的迭代更新至收敛,最终在大多数图上得到一个独特的特征集合,即表明图上的每个节点都有着独特的定位(网格、链式等结构是例外)。因此,对于大多数非规则的图结构,得到的特征集合可以作为图是否同构的判别依据,即1-WL test。

基于图谱方法的GCN模型,使用式(8)规范化之后的邻接矩阵,其本质上是加了参数后略微变化的HASH函数。基于空间方法的GCN模型,更新函数大多是单射函数,可理解为HASH函数。因此,图卷积神经网络模型可以理解为WL算法的变形。

基于此,研究者将更多理论引入GCN,提出效果更优的模型。Derr等^[41]提出符号图卷积神经网络(signed graph convolutional network,SGCN),将符号网络的性质引入GCN。每个节点都有“朋友表达(friend representation)”和“敌人表达(enemy representation)”两部分,分别利用“朋友聚合器(friend aggregator)”和“敌人聚合器(enemy aggregator)”学习得到;相较于传统的GCN,SGCN更好地学习节点之间的关联信息。Monti等^[42]将对偶图概念引入GCN,提出原始对偶图卷积神经网络(dual-primal graph convolutional networks,DPGCNN)。DPGCNN将原始图中的边映射为对偶图中的节点,将原始图中边的特征保存在对偶网络的节点上,进而对原始图与对偶图进行卷积操作,从而进行特征提取与节点表达。Zhou等^[43]提出高阶图卷积神经网络,用k阶的邻接矩阵替换传统GCN中的邻接矩阵;并且用一个单层神经网络,通过输入节点的原始特征、邻接矩阵以及初始化权重矩阵,得到自适应的权重矩阵,替换传统GCN中的权重矩阵,从而在引入高阶关系的同时,区分邻居节点的重要性。而对于更多的图卷积操作,则需要结合专业知识,放在具体应用中进行讨论。

5 图卷积神经网络的应用

由于图的通用性,图卷积神经网络具有广泛应用。本节将介绍图卷积神经网络在推荐系统、计算机视觉、生物化学和社交网络领域的发展成果。

5.1 推荐系统

在推荐系统中,图卷积神经网络可以对用户和推荐的项目之间的关系进行学习。例如,典型的用户项矩阵可以看作是一个二部图,而用户和项目项矩阵可以表示为标准的无向图。向用户推荐项目可以等效为边预测任务。基于此,学者开发了多个GNN模型,以从图数据中学习推荐系统^[44]。

推荐系统的图嵌入技术在Zhou等^[45]的研究中得到了首次探索,并提供了辅助信息支持。根据会话组织的用户项目点击序列构建了数十亿条边的项目相关性图;应用深度行走式图嵌入方法计算项目表示,在检索阶段提供项目相似性。Ying等^[46]从图神经网络的角度研究了工业推荐系统,其后端模型是GraphSage的变体。知识图卷积网络(knowledge graph convolutional networks, KGCN)^[47]通过在知识图中对应的实体邻域之间执行聚合来增强项目表示。KGNN-LS^[48]进一步提出了标签平滑度假设,即假设知识图中的相似项可能具有相似的用户偏好;添加了一个正则化项来帮助学习个性化的加权知识图。KGAT^[49]与KGCN有着大致相似的想法,主要区别是知识图重建的辅助损失。SocialLGN^[50]设计了一种图融合操作,在用户-项目图中信息传递的同时,聚合了用户-用户图的信息。

5.2 计算机视觉

图卷积神经网络在计算机视觉领域应用的核心是图的构建。节点是构成图的重要元素。一些学者^[51]将图像或视频分割为规则的网格,以每个网格作为可视图的节点,应用神经网络进行嵌入。Li和Gupta^[52]将具有相似特征的像素分配给同一个节点,该节点是软的,并且可能将像素分组;组中的像素特征再进一步聚合以形成单节点特征。Wu等^[53]使用卷积来学习密集分布的低层次模式,用多个卷积块处理输入图像,并将这些特征视为顶点,以学习更稀疏分布的高阶语义概念。点云是由激光雷达扫描记录的一组三维点。Te等^[54]和Landrieu等^[55]使用聚合点的最近邻居以形成超点(或顶点),并通过GCN建立它们的关系,以探索拓扑结构和发觉周围环境。MopNet^[56]是一种将图神经网络(GNN)和传统卷积神经网络(CNN)相结合的多输出网络,用于遥感场景分类。Jia等^[57]从超像素角度提出了一个图中图卷积网络(graph-in-graph convolutional network,GiGCN),用于高光谱图像分类。

边描述节点之间的关系。生成场景图^[58-59]和人类骨骼^[60]自然地在图中的节点之间选择边。Yu等^[61]提出全局-局部自适应图卷积网络(global-local adaptive graph convolutional network, GLA-GCN),通过图对时空结构进行表示,并通过局部关节特征进行三维人体姿态估计。Devaraj等^[62]借助GCN,构建两种可反馈的图,进行动作识别。一些学者使用全连通图(每个顶点都与其他顶点连接)来建构虚拟节点之间的关系,并计算它们的并集区域表示边缘特征^[63]。此外,引入自注意力机制^[64]来学习视觉节点之间的关系,其主要思想受到自然语言处理中transformer^[65]的启发,也可以通过基于图谱或基于空间的GCN进行边缘的选择。在视频中,边不仅在帧中表示空间关系,还在帧之间表示时间关系。文献[66-67]通过k-最近邻等语义相似方法计算当前帧中节点的相似性,以构造帧之间的时间关系。Jabri等^[68]使用马尔可夫链将视频表示为图(节点是图像块,边缘是相邻帧节点之间的模糊),动态调整节点之间的随机行走。Zhang等^[69]使用区域作为视觉顶点,并用评估区域的交并比表示权重边。

GCN对视觉区域相关性进行建模,提高图像分类性能^[70],也可以将标记和未标记的图像实例结合进行半监督图像分类^[71-72]。一些学者设计了SGRN(spatial-aware graph relation network)^[73],利用语义关系和空间关系来学习空间感知的稀疏图。Zhao等^[74]将GCN与金字塔网络(feature pyramid network, FPN)进行结合,设计了图特征金字塔网络(GraphFPN),能够使拓扑结构适应不同的内在图像,并支持跨所有尺度的特征交互。

5.3 生物化学

在生物化学领域,学者们主要利用图卷积神经网络去学习分子的结构。以分子为图,其中节点是原子,原子之间的键表示边,分子性质预测的任务被视为图分类或图回归任务。在Duvenaud等^[75]的研究中,采用图神经网络以可微的方式,提出了一种端到端框架来执行分子性质预测。在Minhas等^[76]的研究中,蛋白质界面预测问题可以建模为二分类问题,其中来自不同蛋白质的一对氨基酸残基作为输入。在图中,蛋白质中的氨基酸残基被视为节点,它们之间的关系被定义为边。Fout等^[77]检查了现有的和新提出的空间图卷积算子在这项任务中的性能,通过在感兴趣节点的局部邻域上执行卷积,堆叠多层卷积,整合了蛋白质三维结构的信息,进而判断成对的氨基酸残基是否为界面的一部分。在实验中,几个图卷积算子产生的精度优于最先进的其他机器学习方法。Park等^[78]提出了一种新型的图卷积神经网络ACGCN,通过匹配分子对分析,进行AC预测(activity cliff prediction)。实验结果表明,在预测thrombin、Mu opioid receptor、melanocortin receptor 3个流行靶点数据集的ACs时,ACGCNs优于现成的方法。

5.4 社交网络

社交网络可以自然建模为图,其中网络中的用户是节点,关系(交互)是边。GCN已被用于促进社会网络上的各种任务,例如政治观点检测、社会表征学习和社会影响预测^[79]等。在Wang等^[80]的研究中,采用GCN来捕捉不同行为中用户之间的各种偏好相似性。

6 总结与展望

本文总结了图卷积神经网络的研究进展,分别从基于图谱的图卷积和基于空间的图卷积分析了图卷积神经网络的发展。基于图谱的图卷积,以数学表达为根本,以降低计算复杂度为导向,奠定了图卷积神经网络的理论基础。基于空间的图卷积,在聚合函数和更新函数的基础上,结合了采样、注意力机制、池化操作等理论,形成了多样化的图卷积神经网络,并且得到了广泛应用。

图卷积神经网络除了本文介绍的代表性算法之外,还有一些针对不同问题的新模型和新策略。如,对边信息建模的R-GCN算法^[81],根据边的信息,将原图拆分成不同子图,在子图上进行邻居特征的聚合;边注意力网络^[82],在传统图注意力网络基础上,利用边的特征对注意力权重额外加权。对动态图进行学习的DGCN^[83],利用长短期存储器(long short-term memory, LSTM)更新GCN的权重参数,以获取动态图所有时间步骤的全局结构信息。Liu等^[84]将动态图神经网络与全连接网络进行融合,设计了多特征和参数共享的双重网络框架DDGCN(dual dynamic GCN)。Wang等^[85]提出一种两步图卷积架构(correntropy-induced wasserstein GCN, CW-GCN),用以提高交叉图嵌入的鲁棒性。为降低GCN的开发成本,Xie等^[86]提出Accel-GCN,用以提升GCN在GPU上的运行效率;Zhang等^[87]提出2PGraph系统,解决了小批量采样和特征聚合过程带来的限制,提升了训练速度。

另外,野外环境下的蝴蝶识别任务给目标检测理论带来巨大挑战^{[88⇓⇓⇓-92]},Han等^[93]提出的ViG模块,将网格构造成图结构,可以适应目标的不规则形状,可用于对形态多变的蝴蝶进行位置检测和分类识别。GCN的卷积特性可以聚合相邻节点的信息,以学习目标的多样化特征,应用于对复杂色彩与纹理的蝴蝶特征进行学习,实现对蝴蝶的分类识别。

深度学习的迅猛发展,以及硬件设备的不断完善,为图卷积神经网络提供了非常好的发展机遇。尽管如此,图卷积神经网络仍然存在诸多挑战:模型深度问题、伸缩性问题以及图结构数据多样性问题。深度学习的成功在于深度神经网络架构,而在GCN中,随着网络层数的增加,邻居节点聚合的特征数量激增,计算复杂度的剧增以及可能产生的过拟合现象将导致GCN模型性能急剧下降。另外,在GCN中,使用采样或池化操作缩放图结构、降低计算成本的同时,会造成信息丢失。实际应用中,异构图(包含不同类型节点和边的图)、大规模图(包含数亿节点和边的图)以及动态图(随时间改变节点和边的图)等都为图卷积神经网络的设计带来巨大挑战。除上述问题外,图卷积神经网络还面临着多尺度任务以及可解释性等一系列问题,这些将是需要进一步深入研究的课题。

References

Publishing order | Descend order by publishing year | Descend order by cited within

[1]	周飞燕, 金林鹏, 董军. 卷积神经网络研究综述[J]. 计算机学报, 2017, 40(6):1229-1251. ZHOU F Y, JIN L P, DONG J. A survey of convolutional neural networks[J]. Chinese Journal of Computers, 2017, 40(6):1229-1251.

[2]	王兆慧, 沈华伟, 曹婍, 等. 图分类研究综述[J]. 软件学报, 2022, 33(1):171-192. WANG Z H, SHEN H W, CAO Q, et al. A summary of graph classification research[J]. Journal of Software, 2022, 33(1):171-192.

[3]	BRUNA J, ZAREMBA W, SZLAM A, et al. Spectral networks and locally connected networks on graphs[EB/OL].[2023-09-09]. http://arxiv.org/abs/1312.6203.pdf.

[4]	LEVIE R, MONTI F, BRESSON X, et al. CayleyNets:graph convolutional neural networks with complex rational spectral filters[J]. IEEE Transactions on Signal Processing, 2019, 67(1):97-109. DOI

[5]	HENAFF M, BRUNA J, LECUN Y. Deep convolutional networks on graph-structured data[EB/OL]. [2023-09-09]. https://www.arxiv.org/pdf/1506.05163.pdf.

[6]

DEFFERRARD

, BRESSON

, VANDERGHEYNST

. Convolutional neural networks on graphs with fast localized spectral filtering[C]// LEE

D D

, LUXBURG

U V

, GARNETT

, et al. Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona: Curran Associates Inc., 2016:3844-3852.

[7]	MICHELI A. Neural network for graphs:a contextual constructive approach[J]. IEEE Transactions on Neural Networks, 2009, 20(3):498-511. DOI

[8]	ATWOOD J, TOWSLEY D. Diffusion-convolutional neural networks[C]// LEED D, LUXBURGU V, GARNETTR, et al. Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona: Curran Associates Inc., 2016:2001-2009.

[9]	GAO H Y, WANG Z Y, JI S W. Large-scale learnable graph convolutional networks[C]// ROSALES R, TANG J. Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. London: Association for Computing Machinery, 2018:1416-1424.

[10]	WU Z H, PAN S R, CHEN F W, et al. A comprehensive survey on graph neural networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2021, 32(1):4-24. DOI

[11]	ZHOU J, CUI G Q, HU S D, et al. Graph neural networks:a review of methods and applications[J]. AI Open, 2020, 1:57-81. DOI

[12]	ZHOU Y, ZHENG H X, HUANG X, et al. Graph neural networks:taxonomy,advances,and trends[J]. ACM Transactions on Intelligent Systems and Technology, 2022, 13(1):1-54.

[13]	XU B B, SHEN H W, CAO Q, et al. Graph wavelet neural network[C]// International Conference on Learning Representations. New Orleans: ICLR, 2019.

[14]	HAMMOND D K, VANDERGHEYNST P, GRIBONVAL R. Wavelets on graphs via spectral graph theory[J]. Applied and Computational Harmonic Analysis, 2011, 30(2):129-150. DOI

[15]	KIPF T N, WELLING M. Semi-supervised classification with graph convolutional networks[C]// BENGIO Y, LECUN Y.International Conference on Learning Representations. San Juan: ICLR, 2016.

[16]	XU K, HU W H, LESKOVEC J, et al. How powerful are graph neural networks?[C]// International Conference on Learning Representations. Vancouver: ICLR, 2018.

[17]	GILMER J, SCHOENHOLZ S S, RILEY P F, et al. Neural message passing for Quantum chemistry[C]// Proceedings of the 34th International Conference on Machine Learning-Volume 70.Sydney:ACM, 2017:1263-1272.

[18]	WANG X L, GIRSHICK R, GUPTA A, et al. Non-local neural networks[C]// MORTENSEN E, BRENDEL W.Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018:7794-7803.

[19]	BATTAGLIA P W, HAMRICK J B, BAPST V, et al. Relational inductive biases, deep learning, and graph networks[EB/OL]. [2023-09-09]. https://arxiv.org/pdf/1806.01261.pdf.

[20]	HAMILTON W L, YING R, LESKOVEC J. Inductive representation learning on large graphs[C]// LUXBURGU V, GUYONI, BENGIOS, et al. Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach: Curran Associates Inc., 2017:1025-1035.

[21]	CHEN J F, ZHU J, SONG L. Stochastic training of graph convolutional networks with variance reduction[C]// JENNIFER D, ANDREAS K.Proceedings of the 35th International Conference on Machine Learning. Stockholm: PMLR, 2018:942-950.

[22]	CHEN J, MA T F, XIAO C. FastGCN:fast learning with graph convolutional networks via importance sampling[EB/OL].[2023-09-09]. http://arxiv.org/abs/1801.10247.pdf.

[23]	HUANG W B, ZHANG T, RONG Y, et al. Adaptive sampling towards fast graph representation learning[C]// BENGIOS, WALLACHH M, LAROCHELLEH, et al. Proceedings of the 32nd International Conference on Neural Information Processing Systems. Montr al: ACM, 2018:4563 4572.

[24]

CHIANG

W L

, LIU

X Q

, SI

, et al. Cluster-GCN:an efficient algorithm for training deep and large graph convolutional networks[C]// TANG J, KHAN L.Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. Anchorage: Association for Computing Machinery, 2019:257-266.

[25]	ZOU D F, HU Z N, WANG Y W, et al. Layer-dependent importance sampling for training deep and large graph convolutional networks[C]// GARNETT R.Proceedings of the 33rd International Conference on Neural Information Processing Systems. Vancouver: Curran Associates Inc., 2019:11249-11259.

[26]	VELICKOVIC P, CUCURULL G, CASANOVA A, et al. Graph attention networks[C]// International Conference on Learning Representations. Vancouver: OpenReview.net, 2018.

[27]	ZHANG J N, SHI X J, XIE J Y, et al. GaAN:gated attention networks for learning on large and spatiotemporal graphs[EB/OL].[2023-09-09]. https://arxiv.org/pdf/1803.07294.pdf.

[28]	ZHANG R C, ZOU Y S, MA J. Hyper-SAGNN:a self-attention based graph neural network for hypergraphs[EB/OL].[2023-09-09]. http://arxiv.org/abs/1911.02613.pdf.

[29]	KNYAZEV B, TAYLOR G W, AMER M. Understanding attention and generalization in graph neural networks[C]// GARNETT R.Proceedings of the 33rd International Conference on Neural Information Processing Systems. Vancouver: Curran Associates Inc., 2019:4202-4212.

[30]	YING R, YOU J X, MORRIS C, et al. Hierarchical graph representation learning with differentiable pooling[C]// BENGIOS, WALLACHH M, LAROCHELLEH, et al. Proceedings of the 32nd International Conference on Neural Information Processing Systems. Montr al: Curran Associates Inc., 2018:4805-4815.

[31]	GAO H Y, JI S W. Graph U-Nets[C]// KAMALIKA C, RUSLAN S.Proceedings of the 36th International Conference on Machine Learning. Los Angeles: PMLR, 2019:2083-2092.

[32]	ZHANG Z, BU J J, ESTER M, et al. Hierarchical graph pooling with structure learning[EB/OL].[2023-09-09]. https://arxiv.org/pdf/1911.05954.pdf.

[33]	YUAN H, JI S W. Structpool: structured graph pooling via conditional random fields[C]// International Conference on Learning Representations, ICLR, 2020.

[34]	GAO X, DAI W R, LI C L, et al. iPool-information-based pooling in hierarchical graph neural networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 33(9):5032-5044. DOI

[35]	MA Y, WANG S H, AGGARWAL C C, et al. Graph convolutional networks with EigenPooling[C]// TANG J, KHAN L. Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. Anchorage: ACM, 2019:723-731.

[36]	DHILLON I S, GUAN Y Q, KULIS B. Weighted graph cuts without eigenvectors a multilevel approach[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(11):1944-1957. DOI PMID

[37]	WEI L N, ZHAO H, YAO Q M, et al. Pooling architecture search for graph classification[C]// LI H, ROITERO K. Proceedings of the 30th ACM International Conference on Information & Knowledge Management. Queensland: ACM, 2021:2091-2100.

[38]	LEE J, LEE I, KANG J. Self-attention graph pooling[C]// KAMALIKA C, RUSLAN S.Proceedings of the 36th International Conference on Machine Learning. Los Angeles: PMLR, 2019:3734-3743.

[39]	LI G H, MULLER M, THABET A, et al. DeepGCNs:can GCNs go as deep as CNNs?[C]// MORTENSEN E, LIM J. 2019 IEEE/CVF International Conference on Computer Vision (ICCV). Seoul: IEEE, 2019:9267-9276.

[40]	MORRIS C, RITZERT M, FEY M, et al. Weisfeiler and leman go neural:higher-order graph neural networks[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33(1):4602-4609. DOI

[41]	DERR T, MA Y, TANG J L. Signed graph convolutional networks[C]// 2018 IEEE International Conference on Data Mining. Singapore: IEEE, 2018:929-934.

[42]	MONTI F, SHCHUR O, BOJCHEVSKI A, et al. Dual-primal graph convolutional networks[EB/OL]. [2023-09-09]. https://arxiv.org/pdf/1806.00770v1.pdf.

[43]	ZHOU Z P, LI X C. Convolution on graph: a high-order and adaptive approach[EB/OL]. [2023-09-09]. https://arxiv.org/pdf/1706.09916.pdf.

[44]	MONTI F, BRONSTEIN M M, BRESSON X. Geometric matrix completion with recurrent multi-graph neural networks[C]// LUXBURGU V, GUYONI, BENGIOS, et al. Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach: ACM, 2017:3700-3710.

[45]	ZHOU C, LIU Y Q, LIU X F, et al. Scalable graph embedding for asymmetric proximity[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2017, 31(1):2942-2948.

[46]	YING R, HE R N, CHEN K F, et al. Graph convolutional neural networks for web-scale recommender systems[C]// ROSALES R, TANG J. Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. London: ACM, 2018:974-983.

[47]	WANG H W, ZHAO M, XIE X, et al. Knowledge graph convolutional networks for recommender systems[C]// MCAULEY J.WWW ’19:the World Wide Web Conference. San Francisco: ACM, 2019:3307-3313.

[48]	WANG H W, ZHANG F Z, ZHANG M D, et al. Knowledge-aware graph neural networks with label smoothness regularization for recommender systems[C]// TANG J, KHAN L. Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. Anchorage: ACM, 2019:968-977.

[49]	WANG X, HE X N, CAO Y X, et al. KGAT:knowledge graph attention network for recommendation[C]// TANG J, KHAN L. Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. Anchorage: ACM, 2019:950-958.

[50]	LIAO J, ZHOU W, LUO F J, et al. SocialLGN:light graph convolution network for social recommendation[J]. Information Sciences, 2022, 589:595-607. DOI

[51]	DOSOVITSKIY A, BEYER L, KOLESNIKOV A, et al. An image is worth 16x16 words:transformers for image recognition at scale[EB/OL].[2023-09-09]. https://arxiv.org/pdf/2010.11929v2.pdf.

[52]	LI Y, GUPTA A. Beyond grids:learning graph representations for visual recognition[C]// BENGIOS, WALLACHH M, LAROCHELLEH, et al. Proceedings of the 32nd International Conference on Neural Information Processing Systems. Montréal: ACM, 2018:9245-9255.

[53]	WU B C, XU C F, DAI X L, et al. Visual transformers:token-based image representation and processing for computer vision[EB/OL].[2023-09-09]. https://arxiv.org/pdf/2006.03677v4.pdf.

[54]	TE G S, HU W, ZHENG A M, et al. RGCNN:regularized graph CNN for point cloud segmentation[C]// CHENG W-H, KIM G. Proceedings of the 26th ACM international conference on Multimedia. Seoul: ACM, 2018:746-754.

[55]	LANDRIEU L, SIMONOVSKY M. Large-scale point cloud semantic segmentation with superpoint graphs[C]// MORTENSEN E, BRENDEL W.2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018:4558-4567.

[56]	PENG F F, LU W, TAN W X, et al. Multi-output network combining GNN and CNN for remote sensing scene classification[J]. Remote Sensing, 2022, 14(6): 1478. DOI

[57]	JIA S, JIANG S G, ZHANG S Y, et al. Graph-in-graph convolutional network for hyperspectral image classification[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 1:1-15.

[58]	XU D F, ZHU Y K, CHOY C B, et al. Scene graph generation by iterative message passing[C]// MORTENSEN E. 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu: IEEE, 2017:3097-3106.

[59]	LI Y Q, LIU M, YIN J H, et al. Routing micro-videos via a temporal graph-guided recommendation system[C]// ATREY P K, CHENG W-H. Proceedings of the 27th ACM International Conference on Multimedia. Nice: ACM, 2019:1464-1472.

[60]	JAIN A, ZAMIR A R, SAVARESE S, et al. Structural-RNN:deep learning on spatio-temporal graphs[C]// MORTENSEN E, SAENKO K. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE, 2016:5308-5317.

[61]	YU B, ZHANG Z, LIU Y X, et al. GLA-GCN:global-local adaptive graph convolutional network for 3D human pose estimation from monocular video[C]// JURIE F, SHARMA G.Proceedings of the IEEE/CVF International Conference on Computer Vision. Paris: IEEE/CVF, 2023:8818-8829.

[62]	DEVARAJ C, FERMÜLLER C, ALOIMONOS Y. Incorporating visual grounding in GCN for zero-shot learning of human object interaction actions[C]// MORTENSEN E.2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Vancouver: IEEE, 2023:5008-5017.

[63]	BAJAJ M, WANG L J, SIGAL L. G3raphGround: graph-based language grounding[C]//MORTENSEN E, LIM J. 2019 IEEE/CVF International Conference on Computer Vision (ICCV). Seoul: IEEE, 2019:4280-4289.

[64]	YUN S, JEONG M, KIM R, et al. Graph transformer networks[C]// GARNETT R.Proceedings of the 33rd International Conference on Neural Information Processing Systems. Vancouver: Curran Associates Inc., 2019:11983-11993.

[65]	VASWANI A, SHAZEER N, PARMAR N, et al. Attention is all you need[C]// LUXBURGU V, GUYONI, BENGIOS, et al. Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach: ACM, 2017:6000-6010.

[66]	YUAN Y, LIANG X D, WANG X L, et al. Temporal dynamic graph LSTM for action-driven video object detection[C]// MORTENSEN E. 2017 IEEE International Conference on Computer Vision (ICCV). Venice: IEEE, 2017:1819-1828.

[67]	ZHANG Z, ZHAO Z, ZHAO Y, et al. Where does it exist:spatio-temporal video grounding for multi-form sentences[C]// MORTENSEN E, MASSON M. 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle: IEEE, 2020:10665-10674.

[68]	JABRI A, OWENS A, EFROS A A. Space-time correspondence as a contrastive random walk[J]. Advances in Neural Information Processing Systems, 2020, 33: 19545-19560.

[69]	ZHANG Z, ZHAO Z, LIN Z J, et al. Object-aware multi-branch relation networks for spatio-temporal video grounding[C]// BESSIERE C. Proceedings of the Twenty-Ninth International Joint Conference on Artificial Intelligence. Yokohama: ACM, 2021:1069-1075.

[70]	HONG D F, GAO L R, YAO J, et al. Graph convolutional networks for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(7):5966-5978. DOI

[71]	LUO R B, LIAO W Z, HUANG X, et al. Feature extraction of hyperspectral images with semisupervised graph learning[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016, 9(9):4389-4399. DOI

[72]	GARCIA V, BRUNA J. Few-shot learning with graph neural networks[C]// International Conference on Learning Representations. Vancouver: ICLR, 2018.

[73]	XU H, JIANG C H, LIANG X D, et al. Spatial-aware graph relation network for large-scale object detection[C]// BRENDEL W, AMER M R. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach: IEEE, 2019:9290-9299.

[74]	ZHAO G M, GE W F, YU Y Z. GraphFPN:graph feature pyramid network for object detection[C]// MORTENSEN E. 2021 IEEE/CVF International Conference on Computer Vision (ICCV). Montreal: IEEE, 2021:2743-2752.

[75]	DUVENAUD D, MACLAURIN D, IPARRAGUIRRE J, et al. Convolutional networks on graphs for learning molecular fingerprints[C]// Proceedings of the 28th International Conference on Neural Information Processing Systems. Montreal: MIT Press, 2015:2224-2232.

[76]	MINHAS F U A A, GEISS B J, BEN-HUR A. PAIRpred:partner-specific prediction of interacting residues from sequence and structure[J]. Proteins, 2014, 82(7):1142-1155. DOI

[77]	FOUT A, BYRD J, SHARIAT B, et al. Protein interface prediction using graph convolutional networks[C]// LUXBURGU V, GUYONI, BENGIOS, et al. Proceedings of the 31st International Conference on Neural Information Processing Systems. Long Beach: ACM, 2017:6533-6542.

[78]	PARK J H, SUNG G, LEE S, et al. ACGCN: graph convolutional networks for activity cliff prediction between matched molecular pairs[J]. Journal of Chemical Information and Modeling, 2022, 62(10): 2341-2351. DOI PMID

[79]	QIU J Z, TANG J, MA H, et al. DeepInf:social influence prediction with deep learning[C]// ROSALES R, TANG J. Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. London: ACM, 2018:2110-2119.

[80]	WANG H, XU T, LIU Q, et al. MCNE:an end-to-end framework for learning multiple conditional network representations of social network[C]// TANG J, KHAN L. Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. Anchorage: ACM, 2019:1064-1072.

[81]	SCHLICHTKRULL M, KIPF T N, BLOEM P, et al. Modeling relational data with graph convolutional networks[C]// GANGEMIA, TRONCYR, NAVIGLIR, et al. European Semantic Web Conference.Cham:Springer, 2018:593-607.

[82]	GONG L Y, CHENG Q. Exploiting edge features for graph neural networks[C]// BRENDEL W, AMER M R. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Long Beach: IEEE, 2019:9203-9211.

[83]	GAO C, ZHU J Y, ZHANG F, et al. A novel representation learning for dynamic graphs based on graph convolutional networks[J]. IEEE Transactions on Cybernetics, 2023, 53(6):3599-3612. DOI

[84]	LIU F, QIAN X X, JIAO L C, et al. Contrastive learning-based dual dynamic GCN for SAR image scene classification[J]. IEEE Transactions on Neural Networks and Learning Systems, 2022, 35(1): 390-404. DOI

[85]	WANG W, ZHANG G W, HAN H Y, et al. Correntropy-induced Wasserstein GCN:learning graph embedding via domain adaptation[J]. IEEE Transactions on Image Processing:a Publication of the IEEE Signal Processing Society, 2023, 32:3980-3993. DOI

[86]	XIE X, PENG H W, HASAN A, et al. Accel-GCN:high-performance GPU accelerator design for graph convolution networks[C]// 2023 IEEE/ACM International Conference on Computer Aided Design (ICCAD). San Francisco: IEEE, 2023:1-9.

[87]	ZHANG L Z, LU K, LAI Z Q, et al. Accelerating GNN training by adapting large graphs to distributed heterogeneous architectures[J]. IEEE Transactions on Computers, 2023, 72(12):3473-3488. DOI

[88]	谢娟英, 侯琦, 史颖欢, 等. 蝴蝶种类自动识别研究[J]. 计算机研究与发展, 2018, 55(8): 1609-1618. XIE J Y, HOU Q, SHI Y H, et al. The automatic identification of butterfly species[J]. Journal of Computer Research and Development, 2018, 55(8): 1609-1618.

[89]	谢娟英, 鲁银圆, 孔维轩, 等. 基于改进RetinaNet的自然环境中蝴蝶种类识别[J]. 计算机研究与发展, 2021, 58(8): 1686-1704. XIE J Y, LU Y Y, KONG W X, et al. Butterfly species identification from natural environment based on improved RetinaNet[J]. Journal of Computer Research and Development, 2021, 58(8): 1686-1704.

[90]	XIE J Y, LU Y Y, WU Z Z, et al. Investigations of butterfly species identification from images in natural environments[J]. International Journal of Machine Learning and Cybernetics, 2021, 12(8):2431-2442. DOI

[91]	XIE J Y, KONG W X, LU Y Y, et al. KSRFB-net:detecting and identifying butterflies in ecological images based on human visual mechanism[J]. International Journal of Machine Learning and Cybernetics, 2022, 13(10):3143-3158. DOI

[92]	KONG W X, YANG M J, ZHANG J Y, et al. MRFB-net for identifying butterfly species via images taken in the field environments[C]// 2023 International Conference on Machine Learning and Cybernetics (ICMLC). Adelaide: IEEE, 2023:260-267.

[93]	HAN K, WANG Y H, GUO J Y, et al. Vision GNN: an image is worth graph of nodes[J]. Advances in Neural Information Processing Systems, 2022, 35: 8291-8303.

Options

Outlines

模态框（Modal）标题