近日,由4688梅美高官方网站云软件与智能决策实验室武君胜教授、李伟刚副教授指导完成的2篇研究论文分别被顶级会议CVPR 2022和顶级刊物TII录用,两篇论文的第一单位和通讯单位均为4688梅美高官方网站。
CVPR全称为IEEE国际计算机视觉与模式识别会议(IEEE Conference on Computer Vision and Pattern Recognition),该会议始于1983年,是计算机视觉和模式识别领域的顶级会议。近年来,会议平均录用率在25%左右,根据谷歌学术公布的2021年最新学术期刊和会议影响力排名,CVPR在所有学术刊物中位居第4,仅次于Nature,NEJM和Science。
TII全称为IEEE工业信息学汇刊(IEEE Transactions on Industrial Informatics),在全球自动化与控制系统领域的期刊影响力中排名第3,属于中科院SCI期刊分区大类分区一区TOP期刊,期刊影响因子为10.215,是计算机与工业研究领域的顶级期刊。
两篇论文的第一作者均为课题组中的博士研究生董玮,学院武君胜教授(通讯作者)、李伟刚副教授、罗毅硕士生等为合作作者。作者所在的学院云软件与智能决策实验室的研究方向主要包括大型工业场景下的低成本图神经网络应用、图表示学习模型设计、智能化运维、以及智能决策等。被录用的两篇论文分别对图表示学习的自监督学习(对比学习)成本进行了优化,提升了图神经网络聚合算子的去噪能力。
在CVPR 2022: Node Representation Learning in Graph via Node-to-Neighbourhood Mutual Information Maximization文章中,作者提出了一种简单有效的自监督节点表示学习策略框架,其通过直接最大化节点及其邻域的隐藏表示之间的互信息,并从理论上可以证明它与图平滑的联系。基于对比学习中的InfoNCE损失函数,文章提出的策略框架可由设计的代理损失函数进行优化,在此正样本的选择对于表示学习的质量和效率至关重要。为了选择高质量的正样本,文章中提出了一种拓扑感知的正样本采样策略,该策略通过考虑节点之间的结构依赖性来对邻域进行正样本采样,且在模型训练之前即可完成采样工作。文章中的采样策略甚至可以从邻域中仅仅采样一个最重要的正样本进行随后的模型训练,在这种极端的采样操作下,文章中的模型完全避免了具有高空间复杂度的邻域聚合算子。文章中的方法在各种节点分类数据集上取得了良好的性能。值得一提的是,将文章中的损失函数应用于基于多层感知机的节点编码器,可以比现有的解决方案快几个数量级。(论文链接:https://arxiv.org/abs/2203.12265)
图1 CVPR论文的部分成果展示
在TII 2022: De-Noising Aggregation of Graph Neural Networks by Using Principal Component Analysis文章中,作者指出,为了避免图神经网络应用在测试集上的过拟合现象,通常在其特征编码器中加入Dropout操作来增加模型的泛化特性。然而,该操作不可避免地会在图神经网络的聚合算子中引入高斯噪声,污染了该聚合算子的聚合信号。为了解决这一缺陷,该文提出了一种去噪聚合算子,该聚合算子利用主成分分析算法提取真实的聚合信号,并去掉高斯噪声。与主成分算法常常用于压缩特征维度不同,该文提出的方法用于压缩节点邻域子图的信号维度,使得该图聚合算子具有良好的去噪能力。该文还提出了一种简化的模型训练结构,在训练之前,仅通过计算一次代价昂贵的主成分分析算法,便可得到具有去噪功能的聚合算子。在多个数据集上的实验表明,该文的去噪聚合算子提高了图神经网络的性能,达到了去除噪声的目的。(论文链接:https://ieeexplore.ieee.org/abstract/document/9729514)
图2 TII论文的部分成果展示
撰稿:董玮、罗毅 审核:郭培荣