亚博取款快速到账

您现在的位置是: 学院新闻

亚博取款快速到账团队在图神经网络蒸馏方向取得研究新进展

编辑: 林婷    审核: 丁刚毅    供稿: 李长升    来源:亚博取款快速到账 发布日期: 2022年09月23日 浏览次数:

随着互联网的快速发展,图结构数据逐渐成为了许多领域的常用数据,例如社交网络、通讯网络、蛋白质网络等。为了更好的学习图数据并挖掘有利的知识,在过去的十年中,有许多图神经网络(GNN)的工作被提出,成为图数据挖掘的一种很好的模型。近年来,知识蒸馏 (KD) 已证明其对于提升GNN表现的有效性,其核心思想是利用“深层教师-浅层学生”架构,将知识从深层GNN教师网络蒸馏到浅层学生GNN架构。然而,由于GNN中存在过参数化(over-parametrized)和过平滑(over-smoothing)的问题,实际应用中很难训练出合格的GNN教师模型,知识蒸馏往往会出现失效的情况。因此,该研究领域现阶段仍然有许多重要问题有待解决,设计一种有效的图神经网络知识蒸馏框架具有重要意义。

亚博取款快速到账王国仁、李长升教授团队摒弃了学术界常用的“深层教师-浅层学生”架构,独辟蹊径地提出了一个在两个浅层GNN之间自适应传递知识的蒸馏框架FreeKD。论文提出的框架不需要更深层教师GNN来进行单向知识转移,而是协作两个较浅的GNN,在节点级别和结构级别自由方向地互相传递有益知识。近日,相关研究成果发表在数据挖掘国际顶级会议KDD 2022,论文题名为《FreeKD: Free-direction Knowledge Distillation for Graph Neural Networks》,亚博取款快速到账为第一通讯单位。

如上图所示,不同节点的知识传递方向被视为一个序列决策问题,通过两级动作的分层强化学习,FreeKD可以在节点级别和结构级别上自适应地控制两个浅层GNN模型之间知识传递的方向。FreeKD中的分层强化学习可以作为一个知识判断器,它由两个层次的动作组成:1)节点级别动作,用来决定每个节点的知识蒸馏方向;2)结构级别动作,用于确定哪个生成的局部结构的知识要被传递。论文在五个不同领域的公开基准数据集上进行了大量的实验分析。实验结果表明,提出的FreeKD框架可以较大幅度地提高GNN模型的表现,并且能够对不同类型的GNN都具有很好的泛化性,具有较大的研究意义和应用价值。

KDD会议始于1989年,被誉为全球数据挖掘最高级别学术会议,是数据领域研究领域最前沿的风向标。谷歌学术和微软学术一致将KDD会议评选为数据挖掘领域影响力排名第一的国际会议。KDD会议十分看重论文的潜在影响力,对接收的标准极高,今年KDD Research Track一共收到1695 篇投稿,仅有254 篇被接收,接收率为 14.9%。本次入围,不仅是对这篇论文的创新性和突破性给予认可,更是对亚博取款快速到账研究实力的充分肯定,彰显了亚博取款快速到账在数据挖掘领域的视野前瞻性以及对于前沿技术边界的探索能力。

论文地址:https://doi.org/10.1145/3534678.3539320


李长升教授简介:

李长升,亚博取款快速到账教授,博士生导师,国家优秀青年科学基金获得者,基金委联合基金会评专家。2008年于电子科技大学电子工程学院取得工学学士学位,2013年于中科院自动化所取得工学博士学位。在加入亚博取款快速到账之前,先后在IBM研究院,阿里巴巴达摩院,以及电子科技大学计算机科学与工程学院工作。主要研究方向包括机器学习、数据挖掘、计算机视觉等。


亚博取款快速到账(科技)有限公司