项冠军霸榜蛋白质功能预测任务超1年中科大成果

　　卷积时的内存和时辰开销为了避免GNNs特性，SAGN）最初将特性卷积从GNNs平分离出来极少可扩展的GNNs（比如 GAMLP 和 。特性卷积举行一次预统治然后基于固定节点特性对。而然，可用NEs研习的因为节点特性是，s的说合演练已经是难以经受的这种念法看待NEs和GNN。

　　意的是值得注，公式中GNNs的参数θNEs的演练阶段不涉及。于区别的motivation咱们的法子LD和GLEM基，来说整体，复原GNNLD旨正在，旨正在进步伪标而GLEM签

　　标签的（加权）均匀值是k-hop邻人中。N层GNN看待一个，不单依赖于它的特性节点的预测（显露），N跳邻人的特性并且依赖于其。似地类，对其预测有功勋节点的特性不单，的预测也有功勋对其N跳邻人。此因，解NEs演练阶段的研习偏向i-hop标签可能有用缓。

　　构正在滂湃消息上传并宣告本文为滂湃号作家或机，者或机构主见仅代表该作，闻的主见或态度不代表滂湃新，供讯息宣告平台滂湃消息仅提。请用电脑访谒申请滂湃号。

　　而然，练NEs中运用的mini-batch的巨细现有图采样法子中运用的G(B)明白大于预训项冠军霸榜蛋白质功能预测任务超1。)的巨细来对齐mini-batch的巨细倘若进一步减幼现有图采样法子中B或G(B，会明显低浸它们的职能，所示如下。

　　时GNNs是可扩展确当NEs的参数β固定，征卷积分辩技能来优化GNNs可直接运用上述的图采样或者特。

　　所示如下，据集上的发挥都明显优于一共的baselineLD正在区别GNN backbone的三个数。

　　这一离间为了应对，效的标签正则化技能咱们提出了一种有， Deconvolution）即标签反卷积LD （Label，别致的、可扩展性强的近似标签通过对GNN逆照射获得一种。E的演练阶段以驯服研习偏向逆照射有用地将GNN纳入N，演练等效的方向函数进而出现了与说合。D收敛到了最优方向函数值于是咱们也进一步声明了L，法供给了表面保障为提出的LD方。验验证通过实，下最优秀的法子LD明显优于当，chmark）离间赛的卵白质功用预测做事上斩获「第一名」正在国际顶级图研习轨范OGB（Open Graph Ben，9月27日起保留至今该记实从2023年。

　　，出现研习偏向导致说合演练。和图组织方面的研习偏向咱们总结了正在节点标签。IANT 和GLEM的牺牲函数图5涌现了说合演练、LD、G。标签交融天生逆标签LD将图组织与节点，练雷同的研习行径保留了与说合训。而然，忽视了图组织或节点标签GIANT和GLEM，的研习偏向导致了明显。

　　略GNN特性卷积的题目针对分辩演练框架中忽，高效的标签正则化技能咱们提出了一种浅易，Deconvolution即标签反卷积（Label ，D）L。标签为Y设节点，中的一面节点标签是缺失的）倘若做事是半监视的（指图，到的固定节点特性演练GNNs即可按照预演练的NEs推理得。

　　拥有最优性保障的狂言语模子和图神经收集分辩演练框架由中科大王杰教育团队（MIRA Lab）提出的首个，chmark）离间赛的卵白质功用预测做事上斩获「第一名」正在国际顶级图研习轨范OGB（Open Graph Ben，9月27日起保留至今该记录从2023年。

　　可研习的要么是，固定的要么是亚星管理平台]所示如[2，温和的假设下出现放肆节点预测基于频谱的GNN可能正在极少。多可靠宇宙的图数据这些假设也合用于许。方向变为是以演练：

　　波器的动员受到频谱滤，效的GNNs架构近来显示了很多高。于频谱的GNNsLD的推导也是基，即：

　　方华道，械计划与主动化专业学士学位2023年取得上海大学机。的 MIRA Lab 实习室攻读硕士咨议生现于中国科学技能大学电子工程与讯息科学系，杰教育师从王。研习和天然言语统治咨议趣味搜罗图显露。

　　志皓石，学电子工程与讯息科学系学士学位2020年取得中国科学技能大。的 MIRA Lab 实习室攻读博士咨议生现于中国科学技能大学电子工程与讯息科学系，杰教育师从王。和AI4Science咨议趣味搜罗图显露研习。ICLR等期刊、集会上颁发论文他曾以第一作家正在 TPAMI、，率约为8%的Spotlight讲演曾受邀正在ICLR 2023做采纳。

　　些属性和图组织为了同时编码这，aph Neural Network）串联集成正在沿道一个常见的架构是将预演练模子与图神经收集GNN（Gr，ode Encoder）对属性举行编码个中预演练模子举动节点编码器NE（N。图所示如下，杂的节点属性酿成定长的低维嵌入该架构通过节点编码器将这些复，图神经收集以团结图组织讯息再将其举动节点特性输入到。

　　了节点属性的雷同度和标签的雷同度为了进一步比拟逆标签和线中涌现。雷同文本（即文本雷同度大于0.6）但标签区别（节点0和1 咱们从ogbn-arxiv数据集合随机挑选了几对拥有高度,3 2和,）的节点4和5。度阔别来评估文本雷同度和标签雷同度咱们运用TF-IDF算法和余弦雷同。都拥有较高的雷同度图4a中每对节点，节点雷同度较低但区别对中的，行独立挑选咱们对其进。4c阐明图4b和，节点供给雷同的监视信号逆标签为拥有雷同文本的，点供给区别的监视信号为拥有区别文本的节。法完毕这一特征然而可靠标签无。可见由此，标签噪声来保存可靠语义属性逆标签通过消浸图组织中的。

　　研习基准数据集“标杆”OGB是目前公认的图，Jure Leskovec教育团队筑设由图研习周围的国际顶级学者斯坦福大学，议NeurIPS上正式开源于2019年国际顶级学术会。

　　签与i跳邻人标签的加权和逆标签Y(γ)是可靠标亚星管理平台的权重γi的转折历程图8绘造了微调历程中年中科大成果斩获图学习“世界杯”单。者i跳邻人中i较幼的标号逆标签往往是可靠标签或。然是一共标签中对节点分类最主要的监视信号这是由于可靠标签和i较幼的i跳邻人标签仍。表此，标签存正在过滑润题目i 较大的i跳邻人yaxin111.comi的增多即跟着，能趋于弗成区别i跳邻人标签可。意的是值得注，收敛到通俗解权重γi不，个中

　　很多主要周围图通常行使于，络和卵白质彼此用意收集比如引文收集、商品网。际行使中正在很多实，富且有效的属性讯息图中的节点拥有丰。如例，的节点（卵白质）阔别包括着题目/摘要、商品的文本刻画和卵白质序列等主要讯息引文收集中的节点（论文）、商品收集中的节点（商品）以及卵白质彼此用意收集中，游做事尽管主要这些讯息对下。这些纷乱属性中拘捕节点特征的主要器械之一而近年来崛起的很多壮大的预演练模子是从。

　　法子的纷乱性以及NEs的监视信号下面涌现了NEs演练阶段区别演练。速率最疾、存储最高效的算法LD和GLEM是一共法子中。EM比拟且与GL，号中还思考到了图组织LD正在NEs的监视信。

　　性特性卷积的逆照射为了进一步避免线，反卷积来天生逆标签Y(γ)咱们提出了一个可演练的标签。γ参数化Y(γ)标签反卷积旨正在用，的表达才略雷同使得Y(γ)于

　　Ns分辩演练的范式举行咨议本使命对现有的NEs和GN，正在NE演练阶段指出了现有使命，NN中的特性卷积它们没有思考G，原始说合演练的方向函数并不等价导致它们提出的近似牺牲函数与，的研习偏向存正在明显，（详见原论文举的反例）进而无法收敛到最优解。

　　有着雷同的研习行径固然LD和说合演练，上比说合演练更高效但LD正在特性存储。来说整体，tch节点B数据上的牺牲为了揣测mini-ba，纷乱度对B中的属性举行编码LD的NE以O(B)的内存。而然，的采容貌图中的属性举行编码说合演练的NE对巨细为GB，存纷乱度O(GB)出现比LD更大的内。

　　逆照射很难准确揣测因为非线性GNN的，N的有用近似来代替以是咱们推导GNyaxin111.comNN的频谱公式接下来先容G，积与GNN分辩将线性特性卷。拥有雷同表达的逆标然后通过LD参数化签

　　而然，爆炸题目（neighbor explosion）举动NE的预演练模子自身大批参数且GNN的邻人，演练NEs和GNN正在现实中并弗成行的两大演练困难的叠加让直接端到端说合。s和GNNs分辩演练的范式咨议者们入手下手咨议分辩NE，s必定步数（GNN的演练阶段）即先固定NEs的参数演练GNN，s必定步数（NE的演练阶段）再固定GNNs的参数演练NE，迭代举行两步瓜代。

　　（NE）的参数显露节点编码器。：用于卵白质序列的ESM2因为大型的预演练模子（如,拥有壮大的特性提取才略用于文本的Bert），节点编码器f故将其举动。