图神经网络(,簡稱GNNs)是一类专门设计用于输入为图的人工神经网络。,每个输入样本都是一个分子的图表示,其中原子形成节点,原子之间的化学键形成边。除了图表示之外,输入还包括每个原子的已知化学性质。因此,数据集样本的长度可能不同,这反映了分子中原子数量的变化以及它们之间键的数量的变化。该网络的最终任务是预测给定分子在特定医疗应用中的功效,例如消除大肠杆菌(E. coli)。
GNN的关键设计元素是使用“成对消息传递(pairwise message passing)”机制,通过这种方式,图节点通过与它们的邻居交换信息来迭代地更新其表示。目前已经提出了几种GNN架构、化学、物理学(框架无关)、jraph(Julia,Flux)等。
架构
通用GNN的架构实现了以下基本的层: 然而,最近的研究发现了一组并非微不足道的数据集,在这些数据集上,与NN相比,GNN的表现并不令人满意。 异配性(Heterophily),即低同配性,被认为是这一经验观察结果的主要原因。 人们已经开始在各种类型的图(例如,异构图、时序图和超图)的异配性场景中重新审视和重新评估现有的大多数图模型。此外,许多与图相关的应用被发现与异配性问题密切相关,例如图欺诈/异常检测、图对抗攻击与鲁棒性、隐私、联邦学习和点云分割、图聚类、推荐系统、生成模型、链路预测、图分类和着色等。在过去几年中,人们投入了大量精力来研究和解决图学习中的异配性问题。
可扩展性与分布式训练
在大型图上训练GNN所面临的计算挑战与其他神经网络架构有很大不同。出现了两大类问题设定:在单个超大图(例如具有数十亿节点的社交网络)上进行训练,以及在大型个体图的集合(例如需要高阶交互建模的分子系统)上进行训练。
对于单个大图的设定,基于采样的方法通过在子图而不是全图上进行操作来降低内存要求。Cluster-GCN使用图划分算法将图划分为子图,按顺序在每个划分上训练模型。以及路径内的恶意进程,或者在边级别上检测网络横向移动。
供水管网
供水系统可以被建模为图,因此可以直接应用GNN。此类算法已被应用于用水需求预测, 互连独立计量区(DMA)以提高预测能力。该算法在配水建模中的另一个应用是开发元模型(metamodels)。
计算机视觉
为了将图像表示为图结构,首先将图像划分为多个补丁(patches),每个补丁被视为图中的一个节点。然后根据空间或特征相似性,通过将每个节点连接到其最近的邻居来形成边。这种基于图的表示形式能够将图学习模型应用于视觉任务。关系结构有助于增强特征提取并提高图像理解的性能。
文本与自然语言处理
基于图的文本表示有助于捕捉单词之间更深层的语义关系。许多研究使用图网络来提高各种文本处理任务的性能,如文本分类、问答、神经机器翻译(NMT)、事件抽取、事实核查等。
原子模拟与材料科学
GNN已成为在计算化学和材料科学中对原子相互作用进行建模的主要工具,在这些领域中,分子和晶体结构自然地表示为图,其中原子作为节点,化学键或空间接近度作为边。与密度泛函理论(DFT)等传统量子化学方法相比,其主要优势在于计算成本从O(n³)降低到O(n),从而使得在以前不切实际的规模上进行模拟成为可能。
该领域早期的GNN架构包括SchNet(2017),它引入了连续滤波器卷积层用于在3D分子结构上进行学习,
}}
评论 (0)