KDD 2023：图神经网络的新前沿
2023年知识发现与数据挖掘会议（KDD）程序委员会成员指出，图学习仍是本届会议最热门的主题。作为会议主席的计算机科学副教授强调，这并不意味着该领域停滞不前。
技术演进与挑战
图神经网络（GNN）是一种机器学习模型，通过生成图节点的嵌入或向量表示来捕获节点与其他节点的关系信息。这些模型不仅可用于预测边或标记节点等图相关任务，还能支持任意下游处理任务，充分利用图结构编码的信息。
传统GNN采用消息传递机制生成嵌入：每个节点接收相邻节点的嵌入（即传递的消息），并将其整合到更新后的嵌入中。该过程通常执行两到三次，使每个节点的嵌入能捕获其一到三跳邻域的信息。
但这种方法存在明显局限：“通过消息传递只能从直接邻居收集信息，需要经过多层处理才能建模长距离依赖。在软件分析或物理系统仿真等特定应用中，长距离依赖变得至关重要。”
架构创新与效率优化
研究者受Transformer架构启发进行改进。该基于注意力的神经架构可视为图神经网络的特殊案例，其中输入窗口内的每个标记都能与其他标记相连。“若每个节点都能与图中所有节点通信，就能轻松解决长距离依赖问题，但会带来两个限制：效率问题和有意义连接的稀释。”
为解决这些问题，研究者尝试模仿文本或图像设置中的位置编码方法。在图设置中，通过随机游走或特征分解等方式获取相对位置信息，但特征分解非常耗时，再次回归到效率问题。
效率提升已成为独立研究方向，涵盖从算法设计到芯片设计的多个层面：
- 算法层面采用采样技术减少操作数量，或设计更高效的图稀疏化算法
- 推理阶段通过知识蒸馏将复杂模型简化为多层感知机等简单结构
- 量化技术也可在推理阶段加速计算
系统级与硬件级优化
研究者进一步深入系统层面，设计分布式系统加速训练和推理过程。当内存成为主要约束时，需通过工作负载分布来解决，关键问题是如何协调各计算节点训练的模型参数。
硬件层面的加速也日益重要，软件-硬件协同设计变得越来越流行。这要求研究者掌握多个不同领域的知识。
创新应用领域
除通用改进外，图神经网络技术还涌现出多项创新应用：
- 图设置中的因果分析：对象间实际存在相互干扰，与传统设置中相互独立的药物研究患者完全不同
- 深度表示学习与因果推理结合：将治疗表示为连续向量而非二元处理，并考虑时间维度的影响
- 多智能体动态系统建模：描述动态网络环境中对象的交互方式
- 图生成技术在制药等领域的应用
- 与大语言模型结合的知识图谱推理：结合LLM的泛化能力与KG推理的严谨性
图神经网络技术持续创新发展，图结构作为数据表示形式，为建模互联世界提供了极其有用的工具。