12月9日，由 Meta AI研究院、卡耐基梅隆大学在NeurIPS-2022上共同主办的第二届Open Catalyst Challenge竞赛宣布了比赛结果。中国人民大学高瓴人工智能学院黄文炳老师共同带队，与腾讯AI Lab等机构组成联合团队TTRC，力压MIT等其他队伍，以0.396eV的绝对误差获得第一，相对于去年由MSRA取得的最好成绩，提升达到27.6%。

Open Catalyst Challenge (OC)是由Meta AI和卡耐基梅隆大学联合发起，目的是为了应对未来能源和气候问题，利用人工智能技术提高可再生能源（如太阳能、风能）的利用率。在可再生能源存储和转化过程中，催化剂的选取非常重要，决定了能源的转化率Efficiency和反应速度Reaction Rate。为了评估和发现潜在的催化剂结构，传统方法采用量子力学方法（例如密度泛函理论DFT）模拟和计算催化剂表面和目标吸附物的结合能。然而这类方法计算成本昂贵，无法实时筛选大量潜在结构。考虑到人工智能方法具有端到端预测和快速推理的优势，如何设计面向量子力学计算和模拟的机器学习方法是当前学术界高度关注的一个焦点。

传统基于量子力学的计算流程（引自官方资料）

比赛结果

本次比赛主题是预测吸附物在某个初始位置释放（Relaxation）到催化剂表面之后达到稳定状态的系统能量（包括催化剂和吸附物），即IS2RE(Initial state to relaxed energy)。比赛发起以来，吸引了DeepMind、MSRA、达摩院、MILA、MIT、上海交大等机构的关注和参与。在今年比赛中，我们的TTRC团队（以下简称团队）提出的GeoEnsemble方法以0.396eV的绝对误差获得第一，详细结果见下图表。

非公开测试集排行榜，带下划线的为官方Baseline。（引自官方资料）

技术方法

为了对原子之间复杂的动态交互关系进行建模，团队在黄文炳老师发表在ICLR 2022的论文——图力学神经网络（GMN）[1]的基础上进行了改进，提出了GMN-OC模型。GMN-OC模型的输入是一个由原子构成的几何图，几何图中包含了几何特征（原子的三维坐标）和非几何特征（原子的类型），模型可以预测输出几何向量（原子的受力）和非几何标量（系统能量）。

GMN-OC模型构造了一个基于多通道的几何特征O(3)等变函数与不变函数，实现原子之间几何特征和非几何特征的交互，并完成每个原子信息更新。在这个基础上，进一步引入了一个全局共享表示模块（Global Representation Module），以便更好地建模粒子之间的全局交互信息，并且保持了模型的等变性。同时，为了处理大规模数据，GMN-OC使用了Multi-head的显存优化方法。

在训练技术上，为了充分利用赛事提供的两组训练数据，团队使用了Pretrain-Finetune、Multi-task Learning等优化技术，提高模型预测精度。此外，结合GMN-OC/SCN/GemNet等多个模型，构建了多模型融合方案GeoEnsemble。为了提高模型训练速度，团队使用混合精度训练等技术，在大规模集群上完成了分布式训练。

GeoEnsemble在训练上的改进

黄文炳简介

黄文炳，现为中国人民大学高瓴人工智能学院准聘助理教授、博导。曾在清华大学产业研究院担任助理研究员，腾讯AI Lab担任高级研究员。曾获国际会议IROS机器人比赛冠军、腾讯犀牛鸟专项研究卓越奖、NeurIPS Outstanding Reviewer等。研究方向包括几何机器学习理论方法、几何机器学习在机器人感知与决策任务上的应用、科学知识嵌入的机器学习等。近几年，尤其关注GNN for Science的研究，已经在多刚体动力学模拟[1]，2D分子表示预训练模型 [2]，3D分子表示预训练模型[3]、蛋白质动力学模拟[4]、复杂多体物理动力学[5]、抗体设计与优化[6]等问题上提出了创新性解决方法。

比赛链接：

https://opencatalystproject.org/challenge.html

引用：

1. Equivariant Graph Mechanics Networks with Constraints, ICLR 2022

2. Self-Supervised Graph Transformer on Large-Scale Molecular Data, NeurIPS 2020

3. Energy-Motivated Equivariant Pretraining for 3D Molecular Graphs, AAAI 2022

4. Equivariant Graph Hierarchy-Based Neural Networks, NeurIPS 2022

5. Learning Physical Dynamics with Subequivariant Graph Neural Networks, NeurIPS 2022.

6. Conditional Antibody Design as 3D Equivariant Graph Translation,arXiv 2022.

来源：高瓴人工智能学院