He Kaiming Team's New Work GeoPT: A New Pre-training Paradigm for Models to Learn Real Physical Laws

Full text · 原文 2,815 字

henry 发自凹非寺 量子位 | 公众号 QbitAI 静态3D资产缺少动力学信息，真实物理标签又极其昂贵—— 物理仿真到底该如何scaling？ 何恺明团队最新的论文GeoPT提供了新思路—— GeoPT提出了一种全新的动力学提升预训练范式，通过合成动力学（Synthetic Dynamics）将静态几何“提升”到动态空间，让模型在无标签数据上通过学习粒子轨迹演化来获取物理直觉。 在相同的精度条件下，GeoPT最高可以节省60%的物理仿真数据。 接下来，我们一起来看。 将静态几何“提升”到动态空间 一般来说，物理系统的解场（Solution Fields）是由几何G（定义空间边界）和系统条件S（动力学驱动，如速度、力）共同决定的。 以空气动力学为例，汽车的形状（几何）定义了空间的边界，而风速和风向（动力学条件）则决定了流场的演化与具体的阻力分布。 当前，为了实现对物理系统的预测与控制，研究已经从传统的物理仿真，转向基于数据驱动的神经网络仿真器。 然而，这一路径面临着两个核心瓶颈： 一方面是标注成本极高。 训练仿真器依赖由传统数值求解器（如CFD/FEA）生成的监督数据，生成一个工业级精度样本往往耗费数万CPU小时，高昂的“标签生成”成本严重限制了仿真器的规模化（Scaling）。 另一方面是静态预训练的局限。 尽管互联网上有海量的3D几何数据，但如果仅对静态几何进行自监督预训练（如常见的掩码重建任务），会因完全缺失“动力学”维度，导致模型无法捕捉物理仿真的核心特征，甚至在下游任务中出现“负迁移”现象。 基于此，恺明团队提出了一种全新的预训练范式——动力学提升的几何预训练（Dynamics-lifted Geometric Pre-training）。 其核心在于，虽然真实的物理标签难求，但“动力学”本身是可以被参数化的。 研究通过在预训练阶段引入合成动力学（Synthetic Dynamics），让GeoPT不仅学习到几何特征，还通过引入随机速度场v，将表征从单纯的几何空间提升到“几何+动力学”的联合空间。 在这里，研究不依赖由物理决定、且需要昂贵仿真才能获取的v，而是通过随机采样每个粒子的速度来构建合成速度（Synthetic Velocities）： 由此，自监督目标变成了几何特征在这种合成动力学下的轨迹： 于是，通过追踪几何特征沿这些合成轨迹的演化过程，研究获得了一个完全由几何构建的、感知动力学的监督信号。 这使得模型在接触真实的物理标签之前，就能够通过海量无标签几何数据，预先学习到物理演化中通用的空间约束与耦合规律。 与此同时，上述动力学提升框架不仅提供了预训练目标，还为下游任务提供了一个统一的接口：在预训练和微调阶段，模型均接收几何和速度作为输入。 预训练后，GeoPT捕捉到了以速度为条件的物理对齐相关性，通过将动力学条件特化为相应的仿真设置并学习求解器生成的标签，进而可以被微调至特定的物理任务。 训练流程 在预训练阶段，模型被训练用于预测合成动力学下的几何特征轨迹，其损失函数定义为： 该目标函数涵盖了三个核心变量的组合： 几何：从包含车、机、船等万余个几何体的数据集中进行类别平衡采样。 追踪点x：从物体周围的体积空间和几何边界上采样初始位置。 速度v：从有界球体中为每个点均匀采样随机速度。 给定上述 (G, V) 信息后，轨迹通过公式确定性计算得出，其监督目标即为沿此路径的几何特征序列。 由于预训练使GeoPT捕捉到了以速度为条件的物理对齐相关性，在微调阶段，只需将预训练时的随机速度替换为编码了特定仿真设置的任务特定速度。 具体的适配策略如下： 空气动力学：将入射流条件（速度、攻角等）编码为Vs，其方向与流向一致。 水动力学：分别为水、气两相配置不同的Vs，反映船舶阻力仿真中的两相流。 碰撞仿真：将冲击方向编码为Vs，其大小从碰撞点开始随空间衰减，以反映力的传播。 这种统一接口的设计，使得单个预训练模型只需通过重配置速度输入，即可适配多样化的物理仿真任务。 在具体的细节方面，研究采用Transolver作为骨干网络，并配置了从3M到15M参数的三种模型尺寸。 在数据效率方面，轨迹被离散化为 3 个步骤，使用向量距离（Vector Distance）编码几何信息。每个几何体采样约3.6万个点，并生成100个随机动力学场。 在计算优势上，监督信号通过优化的射线-三角形求交算法计算。处理一个样本仅需约0.2秒，比工业级 CFD 仿真快10^7倍。在80核CPU上，仅需3天即可生成5TB的预训练数据集。 目前，该框架已开源，感兴趣的同学可以参考文末链接。 实验验证 在预训练中，研究使用ShapeNet-V1数据集，包含汽车、飞机、船舶等三类工业相关几何，通过采样生成了超过100万个样本（约5TB数据）。 任务覆盖流体力学：汽车空气动力学 (DrivAerML)、飞机受力分析 (NASA-CRM)、船舶水动力学 (DTCHull) ；固体力学：汽车碰撞最大应力仿真 (Car-Crash) 以及辐射度仿真 (Radiosity) 等。 实验结果表明，GeoPT显著降低了对标注数据的依赖，在达到相同精度时可节省20-60%的物理仿真数据。 与此同时，GeoPT还使微调阶段的收敛速度比从头训练快2倍。 而且，随着模型层数增加（从8层增加到32层）和预训练数据量的增大，性能持续稳步提升，展现了“物理大模型”的潜力。 总的来说，论文证明了通过“合成动力学轨迹”进行预训练，可以有效弥合静态几何与复杂动态物理任务之间的鸿沟。 GeoPT 为构建通用的物理仿真基础模型开辟了一条可扩展的路径，即： 大规模无标签几何+简单的合成动力学自监督=强大的跨领域物理仿真能力。 论文作者 这篇论文的第一作者是来自MIT（CSAIL）的博士后研究员吴海旭。 他目前师从Wojciech Matusik教授。此前，吴海旭在清华大学获得博士和学士学位，导师为龙明盛教授。 值得一提的是，龙明盛教授现为清华大学软件学院副教授，也是本文作者之一。 论文的共同第一作者是Minghao Guo，他目前为MIT（CSAIL）博士生，同样师从Wojciech Matusik教授。 他本科就读于清华大学，硕士毕业于香港中文大学。 此外，论文的其他作者还包括Zongyi Li（何恺明教授的博士后）、MIT博士生Zhiyang (Frank) Dou，以及何恺明教授和Wojciech Matusik教授。 参考链接 [1]https://arxiv.org/abs/2602.20399v1 [2]https://github.com/Physics-Scaling/GeoPT — 完 — 量子位 QbitAI · 头条号签约 关注我们，第一时间获知前沿科技动态

Site key	qbitai
Policy area	人工智能
Category	report

He Kaiming Team's New Work GeoPT: A New Pre-training Paradigm for Models to Learn Real Physical Laws

何恺明团队新作GeoPT，全新预训练范式让模型自学真实物理规律