PhysHMR：从视觉中学习人形控制策略，以实现物理上合理的人体运动重建

---

• PhysHMR：从视觉中学习人形控制策略，以实现物理上合理的人体运动重建
• https://fengq1a0.github.io/projects/physhmr/ (opens new window)
• PhysHMR：从视觉中学习人形控制策略，以实现物理上合理的人体运动重建
• 2026-02-27 14:34

---

PhysHMR：从视觉中学习人形控制策略，以实现物理上合理的人体运动重建

Yiming Huang (opens new window),Yufu Wang (opens new window),Jiatao Gu (opens new window), Lingjie Liu (opens new window)

宾夕法尼亚大学

纸 (opens new window)

代码（即将推出） (opens new window)

页面仍在建设中...

TL;DR：PhysHMR 学习一种视觉到动作策略，该策略将图像特征作为任务状态，并驱动人形控制器在基于物理的模拟器中重现人体运动。

给定单目视频 (a)、(b) 基于运动学的方法（例如 GVHMR）通常会产生诸如脚漂浮之类的伪影，并且缺乏物理合理性。 (c) 基于跟踪的控制器（例如 PHC+）增强了物理合理性，但可能会放大重建误差，导致不自然的运动。 (d) 相比之下，我们的 PhysHMR 模型直接预测来自视觉输入的控制信号，避免误差放大并产生物理上合理且视觉上与输入一致的运动 (a)。

抽象的

从单眼视频重建物理上合理的人体运动仍然是计算机视觉和图形领域的一个具有挑战性的问题。现有方法主要关注基于运动学的位姿估计，由于缺乏物理约束，常常导致不切实际的结果。为了解决此类伪影，现有方法通常依赖于初始基于运动学的运动估计之后的基于物理的后处理。然而，这种两阶段设计引入了误差累积，最终限制了整体重建质量。在本文中，我们提出了 PhysHMR，这是一个统一的框架，可以在基于物理的模拟器中直接学习用于人形控制的视觉到动作策略，从而实现物理基础和视觉上与输入视频对齐的运动重建。我们方法的一个关键组成部分是像素即光线策略，它将 2D 关键点提升为 3D 空间光线并将其转换为全局空间，提供强大的全局姿势指导，而不依赖于嘈杂的 3D 根预测。这种软全局基础与预训练编码器的局部视觉特征相结合，允许策略对详细姿势和全局定位进行推理。为了克服强化学习的样本效率低下的问题，我们进一步引入了一种蒸馏方案，该方案将运动知识从经过动作捕捉训练的专家转移到视觉条件策略，然后使用物理激励的强化学习奖励进行细化。大量实验表明，PhysHMR 可在不同场景中产生高保真、物理上合理的运动，在视觉准确性和物理真实感方面均优于先前的方法。

---

方法

图：PhysHMR 管道概述。

---

视频

书目词典

@article{feng2025physhmr,
  author    = {Feng, Qiao and Huang, Yiming and Wang, Yufu and Gu, Jiatao and Liu, Lingjie},
  title     = {PhysHMR: Learning Humanoid Control Policies from Vision for Physically Plausible Human Motion Reconstruction},
  journal   = {arXiv},
  year      = {2025}
}