通过生成运动匹配进行基于示例的运动合成
# 通过生成运动匹配进行基于示例的运动合成
# Example-based Motion Synthesis via Generative Motion Matching
- 通过生成运动匹配进行基于示例的运动合成
- https://weiyuli.xyz/GenMM/ (opens new window)
- 通过生成运动匹配进行基于示例的运动合成
- 2026-03-02 12:01
# 抽象的
我们提出了 GenMM,这是一种生成模型,可以从单个或几个示例序列中“挖掘”尽可能多的不同运动。与现有的数据驱动方法形成鲜明对比的是,现有的数据驱动方法通常需要较长的离线训练时间,容易出现视觉伪影,并且在大型和复杂的骨架上往往会失败,GenMM 继承了众所周知的运动匹配方法的免训练性质和卓越的质量。 GenMM 可以在不到一秒的时间内合成高质量的运动,即使是高度复杂和大型的骨骼结构。
我们的生成框架的核心是生成运动匹配模块,它利用双向视觉相似性作为运动匹配的生成成本函数,并在多阶段框架中运行,以使用示例运动匹配逐步完善随机猜测。
# 新颖的运动合成
***** 蓝色边框表示输入运动序列。
从一个例子中,我们的框架在一秒钟之内就可以为高度复杂和大型的骨骼生成不同的运动序列,包括衣服和眼睛的动画。
# 应用领域
动作完成。用户可以提供下半身动作,我们的方法以多种动作完成。
输入
合成运动1
合成运动2
合成运动3
关键帧引导生成。 我们可以生成遵循用户给定关键帧姿势的各种新颖的运动序列。
输入
合成运动1
合成运动2
合成运动3
无限循环。 通过简单地指定起始和结束姿势相同,我们就可以生成无限循环的动画。
合成运动
合成运动1
合成运动2
运动重组。 给定两个具有异构骨骼的运动序列,我们的方法可以将它们组合起来形成具有连贯且自然运动的新生物。
角色1
人物2
合成运动1
合成运动2
运动。 当给出运动作为输入时,我们的框架可以生成具有不同轨迹的高质量输出。
输入轨迹
输入
合成轨迹
合成运动
# 比较与消融
我们将生成的结果与可以使用单个输入序列的经典和最先进的技术进行比较。 我们的方法以多样化和高质量的结果优于这些方法,其中高度动态的运动得到了很好的保留。
输入
MotionTexture
GANimator
我们的
GANimator 很难合并所有示例,导致合成中丢失很大一部分示例运动补丁。 相比之下,我们的方法有效地覆盖了所有示例,从而获得了高覆盖率分数。
GANimator
Coverage of GANimator
我们的
Coverage of Ours
与仅生成两只手同时挥动的序列相比,骨骼感知运动补丁提取能够生成更多样化的序列,例如用一只手挥动。
输入
无骨骼感知
具有骨骼感知能力
具有骨骼感知能力
# 书目词典
@article{weiyu23GenMM,
author = {Weiyu Li and Xuelin Chen and Peizhuo Li and Olga Sorkine-Hornung and Baoquan Chen},
title = {Example-based Motion Synthesis via Generative Motion Matching},
journal = {ACM Transactions on Graphics (TOG)},
volume = {42},
number = {4},
year = {2023},
articleno = {94},
doi = {10.1145/3592395},
publisher = {Association for Computing Machinery},
}
2
3
4
5
6
7
8
9
10
11
