MotoricaAI-MoGen 动画合成
# MotoricaAI-MoGen 动画合成
MoGen 好像 的 【Listen, denoise, action! Audio-driven motion synthesis with diffusion models】听音乐跳舞的音频驱动运动合成 这篇论文的副产品。大概是把其中的动画合成单独拿出来做个混合器应用。
speech.kth.se/research/listen-denoise-action/ (opens new window)
基本上就是个类似于 MIxamo.com (opens new window) 动捕动画库,但是自由度比较高的,可以合成新动画,主要功能还是在移动动画混合和风格化动画合成上。
总体来说可控度不高,比如只能平面移动不跳跃,上坡或者台阶,对于项目或者动画师来说是个非常好的动画资源库,可以方便快捷的合成移动类动画资源,如 走跑,起步,急停,转身等等。
# 根运动合成
maya根运动1.gif
maya根运动.gif
根运动1.gif
根运动.gif
# 风格化合成 - 走平衡木
# 骨架
Downloads - Motorica Studio Documentation (opens new window)
# 上传3dsMax导出的根运动
max根运动1.gif
max根运动2.gif
MoGen - FBX 文件,是Y-up坐标系,而3dsMax是 Z-up坐标系,当 Y-up坐标系的文件导入 Z-up坐标系的软件MAX中时,会做一个坐标系转换。
例如 从MoGen上下载一个转身的动画资源,导入3dsMax和 Maya 之后根骨骼旋转数据的差异。
# 虚幻引擎中使用
以下连接是官方提供的 虚幻5 - MotoricaStudio 插件使用教程,同样需要账号登录,请自便。
官方频道-可以和开发组交互
https://discord.gg/KWRqNzcjYA (opens new window)
# Web端使用教程
# 上传下载
分别是上传, 下载 资源,下载当前预览的动画,可以导入3dsMax ,MAYA,Blender 中修改 根骨骼 【RootBone】的动画, 导出FBX上传,就可以根据 RootBone 的运动轨迹重新生成动画。
# 运动预设
Straight | 面向前方正面移动 | 速度为负值时,后退倒着走 |
Diagonal | 面向前方斜着运动 | angle角度参数 只有正负,大小无作用 |
Strafe | 面向前方侧向运动 | |
Turn | 原地转身 | |
Cirele | 转圈运动,类似绕着圈跑 | |
Run- Turn | 面向前方运动然后转身,但前进方向不变 | |
Start - Turn | 站立时,然后转向运动, | |
Stop - Turn | 运动停止时,转身 | |
Constant Speed | 自定速度 |
# 运动速度参数
每种运动预设下有不同的 速度参数,但是也就是 起始速度,目标速度,角度 这3 样
Speed | 正向移动速度,小值是走,大值是跑,正值往前,负值后退,0.7以下是走,以上就是跑 |
Target Speed | 正向移动目标移动速度,当 Speed 和 TargetSpeed 同时出现时,Speed表示为起始速度 |
Angle | 转身角度 |
Turn Rate ,Rotation | 移动过程中的转向速度 |
FWd | 正向移动速度 |
SideWays | 侧向移动速度 |
Rotation |
移动速度1.gif
移动速度2.gif
侧向速度.gif
转身.gif
移动转向.gif
移动转身.gif
站立转身移动.gif
停止转身.gif
# 角色类型运动风格
Redlism 真实 | 男女,年龄分段 |
Soldier 士兵 | 男女士兵,持长短枪戒备,开枪 |
Creaturn 怪物 | 丧尸,狼人,这样的两足类人怪, |
Personalities 性格 | |
Expressions 身体状态 | |
100 STYLE 100 个风格样式 |
# Redlism 真实
主要是角色的性别和年龄段选项
男 | 女 |
Male 普男 | Female 普女 |
CoolGuy 酷男 | TeenGrill 少女 |
High status male 年龄较大的男性 | High Status female 年龄较大的女性 |
男性站姿区别
女性站姿区别
# 100 种风格翻译表
Aeroplane | 飞机 |
Akimbo | Akimbo |
Angry | 生气 |
Arms above head | 手臂举过头顶 |
Arms behind back | 手放在背后 |
Arms by side | 手放在一边 |
Arms folded | 双臂交叉 |
Balance | 平衡 |
Beat chest | 拍胸 |
Bent forward | 向前弯曲 |
Bent knees | 屈膝 |
Big steps | 大步 |
Bouncy left | 左边有弹性 |
Bouncy right | 弹跳权 |
Cat | 猫 |
Chicken | 鸡 |
Cross over | 交叉 |
Crouched | 蹲 |
Crowd avoidance | 人群回避 |
Depressed | 沮丧 |
Dinosaur | 恐龙 |
Drag left leg | 拖动左腿 |
Drag right leg | 拖动右腿 |
Drunk | 喝醉 |
Duck foot | 鸭脚 |
Elated | 兴高采烈 |
Fairy steps | 仙步 |
Flapping | 拍打 |
Flick legs | 轻弹腿 |
Followed | 其次 |
Graceful arms | 优雅的手臂 |
Hands between legs | 手放在两腿之间 |
Hands in pockets | 双手插在口袋里 |
Heavyset | 魁梧 |
High knees | 高膝 |
In the dark | 在黑暗中 |
Karate chop | 手刀 |
Kick | 踢 |
Lawn mower | 割草机 |
Lean back | 往后靠 |
Lean left | 向左倾斜 |
Lean right | 向右倾斜 |
Left hop | 左跳 |
Legs apart | 双腿分开 |
Limp left | 左拐 |
Limp right | 右拐 |
Look up | 查找 |
Lunge | 弓步 |
March | 三月 |
Monk | 和尚 |
Morris | 莫里斯 |
Neutral | 中性 |
Old | 老 |
On heels | 穿着高跟鞋 |
On phone left | 在电话左侧 |
On phone right | 在打电话吗 |
On toes bent forward | 脚尖向前弯 |
On toes crouched | 踮起脚尖蹲着 |
Pendulum hands | 摆手 |
Penguin | 企鹅 |
Pigeon toed | 鸽趾 |
Proud | 自豪 |
Punch | 冲头 |
Quail | 鹌鹑 |
Raised left arm | 左臂抬高 |
Raised right arm | 右臂抬高 |
Right hop | 右跳 |
Roadrunner | Roadrunner |
Robot | 机器人 |
Rocket | 火箭 |
Rushed | 冲 |
Shielded left | 左屏蔽 |
Shielded right | 屏蔽右 |
Skip | Skip |
Slide feet | 滑脚 |
Spin anti clock | 自旋反时钟 |
Spin clock | 自旋钟 |
Star | 星星 |
Start stop | 启停 |
Stiff | 僵硬 |
Strutting | 只骄傲 |
Superman | 超人 |
Swat | 斯瓦特 |
Sweep | 扫描 |
Swimming | 游泳 |
Swing arms round | 把手臂摆过来 |
Swing shoulders | 摆动肩膀 |
Teapot | 茶壶 |
Tiptoe | 脚尖 |
Together step | 齐步走 |
Two foot jump | 双脚跳 |
Walking stick left | 手杖左侧 |
Walking stick right | 拐杖右 |
Waving | 挥舞 |
Whirl arms | 旋臂 |
Wide legs | 宽脚 |
Wiggle hips | 扭动臀部 |
Wild arms | 狂野历险 |
Wild legs | 狂野的腿 |
Classic Zombie 2 | 经典僵尸2 |
# 原始动画数据集
# 语音驱动跳舞的视频数据集合
原始视频,音频,有2M,10M,2种码率选择下载。
AIST Dance Video Database (AIST Dance DB) (ongaaccel.jp) (opens new window)
部分街舞视频对应的 BHV 数据集
MotoricaDanceDataset – OneDrive (sharepoint.com) (opens new window)
# 100种风格动画
BHV格式动画
100STYLE - Ian Mason (ianxmason.com) (opens new window)
# 语音手势数据集
大量(20 G左右)动捕的站立说话的数据,主要研究方式是手指动画。
许可证 |三位一体语音手势 (tcd.ie) (opens new window)
# ZEGGS Dataset
主要是站着说话的动捕数据。
GitHub - ubisoft/ubisoft-laforge-ZeroEGGS: All about ZeroEggs