FreeMocap无标记视频动捕部署
# FreeMocap无标记视频动捕部署
FreeMocap 是一个开源视频动捕项目,支持多目视频生成,整体生产流程也足够完善,从安装到最终的动作输出都比较便利,不是学院派那种发完论文就荒废的项目。
# 优势
成本够低,对硬件没啥要求,2,3 个普通USB摄像头加普通电脑即可录制处理,在家里就能搭动捕房。
安装方便,不像其他开源项目,安装一大堆库,这个只需设置好系统代理,一行命令全部安装好。
# 不足
效果不够好,最终动作处理不行,如脊椎完全只有一根骨骼的动画。
精度不够,可能是摄像头画质分辨率不够,生成的人体动作有 1,2厘米的轻微抖动晃动。
这些都是便宜带来的影响,可以在MotionBuild 中进行动捕修整流程解决,但是和更专业的动捕设备与更工业化标准输出的动作资源相比较,无疑还是需用更多工作量去处理。
# 录制准备工作
这里因为我手上没有合适的摄像头和场地,并没有实际录制过视频,只是使用官方提供的案例视频来测试,这里只是记录文档上要注意的 重点。
官方文档说 2 个 或者 3 个摄像头即可拍摄录制动作。
第一次使用时,需要手举着 镜头校正标记板 尽量让每个摄像头能拍清楚的录制校正视频,用于生成摄像头的位置, 旋转, 相互的距离, 等等参数信息。
# 打印 镜头校正 标记板
如下图,竖向 5 格,横向7 格的类似二维码的图片,尽量打大些,用硬纸板,避免使用过程中有变形。
图片地址如下,
# 测量 标记板格子 大小
打印出来之后,需要用尺子 测量 单个格子的大小,
# 录制
软件上有两个录制选项,正式录制动作 和 录制校正视频,填上 标记板 格子大小 ,然后按需要选择录制模式即可。
这里因为我手上没有合适的摄像头和场地,并没有实际录制过视频,只是使用官方提供的案例视频来测试。
官方文档说 2 个 或者 3 个普通的USB摄像头 即可拍摄录制动作,注意的是摄像头必须是固定的,在录制过程不会有移动。
# 生成镜头校正信息
如上步骤录制好 校正视频后,就需要走生成镜头校正信息流程,这里直接使用项目提供的案例视频。
官方已告知案例视频中的标记板 格子 大小是 58 毫米。
# 导入校正视频
# 生成校正 文件 流程
选择 校正 流程 选项,填上 标记版 格子 大小,Run Calibration 执行生成校正文件流程。
完成之后,切换到 Load Calibration from file 选项,加载生成的校正文件。
# 生成动作
这里直接使用 镜头校正视频来生成 动作,如下图 设置,【Process Motion Capture Videos 】执行生成动作流程。
然后等待完成即可,此过程比较慢,完成后自动启动 Blender 查看 动作。
# 安装
FreeMocap项目 freemocap/freemocap: Free Motion Capture for Everyone 💀✨ (github.com) (opens new window)
全程网络代理,不然后无法下载完成安装。
# 修复提示 OpenCV
如下图,安装完成之后,打开 FreeMocap 提示OpenVC 和 Opencv-contrib-python 冲突,虽然有自动修复选项,但是建议还是手动修复。
先卸载两个,然后单独安装 opencv-contrib-python 即可,再次打开 FreeMocap 就不会提示。
# 安装 Blender
该项目最终动作效果使用 blender 查看,所以 提前安装好 Blender , 建议是最新版本。
安装好 Blender 后,在 Freemocap 上设置好 blender-launcher.exe 的路径,方便软件调用。
然后打开 Blender 设置 启用 Rigify 插件。