我的开源项目 – 3DPoseEstimation从2D视频中估计人物三维姿势,并生成BVH文件
本文作者:StubbornHuang
版权声明:本文为站长原创文章,如果转载请注明原文链接!
原文标题:我的开源项目 – 3DPoseEstimation从2D视频中估计人物三维姿势,并生成BVH文件
原文链接:https://www.stubbornhuang.com/613/
发布于:2020年01月06日 16:44:06
修改于:2020年12月26日 18:08:55

1 从2d视频中生成3d人物姿态,并导出为bvh文件
1.1 目的
从2d视频中检测人物2d关节点,并转换为三维空间坐标,然后使用dcm余弦矩阵计算关节的旋转信息并将其导出为bvh动作文件。
Github地址 : https://github.com/HW140701/VideoTo3dPoseAndBvh
1.1 参考的开源项目
这是我最近做的一个小的项目,参考了许多的开源项目,
例如:
- VideoPose3D : https://github.com/facebookresearch/VideoPose3D
- video-to-pose3D : https://github.com/zh-plus/video-to-pose3D
- video2bvh : https://github.com/KevinLTT/video2bvh
- AlphaPose : https://github.com/MVIG-SJTU/AlphaPose
- Higher-HRNet-Human-Pose-Estimation : https://github.com/HRNet/Higher-HRNet-Human-Pose-Estimation
- openpose : https://github.com/CMU-Perceptual-Computing-Lab/openpose
1.2 环境
测试环境是在Windows10 + Anaconda + Python3.6
1.3 配置
- 安装python第三库依赖库:
- Pytorch > 1.1.0 (I use the Pytorch1.1.0 - GPU)
- torchsample
- ffmpeg (note:you must copy the ffmpeg.exe to the directory of python install)
- tqdm
- pillow
- scipy
- pandas
- h5py
- visdom
- nibabel
- opencv-python (install with pip)
- matplotlib
- 下载预训练模型
参考github上的地址 -
使用程序
在outputs/inputvideo/下放入视频,并在videopose.py中:
if __name__ == '__main__':
inference_video('outputs/inputvideo/kunkun_cut.mp4', 'alpha_pose')
设置输入视频的路径以及采用的2d关节检测器类型,运行程序,即可在outputs\outputvideo下找到相应的结果文件。
1.4 缺点
- 效率问题
- 在视频中人物形态有遮挡时,会导致动作变形
各位看官老爷给个star可以吗?三连最好啊。
2 程序示意图
当前分类随机文章推荐
- 姿态估计之Openpose-Body25数据集骨骼关节keypoint标注对应 阅读7900次,点赞5次
- human3.6m : Download(数据集下载) 阅读24583次,点赞39次
- Mediapipe - 关于对Mediapipe C++ SDK使用不当造成的内存泄漏和内存溢出问题的记录 阅读1281次,点赞2次
- 姿态估计 - COCO-WholeBody数据集骨骼关节keypoint标注对应 阅读2708次,点赞0次
- Mediapipe - 全身包含身体、手部、面部所有关键点标注位置对应图 阅读5001次,点赞4次
- Alphapose - 在Alphapose中使用yolov3-tiny检测器大幅提升检测性能 阅读2613次,点赞0次
- 姿态估计之COCO数据集骨骼关节keypoint标注对应 阅读9029次,点赞5次
- Alphapose - Windows下Alphapose(Pytorch 1.1+)版本2021最新环境配置步骤以及踩坑说明 阅读4684次,点赞1次
- Mediapipe - Windows10 编译Mediapipe C++版本保姆级教程 阅读10387次,点赞16次
- Mediapipe – 将Mediapipe HolisticTracking封装成动态链接库dll/so,实现在桌面应用中嵌入全身关节点识别、手势识别、抬手放手检测识别功能 阅读5796次,点赞14次
全站随机文章推荐
- C++ - std::string替换字符串中所有指定的子字符串 阅读2106次,点赞1次
- 移动端Android/ios深度学习模型部署框架总结 阅读50次,点赞0次
- C++ - std::map正向遍历与反向遍历的几种方式 阅读4139次,点赞3次
- 资源分享 - Fluid Simulation for Computer Graphics, First Edition英文高清PDF下载 阅读2592次,点赞0次
- 资源分享 - Video Game Optimization 英文高清PDF下载 阅读1238次,点赞0次
- 资源分享 - OpenGL 4.0 Shading Language Cookbook (Third Edition) 英文高清PDF下载 阅读2793次,点赞0次
- C++ - 使用模板和智能指针构建一个双向链表工具类 阅读811次,点赞0次
- Modern OpenGL从零开始 - 在Visual Studio中配置OpenGL开发环境 阅读2374次,点赞0次
- 资源分享 - Artificial Intelligence for Games , Third Edition 英文高清PDF下载 阅读540次,点赞0次
- 资源分享 - The Algorithms and Principles of Non-photorealistic Graphics - Artistic Rendering and Cartoon Animation 英文高清PDF下载 阅读1326次,点赞0次
请问我用朋友charm2021个人版运行后显示这个错误,是什么原因呢?FileNotFoundError: [Errno 2] No such file or directory: 'joints_detectors/Alphapose/yolo/models/yolo/yolov3-spp.weights',而且我在本地文件夹按照这个路径确实也没找见这个文件
请仔细看项目的Github项目的README.md
请问如何导出适用于Daz Studio中Genesis 2模型骨骼的BVH?现在的这个解析出的bvh用在daz里面就稀巴烂了。