支付宝扫一扫
微信扫一扫我的开源项目 – 3DPoseEstimation从2D视频中估计人物三维姿势，并生成BVH文件
本文作者：StubbornHuang
版权声明：本文为站长原创文章，如果转载请注明原文链接！
原文标题：我的开源项目 – 3DPoseEstimation从2D视频中估计人物三维姿势，并生成BVH文件
原文链接：https://www.stubbornhuang.com/613/
发布于：2020年01月06日 16:44:06
修改于：2020年12月26日 18:08:55
1 从2d视频中生成3d人物姿态，并导出为bvh文件
1.1 目的
从2d视频中检测人物2d关节点，并转换为三维空间坐标，然后使用dcm余弦矩阵计算关节的旋转信息并将其导出为bvh动作文件。
Github地址 : https://github.com/HW140701/VideoTo3dPoseAndBvh
1.1 参考的开源项目
这是我最近做的一个小的项目，参考了许多的开源项目，
例如：
- VideoPose3D : https://github.com/facebookresearch/VideoPose3D
- video-to-pose3D : https://github.com/zh-plus/video-to-pose3D
- video2bvh : https://github.com/KevinLTT/video2bvh
- AlphaPose : https://github.com/MVIG-SJTU/AlphaPose
- Higher-HRNet-Human-Pose-Estimation : https://github.com/HRNet/Higher-HRNet-Human-Pose-Estimation
- openpose : https://github.com/CMU-Perceptual-Computing-Lab/openpose
1.2 环境
测试环境是在Windows10 + Anaconda + Python3.6
1.3 配置
- 安装python第三库依赖库：
- Pytorch > 1.1.0 (I use the Pytorch1.1.0 - GPU)
- torchsample
- ffmpeg (note:you must copy the ffmpeg.exe to the directory of python install)
- tqdm
- pillow
- scipy
- pandas
- h5py
- visdom
- nibabel
- opencv-python (install with pip)
- matplotlib
- 下载预训练模型
参考github上的地址 -
使用程序
在outputs/inputvideo/下放入视频，并在videopose.py中：
if __name__ == '__main__':
inference_video('outputs/inputvideo/kunkun_cut.mp4', 'alpha_pose')
设置输入视频的路径以及采用的2d关节检测器类型，运行程序，即可在outputs\outputvideo下找到相应的结果文件。
1.4 缺点
- 效率问题
- 在视频中人物形态有遮挡时，会导致动作变形
各位看官老爷给个star可以吗？三连最好啊。
2 程序示意图
End
当前分类随机文章推荐
- 姿态估计之human3.6m数据集骨骼关节keypoint标注对应 阅读5716次，点赞8次
- 我的开源项目 - 3DPoseEstimation从2D视频中估计人物三维姿势，并生成BVH文件 阅读7394次，点赞24次
- 姿态估计 - COCO-WholeBody数据集骨骼关节keypoint标注对应 阅读1170次，点赞0次
- Mediapipe - Windows10 编译Mediapipe C++版本保姆级教程 阅读5325次，点赞9次
- 姿态估计 - Halpe Full-Body136数据集骨骼关节keypoint标注对应 阅读1579次，点赞2次
- Mediapipe - 将Mediapipe handtracking封装成动态链接库dll/so,实现在桌面应用中嵌入手势识别功能 阅读3890次，点赞10次
- 姿态估计之COCO数据集骨骼关节keypoint标注对应 阅读5542次，点赞4次
- Mediapipe - 使用Mediapipe Holistic识别身体、手、面部全身关节点 阅读2553次，点赞1次
- Mediapipe - 全身包含身体、手部、面部所有关键点标注位置对应图 阅读1240次，点赞1次
- human3.6m : Download(数据集下载) 阅读16363次，点赞35次
全站随机文章推荐
- OpenCV - cv::VideoWriter::fourcc可支持的视频编码格式 阅读58次，点赞0次
- OpenCV - 将OpenCV视频帧绘制到Win32窗口或者MFC控件上的CvvImage类，包括老版IplImage与新版Mat的绘制 阅读628次，点赞0次
- Python - 类对象/列表/元祖/字典判空的方法 阅读1323次，点赞0次
- Modern OpenGL - GLSL着色语言4：GLSL中的数据存储限制符 阅读1413次，点赞0次
- 资源分享 - Foundations of 3D computer graphics 英文高清PDF下载 阅读327次，点赞0次
- 资源分享 - The NURBS Book （2nd,Les Pieg） 英文版PDF下载 阅读3355次，点赞2次
- 资源分享 - 全局光照算法技术 第2版 , Advanced Global Illumination 2nd Edition 中文版PDF下载 阅读181次，点赞0次
- 资源分享 - GPU Pro 360 - Guide to Shadows 英文高清PDF下载 阅读1221次，点赞0次
- 工具网站推荐 - 免费的在线视频剪切网站 阅读1392次，点赞0次
- 资源分享 - Data Structures and Algorithms for Game Developers 英文高清PDF下载 阅读549次，点赞0次
请问如何导出适用于Daz Studio中Genesis 2模型骨骼的BVH？现在的这个解析出的bvh用在daz里面就稀巴烂了。