Pytorch – 使用opencv-python解码视频文件并将视频帧转换为Pytorch tensor作为网络模型输入数据
[toc]
1 视频文件作为网络模型的输入数据
越来越多的神经网络模型开始以视频作为训练数据，比如基于视频数据的行为识别等等，这就需要我们将视频转换为可适用的张量，本文将以pytorch为例，展示一下视频数据转换为pytorch tensor的过程。
2 使用OpenCV-Python解码视频文件并将视频帧转换为Pytorch tensor
2.1 安装opencv-python
不赘述。
2.2 视频转换为tensor
import torch
import numpy as np
import os
def get_tensor_from_video(video_path):
"""
:param video_path: 视频文件地址
:return: pytorch tensor
"""
if not os.access(video_path, os.F_OK):
print('测试文件不存在')
return
import cv2
cap = cv2.VideoCapture(video_path)
frames_list = []
while(cap.isOpened()):
ret,frame = cap.read()
if not ret:
break
else:
# 注意，opencv默认读取的为BGR通道组成模式，需要转换为RGB通道模式
frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
frames_list.append(frame)
cap.release()
# 转换成tensor
result_frames = torch.as_tensor(np.stack(frames_list))
# 注意：此时result_frames组成的维度为[视频帧数量，宽，高，通道数]
return result_frames
if __name__ == '__main__':
tensor = get_tensor_from_video(r'H:\Temp\P01_01_00_0_color(488x488).avi')
print(tensor.shape)
详细的代码如上，请注意上述函数get_tensor_from_video返回的tensor的维度为[视频帧数量，宽，高，通道数]，而有的神经网络模型要求输入[通道数，视频帧数量，宽，高]，我们可以使用以下函数进行转换。
2.3 tensor维度交换
# T H W C -> C T H W
result_frames = result_frames.permute(3, 0, 1, 2)
欢迎扫码关注我的微信公众号，及时获取文章更新
本文作者：StubbornHuang
版权声明：本文为站长原创文章，如果转载请注明原文链接！
原文标题：Pytorch – 使用opencv-python解码视频文件并将视频帧转换为Pytorch tensor作为网络模型输入数据
原文链接：https://www.stubbornhuang.com/1281/
发布于：2021年04月19日 14:42:47
修改于：2023年06月26日 21:38:56
声明：本站所有文章，如无特殊说明或标注，均为本站原创发布。任何个人或组织，在未征得本站同意时，禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益，可联系我们进行处理。
文章末尾
评论
72