OpenCV|FFmpeg – OpenCV cv::Mat与FFmpeg AVFrame的相互转换
本文作者:StubbornHuang
版权声明:本文为站长原创文章,如果转载请注明原文链接!
原文标题:OpenCV|FFmpeg – OpenCV cv::Mat与FFmpeg AVFrame的相互转换
原文链接:https://www.stubbornhuang.com/2133/
发布于:2022年05月20日 10:50:21
修改于:2022年05月20日 15:50:04

1 OpenCV cv::Mat与FFmpeg AVFrame相互转换
最近在处理OpenCV采集摄像头图片然后使用ffmpeg编码为h264裸流,之后再将h264裸流转换为OpenCV cv::Mat进行显示的问题,在这个过程中,如何将OpenCV的cv::Mat转化为FFmpeg AVFrame在进行h264编码,以及如何将h264解码后的AVFrame转换为cv::Mat是两个核心的问题,下文将简单展示OpenCV cv::Mat与FFmpeg AVFrame相互转换的核心代码,主要使用了FFmpeg中主要用于视频像素格式转换和视频缩放的sws_getContext和sws_scale函数。
注意这里使用的ffmpeg的版本为4.1,使用更低版本注意API适配,使用更高版本注意丢弃API的更换。
1.1 OpenCV cv::Mat转换为FFmpeg AVFrame
void CvMatToAVFrame(const cv::Mat& input_mat, AVFrame* out_avframe)
{
int image_width = input_mat.cols;
int image_height = input_mat.rows;
int cvLinesizes[1];
cvLinesizes[0] = input_mat.step1();
SwsContext* openCVBGRToAVFrameSwsContext = sws_getContext(
image_width,
image_height,
AVPixelFormat::AV_PIX_FMT_BGR24,
image_width,
image_height,
AVPixelFormat::AV_PIX_FMT_YUV420P,
SWS_FAST_BILINEAR,
nullptr, nullptr, nullptr
);
sws_scale(openCVBGRToAVFrameSwsContext,
&input_mat.data,
cvLinesizes,
0,
image_height,
out_avframe->data,
out_avframe->linesize);
if (openCVBGRToAVFrameSwsContext != nullptr)
{
sws_freeContext(openCVBGRToAVFrameSwsContext);
openCVBGRToAVFrameSwsContext = nullptr;
}
}
1.2 FFmpeg AVFrame转换为OpenCV cv::Mat
cv::Mat AVFrameToCvMat(AVFrame* input_avframe)
{
int image_width = input_avframe->width;
int image_height = input_avframe->height;
cv::Mat resMat(image_height, image_width, CV_8UC3);
int cvLinesizes[1];
cvLinesizes[0] = resMat.step1();
SwsContext* avFrameToOpenCVBGRSwsContext = sws_getContext(
image_width,
image_height,
AVPixelFormat::AV_PIX_FMT_YUV420P,
image_width,
image_height,
AVPixelFormat::AV_PIX_FMT_BGR24,
SWS_FAST_BILINEAR,
nullptr, nullptr, nullptr
);
sws_scale(avFrameToOpenCVBGRSwsContext,
input_avframe->data,
input_avframe->linesize,
0,
image_height,
&resMat.data,
cvLinesizes);
if (avFrameToOpenCVBGRSwsContext != nullptr)
{
sws_freeContext(avFrameToOpenCVBGRSwsContext);
avFrameToOpenCVBGRSwsContext = nullptr;
}
return resMat;
}
1.3 使用示例
#include <iostream>
// ffmpeg
extern "C" {
#include "libavcodec/avcodec.h"
#include "libavformat/avformat.h"
#include "libavutil/avutil.h"
#include "libswscale/swscale.h"
#include <libavutil/imgutils.h>
}
// opencv
#include "opencv/cv.h"
#include "opencv2/opencv.hpp"
void CvMatToAVFrame(const cv::Mat& input_mat, AVFrame* out_avframe)
{
int image_width = input_mat.cols;
int image_height = input_mat.rows;
int cvLinesizes[1];
cvLinesizes[0] = input_mat.step1();
SwsContext* openCVBGRToAVFrameSwsContext = sws_getContext(
image_width,
image_height,
AVPixelFormat::AV_PIX_FMT_BGR24,
image_width,
image_height,
AVPixelFormat::AV_PIX_FMT_YUV420P,
SWS_FAST_BILINEAR,
nullptr, nullptr, nullptr
);
sws_scale(openCVBGRToAVFrameSwsContext,
&input_mat.data,
cvLinesizes,
0,
image_height,
out_avframe->data,
out_avframe->linesize);
if (openCVBGRToAVFrameSwsContext != nullptr)
{
sws_freeContext(openCVBGRToAVFrameSwsContext);
openCVBGRToAVFrameSwsContext = nullptr;
}
}
cv::Mat AVFrameToCvMat(AVFrame* input_avframe)
{
int image_width = input_avframe->width;
int image_height = input_avframe->height;
cv::Mat resMat(image_height, image_width, CV_8UC3);
int cvLinesizes[1];
cvLinesizes[0] = resMat.step1();
SwsContext* avFrameToOpenCVBGRSwsContext = sws_getContext(
image_width,
image_height,
AVPixelFormat::AV_PIX_FMT_YUV420P,
image_width,
image_height,
AVPixelFormat::AV_PIX_FMT_BGR24,
SWS_FAST_BILINEAR,
nullptr, nullptr, nullptr
);
sws_scale(avFrameToOpenCVBGRSwsContext,
input_avframe->data,
input_avframe->linesize,
0,
image_height,
&resMat.data,
cvLinesizes);
if (avFrameToOpenCVBGRSwsContext != nullptr)
{
sws_freeContext(avFrameToOpenCVBGRSwsContext);
avFrameToOpenCVBGRSwsContext = nullptr;
}
return resMat;
}
int main()
{
cv::Mat input_image = cv::imread("C:/Users/Administrator/Desktop/example.jpg");
AVFrame* avFrame = av_frame_alloc();
avFrame->format = AVPixelFormat::AV_PIX_FMT_YUV420P;
avFrame->width = input_image.cols;
avFrame->height = input_image.rows;
// 为需要创建的YUV Frame分配内存
if (av_frame_get_buffer(avFrame, 0) < 0)
{
av_frame_free(&avFrame);
avFrame = nullptr;
return -1;
}
cv::imshow("解码前", input_image);
// OpenCV cv::Mat转换成AVFrame
CvMatToAVFrame(input_image,avFrame);
// 将AVFrame转换成OpenCV cv::Mat
cv::Mat out_avFrameToMat = AVFrameToCvMat(avFrame);
cv::imshow("解码后", out_avFrameToMat);
cv::waitKey(0);
cv::destroyAllWindows();
// free memory
if (avFrame != nullptr)
{
av_frame_free(&avFrame);
avFrame = nullptr;
}
return 0;
}
从示例程序的结果上看,上述的转换代码是正确的

当前分类随机文章推荐
- OpenCV/FFmpeg - 使用FFmpeg编码OpenCV中的BGR视频流为H264视频流以及解码H264视频流为OpenCV中的BGR视频流 阅读989次,点赞1次
- FFmpeg - 自定义http请求参数,如user-agent,headers,referer等 阅读302次,点赞0次
- FFmpeg - 通过h264编码的视频文件开始很清晰后面逐渐模糊 阅读3403次,点赞2次
- FFmpeg - 录制HLS直播流为mp4文件 阅读657次,点赞0次
- FFmpeg - RGB图像编码为h264出现垂直旋转的问题 阅读3200次,点赞0次
- Ubuntu编译安装FFmpeg+libx264以及编译+安装Opencv+FFmpeg保姆教程 阅读1724次,点赞1次
- FFmpeg - 常用的视频像素格式以及使用SwsContext和sws_scale进行视频像素格式转换和视频缩放 阅读623次,点赞0次
- FFmpge - Ubuntu编译FFmpeg出现WARNING: pkg-config not found, library detection may fail警告 阅读3103次,点赞0次
- Python - 使用ffmepg批量转换某个文件夹以及所有子文件夹下所有的视频,修改其帧率/码率/分辨率到另一文件夹,并保留原有文件夹结构 阅读2453次,点赞0次
- FFmpeg - 命令行参数与常用命令行 阅读132次,点赞1次
全站随机文章推荐
- Python - 不定长函数参数列表 阅读1822次,点赞0次
- 资源分享 - Artificial Intelligence - A Modern Approach , Third Edition 英文高清PDF下载 阅读1577次,点赞0次
- 书籍翻译 – Fundamentals of Computer Graphics, Fourth Edition,第2章 Miscellaneous Math中文翻译 阅读2090次,点赞10次
- 计算机图形学 - 三维空间中的左、右手坐标系旋转矩阵与旋转变换 阅读7281次,点赞2次
- C++ - vector存储动态指针时正确释放内存 阅读5363次,点赞0次
- 资源分享 - The HDRI Handbook 2.0- High Dynamic Range Imaging for Photographers and CG Artists高清PDF下载 阅读2110次,点赞0次
- 资源分享 - OpenGL编程指南(原书第7版)- OpenGL红宝书高清扫描版PDF下载 阅读4561次,点赞1次
- 资源分享 - Advances in GPU Research and Practice 英文高清PDF下载 阅读1109次,点赞0次
- Python – 解决opencv-python使用cv2.imwrite()保存中文路径图片失败的问题 阅读928次,点赞0次
- 资源下载 - Go语言核心编程李文塔 高清带书签版pdf下载 阅读6553次,点赞1次
评论
164