1 问题描述

在Unity中或者OpenGL中抓取的帧缓冲区数据(Unity为Texture2D)即一张RGB图片数据使用ffmpeg做.h264编码后使用vlc播放出现了图像垂直颠倒的问题,如下图所示:

正常的图片:
FFmpeg - RGB图像编码为h264出现垂直旋转的问题-StubbornHuang Blog

.h264编码之后在vlc中播放出现了垂直翻转的问题:
FFmpeg - RGB图像编码为h264出现垂直旋转的问题-StubbornHuang Blog

1.1 可能的原因

RGB图像有两种存储方式:
- 一种是从上往下扫描
- 另一种是从下往上扫描。
OpenCV为从上往下扫描的方式,ffmpeg可能也是从上往下的存储方式,而OpenGL/Unity中的帧缓冲数据可能是从下往上的扫描的方式,导致了图像的垂直翻转的问题。

从上扫描的图像第一行的首地址即为图像Buffer的起始地址,而从下往上扫描的图像第一行的首地址为:buffer_data + linesize*(height-1),其中buffer_data为图像Buffer的起始地址,linesize为图像的行字节宽度,对于RGB24图像,linesize = (width * 3 + 3)/4×4,对于YUV420图像,linesize = (width + 3)/4 *4。

2 解决方法

在sws_scale之前进行RGB数据的垂直翻转,可使用以下函数:

///
/// @brief 垂直翻转RGB数据
/// @param[in] width - RGB图像宽度
/// @param[in] height - RGB图像高度
/// @param[in] rgbData - RGB图像数据指针
/// @param[in] bitsPerPixel - 每一个像素的字节大小,通常为rgbData的长度/width*height
///

void h264Encoder::VerticalRotateRGBData(int width, int height, unsigned char* rgbData, int bitsPerPixel)
{
    unsigned char* tempRgbData = new unsigned char[width*bitsPerPixel];
    height--; 

    int index = (height + 1) / 2;

    for (int y = 0; y < index; y++)
    {
        memcpy(tempRgbData, &rgbData[y*width*bitsPerPixel], width*bitsPerPixel);
        memcpy(&rgbData[y*width*bitsPerPixel], &rgbData[(height - y)*width*bitsPerPixel], width*bitsPerPixel);
        memcpy(&rgbData[(height - y)*width*bitsPerPixel], tempRgbData, width*bitsPerPixel);
    }
    delete[] tempRgbData;
}