在视觉任务的深度学习模型的训练过程中,一般需要对数据集中的图片进行预处理,这些操作一般都包括:

在Pytorch中一般使用torchvision.transforms对图片进行归一化处理,比如经常会使用以下的代码

transforms.Compose([
   transforms.RandomCrop((224, 224)),  # 随机裁剪成224x224
   transforms.RandomRotation(15),  # 随机旋转15度
   transforms.RandomHorizontalFlip(),  # 随机水平翻转
   transforms.ToTensor(),  # 归一化数值,从[0-255]归一化到[0-1],并转化为Tensor
   transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])  # 把图片转到[-1,1]上,方便训练
])

而当模型训练完成需要部署时,目前的部署框架为了推理速度大部分都是C++作为底层,而在C++中,经常会使用opencv作为图片数据的读取库,那么如何基于OpenCV读取的图片数据进行进一步的预处理操作呢?下文我们将由浅入深来一步一步验证各个处理步骤。

1 OpenCV的图片格式验证

从OpenCV的官方文档以及各种教程,我们知道OpenCV读取文件之后会以cv::Mat的对象进行保存,并且其默认格式为BGR,尺寸为HWC。

我们可以通过以下方法来验证上述的结论,我们先读取一张图片,然后先使用通过cv::cvtColor方法将输入图片转换为RGB格式并保存,然后再通过最底层遍历输入图片数值的方式修改其RGB顺序,然后将结果保存,最后比较这两张保存的图片是否一致。

测试代码如下:

#include <iostream>
#include <string>
#include <vector>

#include "opencv2/opencv.hpp"

int main()
{
    std::string image_path = "C:/Users/xxxx/Desktop/lena_std.tif";

    // 读取图片
    cv::Mat src_mat = cv::imread(image_path);

    // 使用cv::cvtColor方法BGR转RGB并保存图片
    cv::Mat src_mat_rgb;
    cv::cvtColor(src_mat, src_mat_rgb, CV_BGR2RGB);
    cv::imwrite("C:/Users/xxxx/Desktop/lena_std_rgb.tif", src_mat_rgb);

    // 获取图片宽、高、channels
    int image_height = src_mat.rows;
    int image_width = src_mat.cols;
    int image_channels = src_mat.channels();

    cv::Mat src_mat_copy;
    src_mat.copyTo(src_mat_copy);

    std::vector<float> input_image_array;
    input_image_array.resize(image_channels * image_height * image_width);

    float* input_image = input_image_array.data();

    // 遍历图片进行BGR转RGB
    for (int h = 0; h < image_height; ++h)
    {
        for (int w = 0; w < image_width; ++w)
        {
            for (int c = 0; c < image_channels; ++c)
            {
                float tmp = 0.0;
                if (c == 0) // 当c等于0时,在BGR排列中对应B,所以在RGB排列中其索引应该为2
                {
                    tmp = src_mat_copy.ptr<uchar>(h)[w * 3 + 2];
                }
                else if (c == 1) // 当c等于1时,在BGR排列中对应G,所以在RGB排列中其索引也为1
                {
                    tmp = src_mat_copy.ptr<uchar>(h)[w * 3 + 1];
                }
                else if (c == 2) // 当c等于2时,在BGR排列中对应R,所以在RGB排列中其索引为0
                {
                    tmp = src_mat_copy.ptr<uchar>(h)[w * 3 + 0];
                }

                input_image[h * image_width * image_channels + w * image_channels + c] = tmp ;
            }
        }
    }

    // 构建结果Mat并保存
    cv::Mat res_mat(image_height,image_width,CV_32FC3, input_image_array.data());
    cv::imwrite("C:/Users/xxxx/Desktop/b.jpg", res_mat);

    return 0;
}

最后面保存的两张图片对比如下:

C++/OpenCV – 详解如何一步步将OpenCV的cv::Mat转换成深度学习模型推理所需的输入数据-StubbornHuang Blog

两张图片的结果完全一致,所以我们能使用下面这种普通的方式正确访问图片的RGB值并且可以对图片的RGB值进行操作,也就是可以进行进一步的预处理操作。

2 对cv::Mat进行深度学习模型数据预处理

此文章剩余75%被隐藏需要付费查看,内容查看价格1小饼子立即购买,VIP免费
支付前请仔细阅读以下说明,如支付代表您了解并同意了以下说明:
(1)资源收集自互联网,仅供自我学习,请在下载后24小时内删除该资源,如下载者将此资源用于其他非法用途,本站不承担任何法律责任;如有侵权,请立即联系我,马上删除!
(2)下载单个资源则点击立即下载或者立即购买按钮;本站VIP可下载本站所有资源。
(3)请不要使用手机以及电脑浏览器的无痕模式进行支付操作,以免造成支付成功但未显示下载链接。
(4)如遇支付问题或者资源失效问题请点击按钮点击反馈进行反馈或者发送说明邮件到stubbornhuang@qq.com