Mediapipe - 关于对Mediapipe C++ SDK使用不当造成的内存泄漏和内存溢出问题的记录

Mediapipe – 关于对Mediapipe C++ SDK使用不当造成的内存泄漏和内存溢出问题的记录

StubbornHuang 姿态估计 2022-05-09 1,939 0 2 本文共2550个字，阅读需要7分钟。

1 关于对Mediapipe C++ SDK使用不当造成的内存泄漏和内存溢出问题的记录

最近在对我的开源项目：https://github.com/HW140701/GoogleMediapipePackageDll进行性能测试的时候发现，检测一帧视频帧的检测延时很长，一帧大概有20-40ms，所以开始了故障代码排查。

定位到的故障代码如下：

    // 1 视频输出结果帧
    mediapipe::Packet packet;
    if (!m_pVideoPoller->Next(&packet))
    {
        return absl::InvalidArgumentError("no next packet");
    }
    if (show_result_image)
    {
        // 从视频输出获取mediapipe::ImageFrame结果
        auto& output_frame = packet.Get<mediapipe::ImageFrame>();

        // 转换mediapipe::ImageFrame为cv::Mat
        cv::Mat output_frame_mat = mediapipe::formats::MatView(&output_frame);

        // 显示cv::Mat结果
        cv::cvtColor(output_frame_mat, output_frame_mat, cv::COLOR_RGB2BGR);
        cv::Mat dst;
        cv::resize(output_frame_mat, dst, cv::Size(output_frame_mat.cols, output_frame_mat.rows));
        cv::imshow("MediapipeHolistic", dst);
        cv::waitKey(1);
    }

上述代码为什么会如此耗时呢？因为获取视频结果帧的耗时很长，性能很差，这一句m_pVideoPoller->Next(&packet)代码获取结果视频帧耗时很长。在正常情况下我们是不需要结果视频帧输出的，只是需要在显示结果视频的时候再输出，所以为了提升性能，将上述代码修改如下：

    // 1 视频输出结果帧
    if (show_result_image)
    {
        mediapipe::Packet packet;

        if (!m_pVideoPoller->Next(&packet))
        {
            return absl::InvalidArgumentError("no next packet");
        }

        // 从视频输出获取mediapipe::ImageFrame结果
        auto& output_frame = packet.Get<mediapipe::ImageFrame>();

        // 转换mediapipe::ImageFrame为cv::Mat
        cv::Mat output_frame_mat = mediapipe::formats::MatView(&output_frame);

        // 显示cv::Mat结果
        cv::cvtColor(output_frame_mat, output_frame_mat, cv::COLOR_RGB2BGR);
        cv::imshow("MediapipeHolistic", output_frame_mat);
    }

修改之后，确实性能有了很大的提升，处理一帧从20-40ms提升到了0ms，但是经过测试，随着处理的视频帧越多，内存一直暴涨到100%，然后程序退出，上述代码出现了严重的内存泄漏和内存溢出问题。

1.2 内存溢出问题的定位与修复

其实最开始出现内存泄漏的问题我也是百思不得骑解，经过两天白用功的试探修改之后还是没有找到问题所在，最后不得不静下心来好好看修改的代码。代码改动的地方就是我们只想要在显示视频帧的时候才去获取结果视频帧，但是我们在初始化模型的时候已经使用m_Graph.AddOutputStreamPoller将video添加到Mediapipe的图中去了，所以，不管这一帧我们是否设置显示输出结果视频帧，结果都会压入到m_pVideoPoller的结果队列中去，而我们又设置不显示结果视频，所以没有办法通过m_pVideoPoller->Next(&packet)拿到packet并释放，导致video的结果视频帧队列越来越大，最后造成内存溢出。

Bingo!

问题解决，修复的代码已经在https://github.com/HW140701/GoogleMediapipePackageDll进行了更新。