1 TensorRT的多线程并发推理方案 TensorRT在对模型推理速度已经有了非常大的提升了，那如果能够基于TensorRT做并行推理，既可以有效降低推理延迟，也能增加服务吞吐量，那岂不是酷毙了？…
- TensorRT
- 2023-03-06
1 使用std::thread在类内部创建多线程函数 在有些应用场景下，需要在某个类中以某个成员函数作为异步线程函数，或者需要多线程去执行某个耗时操作的成员函数。在这种应用场景下，知道如何在类内部以成…
- C++
- 2021-09-09
1 原子操作 原子操作：一个独立不可分割的操作。多线程编程需要保证线程安全，而线程安全一个很重要的特性就是原子性，即在同一时刻只有一个线程对原子进行操作，保证数据访问的互斥性。 2 C++11原子变量…
- C++
- 2020-04-02
代码示例： #include <iostream> #include <thread> #include <chrono> #include <mutex&g…
- C++
- 2020-04-01
