关于全局engine，其他线程引用导致的性能下降问题
OMG59E opened this issue · 4 comments
如题：在主线程实例化全局engine，配置了3个线程，同时绑核；在被其他线程引用时，会变成单线程处理，这个问题需要如何处理？
如题：在主线程实例化全局engine，配置了3个线程，同时绑核；在被其他线程引用时，会变成单线程处理，这个问题需要如何处理？
使用 builder->CreateRuntime() 为每个线程创建单独的 Runtime 实例。这些 runtime 实例会共享模型权重（只读），但是有各自的运行时环境，可以并行处理不同的输入。
如题：在主线程实例化全局engine，配置了3个线程，同时绑核；在被其他线程引用时，会变成单线程处理，这个问题需要如何处理？
使用 builder->CreateRuntime() 为每个线程创建单独的 Runtime 实例。这些 runtime 实例会共享模型权重（只读），但是有各自的运行时环境，可以并行处理不同的输入。
我的情况是封装了HTTP服务，每次收到请求后会起线程处理，处理完成后即刻销毁，这种情况适合使用 builder->CreateRuntime() 为每个线程创建单独的 Runtime 实例吗？
我发现全局runtime，在每次推理前重新ppl::nn::x86::SetGlobalOmpNumThreads(3); ppl::kernel::x86::set_omp_core_binding(nullptr, 0, 1);就能正常
如题：在主线程实例化全局engine，配置了3个线程，同时绑核；在被其他线程引用时，会变成单线程处理，这个问题需要如何处理？
使用 builder->CreateRuntime() 为每个线程创建单独的 Runtime 实例。这些 runtime 实例会共享模型权重（只读），但是有各自的运行时环境，可以并行处理不同的输入。
我的情况是封装了HTTP服务，每次收到请求后会起线程处理，处理完成后即刻销毁，这种情况适合使用 builder->CreateRuntime() 为每个线程创建单独的 Runtime 实例吗？
这种场景最好是创建一个线程池，每个线程持有一个 Runtime 实例，请求处理完之后不要销毁线程和 runtime，等服务退出的时候再销毁。
我发现全局runtime，在每次推理前重新ppl::nn::x86::SetGlobalOmpNumThreads(3); ppl::kernel::x86::set_omp_core_binding(nullptr, 0, 1);就能正常
这个是单个请求内的并行计算，不是并行处理多个请求，两者不是一个事。
如题：在主线程实例化全局engine，配置了3个线程，同时绑核；在被其他线程引用时，会变成单线程处理，这个问题需要如何处理？
使用 builder->CreateRuntime() 为每个线程创建单独的 Runtime 实例。这些 runtime 实例会共享模型权重（只读），但是有各自的运行时环境，可以并行处理不同的输入。
我的情况是封装了HTTP服务，每次收到请求后会起线程处理，处理完成后即刻销毁，这种情况适合使用 builder->CreateRuntime() 为每个线程创建单独的 Runtime 实例吗？
这种场景最好是创建一个线程池，每个线程持有一个 Runtime 实例，请求处理完之后不要销毁线程和 runtime，等服务退出的时候再销毁。
我发现全局runtime，在每次推理前重新ppl::nn::x86::SetGlobalOmpNumThreads(3); ppl::kernel::x86::set_omp_core_binding(nullptr, 0, 1);就能正常
这个是单个请求内的并行计算，不是并行处理多个请求，两者不是一个事。
了解，多谢