dohyeonYoon/BRODY

모델 연산 최적화(with TensorRT)

Opened this issue · 0 comments

Problem Description

코드 최적화 결과 한 건의 데이터를 처리하는데 10.102->7.224초가 소요됩니다.
추가적인 Inference time 개선을 위해 PyTorch 모델(.pth)을 TensorRT(.trt) 엔진으로 변환을 고려해볼 수 있습니다.

Checklist

  • 이슈를 올바른 카테고리로 생성하였습니다.

참고자료

[1] https://blogs.nvidia.co.kr/blog/nvidia-tensor-rt/
[2] https://techblog.woowahan.com/18980/