OliverQueen1466 opened this issue 10 months ago · 0 comments
能否添加一个在推理结束之后，输出prefill和decode速度（token/s）的功能，谢谢