并发请求报错
Closed this issue · 1 comments
diyage commented
使用Baichuan2-7B-Chat部署,启动命令为:
python -m lightllm.server.api_server --model_dir /xxx/Baichuan2-7B-Chat --host 0.0.0.0 --port 8080 --tp 4 --max_total_token_num 120000 --trust_remote_code --max_req_total_len=13000 --max_req_input_len=12000
单进程请求时可以正常访问,但是当并发请求时(req>=2),服务端即报错,报错信息为:
使用官方的测试命令:python benchmark_serving.py --tokenizer /xxx/Baichuan2-7B-Chat --dataset /xxx/ShareGPT_V3_unfiltered_cleaned_split.json --num-prompts 2000 --request-rate 200
也是报上述错误,请问这是什么原因?
hiworldwzj commented