并发请求报错
Closed this issue · 1 comments
diyage commented
使用Baichuan2-7B-Chat部署，启动命令为：
python -m lightllm.server.api_server --model_dir /xxx/Baichuan2-7B-Chat --host 0.0.0.0 --port 8080 --tp 4 --max_total_token_num 120000 --trust_remote_code --max_req_total_len=13000 --max_req_input_len=12000
单进程请求时可以正常访问，但是当并发请求时（req>=2），服务端即报错，报错信息为：
使用官方的测试命令：python benchmark_serving.py --tokenizer /xxx/Baichuan2-7B-Chat --dataset /xxx/ShareGPT_V3_unfiltered_cleaned_split.json --num-prompts 2000 --request-rate 200
也是报上述错误，请问这是什么原因？
hiworldwzj commented