xusenlinzy/api-for-open-llm
Openai style api for open large language models, using LLMs just as chatgpt! Support for LLaMA, LLaMA-2, BLOOM, Falcon, Baichuan, Qwen, Xverse, SqlCoder, CodeLLaMA, ChatGLM, ChatGLM2, ChatGLM3 etc. 开源大模型的统一后端接口
PythonApache-2.0
Issues
- 1
vllm模式function call流式返回异常
#231 opened - 2
Internlm2-chat-7b无法生成正确的回复
#230 opened - 1
internlm2-chat-20b,成功运行后,收到请求无回复
#229 opened - 1
如何加载微调之后的checkpoint呢
#228 opened - 4
internlm2-chat-7b 部署完停不下来,是不是模板的问题啊
#226 opened - 1
使用vllm启动server.py时报错
#225 opened - 1
React Prompt Observation Stop Words判断逻辑优化
#223 opened - 5
运行 openai_api.py 启动以后 在执行request_test.py 报错
#222 opened - 1
运行这个streamlit run streamlit_app.py报错
#221 opened - 1
你好 llama-cpp 启动方式支持chatglm3-6b吗
#220 opened - 1
- 2
vllm 加载 llama2 设置多卡不生效
#218 opened - 4
使用 llama-cpp 部署模型推理时报错
#217 opened - 5
请问如何支持Qwen1.8B的模型?
#216 opened - 2
能解试下这个presence_penalty 参数应该设置多少吗?
#214 opened - 9
- 0
💡 [REQUEST] - <title>支持 Mixtral 8x7B
#212 opened - 1
“添加 TGI 生成接口转发“怎么用?
#211 opened - 1
VLLM已经支持gptq,可以支持gptq吗
#210 opened - 7
baichuan2-13b-chat,正常启动之后,无法使用gpu资源
#209 opened - 0
Multiple GPU deployment error
#208 opened - 2
💡 [REQUEST] - 对于 API 类大语言模型的支持
#207 opened - 3
- 1
能提供模型训练的完整框架吗
#205 opened - 1
💡 [REQUEST] - 支持tools和tool_choice的适配调用
#204 opened - 1
BaiChuan2Template不支持system prompt,需要添加以下模板支持
#203 opened - 1
- 0
ChatGLM3的输入长度超过8k依然报错
#201 opened - 2
- 1
Using llama.cpp engine 能正常启动,但是对话出现 500错误
#199 opened - 0
- 17
- 2
vllm启动qwen72B出错
#196 opened - 1
- 1
请问这段代码是否有问题?
#194 opened - 2
function call 流式返回finish_reason冲突
#193 opened - 4
使用 ptuning_v2 加载 ChatGLM3 模型失败
#192 opened - 3
WARNING: Some paramters are on the meta device device beacuase they were offloaded to the cpu.
#191 opened - 1
在部署时环境文件中PROMPT_NAME=yi 报错 KeyError: 'yi'
#190 opened - 2
ChatGLM3的输入长度超过8k时建议拦截中断执行
#189 opened - 2
开启 vllm 加速后,function calling 功能失效
#188 opened - 3
Yi-34B-Chat-4bits
#187 opened - 1
💡 [REQUEST] - 请求支持幻方量化的DeepSeek LLM
#186 opened - 2
- 6
- 1
打印异常信息traceback调用有误
#183 opened - 7
- 0
💡 [REQUEST] - <title>希望能动态更换模型与lora模型
#181 opened - 1
希望尽快能对Yi34B-chat模型进行支持
#180 opened - 0
💡 [REQUEST] - please support airllm?
#179 opened