ModelTC/lightllm

是否能支持sqlcoder系列模型

2496289471 opened this issue · 2 comments

2496289471 commented

实测sqlcoder2（基于starcoder）模型的速度比vllm快，但是输出内容与原版模型相差甚远，是否完全是因为不支持beam search的问题？

hiworldwzj commented

@2496289471 应该和beam search 关系不大，可能是模型细节不太一样，能不能提供一个huggingface 链接。后续更新一下。

2496289471 commented

@2496289471 应该和beam search 关系不大，可能是模型细节不太一样，能不能提供一个huggingface 链接。后续更新一下。

非常感谢，希望能早日更新。https://huggingface.co/defog/sqlcoder2