是否能支持sqlcoder系列模型
2496289471 opened this issue · 2 comments
2496289471 commented
实测sqlcoder2(基于starcoder)模型的速度比vllm快,但是输出内容与原版模型相差甚远,是否完全是因为不支持beam search的问题?
hiworldwzj commented
@2496289471 应该和beam search 关系不大,可能是模型细节不太一样,能不能提供一个huggingface 链接。后续更新一下。
2496289471 commented
@2496289471 应该和beam search 关系不大,可能是模型细节不太一样,能不能提供一个huggingface 链接。后续更新一下。
非常感谢,希望能早日更新。https://huggingface.co/defog/sqlcoder2