Opened this issue 8 months ago · 1 comments
您好， 从代码来看，sampling的方法就算用同样的input和parameter让LLM inference N次。我的理解对么？ 那请问论文第4页的“Methods enhanced by our method”，并没有应用到sampling中么? 谢谢！
从代码看确实是只是使用了openai的n参数返回N次choice