THUDM/AgentBench

agentbench 能跑训练集么?

Opened this issue · 1 comments

image
image
image
image
如图,我在原版alfworld train中采样了几个sample作为train集,并配置了相关参数,但出来的结果都是unknown,我可以通过什么方法访问到alfworld的训练集么?(同时webshop的训练集有什么方法可以访问么?比如下图设定中修改什么参数?)
image

zhc7 commented

Hi, @Fu-Dayuan AgentBench中的数据是经过了我们一些筛选和调整的,数据格式上和使用方式上可能和原工作不同。以Webshop环境为例,如果想要单独划出一个独立的数据集的话可以把start和end改成500和12000。关于在AgentBench上训练,可以关注和参考https://github.com/THUDM/AgentTuning