Inference出现奇怪的action

[dyabel]

您好，感谢您的开源工作! 我在用您最新的代码和最新的模型做inference时出现如下奇怪的action，请问是什么原因？期待您的回复！

我的运行指令为
python toolbench/inference/qa_pipeline.py
--tool_root_dir data/toolenv/tools/
--backbone_model toolllama
--model_path ToolBench/ToolLLaMA-2-7b-v2
--max_observation_length 1024
--observ_compress_method truncate
--method DFS_woFilter_w2
--input_query_file data/test_instruction/G1_instruction.json
--output_answer_file toolllama2_dfs_inference_result
--toolbench_key $TOOLBENCH_KEY

[pooruss]

你好，看上去可能是：

1. 由于没有正常加载模型、实际在用llama-2做inference导致，可以检查下模型有没有正常加载
2. 模型输入的prompt与toolllama-2训练时的prompt有出入，可以检查模型所用prompt是否是repo上的最新版本