from PaddleNLP.llm.chatglm.predict_generation import Predictor导入失败

[cqray1990]

请提出你的问题

我参考这里 https://aistudio.baidu.com/projectdetail/6629280 的说明区载入chatglm2-6b 推理

1、导入PaddleNLP（ChatGLM2）相关库，定义推理函数
from PaddleNLP.llm.chatglm.predict_generation import Predictor
from PaddleNLP.llm.chatglm.predict_generation import Predictor

import argparse
import sys
def parse_arguments():
import argparse
sys.argv = ['program_name', '--seed', '42']

parser = argparse.ArgumentParser()
parser.add_argument("--model_name_or_path", default="THUDM/chatglm2-6b", help="The directory of model.")
parser.add_argument(
    "--merge_tensor_parallel_path", default=None, help="The directory of model to merge tensor parallel parts."
)
parser.add_argument("--batch_size", type=int, default=1, help="The batch size of data.")
parser.add_argument("--src_length", type=int, default=1024, help="The batch size of data.")
parser.add_argument("--tgt_length", type=int, default=1024, help="The batch size of data.")
parser.add_argument("--lora_path", default=None, help="The directory of LoRA parameters. Default to None")
parser.add_argument(
    "--prefix_path", default=None, help="The directory of Prefix Tuning parameters. Default to None"
)
parser.add_argument("--data_file", default=None, help="data file directory")
parser.add_argument("--predict_file", default="prediction.json", help="predict result file directory")
parser.add_argument("--device", type=str, default="gpu", help="Device")
parser.add_argument("--seed", type=int, default=42, help="The seed of data.")
return parser.parse_args()

args = parse_arguments()
predictor = Predictor(args)

[w5688414]

请问paddle和paddlenlp的版本是什么呢？然后报什么错误呢？

[cqray1990]

请问paddle和paddlenlp的版本是什么呢？然后报什么错误呢？

paddle 2.6 paddlenlp 2.8 都是最新的

llm.chatglm.predict_generation import Predictor 这个预测模块找不到

[w5688414]

请问报什么错误呢？另外，chatglm2的推理请参考llm的文档。

https://github.com/PaddlePaddle/PaddleNLP/tree/develop/llm#4-%E6%8E%A8%E7%90%86