讨论：大佬，这个框架怎么适配未训练大模型推理

[EdwardChan5000]

1. 推理中 predict_bert_multitask 依赖训练出模型的 params.json 参数？
2. 有没有可能对，huggingface 中 llama2 不训练的模型，直接适配 predict_bert_multitask? (有一个api直接加载 pretrained_model, 生成 params.json ? )
3. 现在支持 decoder-only 的模式吗？（encoder-decoder倒是看到有例子）

[JayYip]

1. 是的, 不过你可以尝试直接初始化一个params, 然后调用to_json方法来构造一个params.json
2. 参考1, 对于encoder模型有可能可以
3. 没有, 世界变化太快, 来不及更新了