finetune with lora
Opened this issue · 14 comments
这是我的配置finetune_lora.sh. 运行后现存不够。我这边只有2张4090，每张24显存。可以训练吗，或者我该如何设置去减小我训练的消耗。我只需要简单微调就行。
After finetuing_lora.sh, I get some file in checkpoint
How can I use this checkpoint to infer or eval ? I want to use this new finetuing model to infer the answer of some questions. What should I do next? I do not find the document to help use these new finetuned checkpoints
看您运行成功了，可以请问一下llava_image_tune_.json，videochatgpt_tune_.json，nlp_tune.json三个文件是在哪里下载的吗，原本数据集上好像并没有
数据集可以选择huggingface中的某一组，valley的可以只下一部分，然后打开用于测试
数据集可以选择huggingface中的某一组，valley的可以只下一部分，然后打开用于测试
请问是这里面的数据集吗，我尝试下载了多个之后打开也没有找到，唯一看到的json文件是llava_image_tune里面的dataset.json，但应该和要求的json文件没有关系
你会下载这两个文件吧。然后解压下valley.json文件。 然后你写个代码把有视频的挑出来。
你这个是视频文件地方。 json也有个下载的地方的。
@cm-xcju 兄弟，可以麻烦您给一个环境的各种包的版本吗，我在安装deepspeed的时候，发现他和python=3.10和torch 2.0.1有很多冲突，想参考一下你的环境。感谢感谢🙏，期待回复
After finetuing_lora.sh, I get some file in checkpoint
How can I use this checkpoint to infer or eval ? I want to use this new finetuing model to infer the answer of some questions. What should I do next? I do not find the document to help use these new finetuned checkpoints
你好，我在自己的数据集上做了finetune也生成了这些文件，想知道怎么使用自己生成的模型文件进行推理呀？
你好，可以问下，在加载模型时遇到的特征大小不匹配得情况是如何解决的
@cm-xcju 兄弟，可以麻烦您给一个环境的各种包的版本吗，我在安装deepspeed的时候，发现他和python=3.10和torch 2.0.1有很多冲突，想参考一下你的环境。感谢感谢🙏，期待回复
有个environment文件，你按照这个就行
你好，可以问下，在加载模型时遇到的特征大小不匹配得情况是如何解决的
Uploading 1.png…
你看下使用的模块是否对应。 还有就是multimodal_encoder中的build文件貌似要修改，我记得曾经改过。
