几点疑问或建议
Opened this issue · 3 comments
shuaidaming commented
1,利用cpp进行加速,如llama.cpp那样,你们也可以搞个mixtral.cpp,支持mixtral-8x7b和mixtral-7b在f32,f16等精度上的灵活切换
2,全参数的训练、提示学习微调代码,及其对应的数据json格式
tonysy commented
Good suggestion.
For 2, our team has supported finetuning. Welcome to https://github.com/InternLM/xtuner/tree/main/xtuner/configs/mixtral for more information
For 1. stay tuned.
Thanks.
shuaidaming commented
从0开始训练呢,我想修改dim,hidden_dim以及vocab_size等等,是否可提供一个train.py
shuaidaming commented
顺带说明数据json文件中的示例,似应支持的格式:有监督---qa对和多轮对话,无监督---长文档