Issues
- 2
The interpetation about the transposition operation when spliting weight to tensor parallel group
#154 opened - 11
关于增加千问模型的支持
#153 opened - 1
- 1
能否增加一个从头预训练的例子?
#151 opened - 2
LOMO优化器使用梯度裁剪导致训练时间翻倍?
#150 opened - 1
- 0
支持 RLHF
#145 opened - 2
你好,怎么让保存的模型能够分片,而不是保存一个几十G的大模型
#143 opened - 6
关于模型中断,重启的问题,怎么让模型继续训练
#142 opened - 5
RendezvousConnectionError,跑着跑着就有这个报错
#141 opened - 2
- 1
关于 adalomo 没有 loss_scaler 只有 loss_scale 的问题
#139 opened - 2
A100单卡跑llama2 finetune lora报错oom
#138 opened - 2
No module named 'collie.callbacks.pefts'
#137 opened - 2
chatGLM2 好像目前不支持ptuning训练,有计划什么时候支持么
#136 opened - 6
chatGLM2 使用张量并行报错
#135 opened - 3
是否可以新增chatglm3 支持?
#134 opened - 1
- 3
AdaLomo optimizer step method
#132 opened - 3
- 3
- 3
能不能重新训练啊?
#127 opened - 11
使用的Megatron-LM的版本
#126 opened - 1
[Feature] examples 里是否可以新增一个 internLM的用例?
#124 opened - 1
使用数据类_ShardContainer遇到错误
#123 opened - 3
- 2
Evaluating is too slow
#121 opened - 3
该项目能否用于对模型进行二次预训练
#120 opened - 1
[BUG] Evaluation 时使用并行可能不会完整地遍历一遍数据
#119 opened - 0
- 0
Could Lomo class support `param_groups`?
#117 opened - 5
- 7
- 3
- 2
[问题]有关训练可视化
#113 opened - 2
[QUESTION]Multi-node multi-gpu training
#110 opened - 2
- 6
训练loss为NaN
#107 opened - 1
lr_scheduler设置的问题
#106 opened - 12
替换tokenizer后载入报错
#105 opened - 3
Llama2 70B 训练报错
#104 opened - 2
训练出错但没有报错信息
#102 opened - 3
collie和lomo不兼容
#100 opened - 1
tensor parallel + zero3 error
#99 opened - 5
- 2
- 4
- 3
Multinode training
#92 opened - 18
- 2