competition_predict 问题
ume-technology opened this issue · 8 comments
里面的那个 RAW_DATA_DIR = raw_data_random 。这个 raw_data_random 是什么文件,看代码是 Test 和 Stack 存放的文件夹?
但是这些文件在训练的时候放在 raw_data 里。 这里变成 raw_data_random 是有其他数据?
里面的那个 RAW_DATA_DIR = raw_data_random 。这个 raw_data_random 是什么文件,看代码是 Test 和 Stack 存放的文件夹?
但是这些文件在训练的时候放在 raw_data 里。 这里变成 raw_data_random 是有其他数据?
没有其他数据,之前数据做了点小改动,没什么提升就放弃了,把raw_data_random改成raw_data就可以了
另外,competition predict 实现过程中,我不清楚那些预训练模型的关系。我用的 roberta-wwm 做的 stacking 训练。训练完以后在这里我用 roberta-wwm 走代码会报错,用 uer_large 还会报错(这个报错是维度不对我能理解),因为检查点的模型参数是 roberta-wwm,但是为什么用 roberta-wwm 走还会报错。
另外,competition_predict 模块里这个真心看不明白什么意思,源码用的 VERSION = mixes 所以进入这个方法,但是这个方法调用了 mixed_prepare_info(mixed = ‘span’),这个方法究竟是什么意思呢?
def mixed_predict():
save_dir = os.path.join(SUBMIT_DIR, VERSION)
if not os.path.exists(save_dir):
os.makedirs(save_dir, exist_ok=True)
model_path_list = [x.strip() for x in MIX_DIR_LIST]
print('model_path_list:{}'.format(model_path_list))
all_labels = []
for i, model_path in enumerate(model_path_list):
if i <= 4:
info_dict = mixed_prepare_info(mixed='span')
model = SpanModel(bert_dir=MIX_BERT_DIR, num_tags=len(info_dict['id2ent']) + 1)
print(f'Load model from {model_path}')
model, device = load_model_and_parallel(model, GPU_IDS, model_path)
model.eval()
labels = base_predict(model, device, info_dict, ensemble=False, mixed='span')
else:
info_dict = mixed_prepare_info(mixed='crf')
model = CRFModel(bert_dir=MIX_BERT_DIR, num_tags=len(info_dict['id2ent']))
print(f'Load model from {model_path}')
model, device = load_model_and_parallel(model, GPU_IDS, model_path)
model.eval()
labels = base_predict(model, device, info_dict, ensemble=False, mixed='crf')
all_labels.append(labels)
里面的那个 RAW_DATA_DIR = raw_data_random 。这个 raw_data_random 是什么文件,看代码是 Test 和 Stack 存放的文件夹?
但是这些文件在训练的时候放在 raw_data 里。 这里变成 raw_data_random 是有其他数据?没有其他数据,之前数据做了点小改动,没什么提升就放弃了,把raw_data_random改成raw_data就可以了
嗯,这个好理解,我看着代码也像是在读取 Test,我能理解~ 但是我实在是看不懂后面的方法,因为我的代码怎么走都会报错。
大佬帮帮我,真心看不懂这里的代码是啥意思
另外,competition predict 实现过程中,我不清楚那些预训练模型的关系。我用的 roberta-wwm 做的 stacking 训练。训练完以后在这里我用 roberta-wwm 走代码会报错,用 uer_large 还会报错(这个报错是维度不对我能理解),因为检查点的模型参数是 roberta-wwm,但是为什么用 roberta-wwm 走还会报错。
另外,competition_predict 模块里这个真心看不明白什么意思,源码用的 VERSION = mixes 所以进入这个方法,但是这个方法调用了 mixed_prepare_info(mixed = ‘span’),这个方法究竟是什么意思呢?
def mixed_predict():
save_dir = os.path.join(SUBMIT_DIR, VERSION)
if not os.path.exists(save_dir):
os.makedirs(save_dir, exist_ok=True)
model_path_list = [x.strip() for x in MIX_DIR_LIST]
print('model_path_list:{}'.format(model_path_list))
all_labels = []
for i, model_path in enumerate(model_path_list):
if i <= 4:
info_dict = mixed_prepare_info(mixed='span')
model = SpanModel(bert_dir=MIX_BERT_DIR, num_tags=len(info_dict['id2ent']) + 1)
print(f'Load model from {model_path}')
model, device = load_model_and_parallel(model, GPU_IDS, model_path)
model.eval()
labels = base_predict(model, device, info_dict, ensemble=False, mixed='span')
else:
info_dict = mixed_prepare_info(mixed='crf')
model = CRFModel(bert_dir=MIX_BERT_DIR, num_tags=len(info_dict['id2ent']))
print(f'Load model from {model_path}')
model, device = load_model_and_parallel(model, GPU_IDS, model_path)
model.eval()
labels = base_predict(model, device, info_dict, ensemble=False, mixed='crf')
all_labels.append(labels)
这一块有点乱,最后融合策略的问题, 有很多种融合方法,建议你先用 single or ensemble 试试 然后debug后自己重写, 这一块后面我会重写 或者删掉 , 最近有点忙 没时间改。
嗯。理解的。我还有个问题想问一下,就是因为 competition predict 走不通,我回头去看文章介绍是通过投票机制选出来选择正确的结果,那么对于 stacking 的实现过程中,二级模型是在哪里呢? 就是我看代码反而把我对 stacking 过程的理解给搞模糊了。您这套代码的二级模型是什么呢? 您能不能再把这个过程稍微再解释一下,我很难过现在。
大哥您方便加个微信可以不,微信不行 QQ 也可以。这套代码我中间因为其他事情耽误了一段时间,现在又回来读代码,真心想给搞清楚,但是理解起来很难过。18336304089 494725864 您可以加的话,微信 QQ 哪个都行。
大哥您方便加个微信可以不,微信不行 QQ 也可以。这套代码我中间因为其他事情耽误了一段时间,现在又回来读代码,真心想给搞清楚,但是理解起来很难过。18336304089 494725864 您可以加的话,微信 QQ 哪个都行。
这块其实不重要, 你先理解投票融合(多个预测实体结果的融合)的代码 和 概率融合(5折的logits进行融合)的代码 , 二级很容易理解。