关于softmax和mask顺序的问题

[0x00-pl]

H2O/h2o_hf/utils_lm_eval/modify_opt.py

Line 47 in 3a4ffa9

tmp_attn_index = nn.functional.softmax(attn_weights[:,token_index,:], dim=-1, dtype=torch.float32).to(dtype_attn_weights)

在统计softmax这一步 是不是应该先mask再做softmax