关于测试代码中gradient_checkpointing问题
Opened this issue · 1 comments
lixinyyang commented
您好！很精彩的工作！但是我仍有一些疑问，在推理过程中我将gradient_checkpointing设置为了False, 但是推理结果的效果会出现问题，综合来看是出现了每个clip不连续的问题。请问为什么不启用梯度检查，会出现这个问题呢？
xumingw commented
代码里gradient_checkpointing打开和关闭时走的两个条件分支 如果你需要关闭它，请修改相关分支的代码