bytedance/E2STR

关于The Split Strategy部分

Closed this issue · 3 comments

论文中提及的Split Strategy部分,需要对样本进行分割和变换以获得子样本,请问在项目代码的哪部分进行了实现?

论文中提及的Split Strategy部分,需要对样本进行分割和变换以获得子样本,请问在项目代码的哪部分进行了实现?

定义在这个 函数

感谢回复,还有一个问题。请问vision encoder和language decoder的定义分别在哪?

感谢回复,还有一个问题。请问vision encoder和language decoder的定义分别在哪?

我们的模型结构与flamingo一致,直接使用的open-flamingo库来初始化模型,具体位置在 模型初始化