请问下怎么训练自己的数据集来生成光流图像？
aitangbodan opened this issue · 4 comments
aitangbodan commented
请问下怎么训练自己的数据集来生成光流图像？
coolbeam commented
您好， 您可以参考我们论文中的方法， 这里提供了RealFlow.py，可以用来生成数据集。 然后使用生成的数据集， 您可以使用现有的光流网络训练代码， 参考princeton-vl/RAFT进行网络训练。 详细方法请参考RealFlow论文。 这里提供了RealFlow论文中数据生成的部分代码，网络训练代码是使用的princeton-vl/RAFT代码。
aitangbodan commented
感谢您及时的回复！
大佬您好，RealFlow.py用来生成数据集需要用到光流模型，那这个光流模型是用什么数据集得到的呢？预训练模型？比如您的论文中RF-Ktrain的生成。我在论文中只找到了相关的一句话We first generate RF-Ktrain dataset using the same training videos as the unsupervised method UPFlow [29].但好像没有说明怎么生成的，期待您的回复。
♂逍遥梦♀
***@***.***
…------------------ 原始邮件 ------------------
发件人: "kunming ***@***.***>;
发送时间: 2022年12月8日(星期四) 中午11:06
收件人: ***@***.***>;
抄送: ***@***.***>; ***@***.***>;
主题: Re: [megvii-research/RealFlow] 请问下怎么训练自己的数据集来生成光流图像？ (Issue #5)
您好， 您可以参考我们论文中的方法， 这里提供了RealFlow.py，可以用来生成数据集。 然后使用生成的数据集， 您可以使用现有的光流网络训练代码， 参考princeton-vl/RAFT进行网络训练。 详细方法请参考RealFlow论文。 这里提供了RealFlow论文中数据生成的部分代码，网络训练代码是使用的princeton-vl/RAFT代码。
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you authored the thread.Message ID: ***@***.***>
coolbeam commented
可能是论文里面讲得不够清楚带来了这个困惑吧， 非常抱歉。
- 我们都是用C+T(flying chairs 和flying things)预训练的RAFT模型来进行第一波数据集生成的，在RealFlow.py里面直接载入预训练的RAFT模型就可以，如RAFT-things
- 在生成了第一波数据集以后， 后面是迭代的finetune+再生成数据的过程， 这里没有给训练的代码， 因为是采用的已有方法的训练code
aitangbodan commented
感谢大佬的及时回复！我的问题解决了。
♂逍遥梦♀
***@***.***
…------------------ 原始邮件 ------------------
发件人: "kunming ***@***.***>;
发送时间: 2022年12月8日(星期四) 下午5:42
收件人: ***@***.***>;
抄送: ***@***.***>; ***@***.***>;
主题: Re: [megvii-research/RealFlow] 请问下怎么训练自己的数据集来生成光流图像？ (Issue #5)
可能是论文里面讲得不够清楚带来了这个困惑吧， 非常抱歉。
我们都是用C+T(flying chairs 和flying things)预训练的RAFT模型来进行第一波数据集生成的，在RealFlow.py里面直接载入预训练的RAFT模型就可以，如RAFT-things
在生成了第一波数据集以后， 后面是迭代的finetune+再生成数据的过程， 这里没有给训练的代码， 因为是采用的已有方法的训练code
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you authored the thread.Message ID: ***@***.***>