cnulab/RealNet

作者您好！关于自己数据集生成的一些问题

CoderchZzz opened this issue · 1 comments

CoderchZzz commented

作者您好！我想使用该diffusion model来合成一定数量的异常数据，来扩充我的数据，但是我本身的图像分辨率很高，目前我打算把这些图片裁剪成10241024或者512512，然后训练扩散模型。下面是一些问题
（1）训练前对数据集的要求是什么，只提供裁剪后的图像，没有掩码可以吗？数据集是否要按缺陷类型分类存放到不同文件夹？如果需要掩码，这些掩码要怎么获得？我的缺陷图像只有标注框。
（2）训练扩散模型的最低要求是什么，因为我只有两块24g的gpu，能够训练扩散模型吗？
（3）使用自己的数据集训练扩散模型需要修改哪些文件的内容？
您的开源工作十分优秀，期待您的回答！

cnulab commented

你好！

  1. 只要你有充足的正常图像就可以，不需要异常掩码。文件目录格式参考data/README.md，你需要新建一个文件夹存放你的数据集，准备一个json文件包含你的所有训练图像，具体可以参考我提供的数据格式。
    |--data                         
        |--your-custom-dataset           
            |--samples
                |--categorie_1.json
                |--...
            |--your-custom-dataset-images
                |--categorie_1
                |--...
  1. 我认为2*24GB的GPU生成高分辨的图像不行，需要4*48GBGPU才能完成扩散模型训练。
  2. 文件修改可以参考#9 (comment) ，并且生成高分辨率的图像需要使用另外的预训练扩散模型权重，你可以参考#48 (comment)
  3. 这个工作主要是根据正常图像生成不受约束的异常图像。如果你想扩充特定类别的异常图像，可以参考Teng Hu等人和Yuxuan Duan等人的工作。

祝好！