zkawfanx/Atlantis

ControlNet Weights&Datasets

Closed this issue · 14 comments

Sticker-Sjh commented

第二步的control net可以不训练吗，用你的权重如果你愿意上传的话

第三步推理的controlnet path指的是第二步训练好的权重文件吗

zkawfanx commented
  1. 权重和数据集我过几天有空会一起上传。
  2. controlnet path指的就是训练好的权重。
Sticker-Sjh commented
zkawfanx commented
  1. 是的，controlnet利用underwater图像和估计的depth进行训练，学习深度图作为输入并结合文本的描述生成水下纹理的能力，然后利用陆地深度结合文本描述，即可生成此前不存在的水下场景图像。
  2. 生成的深度图不局限与midas，depth anything也可以使用。
  3. 这个我没太理解你的意思，如果你说的是运行时的脚本，是在终端输入。
  4. 不用，能正常运行就行。
Sticker-Sjh commented

image
训练controlnet，参数不对，我没有安装wsl，所以就只能改了训练参数与训练模型的路径，是因为没有export的原因吗

zkawfanx commented

报错的是没有调用该路径参数，你可以调试下argparse这部分的代码，打印一下看看实际存在哪些参数

Sticker-Sjh commented
zkawfanx commented

这俩主要就是在每轮训练之后用图片和文本生成若干结果图，用于观察某个阶段的突然收敛用的，这个应该是默认参数，你再找找

Sticker-Sjh commented
zkawfanx commented

可以简单看作风格迁移相似的功能，Stable Diffusion主要得益于图像与文本的特征对齐，可以生成文本描述的场景内容，而controlnet则在于提供可控生成的一种机制，从而生成符合depth场景结构的水下内容

Sticker-Sjh commented

可以简单看作风格迁移相似的功能，Stable Diffusion主要得益于图像与文本的特征对齐，可以生成文本描述的场景内容，而controlnet则在于提供可控生成的一种机制，从而生成符合depth场景结构的水下内容

my dear author，有空可以先传一下control net的训练权重嘛，我先推理一下试试，我还是不能成功自己训练control net准备着装个Ubuntu了。我是准备用这个做一个高质量的数据集生成，虽然还不知道能否成功，想问一下这个输出照片和输入照片的尺寸不会发生变化吧，因为我不是做深度估计的，我不想再重新打标签了🫡

zkawfanx commented

我有空尽快上传吧，因为最近CVPR准备开会了，可能还需要忙几天

Sticker-Sjh commented
zkawfanx commented

你可以看看ControlNet的repo，里面有discussion和documentation等不错的经验

Sticker-Sjh commented