Summary of personal code for the Text-to-Image task.
demo 中是使用预训练好的模型直接进行 Text-to-Image 的代码。
Fine-tuning 代码主要使用 PyTorch 和 Hugging Face，思路主要来源于 Hugging Face Diffusers。
transformers>=4.27.0
diffusers>=0.15.0
如果您的数据集中没有现成的图像描述，想要使用 Image Captioning 模型来自动生成图像描述，需要通过以下指令安装最新版(开发版)的 transformers(>=4.27.0)，用于调用 BLIP-2 模型。
pip install git+https://github.com/huggingface/transformers
您可以通过以下指令安装最新版(开发版)的 diffusers(>=0.15.0)。
git clone https://github.com/huggingface/diffusers
cd diffusers
pip install .
fine-tune/text2image 是正常的 fine-tune 代码，您可以通过查看其中的 README 来了解如何对 Stable Diffusion 进行 fine-tune。
DreamBooth 是一种个性化 text2image 模型的方法，例如给出一个物体/人物等的几张（3~5张）图像就能够 fine-tune Stable Diffusion，使模型能够“学会”这个物体，从而在后续的生成时能够更加准确地生成这个物体/人物。
准备更新……
- From DALL·E to Stable Diffusion: how do text-to-image generation models work?
作者讲解了 Diffusion Model 如何生成图像，解释了 DALL·E 2、Stable Diffusion 和 Imagen 这三种模型之间的差异所在，并从长远分析这些模型可能帮助公司和个人完成哪些实际任务。 - Training Stable Diffusion with Dreambooth using 🧨 Diffusers
介绍了如何使用 Hugging Face Diffusers 提供的 Dreambooth 训练代码来 fine-tune Stabel Diffusion。作者进行了大量的实验来分析 Dreambooth 中不同参数设置的效果。这篇文章介绍了作者发现的一些技巧，可以在使用 Dreambooth fine-tune Stabel Diffusion 时改善结果。其中作者也讲解了如何使模型能够学会比较难的人脸。 - The guide to fine-tuning Stable Diffusion with your own images
介绍了如何使用自己的数据集进行 fine-tune，讲的比较详细。 - How does negative prompt work?
- How to use negative prompts?
- Beginner’s guide to inpainting (step-by-step examples)
如何修复图像（如人的脸部不自然，手臂缺失等等） - How to use VAE to improve eyes and faces
- THE OTHER LoRA TRAINING RENTRY 训练技巧