regional lora apply very slow when running Flux and Flux lora
Closed this issue · 2 comments
got prompt
model weight dtype torch.bfloat16, manual cast: None
model_type FLUX
Using xformers attention in VAE
Using xformers attention in VAE
Requested to load FluxClipModel_
Loading 1 new model
loaded completely 0.0 4777.53759765625 True
loaded straight to GPU
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
#68:0 [CheckpointLoaderSimple]: 37.29s
Requested to load FluxClipModel_
Loading 1 new model
loaded completely 0.0 4777.53759765625 True
#68:2 [CLIPTextEncode]: 2.33s
#68:1 [CLIPTextEncode]: 0.14s
#68:3 [ToBasicPipe]: 0.00s
#17 [FromBasicPipe_v2]: 0.00s
#29 [CLIPTextEncode]: 0.15s
#25 [CLIPTextEncode]: 0.15s
#30 [LoraLoaderBlockWeight //Inspire]: 0.05s
#18 [EditBasicPipe]: 0.00s
#19 [KSamplerAdvancedProvider]: 0.00s
#22 [LoadImage]: 0.02s
#20 [RegionalPrompt]: 0.00s
#15 [KSamplerAdvancedProvider]: 0.00s
#74 [EmptyLatentImage]: 0.00s
100%|████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:02<00:00, 1.61it/s]
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.67it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [01:13<00:00, 73.03s/it]
Requested to load Flux
Loading 1 new model
got prompt
loaded completely 0.0 22700.097778320312 True
0%| | 0/1 [00:00<?, ?it/s]
Processing interrupted
#14 [RegionalSampler]: 197.53s
Prompt executed in 237.74 seconds
100%|████████████████████████████████████████████████████████████████████████████████████| 4/4 [00:02<00:00, 1.60it/s]
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.61it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.65it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.49it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.64it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.66it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.66it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.64it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.65it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.66it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.53it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.56it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.57it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.56it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.57it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.55it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.55it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.59it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.55it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.56it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.57it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.57it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.55it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.53it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.54it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.65it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.63it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.63it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.63it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.42it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.44it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.40it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.38it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.39it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.37it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.41it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.42it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.43it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.40it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.39it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.59it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.71it/s]
Requested to load Flux
Loading 1 new model
loaded completely 0.0 22700.097778320312 True
100%|████████████████████████████████████████████████████████████████████████████████████| 1/1 [00:00<00:00, 1.70it/s]
#14 [RegionalSampler]: 1392.62s
Requested to load AutoencodingEngine
Loading 1 new model
loaded completely 0.0 159.87335777282715 True
#23 [VAEDecode]: 0.45s
#24 [PreviewImage]: 0.08s
Prompt executed in 1393.16 seconds
The reason for switching LoRA in ComfyUI is that it's optimized for efficient memory usage. Currently, the only solution is to duplicate-load the same Diffusion Model and apply LoRA completely independently.
Of course, to use this method, you need to have a very high amount of RAM available.