BMAB 기능 설명

##동작환경

Windows, Linux 로컬 환경에서만 동작합니다..

클라우드에서 동작을 보장할 수 없습니다..

Local

pytorch 2.0.1
python 3.10 , 3.11
CUDA 11.7, 11.8

환경에서 동작 확인.

Colab

코랩 유저를 위한 조언.
stable-diffusion-webui 앞에 셀을 만들고 아래를 추가하면, 패키지가 설치된다. 동작 확인은 했지만 원할하게 쓸 수 있는지는 확인하지 못했습니다.

!pip3 install https://github.com/Bing-su/GroundingDINO/releases/download/0.1.0-2.0.1/groundingdino-0.1.0+torch2.0.1.cu118-cp310-cp310-linux_x86_64.whl
!pip3 install segment_anything
!git clone https://github.com/portu-sim/sd-webui-bmab /content/gdrive/$mainpth/sd/stable-diffusion-webui/extensions/sd-webui-bmab

Quick Test

Enable을 체크하고 Config Tab에서 Preset "example"을 선택합니다.

contrast: 1.2
brightness: 0.9
sharpeness: 1.5

Edge enhancement 적용
Face Detailing 적용
Resize by person 적용

기본 옵션

Enabled (VERSION): 기능을 켜고 끌 수 있습니다.

Resize and fill override

Img2Img를 수행하는 경우 "Resize and fill" 을 선택하게 되면
통상 좌우, 상하로 늘어나거나 비율이 같다면 그대로 크기만 변경됩니다.

Enabled 된 상태에서는 항상 이미지가 아래에 위치하고,
왼쪽, 오른쪽, 윗쪽으로 비율에 맞게 늘어납니다.

인물의 윗쪽으로 여백이 없는 경우에 적용하면 효과적입니다.
너무 크게 늘리게 되면 좋은 결과를 얻기 힘듭니다.
대략 1.1, 1.2 정도 스케일에서 사용하시길 권장합니다.

기본 기능

Contrast : 대비값 조절 (1이면 변경 없음)
Brightness : 밝기값 조절 (1이면 변경 없음)
Sharpeness : 날카롭게 처리하는 값 조절 (1이면 변경 없음)
Color Temperature : 색온도 조절, 6500K이 0 (0이면 변경 없음)
Noise alpha : 프로세스 전에 노이즈를 추가하여 디테일을 올릴 수 있습니다. (권장값:0.1)
Noise alpha at final stage : 최종 단계에서 노이즈를 추가하여 분위기를 다르게 전달할 수 있습니다.

Edge enhancemant

이미지 경계를 강화해 선명도를 증가시키거나 디테일을 증가시키는 기능입니다.

권장설정

Edge low threshold : 50
Edge high threshold : 200
Edge strength : 0.5

Enabled : CHECK!!

Contrast : 1.2
Brightness : 0.9
Sharpeness : 1.5

Enable edge enhancement : CHECK!!
Edge low threshold : 50
Edge high threshold : 200
Edge strength : 0.5

Imaging

Blend Image in Img2Img

이미지 업로드 상자에 입력한 이미지와 Img2Img에 입력된 이미지를 Blending합니다. Blend Alpha 값으로 두 개의 이미지를 합성합니다. "Process before Img2Img" 옵션이 적용됩니다.

Dino detect

Img2Img Inpainting 하는 경우에 마스크를 입력하지 않아도 Dino detect prompt에 있는 내용을 이용하여 자동으로 마스크를 생성합니다. 이미지를 업로드 하게되면 업로드된 이미지를 배경으로 하여 prompt로 입력된 부분을 업로드 이미지에 합성합니다.

Img2Img 에서 사용하는 경우

첫번째 image는 Img2Img 이미지로 지정 두번째 image는 BMAB의 Imaging에 Image 입력창에 지정

프로세스 과정에서 세번째 image를 합성하고 프롬프트에 따라서 결과가 얻어진다.

Enabled : CHECK!!

Contrast : 1.2
Brightness : 0.9
Sharpeness : 1.5

Enable dino detect : CHECK!!
DINO detect Prompt : 1girl

Img2Img Inpaint 에서 사용하는 경우

DINO detect Prompt에 있는 내용대로 자동으로 마스크를 만들어준다.

이번 예제에서는 배경을 변경했으니, inpaint 설정에서 "Inpaint Not Masked"를 선택해야 한다.
반대로 "Inpaint Masked"를 하면 인물이 변경된다.

Person

이 기능을 사용하게 되면 프로세스가 완료된 이후에, 인물을 감지하여 다시 그립니다.
아래의 경우에 사용하면 효과적입니다.

인물이 배경에 비해 매우 작은 경우, 의복, 얼굴 등 인물 전체의 디테일이 올라갑니다.
4K와 같이 큰 이미지를 출력하는 경우, 업 스케일 이후에 인물이 작은 경우 이 기능을 사용하면 인물이 뚜렷해 집니다.
Face Detailing과 같이 사용하면 좋은 효과를 볼 수 있습니다.

Enable person detailing for landscape (EXPERIMENTAL)

풍경에서 인물을 자세하게 다시 그리는 기능을 활성화 합니다.

Block over-scaled image

이 기능이 켜지게 되면 인물을 찾아내서 크게 키워서 다시 그리는데 이때 확대된 이미지의 면적이 본래 이미지를 초과하게 되면 프로세스를 멈춥니다.
sd-webui가 멈추거나 GPU를 보호하기 위한 목적입니다.

Auto scale if "Block over-scaled image" enabled

이 기능을 설정하면 위에서 언급한 "Block over-scaled image"로 차단될 경우 본래 이미지의 면적에 맞춰서 스케일을 조정하여 작업합니다.

Upscale Ratio

인물이 발견되면 주어진 비율로 키워서 자세하게 그립니다.

Denoising Strength

인물의 크기가 클 경우 0.4로 부족할 수 있습니다. 이런 경우 수치를 올려주세요.

Dilation mask

찾아낸 인물의 마스크를 확장합니다.

CFG Scale

인물을 다시 그릴때 사용하는 CFG scale 값입니다.

Large person area limit

인물이 이미지 속에서 차지하는 면적이 이 값을 초과하면 작업하지 않습니다.
인물이 충분히 큰 경우 다시 그릴 필요가 없기 때문입니다.

Limit

이미지 속에 인물이 너무 많은 경우 면적단위로 큰 것부터 카운트하여 설정값을 초과하여 다시 그리지 않습니다.

Face

Face Detailing

이 기능을 사용하게 되면 프로세스가 완료된 이후 After Detailer(AD)나 Detection Detailer(DD)와 같이
얼굴을 보정합니다.
이 기능을 동작시킨 후에 AD, DD가 동작하도록 설정한다면, 결과가 좋지 않을 수 있습니다.

최대 5개의 캐릭터에 대해 prompt를 별도로 지정할 수 있습니다.

Enable face detailing

face detailing 기능을 켜고 끌 수 있습니다.

Enable face detailing before hires.fix (EXPERIMENTAL)

face detailing 기능을 txt2img 과정의 hires.fix 직전에 한 번 더 수행합니다.
얼굴을 보정한 이후에 upscale을 하기 때문에 더 좋은 품질의 이미지를 얻을 수 있습니다.
하지만 부하가 더 들어가고, 이미지 변화가 심합니다.

Face detailing sort by

이미지 안에 여러 인물이 있는 경우 어떤 순서로 Detailing 할 것인지 결정합니다.

왼쪽, 오른쪽 혹은 크기로 가능하며 없다면 기본적으로 Score 값이 높은 순서로 합니다.

Limit

이미지 않에 여러 인물이 있는 경우 위에서 정한 순서로 얼마나 수행할지 결정합니다.
Limit이 1이라면 최대 1개만 수행한다는 뜻입니다.

Override Parameters

Denoising Strength
CFG Scale
Width
Height
Steps
Mask Blur

위 값에 대해 기본값이 아닌 UI에서 지정한 값을 사용합니다.

Inpaint Area

전체를 다시 그릴지 얼굴만 다시 그릴지를 결정합니다. 전체를 다시 그리는 것은 별로 추천하지 않습니다.

Only masked padding, pixels

기본값을 사용해 주세요.

Dilation

검출된 얼굴의 마스크 크기를 키웁니다.

Box threshold

Detector의 검출 값을 결정합니다. 기본값 0.35보다 작으면 face가 아닐 것으로 제외합니다.
YOLO를 사용하는 경우 confidence를 대체합니다.

Face lighting (EXPERIMENTAL) -- 삭제됨

~~얼굴에 대한 보정 설정을 enable 하는 경우에 얼굴에 대한 밝기를 조정합니다.~~
~~너무 큰 수치를 주면 정확한 디테일링이 되지 않을 수 있습니다.~~
~~모자를 착용하고 있는 경우 얼굴이 정확하게 인식이 안 될 수 있습니다.~~

좋은 결과를 얻기 위한 조언

Prompt에 얼굴 관련된 lora, textual inversion등 관련 내용을 뺍니다. sunglass 등은 무관합니다.
설정 파일에 얼굴마다 서로 다른 lora, textual inversion 등을 넣습니다.
prompt에 lora, TI가 많을 경우 그림 생성 자유도가 떨어지는 것 같습니다.
그림속 모든 캐릭터가 공유되는 lora는 넣어주셔도 무방합니다.

Hand