스테이블 디퓨전 webUI ControlNet - Hed 모델 사용 방법

스테이블 디퓨전 Controlnet 모델은 이미지의 깊이, 자세, 추출선 등의 특성을 유지하면서 새로운 이미지를 만드는 스테이블 디퓨전 webUI 확장프로그램입니다.

 

 

이번에는 스테이블 디퓨전(Stable Diffusion) webUI ControlNet 모델 중에서, Hed 모델 적용방법에 대해 알아보겠습니다.

 

1. 이미지 생성 또는 가져오기

ControlNet 기본이미지

스테이블 디퓨전(Stable Diffusion) webUI ControlNet 적용하기 위해서는 먼저 이미지를 생성하거나, 기존에 생성한 이미지를 가져와야 합니다. 이번에는 Depth 모델을 사용하여 만든 이미지를 기본 이미지로 사용하였습니다. Depth 모델 사용방법은 이전 포스팅을 참고하시기 바랍니다.

 

2. 스테이블 디퓨전 webUI ControlNet - Hed 모델

 

Hed 모델은 외곽선 정보로 이미지를 조절해 주는 기능입니다. 따라서, 이미지 생성 후 이미지 외곽선을 볼 수 있습니다. Hed 모델과 비슷한 모델로는 Canny 모델이 있습니다. Hed 모델은 이미지 외곽선을 기준으로 이미지를 조절하기 때문에 정확도가 높아서, 창작성이 있는 이미지를 원할 경우에는 Openpose 또는 Depth 모델을 조절하여 사용하시는 것이 좋습니다.

 

3. 스테이블 디퓨전 webUI ControlNet - Hed 모델 설정 방법

Stable Diffusion Controlnet hed 모델 적용방법

가. 먼저, Controlnet을 enable 선택하여, 활성화 시켜 줍니다.

나. Preprocessor와 Model을 모두 hed로 선택해 줍니다.

다. Model은 여러 가지 중에서 control_hed-fp16 선택하시면 됩니다.

라. 생성 버튼을 눌러 이미지를 확인합니다.

4.  Hed 모델 적용 후기

Stable Diffusion Controlnet hed 모델 이미지 윤곽선

 

스테이블 디퓨전 Controlnet 모델 중에서, 이전에 포스팅한 Depth 모델과 비교해 본다면, Hed 모델을 적용하니 보다 더 정확하게 원하는 자세의 이미지를 얻을 수 있었습니다. 양손의 손가락을 보시면 위의 ControlNet 모델의 손동작을 그대로 따라 하고 있습니다. 간단한 자세 작업은 Openpose로 원하는 관절을 움직여 만들면 좋을 것 같고, 보다 더 정확한 느낌으로 만들려면 Depth 모델, 손동작까지 따라 만들려면 Hed 모델이 좋아 보입니다.

 

(좌측)Depth 모델과 (우측)Hed 모델 생성 이미지 비교

Depth 모델과 Hed 모델을 적용하면서, 상의 옷 색깔이 바뀐것을 보셨을 겁니다. 이상하게 Contol Model 옷 색깔이 검은색이 아닌데도 검은색으로 나와서 조금 특이했습니다. 나중에 알게된 사실이지만, ControlNet을 사용할 때에는 이미지 보정을 위한 Hires.fix 기능을 사용하지 않는게 좋다고 합니다. 이미지 보정 과정에서 왜곡이 될 수 있다고 합니다. 제가 처음에 우측 Hed 모델을 사용하여 이미지 생성 시에 Hires.fix 기능을 사용해서 상의 옷 색깔이 바뀐것 같아요. 감사합니다.