ControlNet: 정밀한 제어로 AI 이미지 생성 혁신하기

ControlNet은 Stable Diffusion (SD) 이미지 생성을 향상시키는 강력한 신경망 구현입니다. 사용자가 이미지 생성의 다양한 측면, 즉 주제 포즈 복제, 스타일 및 색상 전송, 깊이 맵 이미지 조작 등을 정밀하게 제어할 수 있게 해줍니다. 본질적으로 ControlNet은 사용자가 한 이미지의 특정 측면을 다른 이미지로 전송할 수 있도록 하는 모델 모음으로, AI 생성 예술에서 창의적인 가능성을 열어줍니다.

ControlNet은 각기 다른 작업을 위해 설계된 다양한 모델을 제공합니다. 가장 인기 있는 모델 중 일부는 다음과 같습니다: 1. Canny: 고/저 대비 영역 주위에 선명한 선을 생성하여 에지 감지에 유용합니다. 2. MLSD (Mobile Line Segment Detection): 직선을 감지하여 건축물 및 인공 물체에 적합합니다. 3. HED (Holistically-Nested Edge Detection): 객체 주위에 부드러운 선을 생성하여 재채색 및 스타일링에 적합합니다. 4. OpenPose: 인간의 포즈를 감지하고 생성된 이미지의 주제에 적용합니다. 5. SEG (Semantic Segmentation): 색상과 형태에 따라 이미지의 부분을 감지하고 분할합니다. 6. Depth: 그레이스케일 깊이 맵을 기반으로 주제를 교체하거나 다시 그릴 수 있게 해줍니다. 7. Normal Map: 깊이 맵과 유사하지만 미세한 표면 세부 사항과 기하학을 유지합니다. 8. Color: 입력 이미지에서 색상 견본/팔레트를 생성하여 요청된 이미지에 적용합니다. 9. Style: 명시적인 요청 없이 한 이미지에서 다른 이미지로 테마나 요소를 전송합니다. 각 모델은 고유한 기능을 제공하여 사용자가 특정 요구에 따라 이미지 생성 프로세스를 미세 조정할 수 있게 해줍니다.

ControlNet 설치는 Automatic1111 및 ComfyUI와 같은 인기 있는 인터페이스에서 간단한 과정입니다. Automatic1111의 경우: 1. Automatic1111 설치가 최신인지 확인합니다. 2. Extensions 탭으로 이동하여 'sd-webui-controlnet'을 검색합니다. 3. 확장을 설치하고 WebUI 콘솔을 재시작합니다. 4. ControlNet 모델을 다운로드하고 적절한 디렉토리(일반적으로 'stable-diffusion-webui\extensions\sd-webui-controlnet\models')에 배치합니다. ComfyUI의 경우: 1. ComfyUI는 ControlNet을 기본적으로 지원하므로 추가 확장이 필요하지 않습니다. 2. ControlNet 모델을 다운로드하고 'ComfyUI\models\controlnet' 디렉토리에 배치합니다. 설치 후 사용자는 선택한 인터페이스에서 ControlNet 기능에 직접 접근할 수 있습니다.

설치가 완료되면 ControlNet은 Automatic1111 WebUI의 Prompt 및 Image Configuration Settings 아래에 있는 접이식 서랍으로 나타납니다. 인터페이스는 처음에는 복잡해 보일 수 있지만 이미지 생성 프로세스를 강력하게 제어할 수 있습니다. ControlNet 인터페이스의 주요 기능은 다음과 같습니다: 1. 이미지 박스: 사용자가 특성 추출을 위해 소스 이미지를 업로드하는 곳입니다. 2. 활성화/비활성화 토글: ControlNet 인스턴스를 켜거나 끕니다. 3. 저 VRAM 옵션: 6GB 미만의 VRAM으로 ControlNet이 작동할 수 있게 해줍니다. 4. 픽셀 완벽: 올바른 전처리기 해상도를 자동으로 계산합니다. 5. 제어 유형: 적절한 전처리기 및 모델 조합을 설정하는 데 도움을 줍니다. 6. 전처리기 선택: 다양한 전처리 옵션 중에서 선택합니다. 7. 모델 선택: 사용할 ControlNet 모델을 선택합니다. 8. 제어 가중치: 최종 출력에서 ControlNet의 강조 정도를 조정합니다. 9. 제어 모드: 입력 프롬프트와 ControlNet의 영향을 균형 있게 조정합니다. 10. 크기 조정 모드: 서로 다른 크기의 입력 이미지를 처리합니다. 이러한 옵션을 이해하고 효과적으로 사용하면 이미지 생성 프로세스를 정밀하게 제어할 수 있어 사용자가 원하는 결과를 달성할 수 있습니다.

ControlNet은 이미지 생성 프로세스를 미세 조정하기 위한 다양한 옵션과 설정을 제공합니다: 1. 제어 가중치: 최종 출력에서 ControlNet의 강조 정도를 결정합니다. 2. 시작 및 종료 제어 단계: 이미지 생성 중 ControlNet이 적용되기 시작하고 멈추는 시점을 정의합니다. 3. 제어 모드: 입력 프롬프트와 ControlNet 간의 영향을 균형 있게 조정합니다. 4. 크기 조정 모드: 서로 다른 크기의 입력 이미지를 처리합니다 (그냥 크기 조정, 자르고 크기 조정, 크기 조정 및 채우기). 5. 루프백: 생성된 이미지를 ControlNet에 다시 전달하여 두 번째 패스를 수행합니다. 6. 프리셋: ControlNet 설정을 저장하고 다시 로드할 수 있습니다. 추가 기능으로는: - 여러 ControlNet 인스턴스: 복잡한 생성을 위해 최대 10개의 ControlNet 유닛을 활성화할 수 있습니다. - 웹캠 통합: 웹캠을 사용하여 ControlNet 입력을 위한 이미지를 캡처합니다. - 치수 일치: ControlNet 입력 치수를 txt2img 또는 img2img 설정과 쉽게 일치시킵니다. 이러한 옵션을 마스터하면 매우 맞춤화되고 정밀한 이미지 생성을 할 수 있습니다.

전처리기, 또는 주석기는 ControlNet의 중요한 구성 요소로, 특정 모델과 함께 사용할 입력 이미지를 준비합니다. 다양한 작업을 위해 사용할 수 있는 여러 전처리기가 있습니다: 1. Depth: 고저 영역 간의 그라디언트를 제공합니다 (예: depth_midas, depth_zoe). 2. NormalMap: 다양한 세부 사항의 레이어를 감지합니다 (예: normal_bae, normal_midas). 3. OpenPose: 신체 포즈, 손 위치 및 얼굴 방향을 캡처합니다 (예: openpose, openpose_full). 4. Lineart: 입력 이미지에서 선 그림을 생성합니다 (예: lineart_anime, lineart_realistic). 5. Softedge: 다양한 이미지 유형의 윤곽선과 세부 사항을 캡처합니다 (예: softedge_hed, softedge_pidinet). 6. Scribble: 손으로 그린 낙서를 이미지로 변환합니다 (예: scribble_hed, t2ia_sketch_pidi). 7. Segmentation: 의미론적 분할에 뛰어납니다 (예: seg_ofade20k, seg_ufade20k). 8. 참조 및 수정: 소스 이미지를 스타일 또는 변형의 직접 참조로 사용합니다. 올바른 전처리기를 선택하는 것은 ControlNet 모델로 원하는 효과를 얻는 데 중요합니다.

ControlNet은 파워 유저를 위한 여러 고급 기능을 제공합니다: 1. 여러 ControlNet 인스턴스: 최대 10개의 ControlNet 유닛을 연결하여 복잡한 생성을 수행합니다. 2. 사용자 정의 모델 통합: 특수 작업을 위한 사용자 정의 훈련된 ControlNet 모델을 사용합니다. 3. 다른 기술과의 조합: ControlNet은 인페인팅, 아웃페인팅 및 img2img와 같은 다른 Stable Diffusion 기술과 함께 사용되어 더욱 창의적인 제어를 가능하게 합니다. 4. API 통합: 고급 사용자는 사용 가능한 API를 사용하여 ControlNet을 자신의 애플리케이션에 통합할 수 있습니다. 5. 사용자 정의 전처리기: 독특한 이미지 조작 요구를 위해 사용자 정의 전처리기를 개발하고 사용할 수 있습니다. 이러한 고급 기능은 AI 이미지 생성에서 전례 없는 제어와 창의성을 가능하게 하여 ControlNet을 일반 사용자와 전문 아티스트 모두에게 강력한 도구로 만듭니다.