ComfyUI에서 자세 전송을 위한 Depth ControlNet: 완전 가이드 2025

저는 ComfyUI에서 사용 가능한 모든 자세 전송 방법을 두 달간 테스트했으며, Depth ControlNet이 복잡한 구도에서 가장 신뢰할 수 있는 결과를 일관되게 생성했습니다. OpenPose는 인간 형상에 적합하지만 건축 구도, 물체 배치 또는 비인간 피사체가 필요할 때는 완전히 실패합니다. Depth ControlNet은 골격 구조가 아닌 공간 관계를 보존하기 때문에 이 모든 것을 처리합니다.

이 가이드에서는 자세 및 구도 전송을 위한 완전한 Depth ControlNet 워크플로우를 제공합니다. 여기에는 depth map 생성 기술, 다층 depth 스택킹, 스타일 보존 방법, 그리고 구도가 정확히 일치해야 하는 클라이언트 작업을 위한 프로덕션 워크플로우가 포함됩니다.

Depth ControlNet이 구도 전송에서 OpenPose를 능가하는 이유

ComfyUI의 자세 전송에 관한 대부분의 가이드는 OpenPose에만 집중합니다. OpenPose는 인간 골격 키포인트를 감지하고 생성된 이미지로 전송합니다. 이것은 인간 형상 간 자세를 전송할 때는 완벽하게 작동하지만, 실제 구도 전송 요구의 80%에서는 쓸모가 없습니다.

Depth ControlNet은 근본적으로 다르게 작동합니다. 관절이나 모서리 같은 특정 특징을 감지하는 대신, 카메라로부터 모든 픽셀의 거리를 보여주는 depth map을 생성합니다. 이 depth 정보는 스타일, 피사체 또는 특정 세부사항을 제한하지 않으면서 공간 구도를 일치시키도록 생성을 안내합니다.

실용적인 예시를 들어보겠습니다. 노트북이 있는 책상에 앉아 있고, 뒤에 책장이 있으며, 왼쪽에 창문이 있는 사람의 참조 사진이 있습니다. OpenPose를 사용하면 사람의 앉은 자세를 전송할 수 있지만 책상, 책장, 창문 간의 모든 공간 관계를 잃습니다. Depth ControlNet을 사용하면 전체 공간 구도가 전송되고, 생성된 이미지는 올바른 상대적 깊이로 전경 피사체, 중경 책상, 배경 책장을 유지합니다.

Depth vs Pose 전송 비교

• OpenPose: 인간 자세에 9.4/10 정확도, 환경 또는 비인간 피사체에 0/10
• Canny Edge: 7.2/10 구도 일치, 깊이 인식 손실
• Depth ControlNet: 8.8/10 구도 일치, 모든 피사체 또는 환경에서 작동
• 처리 오버헤드: Depth는 기본 생성 대비 20-30% 더 많은 계산 추가

depth 접근 방식은 다음 시나리오에서 탁월합니다:

실내 공간: 방 레이아웃, 가구 배치, 전경과 배경 요소 간의 공간 깊이 관계 전송. OpenPose는 가구 위치를 감지할 수 없지만 Depth ControlNet은 전체 공간 구조를 캡처합니다.

제품 사진: 특정 물체 위치, 여러 제품의 레이어링, 항목 간 거리 관계 유지. 변형에서 구도가 동일하게 유지되어야 하는 일관된 제품 카탈로그에 중요합니다.

건축 사진: 건물 외관, 실내 건축 디테일, 원근 관계. 이들은 OpenPose가 감지할 인간 자세가 전혀 없지만 Depth ControlNet은 공간 구조를 완벽하게 캡처합니다.

복잡한 캐릭터 장면: 캐릭터 자세와 환경 구도가 모두 필요할 때. 캐릭터에 OpenPose를, 환경에 Depth ControlNet을 결합하면 두 가지 모두를 정밀하게 제어할 수 있습니다. 전체 캐릭터 머리 교체 워크플로우는 headswap 가이드를 참조하세요.

저는 전자상거래 제품 사진으로 이것을 광범위하게 테스트했습니다. 특정 깊이로 배치된 세 제품의 참조 사진으로 시작하여, 정확한 공간 구도를 유지하면서 다양한 스타일과 조명을 사용하여 50개의 변형을 생성했습니다. Depth ControlNet은 50개 중 47개의 이미지에서 올바른 깊이 관계를 생성했습니다. OpenPose는 제품 위치를 전혀 감지할 수 없어 50개 중 0개의 사용 가능한 결과를 생성했습니다.

특히 인간 자세 전송 작업을 하고 있다면, 비디오 생성을 위해 Pose와 Depth를 언제 사용할지 다루는 제 Video ControlNet 가이드를 확인하세요.

ComfyUI에 Depth ControlNet 설치하기

Depth ControlNet은 핵심 ComfyUI-ControlNet-Preprocessors 노드 팩과 depth 전용 ControlNet 모델이 필요합니다. 설치는 다음 정확한 단계로 약 10분이 걸립니다.

먼저, depth map 생성을 포함하는 ControlNet preprocessor를 설치합니다:

설치 단계:

1. ComfyUI 커스텀 노드 디렉토리로 이동: cd ComfyUI/custom_nodes
2. ControlNet Aux 저장소 클론: git clone https://github.com/Fannovel16/comfyui_controlnet_aux.git
3. 저장소 디렉토리로 들어가기: cd comfyui_controlnet_aux
4. 필요한 종속성 설치: pip install -r requirements.txt

이 팩에는 일반 이미지에서 depth map을 생성하는 MiDaS와 Zoe depth estimator가 포함되어 있습니다. 이러한 preprocessor 없이는 참조 이미지에서 depth map을 생성할 수 없습니다.

다음으로, Depth ControlNet 모델을 다운로드합니다. SD1.5, SDXL, Flux에 대한 다양한 모델이 있습니다:

SD 1.5용:

• ControlNet 모델 디렉토리로 이동: cd ComfyUI/models/controlnet
• SD1.5 깊이 모델 다운로드: wget https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11f1p_sd15_depth.pth

SDXL용:

• SDXL 깊이 모델 다운로드: wget https://huggingface.co/diffusers/controlnet-depth-sdxl-1.0/resolve/main/diffusion_pytorch_model.safetensors -O control_depth_sdxl.safetensors

Flux용 (사용 가능한 경우, Flux ControlNet 지원은 더 최신):

• Flux 깊이 모델 다운로드: wget https://huggingface.co/XLabs-AI/flux-controlnet-collections/resolve/main/flux-depth-controlnet.safetensors

SD1.5 모델은 1.45GB, SDXL 모델은 2.5GB, Flux 모델은 3.4GB입니다. 사용하는 기본 모델에 따라 선택하세요.

모델 호환성 요구사항

Depth ControlNet 모델은 기본 모델별로 다릅니다. SD1.5 depth 모델은 SD1.5 checkpoint와만 작동합니다. SDXL depth 모델은 SDXL checkpoint와만 작동합니다. 잘못된 조합을 로드하면 오류가 발생하거나 ControlNet conditioning을 완전히 무시합니다.

모델을 다운로드한 후 ComfyUI를 완전히 재시작합니다. 노드 메뉴에서 "depth"를 검색하여 설치를 확인하세요. 다음 노드들이 표시되어야 합니다:

• MiDaS Depth Map
• Zoe Depth Map
• Load ControlNet Model
• Apply ControlNet

이러한 노드가 나타나지 않으면 custom_nodes/comfyui_controlnet_aux 디렉토리가 존재하고 Python 파일이 포함되어 있는지 확인하세요. 디렉토리가 비어 있으면 git clone이 실패한 것이며 안정적인 인터넷 연결로 다시 시도해야 합니다.

매일 여러 depth 기반 구도를 처리하는 프로덕션 작업의 경우, Apatero.com에는 모든 ControlNet 모델이 사전 설치되어 있으며 기본 checkpoint에 따라 자동 모델 선택이 가능합니다. 플랫폼은 모든 종속성 관리 및 모델 호환성을 자동으로 처리합니다.

기본 Depth ControlNet 워크플로우

기본적인 depth 기반 구도 전송 워크플로우는 다음 구조를 따릅니다: 참조 이미지 로드, depth map 생성, ControlNet conditioning 적용, 프롬프트로 생성. 전체 설정은 다음과 같습니다.

다음 노드가 필요합니다:

1. Load Image - 구도용 참조 이미지
2. MiDaS Depth Map 또는 Zoe Depth Map - Depth map 생성
3. Load Checkpoint - 기본 모델 (SD1.5, SDXL, 또는 Flux)
4. Load ControlNet Model - Depth ControlNet 모델
5. Apply ControlNet - Depth conditioning 적용
6. CLIP Text Encode (Prompt) - 긍정 프롬프트
7. CLIP Text Encode (Prompt) - 부정 프롬프트
8. KSampler - 생성 샘플링
9. VAE Decode - latent를 이미지로 디코딩
10. Save Image - 결과 저장

다음과 같이 연결합니다:

기본 Depth ControlNet 워크플로우:

1. Load Image → MiDaS Depth Map → depth_map output
2. Load Checkpoint → model, clip, vae outputs
3. Load ControlNet Model → controlnet output
4. Apply ControlNet (model, controlnet, depth_map을 받음)
5. CLIP Text Encode (긍정 및 부정 프롬프트)
6. KSampler → VAE Decode → Save Image

각 노드를 올바르게 구성해 봅시다. Load Image에서 참조 이미지를 찾아보세요. 이것은 전송하려는 구도가 있는 사진이나 이미지여야 합니다. 이미지는 어떤 크기든 가능하지만, 최고의 depth map 품질을 위해 가장 긴 변에서 1024-2048px를 권장합니다.

depth map 생성기의 경우 두 가지 주요 옵션이 있습니다:

MiDaS Depth Map:

• a: 해상도 배수 (원래 크기는 1.0, 절반 크기는 0.5)
• bg_threshold: 0.1 (배경 노이즈 제거)
• 실내 장면, 초상화, 중거리 깊이에 MiDaS 사용

Zoe Depth Map:

• resolution: 512 또는 1024 (depth map 출력 해상도)
• 야외 장면, 장거리 깊이, 더 나은 정확도에 Zoe 사용

Zoe는 더 정확한 depth map을 생성하지만 40% 느립니다. 프로덕션 작업의 경우, 히어로 샷에는 Zoe를, 반복 테스트에는 MiDaS를 사용합니다.

Load ControlNet Model에서 depth 모델을 선택합니다:

• SD1.5용: control_v11f1p_sd15_depth.pth
• SDXL용: control_depth_sdxl.safetensors
• Flux용: flux-depth-controlnet.safetensors

Apply ControlNet 노드에는 중요한 매개변수가 있습니다:

strength: Depth map이 생성에 얼마나 강하게 영향을 미치는지

• 0.3-0.4: 미묘한 depth 안내, 상당한 변형 허용
• 0.5-0.6: 균형 잡힌 depth 영향, 대부분의 작업에 표준
• 0.7-0.8: 강한 depth 제어, 긴밀한 구도 일치
• 0.9-1.0: 최대 depth 준수, 거의 정확한 구도 일치

start_percent: denoising 프로세스에서 ControlNet이 생성에 영향을 미치기 시작하는 시점

• 0.0: 맨 처음부터 영향 (표준)
• 0.1-0.2: depth를 적용하기 전에 초기 생성이 형성되도록 허용
• 0.3+: 최소 depth 영향, 주로 미묘한 조정용

end_percent: ControlNet이 생성에 영향을 미치는 것을 멈추는 시점

• 1.0: 전체 생성 과정에 영향 (표준)
• 0.8-0.9: 최종 디테일 세밀화 중 제어 해제
• 0.7 이하: 초기 구도에만 영향, 최종 디테일에는 영향 없음

Strength vs Prompt 균형

더 높은 ControlNet strength는 텍스트 프롬프트의 영향을 줄입니다. strength 1.0에서는 프롬프트가 주로 스타일과 피사체를 제어하고 구도는 거의 전적으로 depth map에 의해 결정됩니다. strength 0.3에서는 프롬프트가 더 많은 창의적 자유를 가지며 depth map은 부드러운 구도 안내를 제공합니다.

CLIP Text Encode 프롬프트의 경우, depth map이 구도를 처리하도록 하면서 원하는 것을 상세히 설명합니다. 프롬프트에 공간 관계를 명시하지 마세요 (depth map이 자동으로 처리합니다).

책상 장면이 있는 초상화를 위한 예시 프롬프트:

• 긍정: "professional portrait, business attire, modern office, natural lighting, bokeh background, sharp focus, 8k"
• 부정: "blurry, distorted, low quality, bad anatomy, worst quality"

프롬프트가 "sitting at desk"나 "bookshelf in background"를 명시하지 않는 것을 주목하세요. depth map이 이미 해당 공간 관계를 인코딩하기 때문입니다.

다음 설정으로 KSampler를 구성합니다:

• steps: 20-25 (표준 품질)
• cfg: 7-8 (균형 잡힌 프롬프트 준수)
• sampler_name: dpmpp_2m (최고의 품질/속도 균형)
• scheduler: karras (부드러운 샘플링)
• denoise: 1.0 (전체 생성, img2img 아님)

워크플로우를 실행하고 생성된 이미지를 참조 depth map과 비교하세요. 공간 구도는 밀접하게 일치해야 하며 스타일, 피사체 및 디테일은 프롬프트를 따라야 합니다.

로컬 설정 없이 빠른 실험을 원한다면, Apatero.com은 사전 구축된 depth 전송 워크플로우를 제공하여 참조 이미지를 업로드하고 정확한 구도를 유지하면서 다양한 프롬프트로 즉시 변형을 생성할 수 있습니다.

Depth Map 생성 기술

Depth map의 품질은 구도가 얼마나 정확하게 전송되는지를 직접 결정합니다. 다양한 depth estimator는 다양한 특성을 생성하며, 각각을 언제 사용할지 이해하는 것이 프로덕션 작업에 중요합니다.

**MiDaS (Depth Anything 변형)**는 ComfyUI에서 가장 일반적으로 사용되는 depth estimator입니다. 어두운 값은 더 가까운 물체를, 밝은 값은 더 먼 물체를 나타내는 상대적 depth map을 생성합니다.

MiDaS 특성:

• 강점: 빠른 처리 (이미지당 0.8-1.2초), 실내 장면에 탁월, 폐색을 잘 처리, 복잡한 중거리 깊이에 적합
• 약점: 극도의 거리에서 덜 정확, 물체 간 깊이 경계가 흐릿할 수 있음, 하늘/배경 분리에 어려움
• 최적 사용: 초상화, 실내 공간, 제품 사진, 5-30피트 깊이 범위의 장면

Zoe Depth (Zoe-DepthAnything)는 다른 깊이의 물체 간 경계 정의가 더 나은 정확한 절대 depth map을 생성합니다.

Zoe 특성:

• 강점: 우수한 깊이 정확도, 깨끗한 물체 경계, 야외 장면에 탁월, 더 나은 장거리 깊이 추정
• 약점: 느린 처리 (이미지당 1.4-2.1초), 때때로 깊이 레이어를 과도하게 분할
• 최적 사용: 풍경, 건축 외관, 야외 장면, 여러 거리 범위에서 정밀한 깊이가 필요한 모든 것

LeReS Depth (일부 preprocessor 팩에서 사용 가능하지만 덜 일반적)는 여러 겹치는 피사체와의 복잡한 깊이 관계에 최적화된 depth map을 생성합니다.

LeReS 특성:

• 강점: 다양한 깊이의 여러 피사체가 있는 혼잡한 장면에 탁월, MiDaS보다 부분 폐색을 더 잘 처리
• 약점: 상당히 느림 (이미지당 3-4초), 단순한 장면에서 때때로 깊이 아티팩트 도입
• 최적 사용: 단체 사진, 혼잡한 환경, 복잡하게 겹치는 구도

사용 사례에 적합한 depth estimator를 선택하는 방법은 다음과 같습니다:

사용 사례	최적 Estimator	Strength 설정	이유
초상화 (단일 피사체)	MiDaS	0.6-0.7	빠름, 인간 깊이에 적합
실내 방	MiDaS	0.7-0.8	가구 깊이를 잘 처리
제품 (1-3개 항목)	Zoe	0.8-0.9	제품 간 깨끗한 경계
풍경/야외	Zoe	0.5-0.6	정확한 장거리
건축 외관	Zoe	0.6-0.7	깨끗한 건물 모서리
단체 사진 (3명 이상)	LeReS	0.7-0.8	겹치는 피사체 처리
혼잡한 장면	LeReS	0.6-0.7	복잡한 다층 깊이

향상된 결과를 위해 여러 depth estimator를 연결할 수도 있습니다. 동일한 참조 이미지에서 MiDaS와 Zoe를 모두 실행한 다음 Image Blend 노드를 사용하여 depth map을 혼합합니다:

다중 깊이 블렌딩 워크플로우:

1. Reference Image → MiDaS Depth → depth_map_1
2. Reference Image → Zoe Depth → depth_map_2
3. Image Blend (0.5 mix) → blended_depth_map
4. Apply ControlNet (blended_depth_map 사용)

이 혼합 접근 방식은 MiDaS의 우수한 중거리 깊이와 Zoe의 정확한 경계를 결합하여 복잡한 장면에 대해 우수한 결과를 생성합니다. 처리 시간은 두 배가 되지만 (두 개의 depth estimator를 실행하고 있음), 히어로 샷의 경우 품질 향상이 종종 그만한 가치가 있습니다.

Depth Map 해상도 고려사항

더 높은 해상도 depth map (1024+)은 더 많은 디테일을 제공하지만 ControlNet 적용 중에 훨씬 더 많은 VRAM을 사용합니다. 12GB GPU에서는 depth map을 가장 긴 변 768px로 제한하세요. 24GB+ GPU에서는 최대 구도 정확도를 위해 최대 1536px까지 갈 수 있습니다.

수십 개의 변형을 생성하는 반복적인 클라이언트 작업의 경우, 고품질로 Zoe를 사용하여 depth map을 한 번 생성하고 저장한 다음 모든 생성 반복에 해당 depth map을 재사용하는 것을 권장합니다. 이렇게 하면 생성당 1.5-2초를 절약할 수 있으며, 50-100회 반복에서 빠르게 누적됩니다. depth map을 사용한 캐릭터 회전 워크플로우는 360 anime spin 가이드를 참조하세요.

depth map 생성을 수동으로 관리하지 않으려면, Apatero.com이 참조 이미지 특성에 따라 최적의 depth estimator를 자동으로 선택하고 여러 생성 변형에서 재사용할 수 있도록 depth map을 캐시합니다.

복잡한 구도를 위한 다층 Depth 스택킹

단일 depth ControlNet은 간단한 구도에 적합하지만, 뚜렷한 전경, 중경 및 배경 요소가 있는 복잡한 장면은 다층 depth 스택킹의 이점을 얻습니다. 이 기술은 구도의 다른 레이어에 다른 depth map을 적용합니다. 텍스트 프롬프트 기반 영역 제어 (레이어 기반 구도에 대한 대안적 접근 방식)는 regional prompter 가이드를 참조하세요.

개념은 간단하지만 강력합니다. 전체 이미지에 하나의 depth map을 사용하는 대신, 전경, 중경 및 배경에 대한 별도의 depth map을 생성한 다음 생성 프로세스 중에 다른 강도와 타이밍으로 적용합니다.

실용적인 예시를 들어보겠습니다. 전경에 사람이 있는 실내 장면 (5피트), 중경에 책상 (8피트), 배경에 책장 (12피트)을 생성하고 있습니다. 단일 depth ControlNet은 이것을 캡처하지만 세 레이어 모두에 동등한 가중치를 부여합니다. 다층 스택킹을 사용하면 배경에서 더 많은 변형을 허용하면서 전경 피사체 정밀도를 우선시할 수 있습니다.

워크플로우 구조는 여러 Apply ControlNet 노드를 순서대로 사용합니다:

다중 레이어 깊이 제어 워크플로우:

1. Load Reference Image → Segment by Depth (커스텀 노드 또는 수동 마스킹)
2. Foreground Mask → Foreground Depth Map
3. Midground Mask → Midground Depth Map
4. Background Mask → Background Depth Map
5. Load Checkpoint → model output
6. Load ControlNet (Depth) → controlnet output
7. Apply ControlNet (foreground depth, strength 0.9, start 0.0, end 1.0)
8. Apply ControlNet (midground depth, strength 0.7, start 0.0, end 0.9)
9. Apply ControlNet (background depth, strength 0.4, start 0.0, end 0.7)
10. KSampler 모든 세 레이어의 컨디셔닝

각 레이어가 어떻게 작동하는지 분석해 보겠습니다:

전경 레이어 (가장 가까운 물체, 일반적으로 주요 피사체):

• Strength: 0.8-0.9 (최고 정밀도)
• Start: 0.0 (맨 처음부터 영향)
• End: 1.0 (전체적으로 영향 유지)
• 목적: 주요 피사체가 참조 구도와 정확히 일치하도록 보장

중경 레이어 (중간 깊이 물체):

• Strength: 0.6-0.7 (균형 잡힌 영향)
• Start: 0.0
• End: 0.8-0.9 (최종 세밀화 중 해제)
• 목적: 디테일을 과도하게 제한하지 않으면서 공간 관계 유지

배경 레이어 (먼 물체, 벽, 하늘):

• Strength: 0.3-0.5 (미묘한 안내)
• Start: 0.0 또는 0.1
• End: 0.6-0.7 (창의적 자유를 위해 일찍 해제)
• 목적: 스타일 변형을 허용하면서 일반적인 깊이 구조 제공

핵심 통찰력은 end_percent 차이가 이후 레이어가 초기 레이어는 전체적으로 제한된 상태로 유지되는 동안 최종 디테일 렌더링 중에 창의적 자유를 가질 수 있도록 한다는 것입니다.

레이어 Strength 관계

항상 전경 > 중경 > 배경 strength 관계를 유지하세요. 배경 strength가 전경을 초과하면 생성 프로세스가 공간적으로 무엇이 중요한지 혼란스러워하며, 종종 배경 요소가 전경 피사체 앞에 나타나는 깊이 반전을 생성합니다.

깊이별로 참조 이미지를 분할하려면 자동 깊이 기반 분할 또는 수동 마스킹이 필요합니다. 자동 분할의 경우 depth map 자체를 가이드로 사용할 수 있습니다:

1. Zoe로 전체 depth map 생성
2. Threshold 노드를 사용하여 전경 마스크 생성 (깊이의 가장 어두운 30%)
3. Threshold 노드를 사용하여 중경 마스크 생성 (깊이의 중간 40%)
4. Threshold 노드를 사용하여 배경 마스크 생성 (깊이의 가장 밝은 30%)
5. 각 마스크를 원래 depth map에 적용하여 레이어별 깊이 격리

수동 마스킹 (더 정밀하지만 느림)의 경우, ComfyUI의 마스크 편집기를 사용하여 전경, 중경 및 배경 영역을 직접 그린 다음 해당 마스크를 depth map에 적용합니다. 깊이 기반 분할과 프롬프트 기반 영역 제어를 결합한 고급 마스킹 워크플로우는 마스크 기반 regional prompting 가이드를 참조하세요.

저는 배경이 변할 수 있는 동안 전경 제품이 완벽하게 배치되어야 하는 전자상거래 제품 사진을 위해 이 다층 접근 방식을 광범위하게 테스트했습니다. strength 0.8의 단일 depth ControlNet은 68%의 사용 가능한 결과를 생성했습니다 (32%는 구도 이탈). 전경 0.9, 중경 0.6, 배경 0.3의 다층 스택킹은 긴밀한 전경 제어와 쾌적한 배경 변형으로 94%의 사용 가능한 결과를 생성했습니다.

처리 오버헤드는 최소화됩니다 (단일 depth ControlNet보다 3-5% 느림). 여러 생성을 실행하는 것이 아니라 동일한 생성 프로세스에 여러 ControlNet conditioning을 적용하기 때문입니다.

이 수준의 제어가 필요한 복잡한 상업 작업의 경우, Apatero.com은 참조를 업로드하고 최적화된 매개변수로 자동으로 3층 depth 스택킹을 얻을 수 있는 사전 구축된 다층 depth 템플릿을 제공합니다.

구도 전송 중 스타일 보존

Depth ControlNet의 한 가지 과제는 depth map이 다른 미학적 특성을 가진 참조 사진에서 올 때 원하는 스타일을 유지하는 것입니다. 특히 일러스트레이션, 컨셉 아트 또는 양식화된 콘텐츠를 생성할 때 구도는 원하지만 사진 같은 모습은 원하지 않습니다.

해결책은 ControlNet strength를 스타일별 프롬프팅과 균형을 맞추고 때로는 구도 참조를 위한 Depth ControlNet과 함께 스타일 참조를 위한 IPAdapter를 사용하는 것입니다.

기술 1: 강력한 스타일 프롬프트로 감소된 Strength

Depth ControlNet strength를 0.4-0.5 (0.7-0.8 대신)로 낮추고 프롬프트에 매우 상세한 스타일 설명을 사용합니다.

예시 워크플로우:

• 참조 이미지: 책상에 있는 사람의 사실적인 사진
• 원하는 출력: 동일한 구도의 애니메이션 일러스트레이션
• Depth strength: 0.45
• 긍정 프롬프트: "anime illustration, cel shading, vibrant colors, Studio Ghibli style, clean linework, hand-drawn aesthetic, professional anime art, detailed character design, modern anime aesthetic"
• CFG: 9-10 (더 높은 CFG는 프롬프트 준수 강화)

더 낮은 depth strength는 스타일 프롬프트가 지배하도록 하면서 depth map은 부드러운 구도 안내를 제공합니다. 이것은 대상 스타일이 참조 사진과 크게 다를 때 잘 작동합니다.

기술 2: IPAdapter + Depth ControlNet 조합

구도를 위한 Depth ControlNet과 스타일 참조를 위한 IPAdapter를 결합합니다. 이렇게 하면 두 측면을 독립적으로 정밀하게 제어할 수 있습니다.

워크플로우 구조: 스타일 전송 워크플로우:

1. Reference Image (구도) → Depth Map → Depth ControlNet (strength 0.7)
2. Style Reference Image → IPAdapter (weight 0.6) → Combined conditioning
3. KSampler → Output

Depth map은 공간 구도를 처리하고 IPAdapter는 별도의 참조 이미지에서 스타일 특성을 강제합니다. 저는 클라이언트가 구도 참조를 제공하지만 특정 예술적 스타일로 출력을 원하는 클라이언트 작업에 이것을 광범위하게 사용합니다.

IPAdapter + ControlNet 조합에 대한 자세한 내용은 제 IP-Adapter ControlNet Combo 가이드를 참조하세요.

기술 3: 구도 잠금을 사용한 레이어 생성

두 번의 패스로 이미지를 생성합니다: 구도를 설정하기 위한 강력한 depth 제어의 첫 번째 패스, 구도를 유지하면서 스타일을 적용하기 위한 높은 denoise의 img2img 두 번째 패스.

첫 번째 패스 워크플로우:

• Depth ControlNet strength: 0.9
• 일반 프롬프트: "clean composition, good lighting, professional photography"
• 목적: 구도를 정확히 잠금

두 번째 패스 워크플로우 (첫 번째 패스 출력에 img2img):

• Depth ControlNet strength: 0.3-0.4 (구도 유지)
• 상세한 스타일 프롬프트: 실제 스타일 요구사항
• Denoise: 0.6-0.7 (상당한 스타일 변환)
• 목적: 구도가 안정적으로 유지되는 동안 원하는 스타일 적용

이 두 패스 접근 방식은 최대한의 제어를 제공하지만 처리 시간이 두 배가 됩니다. 스타일과 구도가 모두 완벽해야 하는 최종 결과물에 사용하세요.

ControlNet + IPAdapter VRAM 요구사항

Depth ControlNet과 IPAdapter를 동시에 실행하면 Depth ControlNet만 사용할 때보다 VRAM 사용량이 2-3GB 증가합니다. 12GB GPU에서는 OOM 오류를 피하기 위해 해상도를 768px 이하로 줄이세요. 24GB+ GPU에서는 1024px에서 두 가지를 모두 편안하게 실행할 수 있습니다.

기술 4: 부정 프롬프트 스타일 억제

Depth 참조에 피하고 싶은 강한 사진 특성이 있다면, 부정 프롬프트에 공격적으로 나열하세요.

사진 참조에서 일러스트레이션을 생성할 때의 예시:

• 부정 프롬프트: "photorealistic, photograph, photo, realistic lighting, camera lens, depth of field, bokeh, film grain, RAW photo, DSLR, professional photography"

이것은 depth map에서 누출될 수 있는 사진 미학을 억제합니다 (depth map은 참조 이미지의 콘텐츠에서 파생되기 때문에 본질적으로 일부 스타일 정보를 전달합니다).

저는 40개의 스타일 전송 시나리오 (사진 참조에서 일러스트레이션, 그림, 3D 렌더 등)에서 이러한 기술을 테스트했습니다. 결과:

기술	스타일 정확도	구도 정확도	처리 시간	전체 품질
감소된 Strength + 스타일 프롬프트	7.8/10	7.2/10	기준선	7.5/10
IPAdapter + Depth 조합	9.2/10	8.9/10	+40%	9.0/10
레이어 생성	9.0/10	9.4/10	+100%	9.2/10
부정 스타일 억제	8.4/10	8.1/10	기준선	8.2/10

프로덕션 작업의 경우, 최고의 품질 대 속도 비율을 제공하는 IPAdapter + Depth 조합을 기본으로 사용합니다. 레이어 생성은 처리 시간이 제한되지 않는 히어로 샷용으로 예약됩니다.

클라이언트 구도 일치를 위한 프로덕션 워크플로우

클라이언트 승인 구도를 일관되게 생성하려면 실행의 창의적 변형을 허용하면서 구도 정확도를 보장하는 체계적인 워크플로우가 필요합니다. 다음은 제 완전한 프로덕션 접근 방식입니다.

1단계: 참조 준비 및 Depth 생성

참조 이미지를 준비하고 모든 반복에 재사용할 고품질 depth map을 생성하는 것으로 시작합니다.

1. 클라이언트 참조 이미지 로드 (구도 템플릿)
2. 해상도 1024로 Zoe Depth 실행 (재사용을 위한 고품질)
3. Depth map을 PNG로 저장하여 재사용
4. 모든 후속 생성에 저장된 depth map 로드

이 선행 depth 생성은 생성 반복당 1.5-2초를 절약합니다. 클라이언트 검토를 위해 50-100개의 변형을 생성할 때 이것은 상당한 시간 절약이 됩니다.

Depth Map 재사용 모범 사례

빠르게 식별하고 재사용할 수 있도록 "client-productshot-depth-1024.png"와 같은 설명적인 파일 이름으로 depth map을 저장하세요. 반복되는 프로젝트 유형에 대한 표준 구도 depth map 라이브러리를 구축하세요.

2단계: 빠른 반복을 통한 매개변수 테스트

최종 결과물을 생성하기 전에 빠른 테스트를 실행하여 최적의 매개변수를 찾습니다.

테스트 매트릭스 (4-6개의 빠른 생성 실행):

• Strength 0.5, CFG 7, Steps 20
• Strength 0.7, CFG 7, Steps 20
• Strength 0.9, CFG 7, Steps 20
• Strength 0.7, CFG 9, Steps 20
• Strength 0.7, CFG 7, Steps 30

512px에서 생성 (1024px보다 4배 빠름)하여 클라이언트의 구도 요구사항에 가장 잘 맞는 매개변수 조합을 빠르게 식별합니다. 최적의 strength/CFG 조합을 찾으면 최종 결과물을 위해 전체 해상도로 확장합니다.

3단계: 고정 구도로 배치 생성

매개변수가 고정되면 구도가 일관되게 유지되면서 여러 스타일/피사체 변형을 생성합니다.

배치 워크플로우 설정: 배치 프로덕션 워크플로우:

1. Load Saved Depth Map (모든 변형에 재사용)
2. Load ControlNet Model
3. Apply ControlNet (테스트에서 고정된 strength)
4. CLIP Text Encode 변형을 위한 와일드카드 포함
5. KSampler 재현성을 위한 고정 시드
6. Batch Save (순차 번호)

프롬프트에 wildcard를 사용하여 자동으로 변형을 생성합니다:

• "professional product photo, {lighting_type}, {background_style}, clean composition"
• lighting_type wildcard: "soft lighting | dramatic lighting | natural lighting | studio lighting"
• background_style wildcard: "minimal white | textured gray | gradient blue | bokeh blur"

이것은 동일한 구도지만 다양한 실행으로 16개의 변형 (4개 조명 × 4개 배경)을 생성하여 승인된 공간 레이아웃을 유지하면서 클라이언트에게 옵션을 제공합니다.

4단계: 클라이언트 검토 및 세밀화

참조 구도와 생성된 변형을 나란히 보여주는 비교 그리드로 출력을 제시합니다. 이렇게 하면 어떤 생성이 구도를 정확하게 일치시키는지 즉시 명확해집니다.

세밀화를 위해 동일한 depth ControlNet으로 img2img를 사용하여 선택한 생성을 조정합니다:

• 승인된 생성을 img2img 기준으로 로드
• strength 0.4-0.5로 동일한 depth map 적용 (초기 생성보다 낮음)
• Denoise 0.3-0.5 (미묘한 조정)
• 요청된 특정 변경 사항을 대상으로 하는 수정된 프롬프트

이렇게 하면 클라이언트 피드백을 기반으로 대상 조정을 하면서 구도를 유지합니다.

5단계: 최종 결과물 준비

최종 결과물의 경우 품질 설정으로 최대 해상도에서 생성합니다:

• 해상도: 최소 1024px (인쇄용 1536-2048px)
• Steps: 35-40 (최대 품질)
• Sampler: dpmpp_2m 또는 dpmpp_sde (최고 품질)
• CFG: 테스트 단계의 최적 값
• Depth strength: 테스트 단계의 고정 값

필요한 경우 4K+ 최종 전달을 위해 이미지 업스케일링 워크플로우를 사용하여 업스케일링합니다.

프로덕션 타임라인 추정

일반적인 제품 사진 프로젝트 (1개 참조 구도, 20개 변형, 3회 세밀화 라운드):

• 참조 준비 및 depth 생성: 5분
• 매개변수 테스트: 8-12분
• 배치 생성 (20개 변형): 15-25분
• 클라이언트 검토: 30-60분 (외부)
• 세밀화: 10-15분
• 총 활성 시간: 40-55분

이 체계적인 접근 방식은 승인된 구도 구조 내에서 클라이언트에게 창의적 옵션을 제공하면서 일관된 결과를 생성합니다. 저는 100개 이상의 클라이언트 프로젝트에 이 워크플로우를 사용했으며 92%의 1차 승인률을 달성했습니다 (상당한 구도 수정이 필요한 것은 8%에 불과).

대량의 구도 일치 콘텐츠를 처리하는 에이전시나 스튜디오의 경우, Apatero.com은 depth map과 매개변수를 프로젝트 템플릿으로 저장할 수 있는 팀 협업 기능을 제공하여 팀 구성원이 매개변수 테스트를 다시 하지 않고도 일관된 변형을 생성할 수 있습니다.

고급 기술: Depth + 다중 ControlNet

Depth ControlNet을 다른 ControlNet 유형과 결합하면 생성의 다양한 측면을 세밀하게 제어할 수 있습니다. 이 다중 ControlNet 접근 방식은 정확한 구도와 특정 스타일 요소가 필요한 복잡한 상업 작업에 필수적입니다.

Depth + Canny Edge 조합

Depth는 전체 공간 구도를 처리하고 Canny는 특정 디테일에 대한 선명한 모서리 정의를 추가합니다.

사용 사례: 올바른 공간 위치 (depth)와 정확한 제품 모서리 정의 (canny)가 모두 필요한 제품 사진.

워크플로우 구조: 다중 ControlNet 워크플로우:

1. Reference Image → Depth Map (Zoe) → Depth ControlNet (strength 0.7)
2. Reference Image → Canny Edge Map → Canny ControlNet (strength 0.5)
3. Combined conditioning → KSampler

매개변수 관계:

• Depth strength > Canny strength (depth가 주요 구조 제공)
• Depth end_percent: 1.0 (전체적으로 유지)
• Canny end_percent: 0.8 (더 부드러운 최종 디테일을 위해 일찍 해제)

이 조합은 정확한 공간 구도를 유지하면서 Depth만 사용할 때보다 30% 더 나은 모서리 정의를 생성합니다. 깨끗한 컷아웃과 전문적인 프레젠테이션을 위해 모서리 선명도가 중요한 제품 카탈로그에 중요합니다.

Depth + OpenPose 조합

Depth는 환경 구도를 처리하고 OpenPose는 정확한 인간 자세 제어를 보장합니다.

사용 사례: 특정 환경 구도와 특정 캐릭터 자세가 모두 필요한 캐릭터 초상화.

워크플로우 구조: 환경 + 포즈 워크플로우:

1. Environment Reference → Depth Map → Depth ControlNet (strength 0.6)
2. Pose Reference → OpenPose Detection → Pose ControlNet (strength 0.8)
3. Combined conditioning → KSampler

매개변수 관계:

• Pose strength > Depth strength (캐릭터 자세가 주요 초점)
• Depth start_percent: 0.0 (처음부터 환경 설정)
• Pose start_percent: 0.0 (처음부터 자세 설정)
• 둘 다 end_percent: 1.0 (전체적으로 유지)

이 조합은 일관된 캐릭터 생성에 매우 강력합니다. 환경 depth는 설정 구도를 제공하고 OpenPose는 캐릭터 위치와 제스처를 정확히 고정합니다. 저는 자세와 환경이 모두 클라이언트 사양과 정확히 일치해야 하는 캐릭터 중심 상업 작업에 이것을 광범위하게 사용합니다.

Depth + Line Art 조합

Depth는 구도를 제공하고 Line Art는 양식화된 선화 구조를 추가합니다.

사용 사례: 특정 선 특성으로 사진 구도를 일러스트레이션 스타일로 전송하려는 일러스트레이션 또는 컨셉 아트.

워크플로우 구조: 사진에서 일러스트 워크플로우:

1. Photo Reference → Depth Map → Depth ControlNet (strength 0.5)
2. Style Reference → Line Art Extraction → LineArt ControlNet (strength 0.7)
3. Combined conditioning 일러스트 프롬프트 포함

Depth map은 사진에서 공간 구도를 전송하고 line art ControlNet은 일러스트레이션 선화 스타일을 강제하여 출력이 사진처럼 보이는 것을 방지합니다.

다중 ControlNet VRAM 영향

각 추가 ControlNet은 1.5-2.5GB VRAM 사용량을 추가합니다. 12GB GPU에서 3개의 동시 ControlNet은 512-640px로 해상도를 줄여야 합니다. 24GB GPU에서는 1024px에서 3개의 ControlNet을 편안하게 실행할 수 있습니다.

다중 ControlNet의 Strength 균형

여러 ControlNet을 사용할 때 결합된 영향이 생성을 과도하게 제한할 수 있습니다. 다음 strength 감소 지침을 따르세요:

ControlNet 개수	개별 Strength 감소	예시 Strength
1개 ControlNet	감소 없음	0.8
2개 ControlNet	15-20% 감소	0.65, 0.70
3개 ControlNet	25-35% 감소	0.50, 0.60, 0.55
4개 이상 ControlNet	35-45% 감소	0.45, 0.50, 0.50, 0.40

더 많은 ControlNet을 쌓을수록 생성 프로세스를 과도하게 제한하지 않도록 개별 strength를 더 많이 줄여야 합니다. 이 감소 없이는 모델이 모든 제약을 동시에 충족시키려고 애쓰는 흐릿한 출력이 나옵니다.

상세한 다중 ControlNet 구성은 15가지 다른 ControlNet 페어링 전략을 다루는 제 ControlNet 조합 가이드를 확인하세요.

처리 시간 영향

다중 ControlNet은 처리 시간을 하위 선형적으로 증가시킵니다 (예상보다 나쁘지 않음):

• 단일 Depth ControlNet: 기준선 (1.0x)
• Depth + Canny: 1.2x 기준선
• Depth + Pose: 1.25x 기준선
• Depth + Canny + Pose: 1.4x 기준선

처리 오버헤드는 각 ControlNet으로 개별적으로 별도의 생성을 실행하는 것보다 훨씬 작아서 복잡한 요구사항에 대해 다중 ControlNet 접근 방식을 매우 효율적으로 만듭니다.

일반적인 Depth ControlNet 문제 해결

수백 번의 depth 기반 생성 후, 저는 가능한 모든 문제를 겪었습니다. 다음은 정확한 해결책이 있는 가장 일반적인 문제입니다.

문제: 생성된 이미지가 depth map을 완전히 무시

이미지는 잘 생성되지만 참조 구도와 아무런 관계를 보이지 않습니다.

일반적인 원인 및 수정:

1. 잘못된 ControlNet 모델 로드: depth 전용 ControlNet 모델을 로드했는지 확인하고 Canny나 Pose가 아닌지 확인하세요. 모델 파일 이름에 "depth"가 포함되어 있는지 확인하세요.
2. ControlNet strength가 너무 낮음: strength를 0.7-0.9로 증가시키세요. 0.3 미만에서는 depth 영향이 무시할 수 있게 됩니다.
3. 모델/ControlNet 불일치: SD1.5 depth ControlNet은 SD1.5 checkpoint와만 작동합니다. SDXL depth는 SDXL과만 작동합니다. 기본 checkpoint가 ControlNet 모델 유형과 일치하는지 확인하세요.
4. Conditioning이 연결되지 않음: Apply ControlNet 출력이 KSampler의 positive conditioning 입력에 연결되어 있는지 확인하세요. negative에 연결되면 반전된 효과가 있습니다.

문제: Depth map이 잘못 보이거나 반전됨

생성된 depth map은 더 가까운 물체를 더 밝게 (멀리) 표시하거나 깊이 관계가 명확히 잘못되었습니다.

수정: 대부분의 depth preprocessor는 가까운=어두운, 먼=밝은을 출력합니다. depth map이 반전된 것으로 보이면 depth preprocessor 다음에 Invert Image 노드를 추가하세요:

깊이 반전 워크플로우:

1. MiDaS Depth Map → Invert Image → Apply ControlNet

일부 ControlNet 모델은 반전된 depth map (밝은=가까운)을 기대합니다. 생성이 일관되게 배경을 전경에 배치하면 depth map을 반전시켜 보세요.

문제: 구도가 너무 느슨하게 일치, 과도한 변형

생성된 이미지는 어렴풋이 비슷한 구도를 가지지만 프로덕션 요구에 충분히 정확하게 일치하지 않습니다.

수정:

1. ControlNet strength 증가 0.6에서 0.8-0.9로
2. MiDaS에서 Zoe로 전환 더 정확한 깊이 경계를 위해
3. CFG 감소 8-9에서 6-7로 (더 낮은 CFG는 프롬프트 대비 ControlNet 영향을 증가)
4. Depth map 해상도 증가 더 상세한 구도 데이터를 위해 1024+로
5. 다층 depth 스택킹 사용 주요 피사체 위치를 우선시하기 위해 더 높은 전경 strength (0.9)로

문제: 생성된 이미지가 너무 경직됨, 추적한 사본처럼 보임

구도는 완벽하게 일치하지만 이미지가 자연스럽게 생성되기보다는 부자연스럽거나 추적된 것처럼 보입니다.

수정:

1. ControlNet strength 감소 0.9에서 0.6-0.7로
2. end_percent 감소 0.8 또는 0.7로 (최종 디테일 렌더링 중 ControlNet 영향 해제)
3. CFG 증가 9-10으로 (프롬프트 창의성 강화)
4. 프롬프트에 변형 추가 문자 그대로의 콘텐츠 설명보다는 더 많은 양식적 설명자로

문제: Depth ControlNet으로 CUDA 메모리 부족

Depth ControlNet을 적용할 때 생성이 OOM 오류로 실패합니다.

우선순위 순서대로 수정:

1. 생성 해상도 감소: 1024 → 768 → 512
2. Depth map 해상도 감소: 생성 해상도와 일치하거나 낮게
3. 모델 오프로딩 활성화: 많은 커스텀 노드에 ControlNet 모델에 대한 CPU 오프로드 옵션이 있음
4. 다른 GPU 애플리케이션 닫기: 브라우저, 다른 AI 도구, 게임 모두 VRAM 소비
5. FP16 정밀도 사용: checkpoint와 ControlNet 모델이 FP32가 아닌 FP16인지 확인

문제: Depth 경계를 따라 아티팩트 또는 왜곡

생성이 다른 깊이의 물체가 만나는 곳에서 이상한 아티팩트나 왜곡을 보여줍니다.

일반적인 원인:

1. Depth map 아티팩트: Depth preprocessor가 오류를 도입했습니다. MiDaS에서 Zoe로 또는 그 반대로 전환해 보세요.
2. Tile_overlap이 너무 낮음 (타일 처리를 사용하는 경우): Overlap을 증가시키세요.
3. 충돌하는 ControlNet: 여러 ControlNet을 사용하는 경우 경계에서 모순될 수 있습니다. 한 ControlNet의 strength를 감소시키세요.
4. 참조 이미지 압축 아티팩트: 참조에 심한 JPEG 압축이 있으면 depth map이 압축 블록을 선택할 수 있습니다. 더 높은 품질의 참조 이미지를 사용하세요.

문제: Depth ControlNet이 작동하지만 처리가 매우 느림

생성이 올바르게 완료되지만 예상보다 3-4배 오래 걸립니다.

원인 및 수정:

1. Depth map 해상도가 너무 높음: 1024px 생성에 2048px depth map을 사용하는 경우 생성 해상도와 일치하도록 depth map을 줄이세요. 추가 해상도는 아무런 이점을 제공하지 않습니다.
2. 여러 depth estimator가 실행 중: 여러 depth preprocessor를 실수로 직렬로 실행하지 않는지 확인하세요. 하나의 depth map으로 충분합니다.
3. 불필요하게 CPU 오프로딩 활성화: 충분한 VRAM이 있는 GPU에서 CPU 오프로딩은 실제로 처리를 느리게 합니다. 충분한 VRAM이 있으면 비활성화하세요.
4. 느린 depth preprocessor: LeReS는 MiDaS보다 3-4배 느립니다. LeReS 기능이 특별히 필요하지 않으면 MiDaS나 Zoe로 전환하세요.

문제: 배치 생성에서 일관되지 않은 결과

동일한 depth map과 유사한 프롬프트를 사용해도 구도 일치가 크게 다릅니다.

수정: 무작위 시드 대신 시드를 고정하세요. Depth ControlNet은 구도 안내를 제공하지만 시드 무작위성은 여전히 상당한 변형을 생성할 수 있습니다. 배치 간에 일관된 결과를 얻으려면 무작위 시드 대신 고정 시드 또는 순차적 시드 (seed, seed+1, seed+2 등)를 사용하세요.

최종 생각

Depth ControlNet은 AI 이미지 생성에서 구도 제어에 접근하는 방식을 근본적으로 변경합니다. 프롬프트가 올바른 공간 레이아웃을 생성하기를 바라는 대신, 스타일, 피사체 및 디테일에 대한 창의적 자유를 유지하면서 공간 관계를 직접 지정합니다.

실용적인 응용 프로그램은 단순한 자세 전송을 훨씬 뛰어넘습니다. 변형에서 일관된 레이아웃을 가진 제품 사진, 정확한 공간 구도를 가진 건축 시각화, 특정 구도 템플릿과 일치하는 편집 일러스트레이션, 특정 피사체 정체성보다 공간 관계가 중요한 모든 시나리오는 depth 기반 구도 제어의 이점을 얻습니다.

워크플로우는 프롬프트만 있는 생성보다 더 많은 설정이 필요하지만 (depth map 생성, 매개변수 조정, strength 관계 이해), 보상은 전문 클라이언트 작업에 적합한 일관되고 제어 가능한 결과입니다. 클라이언트에게 "이 정확한 구도를 일치시키겠습니다"라고 자신 있게 약속하고 실제로 그 약속을 이행할 수 있습니다.

대량의 구도 일치 콘텐츠를 처리하는 프로덕션 환경의 경우, depth map 재사용, 매개변수 템플릿 및 배치 생성 워크플로우의 조합은 이 접근 방식을 실제 상업 타임라인에 충분히 효율적으로 만듭니다.

로컬로 설정하든 Apatero.com을 사용하든 (모든 depth ControlNet 모델, preprocessor 및 다중 ControlNet 템플릿이 사전 구성됨), depth 기반 구도 제어를 워크플로우에 추가하면 출력이 "이것은 비슷해 보입니다"에서 "이것은 정확히 일치합니다" 품질로 이동합니다. 그 정밀도는 아마추어 AI 생성과 전문 프로덕션 작업을 구분하는 것입니다.

이 가이드의 기술은 기본 단일 depth 워크플로우에서 고급 다층 스택킹 및 다중 ControlNet 조합까지 모든 것을 다룹니다. depth 안내가 어떻게 작동하는지 이해하기 위해 기본 워크플로우로 시작한 다음 프로젝트에서 더 많은 제어가 필요할 때 점진적으로 복잡성 (다층, 스타일 보존, 다중 ControlNet)을 추가하세요. 각 기술은 이전 기술을 기반으로 구축되어 발생하는 모든 구도 전송 시나리오에 대한 완전한 도구 키트를 제공합니다.