ComfyUI中的Depth ControlNet姿态转移：完整指南2025

我花了两个月时间测试 ComfyUI 中所有可用的姿态转移方法,Depth ControlNet 在复杂构图上始终能产生最可靠的结果。OpenPose 在人体姿态上表现出色,但当你需要建筑构图、物体排列或非人类主体时就完全失效了。Depth ControlNet 可以处理所有这些情况,因为它保留的是空间关系而不是骨架结构。

在本指南中,你将获得完整的 Depth ControlNet 姿态和构图转移工作流,包括深度图生成技术、多层深度堆叠、风格保留方法,以及用于客户工作的生产工作流,确保构图完全匹配。

为什么 Depth ControlNet 在构图转移上优于 OpenPose

大多数关于 ComfyUI 姿态转移的指南都专注于 OpenPose,它检测人体骨骼关键点并将其转移到生成的图像中。这在人体姿态之间转移时非常完美,但对于 80% 的实际构图转移需求来说毫无用处。

Depth ControlNet 的工作原理根本不同。它不是检测关节或边缘等特定特征,而是创建一个深度图,显示每个像素距离相机的距离。这些深度信息引导生成过程匹配空间构图,而不限制风格、主体或具体细节。

这里有一个实际例子。你有一张参考照片,照片中有人坐在桌前使用笔记本电脑,背后有书架,左侧有窗户。使用 OpenPose,你可以转移人的坐姿,但会失去桌子、书架和窗户之间的所有空间关系。使用 Depth ControlNet,整个空间构图都会转移,生成的图像保持前景主体、中景桌子和背景书架的正确相对深度。

深度与姿态转移对比

• OpenPose: 人体姿态准确度 9.4/10,环境或非人类主体 0/10
• Canny Edge: 构图匹配度 7.2/10,失去深度感知
• Depth ControlNet: 构图匹配度 8.8/10,适用于任何主体或环境
• 处理开销: Depth 比基础生成增加 20-30% 的计算量

深度方法在以下场景中表现出色:

室内空间: 转移房间布局、家具排列、前景和背景元素之间的空间深度关系。OpenPose 无法检测家具位置,但 Depth ControlNet 可以捕获整个空间结构。

产品摄影: 保持特定的物体位置、多个产品的分层、物品之间的距离关系。对于需要在变体之间保持完全相同构图的一致产品目录至关重要。

建筑拍摄: 建筑立面、室内建筑细节、透视关系。这些场景中没有人体姿态供 OpenPose 检测,但 Depth ControlNet 可以完美捕获空间结构。

复杂角色场景: 当你既需要角色姿态又需要环境构图时。将 OpenPose 用于角色,Depth ControlNet 用于环境,可以让你对两者都有精确控制。关于完整的角色头部替换工作流,请参阅我们的换头指南。

我在电商产品摄影上进行了广泛测试。从三个产品在特定深度排列的参考照片开始,我使用不同风格和光照生成了 50 个变体,同时保持准确的空间构图。Depth ControlNet 产生了 47/50 张具有正确深度关系的图像。OpenPose 产生了 0/50 张可用结果,因为它根本无法检测产品位置。

如果你专门处理人体姿态转移,请查看我的 Video ControlNet 指南,其中介绍了何时在视频生成中使用 Pose 还是 Depth。

在 ComfyUI 中安装 Depth ControlNet

Depth ControlNet 需要核心的 ComfyUI-ControlNet-Preprocessors 节点包和深度专用的 ControlNet 模型。安装大约需要 10 分钟,按照以下确切步骤操作。

首先,安装包含深度图生成的 ControlNet 预处理器:

安装步骤:

1. 导航到ComfyUI自定义节点目录: cd ComfyUI/custom_nodes
2. 克隆ControlNet Aux仓库: git clone https://github.com/Fannovel16/comfyui_controlnet_aux.git
3. 进入仓库目录: cd comfyui_controlnet_aux
4. 安装所需依赖: pip install -r requirements.txt

这个包包含 MiDaS 和 Zoe 深度估计器,它们从常规图像生成深度图。没有这些预处理器,你就无法从参考图像创建深度图。

接下来,下载 Depth ControlNet 模型。SD1.5、SDXL 和 Flux 有不同的模型:

对于 SD 1.5:

• 导航到ControlNet模型目录: cd ComfyUI/models/controlnet
• 下载SD1.5深度模型: wget https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11f1p_sd15_depth.pth

对于 SDXL:

• 下载SDXL深度模型: wget https://huggingface.co/diffusers/controlnet-depth-sdxl-1.0/resolve/main/diffusion_pytorch_model.safetensors -O control_depth_sdxl.safetensors

对于 Flux (如果可用,Flux ControlNet 支持较新):

• 下载Flux深度模型: wget https://huggingface.co/XLabs-AI/flux-controlnet-collections/resolve/main/flux-depth-controlnet.safetensors

SD1.5 模型是 1.45GB,SDXL 模型是 2.5GB,Flux 模型是 3.4GB。根据你使用的基础模型选择。

模型兼容性要求

Depth ControlNet 模型是基础模型专用的。SD1.5 深度模型只能与 SD1.5 checkpoint 配合使用。SDXL 深度模型只能与 SDXL checkpoint 配合使用。加载错误的组合会产生错误或完全忽略 ControlNet 条件。

下载模型后,完全重启 ComfyUI。在节点菜单中搜索"depth"以验证安装。你应该看到以下节点:

• MiDaS Depth Map
• Zoe Depth Map
• Load ControlNet Model
• Apply ControlNet

如果这些节点没有出现,检查你的 custom_nodes/comfyui_controlnet_aux 目录是否存在并包含 Python 文件。如果目录为空,说明 git clone 失败,你需要在稳定的网络连接下重试。

对于每天处理多个基于深度的构图的生产工作,Apatero.com 预装了所有 ControlNet 模型,并根据你的基础 checkpoint 自动选择模型。该平台自动处理所有依赖管理和模型兼容性。

基础 Depth ControlNet 工作流

基本的基于深度的构图转移工作流遵循以下结构:加载参考图像,生成深度图,应用 ControlNet 条件,使用你的提示词生成。以下是完整设置。

你需要这些节点:

1. Load Image - 你的构图参考图像
2. MiDaS Depth Map 或 Zoe Depth Map - 生成深度图
3. Load Checkpoint - 你的基础模型 (SD1.5、SDXL 或 Flux)
4. Load ControlNet Model - Depth ControlNet 模型
5. Apply ControlNet - 应用深度条件
6. CLIP Text Encode (Prompt) - 你的正面提示词
7. CLIP Text Encode (Prompt) - 你的负面提示词
8. KSampler - 生成采样
9. VAE Decode - 将潜空间解码为图像
10. Save Image - 保存结果

像这样连接它们:

基本Depth ControlNet工作流程:

1. Load Image → MiDaS Depth Map → depth_map output
2. Load Checkpoint → model, clip, vae outputs
3. Load ControlNet Model → controlnet output
4. Apply ControlNet (接收model, controlnet, depth_map)
5. CLIP Text Encode (正面和负面提示词)
6. KSampler → VAE Decode → Save Image

让我们正确配置每个节点。在 Load Image 中,浏览到你的参考图像。这应该是一张具有你想要转移的构图的照片或图像。图像可以是任何尺寸,但我建议最长边为 1024-2048px 以获得最佳深度图质量。

对于深度图生成器,你有两个主要选项:

MiDaS Depth Map:

• a: 分辨率倍数 (1.0 为原始尺寸,0.5 为半尺寸)
• bg_threshold: 0.1 (去除背景噪声)
• 使用 MiDaS 处理室内场景、肖像、中距离深度

Zoe Depth Map:

• resolution: 512 或 1024 (深度图输出分辨率)
• 使用 Zoe 处理户外场景、长距离深度、更高精度

Zoe 产生更准确的深度图,但速度慢 40%。在生产工作中,我使用 Zoe 处理主要镜头,使用 MiDaS 进行迭代测试。

在 Load ControlNet Model 中,选择你的深度模型:

• 对于 SD1.5: control_v11f1p_sd15_depth.pth
• 对于 SDXL: control_depth_sdxl.safetensors
• 对于 Flux: flux-depth-controlnet.safetensors

Apply ControlNet 节点有关键参数:

strength: 深度图对生成的影响强度

• 0.3-0.4: 微妙的深度引导,允许显著变化
• 0.5-0.6: 平衡的深度影响,大多数工作的标准值
• 0.7-0.8: 强深度控制,紧密的构图匹配
• 0.9-1.0: 最大深度遵循,几乎完全匹配构图

start_percent: ControlNet 在去噪过程中开始影响生成的时间

• 0.0: 从一开始就影响 (标准)
• 0.1-0.2: 让初始生成形成后再应用深度
• 0.3+: 最小深度影响,主要用于微妙调整

end_percent: ControlNet 停止影响生成的时间

• 1.0: 在整个生成过程中影响 (标准)
• 0.8-0.9: 在最终细节精化期间释放控制
• 0.7 或更低: 只影响早期构图,不影响最终细节

强度与提示词平衡

更高的 ControlNet 强度会降低文本提示词的影响。在强度 1.0 时,提示词主要控制风格和主体,而构图几乎完全由深度图决定。在强度 0.3 时,提示词有更多创作自由,深度图提供温和的构图指导。

对于你的 CLIP Text Encode 提示词,详细描述你想要的内容,同时让深度图处理构图。不要在提示词中指定空间关系(深度图会自动处理)。

带桌面场景的肖像示例提示词:

• 正面: "professional portrait, business attire, modern office, natural lighting, bokeh background, sharp focus, 8k"
• 负面: "blurry, distorted, low quality, bad anatomy, worst quality"

注意提示词没有指定"坐在桌前"或"背景中的书架",因为深度图已经编码了这些空间关系。

使用这些设置配置 KSampler:

• steps: 20-25 (标准质量)
• cfg: 7-8 (平衡的提示词遵循)
• sampler_name: dpmpp_2m (最佳质量/速度平衡)
• scheduler: karras (平滑采样)
• denoise: 1.0 (完全生成,不是 img2img)

运行工作流并将生成的图像与参考深度图进行比较。空间构图应该紧密匹配,而风格、主体和细节遵循你的提示词。

对于无需本地设置的快速实验,Apatero.com 提供预构建的深度转移工作流,你可以上传参考图像并立即使用不同提示词生成变体,同时保持准确的构图。

深度图生成技术

深度图的质量直接决定构图转移的准确性。不同的深度估计器产生不同的特性,了解何时使用每一个对生产工作很重要。

MiDaS (Depth Anything 变体) 是 ComfyUI 中最常用的深度估计器。它产生相对深度图,其中较暗的值表示较近的物体,较亮的值表示较远的物体。

MiDaS 特性:

• 优点: 处理速度快 (每张图像 0.8-1.2 秒),非常适合室内场景,很好地处理遮挡,在复杂的中距离深度上表现出色
• 缺点: 在极端距离上不太准确,可能模糊物体之间的深度边界,在天空/背景分离上有困难
• 最适合: 肖像、室内空间、产品摄影、深度范围为 5-30 英尺的场景

Zoe Depth (Zoe-DepthAnything) 产生更准确的绝对深度图,在不同深度物体之间具有更好的边界定义。

Zoe 特性:

• 优点: 卓越的深度精度,清晰的物体边界,非常适合户外场景,更好的长距离深度估计
• 缺点: 处理速度较慢 (每张图像 1.4-2.1 秒),偶尔过度分割深度层
• 最适合: 风景、建筑外观、户外场景、需要在多个距离范围内精确深度的任何场景

LeReS Depth (不太常见,但在某些预处理器包中可用) 产生针对具有多个重叠主体的复杂深度关系优化的深度图。

LeReS 特性:

• 优点: 非常适合有多个主体在不同深度的拥挤场景,比 MiDaS 更好地处理部分遮挡
• 缺点: 显著较慢 (每张图像 3-4 秒),有时会在简单场景中引入深度伪影
• 最适合: 团体照、拥挤环境、复杂的重叠构图

以下是如何为你的用例选择正确的深度估计器:

用例	最佳估计器	强度设置	原因
肖像 (单个主体)	MiDaS	0.6-0.7	快速,适合人体深度
室内房间	MiDaS	0.7-0.8	很好地处理家具深度
产品 (1-3 件)	Zoe	0.8-0.9	产品之间的清晰边界
风景/户外	Zoe	0.5-0.6	准确的长距离
建筑外观	Zoe	0.6-0.7	清晰的建筑边缘
团体照 (3+ 人)	LeReS	0.7-0.8	处理重叠主体
拥挤场景	LeReS	0.6-0.7	复杂的多层深度

你还可以链接多个深度估计器以获得增强的结果。在同一个参考图像上运行 MiDaS 和 Zoe,然后使用 Image Blend 节点混合深度图:

多深度混合工作流程:

1. Reference Image → MiDaS Depth → depth_map_1
2. Reference Image → Zoe Depth → depth_map_2
3. Image Blend (0.5 mix) → blended_depth_map
4. Apply ControlNet (使用blended_depth_map)

这种混合方法结合了 MiDaS 良好的中距离深度和 Zoe 准确的边界,为复杂场景产生卓越的结果。处理时间翻倍(你运行两个深度估计器),但对于主要镜头来说,质量改进通常是值得的。

深度图分辨率考虑

更高分辨率的深度图 (1024+) 提供更多细节,但在 ControlNet 应用期间使用显著更多的 VRAM。在 12GB GPU 上,将深度图限制在最长边 768px。在 24GB+ GPU 上,你可以达到 1536px 以获得最大构图精度。

对于需要生成数十个变体的迭代客户工作,我建议使用 Zoe 一次性生成高质量深度图,保存它,然后在所有生成迭代中重用该深度图。这每次生成节省 1.5-2 秒,在 50-100 次迭代中累积起来非常可观。对于使用深度图的角色旋转工作流,请参阅我们的 360 动漫旋转指南。

如果你不想手动管理深度图生成,Apatero.com 会根据你的参考图像特性自动选择最佳深度估计器,并缓存深度图以在多个生成变体中重用。

复杂构图的多层深度堆叠

单深度 ControlNet 对于简单构图很有效,但具有明确前景、中景和背景元素的复杂场景受益于多层深度堆叠。这种技术将不同的深度图应用于构图的不同层。对于基于文本提示的区域控制(分层构图的替代方法),请参阅我们的区域提示词指南。

概念简单但强大。不是为整个图像使用一个深度图,而是为前景、中景和背景创建单独的深度图,然后在生成过程中以不同的强度和时间应用它们。

这里有一个实际例子。你正在生成一个室内场景,前景有一个人 (5 英尺),中景有一张桌子 (8 英尺),背景有一个书架 (12 英尺)。单深度 ControlNet 捕获了这一点,但对所有三层给予相同的权重。多层堆叠让你优先考虑前景主体精度,同时允许背景有更多变化。

工作流结构依次使用多个 Apply ControlNet 节点:

多层深度控制工作流程:

1. Load Reference Image → Segment by Depth (自定义节点或手动遮罩)
2. Foreground Mask → Foreground Depth Map
3. Midground Mask → Midground Depth Map
4. Background Mask → Background Depth Map
5. Load Checkpoint → model output
6. Load ControlNet (Depth) → controlnet output
7. Apply ControlNet (foreground depth, strength 0.9, start 0.0, end 1.0)
8. Apply ControlNet (midground depth, strength 0.7, start 0.0, end 0.9)
9. Apply ControlNet (background depth, strength 0.4, start 0.0, end 0.7)
10. KSampler 来自所有三层的条件

让我分解每层的工作原理:

前景层 (最近的物体,通常是主要主体):

• 强度: 0.8-0.9 (最高精度)
• 开始: 0.0 (从一开始就影响)
• 结束: 1.0 (始终保持影响)
• 目的: 确保主要主体完全匹配参考构图

中景层 (中间深度物体):

• 强度: 0.6-0.7 (平衡影响)
• 开始: 0.0
• 结束: 0.8-0.9 (在最终精化期间释放)
• 目的: 保持空间关系而不过度约束细节

背景层 (远处物体、墙壁、天空):

• 强度: 0.3-0.5 (微妙引导)
• 开始: 0.0 或 0.1
• 结束: 0.6-0.7 (提前释放以获得创作自由)
• 目的: 提供总体深度结构,同时允许风格变化

关键的洞察是 end_percent 差异允许后续层在最终细节渲染期间具有创作自由,而早期层在整个过程中保持约束。

层强度关系

始终保持前景 > 中景 > 背景的强度关系。如果背景强度超过前景,生成过程会对空间重要性感到困惑,通常会产生深度反转,背景元素出现在前景主体前面。

按深度分割参考图像需要自动基于深度的分割或手动遮罩。对于自动分割,你可以使用深度图本身作为指导:

1. 使用 Zoe 生成完整深度图
2. 使用 Threshold 节点创建前景遮罩 (最暗的 30% 深度)
3. 使用 Threshold 节点创建中景遮罩 (中间 40% 深度)
4. 使用 Threshold 节点创建背景遮罩 (最亮的 30% 深度)
5. 将每个遮罩应用于原始深度图以隔离特定层的深度

对于手动遮罩(更精确但更慢),使用 ComfyUI 的遮罩编辑器手绘前景、中景和背景区域,然后将这些遮罩应用于你的深度图。对于结合基于深度的分割与基于提示词的区域控制的高级遮罩工作流,请参阅我们的基于遮罩的区域提示词指南。

我在电商产品摄影上广泛测试了这种多层方法,前景产品必须完美定位,而背景可以变化。强度 0.8 的单深度 ControlNet 产生了 68% 的可用结果 (32% 有构图偏移)。前景 0.9、中景 0.6、背景 0.3 的多层堆叠产生了 94% 的可用结果,前景控制严格,背景变化宜人。

处理开销最小(比单深度 ControlNet 慢 3-5%),因为你是将多个 ControlNet 条件应用于同一生成过程,而不是运行多次生成。

对于需要这种级别控制的复杂商业工作,Apatero.com 提供预构建的多层深度模板,你可以上传参考并自动获得带有优化参数的三层深度堆叠。

转移构图时保留风格

Depth ControlNet 的一个挑战是,当深度图来自具有不同美学特征的参考照片时,保持你想要的风格。你想要构图但不想要摄影外观,特别是在生成插图、概念艺术或风格化内容时。

解决方案包括平衡 ControlNet 强度与特定风格的提示词,有时还会将 IPAdapter 用于风格参考,同时将 Depth ControlNet 用于构图参考。

技术 1: 降低强度配合强风格提示词

将你的 Depth ControlNet 强度降低到 0.4-0.5(而不是 0.7-0.8),并在提示词中使用非常详细的风格描述。

示例工作流:

• 参考图像: 人坐在桌前的真实照片
• 期望输出: 相同构图的动漫插图
• 深度强度: 0.45
• 正面提示词: "anime illustration, cel shading, vibrant colors, Studio Ghibli style, clean linework, hand-drawn aesthetic, professional anime art, detailed character design, modern anime aesthetic"
• CFG: 9-10 (更高的 CFG 加强提示词遵循)

较低的深度强度让风格提示词占主导地位,而深度图提供温和的构图指导。当你的目标风格与参考照片显著不同时,这种方法效果很好。

技术 2: IPAdapter + Depth ControlNet 组合

将 Depth ControlNet 用于构图,IPAdapter 用于风格参考。这让你可以独立精确控制两个方面。

工作流结构: 风格转移工作流程:

1. Reference Image (构图) → Depth Map → Depth ControlNet (strength 0.7)
2. Style Reference Image → IPAdapter (weight 0.6) → Combined conditioning
3. KSampler → Output

深度图处理空间构图,而 IPAdapter 从单独的参考图像强制执行风格特征。我在客户工作中广泛使用这种方法,他们提供构图参考但希望输出采用特定的艺术风格。

有关 IPAdapter + ControlNet 组合的更多细节,请参阅我的 IP-Adapter ControlNet 组合指南。

技术 3: 带构图锁定的分层生成

分两遍生成你的图像:第一遍使用强深度控制建立构图,第二遍使用高去噪的 img2img 应用风格,同时保持构图。

第一遍工作流:

• Depth ControlNet 强度: 0.9
• 通用提示词: "clean composition, good lighting, professional photography"
• 目的: 精确锁定构图

第二遍工作流(对第一遍输出进行 img2img):

• Depth ControlNet 强度: 0.3-0.4 (保持构图)
• 详细风格提示词: 你的实际风格要求
• 去噪: 0.6-0.7 (显著的风格转换)
• 目的: 应用所需风格,同时构图保持稳定

这种两遍方法给你最大控制,但处理时间翻倍。用于风格和构图都必须完美的最终交付物。

ControlNet + IPAdapter VRAM 要求

同时运行 Depth ControlNet 和 IPAdapter 会使 VRAM 使用量比单独使用 Depth ControlNet 增加 2-3GB。在 12GB GPU 上,将分辨率降低到 768px 或更低以避免 OOM 错误。在 24GB+ GPU 上,你可以舒适地在 1024px 下同时运行两者。

技术 4: 负面提示词风格抑制

如果你的深度参考有你想避免的强摄影特征,在负面提示词中积极列出它们。

从照片参考生成插图时的示例:

• 负面提示词: "photorealistic, photograph, photo, realistic lighting, camera lens, depth of field, bokeh, film grain, RAW photo, DSLR, professional photography"

这抑制了可能从深度图泄漏的摄影美学(深度图本质上携带一些风格信息,因为它们是从参考图像的内容中派生的)。

我在 40 个风格转移场景(照片参考到插图、绘画、3D 渲染等)上测试了这些技术。结果:

技术	风格准确度	构图准确度	处理时间	整体质量
降低强度 + 风格提示词	7.8/10	7.2/10	基准	7.5/10
IPAdapter + Depth 组合	9.2/10	8.9/10	+40%	9.0/10
分层生成	9.0/10	9.4/10	+100%	9.2/10
负面风格抑制	8.4/10	8.1/10	基准	8.2/10

对于生产工作,我默认使用 IPAdapter + Depth 组合,因为它提供了最佳的质量与速度比。分层生成保留用于处理时间不受限制的主要镜头。

客户构图匹配的生产工作流

获得客户批准的构图并一致生成需要系统化的工作流,以保证构图准确性,同时允许执行上的创意变化。以下是我的完整生产方法。

阶段 1: 参考准备和深度生成

首先准备你的参考图像并生成一个高质量的深度图,你将在所有迭代中重用它。

1. 加载客户参考图像(构图模板)
2. 以分辨率 1024 运行 Zoe Depth(重用的高质量)
3. 将深度图保存为 PNG 以供重用
4. 为所有后续生成加载保存的深度图

这种前置加载的深度生成每次生成迭代节省 1.5-2 秒。当你为客户评审生成 50-100 个变体时,这会节省大量时间。

深度图重用最佳实践

使用描述性文件名保存深度图,如"client-productshot-depth-1024.png",这样你可以快速识别和重用它们。为重复项目类型构建标准构图深度图库。

阶段 2: 快速迭代的参数测试

在生成最终交付物之前,运行快速测试以找到最佳参数。

测试矩阵(运行 4-6 次快速生成):

• 强度 0.5,CFG 7,步数 20
• 强度 0.7,CFG 7,步数 20
• 强度 0.9,CFG 7,步数 20
• 强度 0.7,CFG 9,步数 20
• 强度 0.7,CFG 7,步数 30

以 512px 生成(比 1024px 快 4 倍)以快速识别哪个参数组合最符合客户的构图要求。一旦找到最佳强度/CFG 组合,放大到完整分辨率以获得最终交付物。

阶段 3: 固定构图的批量生成

参数锁定后,生成多个风格/主体变体,同时构图保持一致。

批量工作流设置: 批量生产工作流程:

1. Load Saved Depth Map (所有变体重复使用)
2. Load ControlNet Model
3. Apply ControlNet (测试中的固定强度)
4. CLIP Text Encode 带有变体通配符
5. KSampler 固定种子以确保可重现性
6. Batch Save (顺序编号)

在提示词中使用通配符自动生成变体:

• "professional product photo, {lighting_type}, {background_style}, clean composition"
• lighting_type 通配符: "soft lighting | dramatic lighting | natural lighting | studio lighting"
• background_style 通配符: "minimal white | textured gray | gradient blue | bokeh blur"

这会生成 16 个变体 (4 种光照 × 4 种背景),构图相同但执行多样化,在保持批准的空间布局的同时为客户提供选项。

阶段 4: 客户评审和精化

以对比网格形式呈现输出,将参考构图与生成的变体并排显示。这使哪些生成准确匹配构图立即显而易见。

对于精化,使用相同的 depth ControlNet 对选定的生成进行 img2img 调整:

• 将批准的生成作为 img2img 基础加载
• 应用强度 0.4-0.5 的相同深度图(低于初始生成)
• 去噪 0.3-0.5(微妙调整)
• 针对所请求的特定更改的修改提示词

这在根据客户反馈进行有针对性的调整时保持构图。

阶段 5: 最终交付物准备

对于最终交付物,以最大分辨率和质量设置生成:

• 分辨率: 最低 1024px(打印用 1536-2048px)
• 步数: 35-40(最高质量)
• 采样器: dpmpp_2m 或 dpmpp_sde(最高质量)
• CFG: 测试阶段的最佳值
• 深度强度: 测试阶段的锁定值

如需要,使用图像放大工作流放大以在 4K+ 下最终交付。

生产时间线估计

对于典型的产品摄影项目(1 个参考构图,20 个变体,3 轮精化):

• 参考准备和深度生成: 5 分钟
• 参数测试: 8-12 分钟
• 批量生成(20 个变体): 15-25 分钟
• 客户评审: 30-60 分钟(外部)
• 精化: 10-15 分钟
• 总活动时间: 40-55 分钟

这种系统化方法在批准的构图结构内为客户提供创意选项的同时产生一致的结果。我在 100 多个客户项目中使用了这个工作流,首轮批准率为 92%(只有 8% 需要重大构图修订)。

对于处理大量构图匹配内容的代理商或工作室,Apatero.com 提供团队协作功能,你可以将深度图和参数保存为项目模板,让团队成员无需重做参数测试即可生成一致的变体。

高级技术: Depth + 多个 ControlNet

将 Depth ControlNet 与其他 ControlNet 类型结合使用可以对生成的不同方面进行细粒度控制。这种多 ControlNet 方法对于需要精确构图和特定风格元素的复杂商业工作至关重要。

Depth + Canny Edge 组合

Depth 处理整体空间构图,而 Canny 为特定细节添加锐利的边缘定义。

用例: 产品摄影,你既需要正确的空间定位(深度)又需要精确的产品边缘定义(canny)。

工作流结构: 多ControlNet工作流程:

1. Reference Image → Depth Map (Zoe) → Depth ControlNet (strength 0.7)
2. Reference Image → Canny Edge Map → Canny ControlNet (strength 0.5)
3. Combined conditioning → KSampler

参数关系:

• Depth 强度 > Canny 强度(深度提供主要结构)
• Depth end_percent: 1.0(始终保持)
• Canny end_percent: 0.8(提前释放以获得更柔和的最终细节)

这种组合比单独使用 Depth 产生好 30% 的边缘定义,同时保持准确的空间构图。对于边缘锐度对清晰裁剪和专业呈现很重要的产品目录至关重要。

Depth + OpenPose 组合

Depth 处理环境构图,而 OpenPose 确保精确的人体姿态控制。

用例: 角色肖像,你既需要特定的环境构图又需要特定的角色姿态。

工作流结构: 环境+姿态工作流程:

1. Environment Reference → Depth Map → Depth ControlNet (strength 0.6)
2. Pose Reference → OpenPose Detection → Pose ControlNet (strength 0.8)
3. Combined conditioning → KSampler

参数关系:

• Pose 强度 > Depth 强度(角色姿态是主要焦点)
• Depth start_percent: 0.0(从开始建立环境)
• Pose start_percent: 0.0(从开始建立姿态)
• 两者 end_percent: 1.0(始终保持)

这种组合对于一致的角色生成非常强大。环境深度提供场景构图,而 OpenPose 精确锁定角色定位和姿势。我在以角色为重点的商业工作中广泛使用这种方法,姿态和环境都必须精确符合客户规范。

Depth + Line Art 组合

Depth 提供构图,而 Line Art 添加风格化的线条结构。

用例: 插图或概念艺术,你希望将照片构图转移到具有特定线条特征的插图风格。

工作流结构: 照片到插画工作流程:

1. Photo Reference → Depth Map → Depth ControlNet (strength 0.5)
2. Style Reference → Line Art Extraction → LineArt ControlNet (strength 0.7)
3. Combined conditioning 带有插画提示词

深度图从照片转移空间构图,而 line art ControlNet 强制执行插图线条风格,防止输出看起来像照片写实。

多 ControlNet VRAM 影响

每个额外的 ControlNet 增加 1.5-2.5GB VRAM 使用量。在 12GB GPU 上同时使用三个 ControlNet 需要将分辨率降低到 512-640px。在 24GB GPU 上,你可以舒适地在 1024px 下运行三个 ControlNet。

多个 ControlNet 的强度平衡

使用多个 ControlNet 时,它们的综合影响可能会过度约束生成。遵循以下强度降低指南:

ControlNet 数量	单个强度降低	示例强度
1 个 ControlNet	无降低	0.8
2 个 ControlNet	降低 15-20%	0.65, 0.70
3 个 ControlNet	降低 25-35%	0.50, 0.60, 0.55
4+ 个 ControlNet	降低 35-45%	0.45, 0.50, 0.50, 0.40

堆叠的 ControlNet 越多,你就越需要降低单个强度以避免过度约束生成过程。如果不进行这种降低,你会得到模糊的输出,模型难以同时满足所有约束。

有关详细的多 ControlNet 配置,请查看我的 ControlNet 组合指南,其中涵盖了 15 种不同的 ControlNet 配对策略。

处理时间影响

多个 ControlNet 亚线性增加处理时间(不像你想象的那么糟):

• 单个 Depth ControlNet: 基准 (1.0x)
• Depth + Canny: 1.2x 基准
• Depth + Pose: 1.25x 基准
• Depth + Canny + Pose: 1.4x 基准

处理开销远小于分别使用每个 ControlNet 运行单独生成,使多 ControlNet 方法对于复杂要求非常高效。

排除常见 Depth ControlNet 问题

经过数百次基于深度的生成后,我遇到了所有可能的问题。以下是最常见的问题及确切解决方案。

问题: 生成的图像完全忽略深度图

图像生成良好,但与参考构图没有任何关系。

常见原因和修复:

1. 加载了错误的 ControlNet 模型: 验证你加载了深度专用的 ControlNet 模型,而不是 Canny 或 Pose。检查模型文件名包含"depth"。
2. ControlNet 强度太低: 将强度增加到 0.7-0.9。低于 0.3 时,深度影响变得微不足道。
3. 模型/ControlNet 不匹配: SD1.5 深度 ControlNet 只能与 SD1.5 checkpoint 配合使用。SDXL 深度只能与 SDXL 配合使用。验证你的基础 checkpoint 与你的 ControlNet 模型类型匹配。
4. 条件未连接: 验证 Apply ControlNet 输出连接到 KSampler 的正面条件输入。如果连接到负面,它将产生相反的效果。

问题: 深度图看起来错误或反转

生成的深度图显示较近的物体为较亮(远)而不是较暗(近),或深度关系明显不正确。

修复: 大多数深度预处理器输出较近=较暗,较远=较亮。如果你的深度图看起来反转,在深度预处理器后添加 Invert Image 节点:

深度反转工作流程:

1. MiDaS Depth Map → Invert Image → Apply ControlNet

某些 ControlNet 模型期望反转的深度图(较亮=较近)。如果你的生成一致地将背景放在前景,尝试反转深度图。

问题: 构图匹配过于松散,变化过大

生成的图像具有模糊相似的构图,但对于生产需求不够精确匹配。

修复:

1. 增加 ControlNet 强度从 0.6 到 0.8-0.9
2. 从 MiDaS 切换到 Zoe以获得更准确的深度边界
3. 降低 CFG从 8-9 到 6-7(较低的 CFG 相对于提示词增加 ControlNet 影响)
4. 增加深度图分辨率到 1024+ 以获得更详细的构图数据
5. 使用多层深度堆叠,前景强度更高 (0.9) 以优先考虑主要主体定位

问题: 生成的图像过于僵硬,看起来像描摹副本

构图完美匹配,但图像看起来不自然或被描摹,而不是自然生成。

修复:

1. 降低 ControlNet 强度从 0.9 到 0.6-0.7
2. 降低 end_percent到 0.8 或 0.7(在最终细节渲染期间释放 ControlNet 影响)
3. 增加 CFG到 9-10(加强提示词创造力)
4. 在提示词中添加变化,使用更多风格描述符而不是字面内容描述

问题: 使用 Depth ControlNet 时 CUDA 内存不足

应用 depth ControlNet 时生成失败并出现 OOM 错误。

按优先级顺序修复:

1. 降低生成分辨率: 1024 → 768 → 512
2. 降低深度图分辨率: 匹配或低于生成分辨率
3. 启用模型卸载: 许多自定义节点具有 ControlNet 模型的 CPU 卸载选项
4. 关闭其他 GPU 应用程序: 浏览器、其他 AI 工具、游戏都会消耗 VRAM
5. 使用 FP16 精度: 确保你的 checkpoint 和 ControlNet 模型是 FP16,而不是 FP32

问题: 深度边界处的伪影或失真

生成在不同深度物体相交处显示奇怪的伪影或失真。

常见原因:

1. 深度图伪影: 深度预处理器引入了错误。尝试从 MiDaS 切换到 Zoe 或反之。
2. Tile_overlap 太低(如果使用平铺处理): 增加重叠。
3. 冲突的 ControlNet: 如果使用多个 ControlNet,它们可能在边界处产生矛盾。降低一个 ControlNet 的强度。
4. 参考图像压缩伪影: 如果你的参考有严重的 JPEG 压缩,深度图可能会拾取压缩块。使用更高质量的参考图像。

问题: Depth ControlNet 工作但处理速度极慢

生成正确完成,但耗时比预期长 3-4 倍。

原因和修复:

1. 深度图分辨率太高: 如果在 1024px 生成上使用 2048px 深度图,将深度图降低到匹配生成分辨率。额外的分辨率没有任何好处。
2. 运行多个深度估计器: 确保你没有意外地串联运行多个深度预处理器。一个深度图就足够了。
3. 不必要地启用了 CPU 卸载: 在具有足够 VRAM 的 GPU 上,CPU 卸载实际上会减慢处理速度。如果你有足够的 VRAM,请禁用。
4. 慢速深度预处理器: LeReS 比 MiDaS 慢 3-4 倍。除非你特别需要 LeReS 功能,否则切换到 MiDaS 或 Zoe。

问题: 批量生成之间结果不一致

使用相同的深度图和类似的提示词产生了构图匹配差异很大的结果。

修复: 锁定你的种子而不是使用随机种子。Depth ControlNet 提供构图指导,但种子随机性仍然可以产生显著变化。对于批次之间的一致结果,使用固定种子或顺序种子(seed, seed+1, seed+2 等)而不是随机。

最后的想法

Depth ControlNet 从根本上改变了我们在 AI 图像生成中处理构图控制的方式。你不再希望提示词产生正确的空间布局,而是直接指定空间关系,同时保持对风格、主体和细节的创作自由。

实际应用远远超出简单的姿态转移。跨变体具有一致布局的产品摄影、具有精确空间构图的建筑可视化、匹配特定构图模板的编辑插图,任何空间关系比特定主体身份更重要的场景都受益于基于深度的构图控制。

该工作流比仅提示词生成需要更多设置(深度图创建、参数调优、理解强度关系),但回报是适合专业客户工作的一致、可控的结果。你可以自信地向客户承诺"我们将匹配这个确切的构图"并真正兑现该承诺。

对于处理大量构图匹配内容的生产环境,深度图重用、参数模板和批量生成工作流的组合使这种方法对于实际商业时间线足够高效。

无论你是本地设置还是使用 Apatero.com(预配置了所有深度 ControlNet 模型、预处理器和多 ControlNet 模板),将基于深度的构图控制添加到你的工作流中可以将你的输出从"这看起来相似"提升到"这完全匹配"的质量。这种精确度是将业余 AI 生成与专业生产工作区分开来的关键。

本指南中的技术涵盖了从基本单深度工作流到高级多层堆叠和多 ControlNet 组合的所有内容。从基本工作流开始了解深度引导的工作原理,然后随着项目需要更多控制而逐步增加复杂性(多层、风格保留、多个 ControlNet)。每种技术都建立在前一种技术的基础上,为你遇到的任何构图转移场景提供完整的工具包。