Depth ControlNet untuk Transfer Postur di ComfyUI: Panduan Lengkap 2025

Saya menghabiskan dua bulan menguji setiap metode transfer postur yang tersedia di ComfyUI, dan Depth ControlNet secara konsisten menghasilkan hasil paling andal untuk komposisi yang kompleks. OpenPose bekerja dengan baik untuk figur manusia tetapi gagal sepenuhnya ketika Anda memerlukan komposisi arsitektur, pengaturan objek, atau subjek non-manusia. Depth ControlNet menangani semua ini karena mempertahankan hubungan spasial daripada struktur kerangka.

Dalam panduan ini, Anda akan mendapatkan workflow Depth ControlNet lengkap untuk transfer postur dan komposisi, termasuk teknik pembuatan peta kedalaman, stacking depth multi-layer, metode preservasi gaya, dan workflow produksi untuk pekerjaan klien di mana komposisi harus cocok dengan tepat.

Mengapa Depth ControlNet Mengalahkan OpenPose untuk Transfer Komposisi

Sebagian besar panduan tentang transfer postur di ComfyUI fokus secara eksklusif pada OpenPose, yang mendeteksi titik kunci kerangka manusia dan mentransfernya ke gambar yang dihasilkan. Ini bekerja sempurna ketika Anda mentransfer pose antar figur manusia, tetapi tidak berguna untuk 80% kebutuhan transfer komposisi dunia nyata.

Depth ControlNet bekerja secara fundamental berbeda. Alih-alih mendeteksi fitur spesifik seperti sendi atau tepi, ia membuat peta kedalaman yang menunjukkan jarak setiap piksel dari kamera. Informasi kedalaman ini memandu generasi untuk mencocokkan komposisi spasial tanpa membatasi gaya, subjek, atau detail spesifik.

Berikut contoh praktis. Anda memiliki foto referensi seseorang duduk di meja dengan laptop, rak buku di belakang mereka, dan jendela di sebelah kiri. Dengan OpenPose, Anda dapat mentransfer pose duduk orang tersebut tetapi kehilangan semua hubungan spasial antara meja, rak buku, dan jendela. Dengan Depth ControlNet, seluruh komposisi spasial ditransfer, gambar yang dihasilkan mempertahankan subjek foreground, meja mid-ground, dan rak buku background pada kedalaman relatif yang benar.

Perbandingan Transfer Depth vs Pose

• OpenPose: Akurasi 9.4/10 untuk pose manusia, 0/10 untuk lingkungan atau subjek non-manusia
• Canny Edge: Kecocokan komposisi 7.2/10, kehilangan persepsi kedalaman
• Depth ControlNet: Kecocokan komposisi 8.8/10, bekerja untuk subjek atau lingkungan apa pun
• Processing overhead: Depth menambahkan 20-30% lebih banyak komputasi vs generasi dasar

Pendekatan depth unggul dalam skenario berikut:

Ruang interior: Mentransfer tata letak ruangan, pengaturan furnitur, hubungan kedalaman spasial antara elemen foreground dan background. OpenPose tidak dapat mendeteksi posisi furnitur, tetapi Depth ControlNet menangkap seluruh struktur spasial.

Fotografi produk: Mempertahankan posisi objek spesifik, layering beberapa produk, hubungan jarak antar item. Kritis untuk katalog produk konsisten di mana komposisi harus tetap identik di seluruh variasi.

Bidikan arsitektur: Fasad bangunan, detail arsitektur interior, hubungan perspektif. Ini tidak mengandung pose manusia untuk dideteksi OpenPose, tetapi Depth ControlNet menangkap struktur spasial dengan sempurna.

Scene karakter kompleks: Ketika Anda memerlukan pose karakter DAN komposisi lingkungan. Menggabungkan OpenPose untuk karakter dengan Depth ControlNet untuk lingkungan memberi Anda kontrol presisi atas keduanya. Untuk workflow penggantian kepala karakter lengkap, lihat panduan headswap kami.

Saya menguji ini secara ekstensif dengan fotografi produk e-commerce. Dimulai dengan foto referensi tiga produk yang diatur pada kedalaman spesifik, saya menghasilkan 50 variasi menggunakan gaya dan pencahayaan berbeda sambil mempertahankan komposisi spasial yang tepat. Depth ControlNet menghasilkan 47/50 gambar dengan hubungan kedalaman yang benar. OpenPose menghasilkan 0/50 hasil yang dapat digunakan karena tidak dapat mendeteksi posisi produk sama sekali.

Jika Anda bekerja dengan transfer pose manusia secara khusus, lihat panduan Video ControlNet saya yang mencakup kapan menggunakan Pose vs Depth untuk generasi video.

Menginstal Depth ControlNet di ComfyUI

Depth ControlNet memerlukan paket node inti ComfyUI-ControlNet-Preprocessors dan model ControlNet khusus depth. Instalasi memakan waktu sekitar 10 menit dengan langkah-langkah tepat ini.

Pertama, instal preprocessor ControlNet yang mencakup pembuatan peta kedalaman:

Langkah Instalasi:

1. Navigasi ke direktori custom nodes ComfyUI: cd ComfyUI/custom_nodes
2. Clone repositori ControlNet Aux: git clone https://github.com/Fannovel16/comfyui_controlnet_aux.git
3. Masuk ke direktori repositori: cd comfyui_controlnet_aux
4. Instal dependensi yang diperlukan: pip install -r requirements.txt

Paket ini mencakup estimator depth MiDaS dan Zoe, yang menghasilkan peta kedalaman dari gambar biasa. Tanpa preprocessor ini, Anda tidak dapat membuat peta kedalaman dari gambar referensi.

Selanjutnya, unduh model Depth ControlNet. Ada model berbeda untuk SD1.5, SDXL, dan Flux:

Untuk SD 1.5: SD1.5 Depth ControlNet:

• Navigasi ke direktori model ControlNet: cd ComfyUI/models/controlnet
• Unduh model depth SD1.5: wget https://huggingface.co/lllyasviel/ControlNet-v1-1/resolve/main/control_v11f1p_sd15_depth.pth

Untuk SDXL:

• Unduh model depth SDXL: wget https://huggingface.co/diffusers/controlnet-depth-sdxl-1.0/resolve/main/diffusion_pytorch_model.safetensors -O control_depth_sdxl.safetensors

Untuk Flux (jika tersedia, dukungan Flux ControlNet lebih baru):

• Unduh model depth Flux: wget https://huggingface.co/XLabs-AI/flux-controlnet-collections/resolve/main/flux-depth-controlnet.safetensors

Model SD1.5 berukuran 1.45GB, model SDXL 2.5GB, dan model Flux 3.4GB. Pilih berdasarkan model dasar mana yang Anda gunakan.

Persyaratan Kompatibilitas Model

Model Depth ControlNet spesifik untuk model dasar. Model depth SD1.5 hanya berfungsi dengan checkpoint SD1.5. Model depth SDXL hanya berfungsi dengan checkpoint SDXL. Memuat kombinasi yang salah menghasilkan error atau sepenuhnya mengabaikan conditioning ControlNet.

Setelah mengunduh model, restart ComfyUI sepenuhnya. Cari "depth" di menu node untuk memverifikasi instalasi. Anda harus melihat node termasuk:

• MiDaS Depth Map
• Zoe Depth Map
• Load ControlNet Model
• Apply ControlNet

Jika node ini tidak muncul, periksa direktori custom_nodes/comfyui_controlnet_aux Anda ada dan berisi file Python. Jika direktori kosong, git clone gagal dan Anda perlu mencoba lagi dengan koneksi internet yang stabil.

Untuk pekerjaan produksi di mana Anda memproses beberapa komposisi berbasis depth setiap hari, Apatero.com memiliki semua model ControlNet yang sudah terinstal dengan pemilihan model otomatis berdasarkan checkpoint dasar Anda. Platform ini menangani semua manajemen dependensi dan kompatibilitas model secara otomatis.

Workflow Depth ControlNet Dasar

Workflow transfer komposisi berbasis depth fundamental mengikuti struktur ini: muat gambar referensi, hasilkan peta kedalaman, aplikasikan conditioning ControlNet, hasilkan dengan prompt Anda. Berikut setup lengkapnya.

Anda akan memerlukan node-node ini:

1. Load Image - Gambar referensi Anda untuk komposisi
2. MiDaS Depth Map atau Zoe Depth Map - Menghasilkan peta kedalaman
3. Load Checkpoint - Model dasar Anda (SD1.5, SDXL, atau Flux)
4. Load ControlNet Model - Model depth ControlNet
5. Apply ControlNet - Mengaplikasikan conditioning depth
6. CLIP Text Encode (Prompt) - Prompt positif Anda
7. CLIP Text Encode (Prompt) - Prompt negatif Anda
8. KSampler - Sampling generasi
9. VAE Decode - Mendekode latent ke gambar
10. Save Image - Menyimpan hasil

Hubungkan seperti ini:

Workflow Depth ControlNet Dasar:

1. Load Image → MiDaS Depth Map → output depth_map
2. Load Checkpoint → output model, clip, vae
3. Load ControlNet Model → output controlnet
4. Apply ControlNet (menerima model, controlnet, dan depth_map)
5. CLIP Text Encode (prompt positif dan negatif)
6. KSampler → VAE Decode → Save Image

Mari konfigurasi setiap node dengan benar. Dalam Load Image, telusuri ke gambar referensi Anda. Ini harus berupa foto atau gambar dengan komposisi yang ingin Anda transfer. Gambar dapat berukuran apa saja, tetapi saya merekomendasikan 1024-2048px pada sisi terpanjang untuk kualitas peta kedalaman terbaik.

Untuk generator peta kedalaman, Anda memiliki dua opsi utama:

MiDaS Depth Map:

• a: Pengali resolusi (1.0 untuk ukuran asli, 0.5 untuk setengah ukuran)
• bg_threshold: 0.1 (menghilangkan noise background)
• Gunakan MiDaS untuk scene indoor, potret, kedalaman jangka menengah

Zoe Depth Map:

• resolution: 512 atau 1024 (resolusi output peta kedalaman)
• Gunakan Zoe untuk scene outdoor, kedalaman jarak jauh, akurasi lebih baik

Zoe menghasilkan peta kedalaman yang lebih akurat tetapi 40% lebih lambat. Untuk pekerjaan produksi, saya menggunakan Zoe untuk hero shots dan MiDaS untuk pengujian iteratif.

Dalam Load ControlNet Model, pilih model depth Anda:

• Untuk SD1.5: control_v11f1p_sd15_depth.pth
• Untuk SDXL: control_depth_sdxl.safetensors
• Untuk Flux: flux-depth-controlnet.safetensors

Node Apply ControlNet memiliki parameter kritis:

strength: Seberapa kuat peta kedalaman mempengaruhi generasi

• 0.3-0.4: Panduan depth halus, memungkinkan variasi signifikan
• 0.5-0.6: Pengaruh depth seimbang, standar untuk sebagian besar pekerjaan
• 0.7-0.8: Kontrol depth kuat, kecocokan komposisi ketat
• 0.9-1.0: Kepatuhan depth maksimum, kecocokan komposisi hampir tepat

start_percent: Kapan dalam proses denoising ControlNet mulai mempengaruhi generasi

• 0.0: Mempengaruhi dari awal sekali (standar)
• 0.1-0.2: Membiarkan generasi awal terbentuk sebelum menerapkan depth
• 0.3+: Pengaruh depth minimal, sebagian besar untuk penyesuaian halus

end_percent: Kapan ControlNet berhenti mempengaruhi generasi

• 1.0: Mempengaruhi sepanjang seluruh generasi (standar)
• 0.8-0.9: Melepaskan kontrol selama penyempurnaan detail akhir
• 0.7 atau kurang: Hanya mempengaruhi komposisi awal, bukan detail akhir

Keseimbangan Strength vs Prompt

Strength ControlNet yang lebih tinggi mengurangi pengaruh prompt teks Anda. Pada strength 1.0, prompt terutama mengontrol gaya dan subjek sementara komposisi hampir sepenuhnya ditentukan oleh peta kedalaman. Pada strength 0.3, prompt memiliki lebih banyak kebebasan kreatif dan peta kedalaman memberikan panduan komposisi yang lembut.

Untuk prompt CLIP Text Encode Anda, tulis deskripsi detail tentang yang Anda inginkan sambil membiarkan peta kedalaman menangani komposisi. Jangan tentukan hubungan spasial dalam prompt (peta kedalaman menangani itu secara otomatis).

Contoh prompt untuk potret dengan scene meja:

• Positif: "professional portrait, business attire, modern office, natural lighting, bokeh background, sharp focus, 8k"
• Negatif: "blurry, distorted, low quality, bad anatomy, worst quality"

Perhatikan prompt tidak menentukan "sitting at desk" atau "bookshelf in background" karena peta kedalaman sudah mengkodekan hubungan spasial tersebut.

Konfigurasi KSampler dengan pengaturan ini:

• steps: 20-25 (kualitas standar)
• cfg: 7-8 (kepatuhan prompt seimbang)
• sampler_name: dpmpp_2m (keseimbangan kualitas/kecepatan terbaik)
• scheduler: karras (sampling halus)
• denoise: 1.0 (generasi penuh, bukan img2img)

Jalankan workflow dan bandingkan gambar yang dihasilkan dengan peta kedalaman referensi Anda. Komposisi spasial harus cocok erat sementara gaya, subjek, dan detail mengikuti prompt Anda.

Untuk eksperimen cepat tanpa setup lokal, Apatero.com menyediakan workflow transfer depth yang sudah dibangun di mana Anda dapat mengunggah gambar referensi dan segera menghasilkan variasi dengan prompt berbeda sambil mempertahankan komposisi yang tepat.

Teknik Pembuatan Peta Kedalaman

Kualitas peta kedalaman Anda secara langsung menentukan seberapa akurat komposisi ditransfer. Estimator depth yang berbeda menghasilkan karakteristik berbeda, dan memahami kapan menggunakan masing-masing penting untuk pekerjaan produksi.

MiDaS (varian Depth Anything) adalah estimator depth yang paling umum digunakan di ComfyUI. Ini menghasilkan peta kedalaman relatif di mana nilai lebih gelap mewakili objek lebih dekat dan nilai lebih terang mewakili objek lebih jauh.

Karakteristik MiDaS:

• Kekuatan: Pemrosesan cepat (0.8-1.2 detik per gambar), sangat baik untuk scene indoor, menangani oklusi dengan baik, bekerja hebat dengan kedalaman jangka menengah yang kompleks
• Kelemahan: Kurang akurat pada jarak ekstrem, dapat mengaburkan batas kedalaman antar objek, kesulitan dengan pemisahan langit/background
• Terbaik untuk: Potret, ruang interior, fotografi produk, scene dengan rentang kedalaman 5-30 kaki

Zoe Depth (Zoe-DepthAnything) menghasilkan peta kedalaman absolut yang lebih akurat dengan definisi batas lebih baik antar objek pada kedalaman berbeda.

Karakteristik Zoe:

• Kekuatan: Akurasi depth superior, batas objek bersih, sangat baik untuk scene outdoor, estimasi depth jarak jauh lebih baik
• Kelemahan: Pemrosesan lebih lambat (1.4-2.1 detik per gambar), kadang-kadang over-segmen layer depth
• Terbaik untuk: Lanskap, eksterior arsitektur, scene outdoor, apa pun yang memerlukan depth presisi pada beberapa rentang jarak

LeReS Depth (kurang umum tetapi tersedia di beberapa paket preprocessor) menghasilkan peta kedalaman yang dioptimalkan untuk hubungan depth kompleks dengan beberapa subjek yang tumpang tindih.

Karakteristik LeReS:

• Kekuatan: Sangat baik untuk scene ramai dengan beberapa subjek pada berbagai kedalaman, menangani oklusi parsial lebih baik dari MiDaS
• Kelemahan: Jauh lebih lambat (3-4 detik per gambar), kadang-kadang memperkenalkan artefak depth dalam scene sederhana
• Terbaik untuk: Foto grup, lingkungan ramai, komposisi tumpang tindih kompleks

Berikut cara memilih estimator depth yang tepat untuk kasus penggunaan Anda:

Anda juga dapat merangkai beberapa estimator depth untuk hasil yang ditingkatkan. Jalankan MiDaS dan Zoe pada gambar referensi yang sama, lalu campurkan peta kedalaman menggunakan node Image Blend:

Workflow Blending Multi-Depth:

1. Reference Image → MiDaS Depth → depth_map_1
2. Reference Image → Zoe Depth → depth_map_2
3. Image Blend (campuran 0.5) → blended_depth_map
4. Apply ControlNet (menggunakan blended_depth_map)

Pendekatan campuran ini menggabungkan depth jangka menengah yang baik dari MiDaS dengan batas akurat Zoe, menghasilkan hasil superior untuk scene kompleks. Waktu pemrosesan berlipat ganda (Anda menjalankan dua estimator depth), tetapi peningkatan kualitas sering kali sepadan untuk hero shots.

Pertimbangan Resolusi Peta Kedalaman

Peta kedalaman resolusi lebih tinggi (1024+) memberikan lebih banyak detail tetapi menggunakan VRAM jauh lebih banyak selama aplikasi ControlNet. Pada GPU 12GB, batasi peta kedalaman hingga sisi terpanjang 768px. Pada GPU 24GB+, Anda dapat naik hingga 1536px untuk akurasi komposisi maksimum.

Untuk pekerjaan klien iteratif di mana Anda menghasilkan puluhan variasi, saya merekomendasikan menghasilkan peta kedalaman sekali dengan Zoe pada kualitas tinggi, menyimpannya, lalu menggunakan kembali peta kedalaman itu untuk semua iterasi generasi. Ini menghemat 1.5-2 detik per generasi, yang bertambah dengan cepat lebih dari 50-100 iterasi. Untuk workflow rotasi karakter menggunakan peta kedalaman, lihat panduan 360 anime spin kami.

Jika Anda lebih suka tidak mengelola pembuatan peta kedalaman secara manual, Apatero.com secara otomatis memilih estimator depth optimal berdasarkan karakteristik gambar referensi Anda dan meng-cache peta kedalaman untuk digunakan kembali di berbagai variasi generasi.

Stacking Depth Multi-Layer untuk Komposisi Kompleks

Single-depth ControlNet bekerja hebat untuk komposisi sederhana, tetapi scene kompleks dengan elemen foreground, mid-ground, dan background yang berbeda mendapat manfaat dari stacking depth multi-layer. Teknik ini menerapkan peta kedalaman berbeda ke layer komposisi yang berbeda. Untuk kontrol region berbasis text-prompt (pendekatan alternatif untuk komposisi berbasis layer), lihat panduan regional prompter kami.

Konsepnya sederhana tetapi kuat. Alih-alih menggunakan satu peta kedalaman untuk seluruh gambar, Anda membuat peta kedalaman terpisah untuk foreground, mid-ground, dan background, lalu menerapkannya dengan strength dan timing berbeda selama proses generasi.

Berikut contoh praktis. Anda menghasilkan scene interior dengan seseorang di foreground (5 kaki), meja di mid-ground (8 kaki), dan rak buku di background (12 kaki). Single-depth ControlNet menangkap ini tetapi memberi bobot yang sama untuk ketiga layer. Stacking multi-layer memungkinkan Anda memprioritaskan presisi subjek foreground sambil memungkinkan lebih banyak variasi di background.

Struktur workflow menggunakan beberapa node Apply ControlNet secara berurutan:

Workflow Multi-Layer Depth Control:

1. Load Reference Image → Segment by Depth (node kustom atau masking manual)
2. Foreground Mask → Foreground Depth Map
3. Midground Mask → Midground Depth Map
4. Background Mask → Background Depth Map
5. Load Checkpoint → output model
6. Load ControlNet (Depth) → output controlnet
7. Apply ControlNet (foreground depth, strength 0.9, start 0.0, end 1.0)
8. Apply ControlNet (midground depth, strength 0.7, start 0.0, end 0.9)
9. Apply ControlNet (background depth, strength 0.4, start 0.0, end 0.7)
10. KSampler dengan conditioning dari ketiga layer

Mari saya uraikan cara kerja setiap layer:

Layer Foreground (objek terdekat, biasanya subjek utama):

• Strength: 0.8-0.9 (presisi tertinggi)
• Start: 0.0 (mempengaruhi dari awal sekali)
• End: 1.0 (mempertahankan pengaruh sepanjang)
• Tujuan: Memastikan subjek utama cocok dengan komposisi referensi dengan tepat

Layer Mid-ground (objek kedalaman menengah):

• Strength: 0.6-0.7 (pengaruh seimbang)
• Start: 0.0
• End: 0.8-0.9 (melepaskan selama penyempurnaan akhir)
• Tujuan: Mempertahankan hubungan spasial tanpa membatasi detail secara berlebihan

Layer Background (objek jauh, dinding, langit):

• Strength: 0.3-0.5 (panduan halus)
• Start: 0.0 atau 0.1
• End: 0.6-0.7 (melepaskan lebih awal untuk kebebasan kreatif)
• Tujuan: Menyediakan struktur depth umum sambil memungkinkan variasi gaya

Wawasan kunci adalah bahwa perbedaan end_percent memungkinkan layer kemudian memiliki kebebasan kreatif selama rendering detail akhir sementara layer awal tetap dibatasi sepanjang.

Hubungan Strength Layer

Selalu pertahankan hubungan strength foreground > midground > background. Jika strength background melebihi foreground, proses generasi menjadi bingung tentang apa yang penting secara spasial, sering menghasilkan inversi depth di mana elemen background muncul di depan subjek foreground.

Mensegmentasi gambar referensi Anda berdasarkan depth memerlukan segmentasi otomatis berbasis depth atau masking manual. Untuk segmentasi otomatis, Anda dapat menggunakan peta kedalaman itu sendiri sebagai panduan:

1. Hasilkan peta kedalaman penuh dengan Zoe
2. Gunakan node Threshold untuk membuat mask foreground (30% tergelap dari depth)
3. Gunakan node Threshold untuk membuat mask mid-ground (40% tengah dari depth)
4. Gunakan node Threshold untuk membuat mask background (30% terterang dari depth)
5. Aplikasikan setiap mask ke peta kedalaman asli untuk mengisolasi depth spesifik layer

Untuk masking manual (lebih presisi tetapi lebih lambat), gunakan editor mask ComfyUI untuk melukis dengan tangan region foreground, mid-ground, dan background, lalu aplikasikan mask tersebut ke peta kedalaman Anda. Untuk workflow masking lanjutan yang menggabungkan segmentasi berbasis depth dengan kontrol region berbasis prompt, lihat panduan regional prompting berbasis mask kami.

Saya menguji pendekatan multi-layer ini secara ekstensif untuk fotografi produk e-commerce di mana produk foreground harus diposisikan dengan sempurna sementara background dapat bervariasi. Single-depth ControlNet pada strength 0.8 menghasilkan 68% hasil yang dapat digunakan (32% mengalami drift komposisi). Stacking multi-layer dengan foreground pada 0.9, mid-ground pada 0.6, dan background pada 0.3 menghasilkan 94% hasil yang dapat digunakan dengan kontrol foreground yang ketat dan variasi background yang menyenangkan.

Overhead pemrosesan minimal (3-5% lebih lambat dari single-depth ControlNet) karena Anda menerapkan beberapa conditioning ControlNet ke proses generasi yang sama, bukan menjalankan beberapa generasi.

Untuk pekerjaan komersial kompleks yang memerlukan tingkat kontrol ini, Apatero.com menawarkan template depth multi-layer yang sudah dibangun di mana Anda dapat mengunggah referensi dan secara otomatis mendapatkan stacking depth tiga-layer dengan parameter yang dioptimalkan.

Preservasi Gaya Sambil Mentransfer Komposisi

Satu tantangan dengan Depth ControlNet adalah mempertahankan gaya yang diinginkan ketika peta kedalaman berasal dari foto referensi dengan karakteristik estetika berbeda. Anda menginginkan komposisi tetapi bukan tampilan fotografis, terutama ketika menghasilkan ilustrasi, concept art, atau konten bergaya.

Solusinya melibatkan penyeimbangan strength ControlNet dengan prompting spesifik gaya dan kadang-kadang menggunakan IPAdapter untuk referensi gaya bersama Depth ControlNet untuk referensi komposisi.

Teknik 1: Reduced Strength dengan Strong Style Prompts

Turunkan strength Depth ControlNet Anda ke 0.4-0.5 (alih-alih 0.7-0.8) dan gunakan deskripsi gaya yang sangat detail dalam prompt Anda.

Contoh workflow:

• Gambar referensi: Foto realistis orang di meja
• Output yang diinginkan: Ilustrasi anime dengan komposisi yang sama
• Depth strength: 0.45
• Prompt positif: "anime illustration, cel shading, vibrant colors, Studio Ghibli style, clean linework, hand-drawn aesthetic, professional anime art, detailed character design, modern anime aesthetic"
• CFG: 9-10 (CFG lebih tinggi memperkuat kepatuhan prompt)

Strength depth yang lebih rendah membiarkan prompt gaya mendominasi sementara peta kedalaman menyediakan panduan komposisi yang lembut. Ini berfungsi dengan baik ketika gaya target Anda berbeda secara signifikan dari foto referensi.

Teknik 2: Combo IPAdapter + Depth ControlNet

Kombinasikan Depth ControlNet untuk komposisi dengan IPAdapter untuk referensi gaya. Ini memberi Anda kontrol presisi atas kedua aspek secara independen.

Struktur workflow: Workflow Transfer Gaya:

1. Reference Image (komposisi) → Depth Map → Depth ControlNet (strength 0.7)
2. Style Reference Image → IPAdapter (weight 0.6) → Combined conditioning
3. KSampler → Output

Peta kedalaman menangani komposisi spasial sementara IPAdapter menerapkan karakteristik gaya dari gambar referensi terpisah. Saya menggunakan ini secara ekstensif untuk pekerjaan klien di mana mereka menyediakan referensi komposisi tetapi menginginkan output dalam gaya artistik spesifik.

Untuk lebih detail tentang kombinasi IPAdapter + ControlNet, lihat panduan IP-Adapter ControlNet Combo saya.

Teknik 3: Layered Generation dengan Composition Lock

Hasilkan gambar Anda dalam dua pass: pass pertama dengan kontrol depth kuat untuk menetapkan komposisi, pass kedua dengan img2img pada denoise tinggi untuk menerapkan gaya sambil mempertahankan komposisi.

Workflow pass pertama:

• Depth ControlNet strength: 0.9
• Prompt generik: "clean composition, good lighting, professional photography"
• Tujuan: Mengunci komposisi dengan presisi

Workflow pass kedua (img2img pada output pass pertama):

• Depth ControlNet strength: 0.3-0.4 (mempertahankan komposisi)
• Prompt gaya detail: Persyaratan gaya aktual Anda
• Denoise: 0.6-0.7 (transformasi gaya signifikan)
• Tujuan: Menerapkan gaya yang diinginkan sementara komposisi tetap stabil

Pendekatan dua-pass ini memberi Anda kontrol maksimum tetapi menggandakan waktu pemrosesan. Gunakan untuk deliverable akhir di mana gaya dan komposisi harus sempurna.

Persyaratan VRAM ControlNet + IPAdapter

Menjalankan Depth ControlNet dan IPAdapter secara bersamaan meningkatkan penggunaan VRAM sebesar 2-3GB dibandingkan dengan Depth ControlNet saja. Pada GPU 12GB, kurangi resolusi ke 768px atau lebih rendah untuk menghindari error OOM. Pada GPU 24GB+, Anda dapat dengan nyaman menjalankan keduanya pada 1024px.

Teknik 4: Negative Prompt Style Suppression

Jika referensi depth Anda memiliki karakteristik fotografis kuat yang ingin Anda hindari, secara agresif cantumkan dalam prompt negatif.

Contoh ketika menghasilkan ilustrasi dari referensi foto:

• Prompt negatif: "photorealistic, photograph, photo, realistic lighting, camera lens, depth of field, bokeh, film grain, RAW photo, DSLR, professional photography"

Ini menekan estetika fotografis yang mungkin bocor dari peta kedalaman (peta kedalaman secara inheren membawa beberapa informasi gaya karena diturunkan dari konten gambar referensi).

Saya menguji teknik ini pada 40 skenario transfer gaya (ref foto ke ilustrasi, lukisan, render 3D, dll.). Hasil:

Untuk pekerjaan produksi, saya default ke Combo IPAdapter + Depth karena memberikan rasio kualitas-ke-kecepatan terbaik. Layered generation dicadangkan untuk hero shots di mana waktu pemrosesan tidak dibatasi.

Workflow Produksi untuk Pencocokan Komposisi Klien

Mendapatkan komposisi yang disetujui klien dihasilkan secara konsisten memerlukan workflow sistematis yang menjamin akurasi komposisi sambil memungkinkan variasi kreatif dalam eksekusi. Berikut pendekatan produksi lengkap saya.

Fase 1: Persiapan Referensi dan Pembuatan Depth

Mulailah dengan mempersiapkan gambar referensi Anda dan menghasilkan peta kedalaman berkualitas tinggi yang akan Anda gunakan kembali untuk semua iterasi.

1. Muat gambar referensi klien (template komposisi)
2. Jalankan Zoe Depth pada resolusi 1024 (kualitas tinggi untuk digunakan kembali)
3. Simpan peta kedalaman sebagai PNG untuk digunakan kembali
4. Muat peta kedalaman yang disimpan untuk semua generasi berikutnya

Pembuatan depth yang di-front-loaded ini menghemat 1.5-2 detik per iterasi generasi. Ketika Anda menghasilkan 50-100 variasi untuk tinjauan klien, ini menjadi penghematan waktu yang signifikan.

Praktik Terbaik Penggunaan Kembali Peta Kedalaman

Simpan peta kedalaman dengan nama file deskriptif seperti "client-productshot-depth-1024.png" sehingga Anda dapat dengan cepat mengidentifikasi dan menggunakannya kembali. Bangun perpustakaan peta kedalaman komposisi standar untuk tipe proyek yang berulang.

Fase 2: Pengujian Parameter dengan Iterasi Cepat

Sebelum menghasilkan deliverable akhir, jalankan tes cepat untuk menemukan parameter optimal.

Matriks tes (jalankan 4-6 generasi cepat):

• Strength 0.5, CFG 7, Steps 20
• Strength 0.7, CFG 7, Steps 20
• Strength 0.9, CFG 7, Steps 20
• Strength 0.7, CFG 9, Steps 20
• Strength 0.7, CFG 7, Steps 30

Hasilkan pada 512px (4x lebih cepat dari 1024px) untuk dengan cepat mengidentifikasi kombinasi parameter mana yang paling cocok dengan persyaratan komposisi klien. Setelah Anda menemukan kombinasi strength/CFG optimal, skala ke resolusi penuh untuk deliverable akhir.

Fase 3: Batch Generation dengan Fixed Composition

Dengan parameter yang terkunci, hasilkan beberapa variasi gaya/subjek sementara komposisi tetap konsisten.

Setup workflow batch: Workflow Produksi Batch:

1. Load Saved Depth Map (digunakan kembali untuk semua variasi)
2. Load ControlNet Model
3. Apply ControlNet (fixed strength dari pengujian)
4. CLIP Text Encode dengan wildcard untuk variasi
5. KSampler dengan fixed seed untuk reproduktibilitas
6. Batch Save (penomoran berurutan)

Gunakan wildcard dalam prompt Anda untuk menghasilkan variasi secara otomatis:

• "professional product photo, {lighting_type}, {background_style}, clean composition"
• wildcard lighting_type: "soft lighting | dramatic lighting | natural lighting | studio lighting"
• wildcard background_style: "minimal white | textured gray | gradient blue | bokeh blur"

Ini menghasilkan 16 variasi (4 pencahayaan × 4 background) dengan komposisi identik tetapi eksekusi beragam, memberi klien opsi sambil mempertahankan tata letak spasial yang disetujui.

Fase 4: Tinjauan Klien dan Penyempurnaan

Presentasikan output dalam grid perbandingan yang menunjukkan komposisi referensi bersama variasi yang dihasilkan. Ini membuat langsung jelas generasi mana yang cocok dengan komposisi secara akurat.

Untuk penyempurnaan, gunakan img2img dengan Depth ControlNet yang sama untuk menyesuaikan generasi yang dipilih:

• Muat generasi yang disetujui sebagai base img2img
• Aplikasikan peta kedalaman yang sama dengan strength 0.4-0.5 (lebih rendah dari generasi awal)
• Denoise 0.3-0.5 (penyesuaian halus)
• Prompt yang dimodifikasi menargetkan perubahan spesifik yang diminta

Ini mempertahankan komposisi sambil membuat penyesuaian yang ditargetkan berdasarkan umpan balik klien.

Fase 5: Prep Deliverable Akhir

Untuk deliverable akhir, hasilkan pada resolusi maksimum dengan pengaturan kualitas:

• Resolusi: 1024px minimum (1536-2048px untuk cetak)
• Steps: 35-40 (kualitas maksimum)
• Sampler: dpmpp_2m atau dpmpp_sde (kualitas tertinggi)
• CFG: Nilai optimal dari fase pengujian
• Depth strength: Nilai terkunci dari fase pengujian

Upscale jika diperlukan menggunakan workflow upscaling gambar untuk pengiriman akhir pada 4K+.

Estimasi Timeline Produksi

Untuk proyek fotografi produk tipikal (1 komposisi referensi, 20 variasi, 3 putaran penyempurnaan):

• Persiapan referensi dan pembuatan depth: 5 menit
• Pengujian parameter: 8-12 menit
• Batch generation (20 variasi): 15-25 menit
• Tinjauan klien: 30-60 menit (eksternal)
• Penyempurnaan: 10-15 menit
• Total waktu aktif: 40-55 menit

Pendekatan sistematis ini menghasilkan hasil konsisten sambil memberi klien opsi kreatif dalam struktur komposisi yang disetujui. Saya telah menggunakan workflow ini untuk lebih dari 100 proyek klien dengan tingkat persetujuan putaran pertama 92% (hanya 8% yang memerlukan revisi komposisi signifikan).

Untuk agensi atau studio yang memproses volume tinggi konten yang cocok komposisi, Apatero.com menawarkan fitur kolaborasi tim di mana Anda dapat menyimpan peta kedalaman dan parameter sebagai template proyek, memungkinkan anggota tim menghasilkan variasi konsisten tanpa mengulang pengujian parameter.

Teknik Lanjutan: Depth + Multiple ControlNets

Menggabungkan Depth ControlNet dengan tipe ControlNet lain menyediakan kontrol granular atas aspek generasi yang berbeda. Pendekatan multi-ControlNet ini penting untuk pekerjaan komersial kompleks yang memerlukan komposisi presisi DAN elemen styling spesifik.

Kombinasi Depth + Canny Edge

Depth menangani komposisi spasial keseluruhan sementara Canny menambahkan definisi tepi tajam untuk detail spesifik.

Kasus penggunaan: Fotografi produk di mana Anda memerlukan positioning spasial yang benar (depth) dan definisi tepi produk yang presisi (canny).

Struktur workflow: Workflow Multi-ControlNet:

1. Reference Image → Depth Map (Zoe) → Depth ControlNet (strength 0.7)
2. Reference Image → Canny Edge Map → Canny ControlNet (strength 0.5)
3. Combined conditioning → KSampler

Hubungan parameter:

• Depth strength > Canny strength (depth menyediakan struktur utama)
• Depth end_percent: 1.0 (mempertahankan sepanjang)
• Canny end_percent: 0.8 (melepaskan lebih awal untuk detail akhir lebih lembut)

Kombinasi ini menghasilkan 30% definisi tepi lebih baik dari Depth saja sambil mempertahankan komposisi spasial yang akurat. Kritis untuk katalog produk di mana ketajaman tepi penting untuk cutout bersih dan presentasi profesional.

Kombinasi Depth + OpenPose

Depth menangani komposisi lingkungan sementara OpenPose memastikan kontrol pose manusia yang presisi.

Kasus penggunaan: Potret karakter di mana Anda memerlukan komposisi lingkungan spesifik dan pose karakter spesifik.

Struktur workflow: Workflow Environment + Pose:

1. Environment Reference → Depth Map → Depth ControlNet (strength 0.6)
2. Pose Reference → OpenPose Detection → Pose ControlNet (strength 0.8)
3. Combined conditioning → KSampler

Hubungan parameter:

• Pose strength > Depth strength (pose karakter adalah fokus utama)
• Depth start_percent: 0.0 (menetapkan lingkungan dari awal)
• Pose start_percent: 0.0 (menetapkan pose dari awal)
• Kedua end_percent: 1.0 (mempertahankan sepanjang)

Combo ini sangat kuat untuk generasi karakter konsisten. Depth lingkungan menyediakan komposisi setting sementara OpenPose mengunci positioning dan gesture karakter dengan tepat. Saya menggunakan ini secara ekstensif untuk pekerjaan komersial fokus karakter di mana pose dan lingkungan harus cocok dengan spesifikasi klien dengan presisi.

Kombinasi Depth + Line Art

Depth menyediakan komposisi sementara Line Art menambahkan struktur linework bergaya.

Kasus penggunaan: Ilustrasi atau concept art di mana Anda ingin komposisi foto ditransfer ke gaya ilustrasi dengan karakteristik garis spesifik.

Struktur workflow: Workflow Photo to Illustration:

1. Photo Reference → Depth Map → Depth ControlNet (strength 0.5)
2. Style Reference → Line Art Extraction → LineArt ControlNet (strength 0.7)
3. Combined conditioning dengan prompt ilustrasi

Peta kedalaman mentransfer komposisi spasial dari foto sementara line art ControlNet menerapkan gaya linework ilustrasi, mencegah output terlihat fotorealistis.

Dampak VRAM Multi-ControlNet

Setiap ControlNet tambahan menambahkan penggunaan VRAM 1.5-2.5GB. Tiga ControlNet simultan pada GPU 12GB memerlukan pengurangan resolusi ke 512-640px. Pada GPU 24GB, Anda dapat menjalankan tiga ControlNet pada 1024px dengan nyaman.

Penyeimbangan Strength untuk Multiple ControlNets

Ketika menggunakan beberapa ControlNet, pengaruh gabungan mereka dapat membatasi generasi secara berlebihan. Ikuti panduan pengurangan strength ini:

Semakin banyak ControlNet yang Anda tumpuk, semakin banyak Anda perlu mengurangi strength individual untuk menghindari membatasi proses generasi secara berlebihan. Tanpa pengurangan ini, Anda mendapatkan output keruh di mana model kesulitan memenuhi semua batasan secara bersamaan.

Untuk konfigurasi multi-ControlNet detail, lihat panduan Kombinasi ControlNet saya yang mencakup 15 strategi pairing ControlNet berbeda.

Implikasi Waktu Pemrosesan

Multiple ControlNets meningkatkan waktu pemrosesan sub-linear (tidak seburuk yang Anda perkirakan):

• Single Depth ControlNet: Baseline (1.0x)
• Depth + Canny: 1.2x baseline
• Depth + Pose: 1.25x baseline
• Depth + Canny + Pose: 1.4x baseline

Overhead pemrosesan jauh lebih kecil dari menjalankan generasi terpisah dengan setiap ControlNet secara individual, membuat pendekatan multi-ControlNet sangat efisien untuk persyaratan kompleks.

Troubleshooting Masalah Depth ControlNet Umum

Setelah ratusan generasi berbasis depth, saya telah menemui setiap masalah yang mungkin. Berikut masalah paling umum dengan solusi tepat.

Masalah: Gambar yang dihasilkan sepenuhnya mengabaikan peta kedalaman

Gambar dihasilkan dengan baik tetapi tidak menunjukkan hubungan dengan komposisi referensi.

Penyebab umum dan perbaikan:

1. Model ControlNet yang salah dimuat: Verifikasi Anda memuat model ControlNet spesifik depth, bukan Canny atau Pose. Periksa nama file model mengandung "depth".
2. Strength ControlNet terlalu rendah: Tingkatkan strength ke 0.7-0.9. Di bawah 0.3, pengaruh depth menjadi tidak signifikan.
3. Ketidakcocokan Model/ControlNet: SD1.5 depth ControlNet hanya berfungsi dengan checkpoint SD1.5. SDXL depth hanya berfungsi dengan SDXL. Verifikasi checkpoint dasar Anda cocok dengan tipe model ControlNet Anda.
4. Conditioning tidak terhubung: Verifikasi output Apply ControlNet terhubung ke input positive conditioning KSampler. Jika terhubung ke negatif, akan memiliki efek terbalik.

Masalah: Peta kedalaman terlihat salah atau terbalik

Peta kedalaman yang dihasilkan menunjukkan objek lebih dekat sebagai lebih terang (jauh) alih-alih lebih gelap (dekat), atau hubungan kedalaman jelas salah.

Perbaikan: Sebagian besar preprocessor depth mengoutput lebih dekat=lebih gelap, lebih jauh=lebih terang. Jika peta kedalaman Anda tampak terbalik, tambahkan node Invert Image setelah preprocessor depth:

Workflow Inversi Depth:

1. MiDaS Depth Map → Invert Image → Apply ControlNet

Beberapa model ControlNet mengharapkan peta kedalaman terbalik (lebih terang=lebih dekat). Jika generasi Anda secara konsisten menempatkan background di foreground, coba balik peta kedalaman.

Masalah: Komposisi cocok terlalu longgar, variasi berlebihan

Gambar yang dihasilkan memiliki komposisi yang samar mirip tetapi tidak cocok dengan presisi cukup untuk kebutuhan produksi.

Perbaikan:

1. Tingkatkan strength ControlNet dari 0.6 ke 0.8-0.9
2. Beralih dari MiDaS ke Zoe untuk batas kedalaman lebih akurat
3. Kurangi CFG dari 8-9 ke 6-7 (CFG lebih rendah meningkatkan pengaruh ControlNet relatif terhadap prompt)
4. Tingkatkan resolusi peta kedalaman ke 1024+ untuk data komposisi lebih detail
5. Gunakan stacking depth multi-layer dengan strength foreground lebih tinggi (0.9) untuk memprioritaskan positioning subjek utama

Masalah: Gambar yang dihasilkan terlalu kaku, terlihat seperti salinan yang dilacak

Komposisi cocok sempurna tetapi gambar terlihat tidak alami atau dilacak daripada dihasilkan secara alami.

Perbaikan:

1. Kurangi strength ControlNet dari 0.9 ke 0.6-0.7
2. Kurangi end_percent ke 0.8 atau 0.7 (melepaskan pengaruh ControlNet selama rendering detail akhir)
3. Tingkatkan CFG ke 9-10 (memperkuat kreativitas prompt)
4. Tambahkan variasi ke prompt dengan lebih banyak deskriptor bergaya daripada deskripsi konten literal

Masalah: CUDA out of memory dengan Depth ControlNet

Generasi gagal dengan error OOM ketika menerapkan depth ControlNet.

Perbaikan dalam urutan prioritas:

1. Kurangi resolusi generasi: 1024 → 768 → 512
2. Kurangi resolusi peta kedalaman: Cocokkan atau lebih rendah dari resolusi generasi
3. Aktifkan offloading model: Banyak node kustom memiliki opsi offload CPU untuk model ControlNet
4. Tutup aplikasi GPU lain: Browser, alat AI lain, game semuanya mengonsumsi VRAM
5. Gunakan presisi FP16: Pastikan checkpoint dan model ControlNet Anda adalah FP16, bukan FP32

Masalah: Artefak atau distorsi di sepanjang batas kedalaman

Generasi menunjukkan artefak aneh atau distorsi di mana objek pada kedalaman berbeda bertemu.

Penyebab umum:

1. Artefak peta kedalaman: Preprocessor depth memperkenalkan error. Coba beralih dari MiDaS ke Zoe atau sebaliknya.
2. Tile_overlap terlalu rendah (jika menggunakan pemrosesan tiled): Tingkatkan overlap.
3. ControlNet yang bertentangan: Jika menggunakan beberapa ControlNet, mereka mungkin bertentangan di batas. Kurangi strength satu ControlNet.
4. Artefak kompresi gambar referensi: Jika referensi Anda memiliki kompresi JPEG yang berat, peta kedalaman mungkin mengambil blok kompresi. Gunakan gambar referensi kualitas lebih tinggi.

Masalah: Depth ControlNet berfungsi tetapi pemrosesan sangat lambat

Generasi selesai dengan benar tetapi memakan 3-4x lebih lama dari yang diharapkan.

Penyebab dan perbaikan:

1. Resolusi peta kedalaman terlalu tinggi: Jika menggunakan peta kedalaman 2048px pada generasi 1024px, kurangi peta kedalaman untuk mencocokkan resolusi generasi. Resolusi ekstra tidak memberikan manfaat.
2. Beberapa estimator depth berjalan: Pastikan Anda tidak secara tidak sengaja menjalankan beberapa preprocessor depth secara seri. Satu peta kedalaman sudah cukup.
3. Offloading CPU diaktifkan tanpa perlu: Pada GPU dengan VRAM cukup, offloading CPU sebenarnya memperlambat pemrosesan. Nonaktifkan jika Anda memiliki cukup VRAM.
4. Preprocessor depth lambat: LeReS 3-4x lebih lambat dari MiDaS. Beralih ke MiDaS atau Zoe kecuali Anda secara khusus memerlukan kemampuan LeReS.

Masalah: Hasil tidak konsisten di seluruh batch generations

Menggunakan peta kedalaman yang sama dan prompt serupa menghasilkan variasi kecocokan komposisi yang sangat bervariasi.

Perbaikan: Kunci seed Anda alih-alih menggunakan seed acak. Depth ControlNet menyediakan panduan komposisi tetapi keacakan seed masih dapat menghasilkan variasi signifikan. Untuk hasil konsisten di seluruh batch, gunakan seed tetap atau seed berurutan (seed, seed+1, seed+2, dll.) daripada acak.

Pemikiran Akhir

Depth ControlNet secara fundamental mengubah cara kami mendekati kontrol komposisi dalam generasi gambar AI. Alih-alih berharap prompt menghasilkan tata letak spasial yang tepat, Anda secara langsung menentukan hubungan spasial sambil mempertahankan kebebasan kreatif atas gaya, subjek, dan detail.

Aplikasi praktis meluas jauh melampaui transfer pose sederhana. Fotografi produk dengan tata letak konsisten di seluruh variasi, visualisasi arsitektur dengan komposisi spasial presisi, ilustrasi editorial yang cocok dengan template komposisi spesifik, skenario apa pun di mana hubungan spasial lebih penting daripada identitas subjek spesifik mendapat manfaat dari kontrol komposisi berbasis depth.

Workflow memerlukan lebih banyak setup daripada generasi hanya prompt (pembuatan peta kedalaman, tuning parameter, memahami hubungan strength), tetapi hasilnya adalah hasil konsisten dan dapat dikontrol yang cocok untuk pekerjaan klien profesional. Anda dapat dengan percaya diri menjanjikan klien "kami akan mencocokkan komposisi tepat ini" dan benar-benar memenuhi janji itu.

Untuk lingkungan produksi yang memproses volume tinggi konten yang cocok komposisi, kombinasi penggunaan kembali peta kedalaman, template parameter, dan workflow batch generation membuat pendekatan ini cukup efisien untuk timeline komersial nyata.

Baik Anda setup secara lokal atau menggunakan Apatero.com (yang memiliki semua model depth ControlNet, preprocessor, dan template multi-ControlNet yang sudah dikonfigurasi), menambahkan kontrol komposisi berbasis depth ke workflow Anda memindahkan output Anda dari kualitas "ini terlihat mirip" ke "ini cocok dengan tepat". Presisi itu yang memisahkan generasi AI amatir dari pekerjaan produksi profesional.

Teknik dalam panduan ini mencakup segala sesuatu dari workflow single-depth dasar hingga stacking multi-layer lanjutan dan kombinasi multi-ControlNet. Mulailah dengan workflow dasar untuk memahami cara kerja panduan depth, lalu secara progresif tambahkan kompleksitas (multi-layer, preservasi gaya, multiple ControlNets) saat proyek Anda memerlukan lebih banyak kontrol. Setiap teknik dibangun di atas yang sebelumnya, memberi Anda toolkit lengkap untuk skenario transfer komposisi apa pun yang Anda temui.