Regional Prompting Dựa Trên Mask trong ComfyUI: Hướng Dẫn Toàn Diện Về Kiểm Soát Chính Xác 2025

Tôi đã chuyển từ Regional Prompter dựa trên lưới sang regional prompting dựa trên mask sau khi gặp phải giới hạn của nó trong một dự án khách hàng yêu cầu năm vùng có hình dạng không đều. Các phương pháp dựa trên lưới buộc bạn phải chia thành các vùng hình chữ nhật, nhưng kỹ thuật dựa trên mask cho phép bạn xác định bất kỳ hình dạng vùng nào với độ chính xác từng pixel. Thậm chí còn tốt hơn, các phương pháp dựa trên mask hoạt động với Flux và các mô hình khác không hỗ trợ các extension Regional Prompter truyền thống.

Trong hướng dẫn này, bạn sẽ có được quy trình làm việc hoàn chỉnh về regional prompting dựa trên mask cho ComfyUI, bao gồm các kỹ thuật tạo và chuẩn bị mask, compositing nhiều mask cho các cảnh phức tạp, triển khai cụ thể cho Flux, tạo mask tự động với Segment Anything, và quy trình làm việc sản xuất cho các dự án yêu cầu độ chính xác phẫu thuật trong kiểm soát vùng.

Tại Sao Regional Prompting Dựa Trên Mask Vượt Trội Hơn Các Phương Pháp Lưới

Regional Prompter dựa trên lưới (được đề cập trong hướng dẫn Regional Prompter của tôi) chia hình ảnh thành các vùng hình chữ nhật. Điều này hoạt động tốt cho các bố cục đơn giản nhưng gặp trở ngại khi các thành phần trong bố cục của bạn không phù hợp với lưới hình chữ nhật.

Regional prompting dựa trên mask sử dụng các mask xám hoặc nhị phân để xác định các vùng có bất kỳ hình dạng nào. Các vùng đen (0) nhận một prompt, các vùng trắng (255) nhận một prompt khác, và các vùng xám pha trộn giữa các prompt theo tỷ lệ. Điều này cung cấp khả năng kiểm soát ở cấp độ pixel đối với việc áp dụng prompt.

So Sánh Regional Prompting Dựa Trên Lưới vs Dựa Trên Mask

• Tính linh hoạt về hình dạng: Lưới chỉ cho phép các vùng hình chữ nhật, trong khi Mask hỗ trợ bất kỳ hình dạng nào
• Độ chính xác: Lưới cung cấp kiểm soát ở cấp độ vùng, Mask mang lại độ chính xác ở cấp độ pixel
• Độ phức tạp thiết lập: Lưới dễ cấu hình, Mask dao động từ vừa phải đến phức tạp
• Tương thích mô hình: Lưới chỉ hoạt động với SD1.5 và SDXL, Mask hoạt động với tất cả các mô hình bao gồm cả Flux
• Chi phí xử lý: Lưới thêm 15-20% chi phí, Mask thêm 10-15% chi phí

Các tình huống quan trọng mà phương pháp dựa trên mask là cần thiết:

Các đối tượng không hình chữ nhật: Nhân vật có mái tóc rũ hoặc đường viền phức tạp. Các vùng dựa trên lưới tạo ra ranh giới hình chữ nhật cắt qua nhân vật một cách không tự nhiên. Các vùng dựa trên mask theo đường viền thực tế của nhân vật.

Đặt đối tượng chính xác: Chụp ảnh sản phẩm với nhiều sản phẩm ở các vị trí và góc độ cụ thể. Mask cho phép bạn xác định ranh giới sản phẩm chính xác bất kể hình dạng hoặc hướng.

Sử dụng mô hình Flux: Flux không hỗ trợ extension Regional Prompter truyền thống. Các kỹ thuật dựa trên mask là cách duy nhất để thực hiện regional prompting với Flux.

Bố cục hữu cơ: Phong cảnh với đường chân trời không đều, kiến trúc với hình dạng phức tạp, bất kỳ bố cục nào mà lưới hình chữ nhật không phù hợp với ranh giới nội dung.

Compositing nhiều lớp: Các cảnh phức tạp yêu cầu 5+ vùng với các mức ưu tiên chồng chéo. Các phương pháp dựa trên mask xử lý điều này một cách thanh thoát hơn so với việc cố gắng ép vào các chia lưới.

Tôi đã thử nghiệm điều này với một bố cục nhân vật phức tạp: người mặc áo choàng bay phấp phới đứng trước nền kiến trúc. Phương pháp dựa trên lưới tạo ra ranh giới áo choàng hình chữ nhật trông giả tạo. Phương pháp dựa trên mask với mask áo choàng vẽ tay tạo ra dòng chảy áo choàng tự nhiên tích hợp liền mạch với nhân vật và nền.

Sự đánh đổi là thời gian thiết lập. Regional prompting dựa trên lưới mất 30 giây để cấu hình. Các phương pháp dựa trên mask yêu cầu 5-15 phút để tạo các mask chất lượng, nhưng khoản đầu tư đó được đền đáp bằng độ chính xác trong bố cục.

Hiểu Về Conditioning Dựa Trên Mask Trong ComfyUI

Trước khi đi vào các quy trình làm việc, việc hiểu cách ComfyUI xử lý mask cho conditioning là rất quan trọng.

Giá Trị Mask và Pha Trộn Prompt:

Mask là các hình ảnh xám trong đó giá trị pixel (0-255 hoặc chuẩn hóa 0.0-1.0) xác định ảnh hưởng của prompt. Sự pha trộn dần dần này cho phép bạn tạo ra các chuyển tiếp mượt mà giữa các vùng thay vì các cạnh cứng.

Áp Dụng Conditioning:

Hệ thống conditioning của ComfyUI áp dụng mask cho prompt bằng các node ConditioningSetMask và ConditioningCombine.

Quy trình làm việc cơ bản: Tạo prompt conditioning → Áp dụng mask → Lặp lại cho mỗi cặp vùng/prompt → Kết hợp tất cả conditioning đã mask → Sử dụng trong KSampler.

Quy Trình Làm Việc Cơ Bản Về Regional Prompting Dựa Trên Mask

Quy trình làm việc dựa trên mask cơ bản sử dụng các mask riêng biệt cho mỗi vùng, áp dụng các prompt khác nhau thông qua conditioning được mask.

Node cần thiết: Load Checkpoint, Load Image, CLIP Text Encode, ConditioningSetMask, ConditioningCombine, KSampler, VAE Decode, Save Image.

Tạo mask trong bất kỳ software chỉnh sửa hình ảnh nào (Photoshop, GIMP, Krita, Procreate). Lưu dưới dạng PNG hoặc JPG. Các mask nên là xám thuần túy (không có màu).

Để có regional prompting dựa trên mask nhanh chóng mà không cần tạo mask thủ công, Apatero.com cung cấp các công cụ vẽ mask tích hợp sẵn nơi bạn có thể vẽ các vùng trực tiếp trong giao diện và gán prompt.

Kỹ Thuật và Công Cụ Tạo Mask

Kỹ Thuật 1: Mask Hình Học Đơn Giản (5 phút) - Cho các vùng hình học cơ bản, tạo mask nhanh chóng trong bất kỳ trình chỉnh sửa hình ảnh nào.

Kỹ Thuật 2: Mask Vẽ Tay (10-20 phút) - Cho các hình dạng hữu cơ, vẽ tay mask với độ chính xác.

Kỹ Thuật 3: Mask Dựa Trên Lựa Chọn (15-30 phút) - Để xác định chính xác các vùng phức tạp dựa trên nội dung hình ảnh hiện có.

Kỹ Thuật 4: Tạo Mask Hỗ Trợ AI (2-5 phút) - Sử dụng các công cụ phân đoạn AI như Segment Anything Model.

Kỹ Thuật 5: Tạo Mask Theo Thủ Tục Trong ComfyUI - Tạo mask theo chương trình trong ComfyUI bằng các node tạo mask.

Compositing Mask Nhiều Vùng Nâng Cao

Đối với các bố cục có nhiều vùng, mẫu quy trình làm việc mở rộng một cách có hệ thống. ConditioningCombine chỉ chấp nhận hai đầu vào, vì vậy cho N vùng, bạn cần N-1 node combine được chuỗi lại với nhau.

Khi các mask chồng lắp, ưu tiên xác định prompt nào chiếm ưu thế. Triển khai ưu tiên thông qua giá trị mask: vùng ưu tiên cao (đối tượng) sử dụng giá trị mask 255, vùng ưu tiên trung bình sử dụng 180-200, vùng ưu tiên thấp (nền) sử dụng 120-150.

Regional Prompting Dựa Trên Mask Cho Các Mô Hình Flux

Các mô hình Flux không hỗ trợ các extension Regional Prompter truyền thống, khiến các phương pháp dựa trên mask trở thành cách duy nhất để đạt được kiểm soát prompt vùng với Flux.

Flux sử dụng kiến trúc conditioning khác với Stable Diffusion, yêu cầu các quy trình làm việc được điều chỉnh. Flux sử dụng dual text encoder (CLIP-L và T5). Cho regional prompting, giữ cả prompt clip_l và t5 giống hệt nhau trong mỗi vùng để nhất quán.

Các Cân Nhắc Về Mask Cụ Thể Cho Flux:

Flux phản ứng mạnh hơn với mask so với các mô hình SD. Sử dụng giá trị mask 180-200 cho các vùng chính để tránh ràng buộc quá mức. Flux được hưởng lợi từ các vùng feather rộng hơn (40-60 pixel) so với SD (20-30 pixel).

Quy Trình Làm Việc Sản Xuất và Tự Động Hóa

Regional prompting dựa trên mask trở nên thiết thực cho sản xuất khi bạn hệ thống hóa việc tạo mask và thực thi quy trình làm việc.

Tạo các template có thể tái sử dụng cho các bố cục phổ biến. Lưu những cái này dưới dạng tệp JSON quy trình làm việc ComfyUI. Cho các dự án mới, tải template và chỉ cập nhật prompt + mask.

Khắc Phục Sự Cố Regional Prompting Dựa Trên Mask

Vấn đề: Các đường nối hoặc cạnh cứng rõ ràng giữa các vùng - Tăng blur mask lên 30-50 pixel, đảm bảo các vùng feather chồng lắp, thêm các mô tả phong cách/ánh sáng được chia sẻ.

Vấn đề: Các vùng bỏ qua prompt hoặc hoán đổi nội dung - Xác minh các kết nối mask, kiểm tra cực tính mask, tăng tính riêng biệt của prompt.

Vấn đề: Một vùng chiếm toàn bộ hình ảnh - Giảm giá trị mask của vùng chiếm ưu thế, tăng giá trị mask của các vùng khác.

Suy Nghĩ Cuối Cùng

Regional prompting dựa trên mask đại diện cho đầu chính xác của kiểm soát bố cục trong việc tạo AI, nơi độ chính xác ở cấp độ pixel quan trọng hơn tốc độ thiết lập.

Lợi thế quan trọng so với các phương pháp dựa trên lưới là tính linh hoạt về hình dạng. Khi bố cục của bạn không phù hợp với lưới hình chữ nhật, các phương pháp dựa trên mask cung cấp con đường duy nhất để có kết quả sạch.

Bắt đầu với các bố cục hai vùng đơn giản để tiếp thu cách mask ảnh hưởng đến việc áp dụng prompt. Tiến bộ đến các bố cục 3-4 vùng khi sự thoải mái xây dựng.

Cho dù bạn xây dựng quy trình làm việc dựa trên mask cục bộ hay sử dụng Apatero.com, việc làm chủ regional prompting dựa trên mask nâng cao khả năng kiểm soát bố cục của bạn từ "gần đúng" lên "chính xác".