같은 이미지에 2명의 일관된 캐릭터를 넣는 방법

Stable Diffusion에서 캐릭터 디자인을 완벽하게 만드는 데 수 시간을 투자했습니다. 얼굴이 완벽하고, 의상이 당신의 비전과 일치하며, 스타일이 정확히 필요한 것입니다. 그런 다음 상호작용 장면을 만들기 위해 두 번째 캐릭터를 추가하려고 시도하면 모든 것이 무너집니다. 원래 캐릭터가 완전히 다른 누군가로 변형되고, 얼굴 특징이 함께 혼합되며, 신중하게 제작한 주인공 대신 두 명의 일관되지 않은 낯선 사람으로 끝나게 됩니다.

빠른 답변: 같은 이미지에 2명의 일관된 캐릭터를 생성하려면 캐릭터별 LoRA, 캐릭터 영역을 분리하기 위한 지역별 프롬프트, 얼굴 일관성을 위한 IP-Adapter, 신중한 구도 계획을 포함한 여러 기술을 결합해야 합니다. 가장 안정적인 접근 방식은 개별 캐릭터 LoRA를 낮은 가중치로 스태킹하면서 지역별 프롬프트 도구를 사용하여 각 캐릭터가 프레임에 나타나는 위치를 제어합니다.

다중 캐릭터 일관성이 왜 그렇게 어려울까요?

근본적인 도전은 확산 모델이 정보를 처리하는 방식에서 비롯됩니다. 단일 캐릭터에 대해 모델을 훈련하거나 LoRA를 생성하면 패턴, 얼굴 특징, 의류 세부 사항 및 스타일 요소를 상호 연결된 패키지로 학습합니다. 두 번째 캐릭터를 도입하면 생성 프로세스를 혼동하는 경쟁하는 신호가 생성됩니다.

이미지 생성 모델은 전체 구성에 걸쳐 특징을 혼합하는 주의 메커니즘을 통해 작동합니다. 명시적 경계가 없으면 모델은 모든 요소를 통합된 장면의 일부로 취급합니다. 즉, 한 캐릭터의 독특한 특징이 다른 캐릭터의 공간으로 유출됩니다. 캐릭터 A의 눈 색깔이 캐릭터 B에 나타나거나 헤어스타일이 피사체 간에 혼합되는 것을 볼 수 있습니다.

특히 캐릭터 LoRA를 사용할 때 문제가 더욱 심해집니다. 각 LoRA는 특정 특징을 선호하도록 기본 모델의 동작을 수정합니다. 두 개의 캐릭터 LoRA를 스태킹하면 같은 신경 경로에 대한 영향력을 놓고 경쟁합니다. 모델은 본질적으로 두 LoRA를 동시에 만족하는 하이브리드를 만들려고 시도하며, 결과적으로 어느 캐릭터도 올바르게 나타나지 않습니다.

공간적 일관성은 복잡성의 또 다른 계층을 추가합니다. 모델은 두 개의 별도 엔터티가 프레임의 다른 영역에 존재한다는 것을 이해하면서 적절한 규모, 관점 및 그들 사이의 조명 일관성을 유지해야 합니다. 이를 위해서는 표준 프롬프트가 단순히 제공할 수 없는 정교한 구도 제어가 필요합니다.

캐릭터 LoRA를 성공적으로 스태킹하는 방법은?

LoRA 스태킹은 다중 캐릭터 생성의 기초를 형성하지만 이 기술은 캐릭터 유출을 피하기 위해 정밀함이 필요합니다. 각 캐릭터 LoRA 가중치를 단일 캐릭터 생성에 사용되는 일반적인 0.81.0 범위 대신 약 0.40.6으로 줄여서 시작합니다. 이 감소된 영향은 어느 LoRA도 전체 구성을 지배하지 않도록 방지합니다.

첫 번째 캐릭터 LoRA를 로드하고 특정 프롬프트 영역에 할당합니다. ComfyUI를 사용하는 경우 ConditioningSetArea 노드를 사용하면 특정 조건이 적용되는 사각형 영역을 정의할 수 있습니다. 첫 번째 캐릭터의 경우 이미지 너비의 왼쪽 40%를 지정할 수 있습니다. 두 번째 캐릭터 LoRA는 다른 영역(오른쪽 40%)에 할당됩니다.

LoRA를 로드하는 순서는 매우 중요합니다. 가장 눈에 띄거나 카메라에 가장 가까워야 하는 캐릭터를 LoRA 스택의 첫 번째에 배치합니다. 이 캐릭터의 LoRA는 처리 우선순위를 받아 후속 LoRA가 재정의하기보다는 수정하는 기초를 설정합니다. 캐릭터 A가 장면을 지배해야 하고 캐릭터 B가 보조 역할을 하는 경우 약간 높은 가중치로 캐릭터 A의 LoRA를 먼저 로드합니다.

LoRA를 스태킹할 때 프롬프트 구조에 주의를 기울입니다. 각 캐릭터는 고유한 특징을 강화하는 독립적인 설명 텍스트가 필요합니다. 두 캐릭터를 함께 설명하는 단일 프롬프트 대신 각 영역에 대해 별도의 조건을 사용합니다. 캐릭터 A의 경우 자세, 표정, 의류 및 환경 맥락을 포함한 완전한 설명을 작성합니다. 캐릭터 B의 지정된 영역에서도 동일하게 수행합니다.

가중치 균형은 특정 LoRA에 따라 실험이 필요합니다. 일부 캐릭터 LoRA는 데이터세트 크기 또는 훈련 기간으로 인해 다른 캐릭터보다 강한 영향력으로 훈련됩니다. 한 캐릭터가 지속적으로 다른 캐릭터를 압도하면 지배적인 LoRA의 가중치를 0.1씩 줄이면서 더 약한 것을 늘립니다. 목표는 두 캐릭터 모두 혼합 없이 고유한 특징을 유지하는 균형 잡힌 영향입니다.

고급 제어를 위해 여러 LoRA 조합을 사용하여 여러 패스를 사용하는 것을 고려합니다. 기본 위치를 설정하기 위해 두 LoRA 모두 낮은 가중치로 초기 구성을 생성합니다. 그런 다음 지역별 마스크를 사용하여 ControlNet 또는 img2img로 두 번째 패스를 실행하고 높은 가중치로 각 캐릭터 LoRA를 특정 영역에 개별 적용합니다. 이 2단계 접근 방식은 구도 무결성을 유지하면서 교차 오염을 방지합니다.

어떤 지역별 프롬프트 방법이 가장 잘 작동할까요?

지역별 프롬프트는 캔버스를 제어된 영역으로 나누어 다양한 생성 지시사항이 적용됩니다. 이 공간 분리는 표준 다중 캐릭터 시도를 괴롭히는 캐릭터 특징 혼합을 방지합니다. 다양한 레벨의 제어를 제공하는 여러 도구 및 워크플로우가 지역별 프롬프트 기능을 제공합니다.

ComfyUI는 노드 기반 워크플로우 시스템을 통해 가장 유연한 지역별 프롬프트를 제공합니다. ConditioningSetArea 노드는 정확한 픽셀 또는 백분율 기반 치수를 가진 사각형 영역을 정의합니다. 각 영역에 별도의 프롬프트 조건을 연결하여 완전히 독립적인 캐릭터 설명을 허용합니다. 캐릭터가 상호작용하거나 공유 공간을 차지하는 영역을 처리하기 위해 다양한 조건 강도를 가진 겹치는 영역을 만들 수 있습니다.

AUTOMATIC1111용 Regional Prompter 확장은 더 간단한 인터페이스를 통해 유사한 기능을 제공합니다. 분할 화면 구성의 경우 1:1 또는 전경-배경 배열의 경우 2:1과 같은 간단한 비율을 사용하여 이미지를 나눕니다. 각 영역은 자신의 프롬프트 텍스트를 받으며 영역이 경계에서 혼합되거나 경계를 유지해야 하는지 지정할 수 있습니다.

Latent couple 기술은 생성 중 잠재 공간을 실제로 분할하여 지역 제어를 더욱 진행합니다. 단지 영역에 다른 프롬프트를 적용하는 대신 이 방법은 특정 단계에서만 병합되는 별도의 제거 경로를 통해 각 영역을 처리합니다. 이 접근 방식은 캐릭터 간의 교차 오염을 극적으로 줄이지만 더 많은 계산 리소스와 더 긴 생성 시간이 필요합니다.

정확한 캐릭터 경계를 위해 마스크 기반 지역별 프롬프트는 픽셀 완벽한 제어를 제공합니다. 흰색 영역이 캐릭터 A의 영역을 나타내고 검은색 영역이 캐릭터 B의 영역을 나타내는 이미지 편집기에서 이진 마스크를 만듭니다. 이러한 마스크를 워크플로우로 가져오고 각 캐릭터의 조건이 적용되는 위치를 제어하는 데 사용합니다. 이 방법은 캐릭터가 겹치거나 불규칙한 공간을 차지하는 복잡한 구성에서 특히 잘 작동합니다.

Apatero.com과 같은 플랫폼이 뒤에서 지역별 프롬프트를 자동으로 처리하지만 이러한 기술을 이해하면 일관성 문제를 해결하고 로컬 설치로 작업할 때 특정 구도 목표를 달성할 수 있습니다.

ControlNet 통합은 자세, 깊이 또는 구도 지원을 추가하여 지역별 프롬프트를 향상시킵니다. 원하는 캐릭터 위치를 표시하는 참조 이미지 또는 스케치를 생성합니다. 이를 ControlNet 입력으로 사용하면서 각 캐릭터 영역에 다양한 지역별 프롬프트를 적용합니다. ControlNet은 캐릭터가 적절한 위치를 유지하도록 보장하면서 지역별 프롬프트는 개별 모양 일관성을 보존합니다.

주의 마스킹은 생성 중에 주의 가중치를 수정하여 다른 지역 접근을 제공합니다. Attention Couple 확장과 같은 도구는 영역별 마스크로 주의 점수를 곱하여 모델에 지정된 영역에서 특정 특징에 초점을 맞추도록 효과적으로 지시합니다. 이 기술은 LoRA 스태킹과 결합될 때 특히 잘 작동하며 캐릭터 LoRA 간의 공간 분리를 강화합니다.

IP-Adapter는 다중 얼굴을 어떻게 처리합니까?

IP-Adapter는 텍스트 설명 대신 이미지 임베딩을 사용하여 모양을 정의함으로써 캐릭터 일관성을 혁신했습니다. IP-Adapter의 다중 얼굴 기능을 통해 각 캐릭터에 대한 참조 이미지를 제공하여 복잡한 다중 캐릭터 장면에서도 얼굴 특징이 일관되게 유지되도록 할 수 있습니다.

표준 IP-Adapter 워크플로우는 단일 참조 이미지를 사용하고 전체 생성에 걸쳐 해당 얼굴 특징을 적용합니다. 다중 캐릭터 작업을 위해 여러 얼굴 입력을 지원하는 IP-Adapter FaceID 또는 IP-Adapter Plus 모델이 필요합니다. 각 캐릭터에 대해 별도의 참조 이미지를 로드하고 시스템은 각 얼굴에 대해 임베딩을 독립적으로 생성합니다.

InstantID는 얼굴 일관 생성에서 최신 진화를 나타냅니다. 이 기술은 단일 통합 시스템의 얼굴 임베딩과 자세 제어 및 스타일 지원을 결합합니다. 2명 캐릭터 장면의 경우 두 캐릭터의 참조 얼굴과 함께 그들의 위치를 표시하는 구도 가이드를 제공합니다. InstantID는 얼굴 일관성을 유지하면서 자연스러운 자세 변화와 캐릭터 간의 상호작용을 허용합니다.

성공적인 IP-Adapter 다중 얼굴 작업의 핵심은 임베딩 강도와 레이어 대상입니다. 전체 생성 프로세스에 영향을 미치는 LoRA와 달리 IP-Adapter는 얼굴 특징이 처리되는 특정 모델 레이어를 대상으로 할 수 있습니다. 얼굴 임베딩을 주로 세밀한 특징이 나타나는 중간 및 나중 레이어에 영향을 미치도록 설정하면서 초기 레이어를 자유롭게 두어 전체 구도 및 스타일을 설정합니다.

참조 이미지 품질은 IP-Adapter 결과에 극적으로 영향을 미칩니다. 명확한 조명이 잘 맞는 참조 사진을 사용하여 정면 또는 3/4 얼굴 보기를 보여줍니다. 캐릭터별 여러 참조 이미지는 일관성을 개선합니다. 왜냐하면 시스템은 단일 잠재적으로 대표하지 않는 사진에 의존하기보다는 여러 예제에서 특징을 평균화할 수 있기 때문입니다.

가중치 균형은 LoRA 스태킹과 마찬가지로 IP-Adapter에 적용됩니다. 각 캐릭터의 얼굴 임베딩은 0.5~0.7 강도로 작동하여 이미지의 완전한 지배를 방지해야 합니다. 더 높은 가중치는 얼굴을 더 일관되게 만들지만 표정 및 각도 변화의 유연성을 감소시킵니다. 더 낮은 가중치는 더 자연스러운 변화를 허용하지만 일관성 손실 위험이 있습니다.

고급 워크플로우의 경우 IP-Adapter를 지역별 프롬프트와 결합하여 특정 얼굴 임베딩을 지정된 영역에 할당합니다. 캐릭터 A의 얼굴 임베딩을 왼쪽 영역에만 적용하고 캐릭터 B의 임베딩이 오른쪽 영역에 영향을 미치도록 합니다. 이 조합은 공간 배치와 얼굴 특징 모두가 독립적인 지원을 받으므로 가장 강력한 일관성 제어를 제공합니다.

Apatero.com은 이러한 고급 IP-Adapter 기술을 생성 파이프라인에 통합하여 자동으로 얼굴 일관성과 자연 변화의 균형을 맞춰 기술 구성보다는 창의적인 방향에 집중할 수 있게 합니다.

어떤 레이아웃과 구도 전략이 캐릭터 혼합을 방지합니까?

구도 계획은 기술 설정을 시작하기 전에 다중 캐릭터 생성에서 성공이나 실패를 결정합니다. 전략적 캐릭터 배치는 기술 일관성 조치를 강화하는 자연스러운 분리를 만듭니다.

삼분할 규칙은 2명 캐릭터 구성을 위한 우수한 시작 프레임워크를 제공합니다. 캐릭터 A를 왼쪽 삼분선에, 캐릭터 B를 오른쪽 삼분선에 배치합니다. 이 간격은 특징 혼합을 최소화하면서 시각적 균형을 유지하기에 충분한 분리를 만듭니다. 캐릭터를 너무 가깝게 배치하는 것을 피합니다. 특히 얼굴이 프레임에서 비슷한 크기일 경우입니다.

깊이 레이어링은 또 다른 강력한 구도 기법을 제공합니다. 한 캐릭터를 전경에 명확히 배치하고 두 번째를 중경이나 배경에 배치합니다. 크기 차이와 초점 변화는 모델이 이들이 별개의 엔터티라는 것을 이해하는 데 도움이 됩니다. 프레임 높이의 70%에서의 캐릭터는 40% 높이의 것과 구별되어 특징 혼합의 가능성을 줄입니다.

방향 지향은 시각적 흐름과 캐릭터 독립성을 제어합니다. 상호작용 장면의 경우 서로 마주보도록 캐릭터를 배치하되 명확하게 정의된 공간 영역을 차지하도록 합니다. 또는 한 캐릭터가 3/4 왼쪽을 향하고 다른 캐릭터가 3/4 오른쪽을 향하는 상호 각도를 사용합니다. 이 각도 변화는 모델이 피사체를 구별하는 데 도움이 됩니다.

환경 고정은 각 캐릭터를 장면의 서로 다른 요소에 연결합니다. 캐릭터 A를 특정 조명을 가진 창 근처에 배치하고 캐릭터 B를 다른 조명을 가진 문 근처에 서 있도록 배치합니다. 이러한 환경 신호는 생성 중에 캐릭터를 개념적으로 분리하는 데 도움이 되는 추가 맥락을 제공합니다.

해상도와 캔버스 모양은 캐릭터 일관성에 상당히 영향을 미칩니다. 16:9와 같은 더 넓은 종횡비는 자연스럽게 더 많은 수평 분리 공간을 제공합니다. 더 높은 해상도는 개별 특징의 더 세부적인 렌더링을 허용하여 모델이 고유한 캐릭터를 유지하기 더 쉽게 합니다. 다중 캐릭터 장면을 생성할 때 더 작은 차원에서 최소한 1024픽셀을 목표로 합니다.

샷 프레이밍은 모델이 각 캐릭터에 대해 얼마나 많은 세부 사항을 유지해야 하는지 결정합니다. 전신 샷은 특징을 더 큰 영역에 분산시켜 얼굴 일관성에 필요한 정밀도를 줄이지만 자세와 의류의 복잡성을 증가시킵니다. 근접촬영 또는 가슴샷은 세부 사항을 더 작은 영역에 집중시켜 얼굴 일관성을 더 쉽게 하지만 더 타이트한 지역별 프롬프트 제어가 필요합니다.

배경 복잡성은 캐릭터 복잡성이 증가함에 따라 감소해야 합니다. 간단한 그래디언트 배경 또는 부드러운 환경 요소는 모델이 캐릭터 일관성에 초점을 맞춰야 할 때 장면 세부 사항에 주의를 할당하는 것을 방지합니다. 복잡한 환경을 단일 캐릭터 작업이나 캐릭터 일관성이 전체 구도보다 덜 중요한 장면에 저장합니다.

어떤 문제 해결 단계가 일반적인 다중 캐릭터 문제를 해결합니까?

캐릭터가 적절한 설정에도 불구하고 혼합될 때 체계적인 문제 해결은 기본 원인을 파악하고 해결합니다. 변수를 격리하여 어느 구성 요소가 실패하는지 확인하기 시작합니다.

다중 캐릭터 설정 없이 각각의 LoRA 또는 IP-Adapter 임베딩을 사용하여 각 캐릭터를 개별적으로 생성합니다. 개별 캐릭터가 일관되지 않으면 결합 생성을 시도하기 전에 소스 자료를 개선해야 합니다. 더 일관된 데이터세트로 LoRA를 재훈련하거나 IP-Adapter에 대해 더 나은 참조 이미지를 선택합니다.

개별 캐릭터는 작동하지만 조합이 실패하면 통합 기법에 문제가 있습니다. 낮은 가중치의 두 개 LoRA와 지역별 프롬프트가 없는 상태로 시작하여 점진적으로 복잡성을 추가합니다. 이것이 혼합을 생성하면 가중치를 더 줄이거나 구도에서 분리를 증가시킵니다. 기본 조합이 작동하면 지역별 프롬프트를 추가하고 다시 테스트합니다.

캐릭터 특징 유출은 불충분한 지역 분리 또는 겹치는 조건 영역을 나타내는 경우가 많습니다. 지역별 프롬프트 간의 버퍼 영역을 증가시키고 마스크 또는 영역 정의가 겹치지 않도록 확인합니다. 또는 모델이 더 강한 차별화 신호를 받도록 프롬프트 설명의 대비를 증가시킵니다.

불균형한 캐릭터 두드러짐은 가중치 조정 필요를 제안합니다. 한 캐릭터가 지속적으로 더 자세하거나 정확하게 표현되면 LoRA 가중치를 0.1 줄이고 다른 캐릭터의 가중치를 0.1 증가시킵니다. 극적인 가중치 변화를 하기보다는 작은 조정을 하고 철저히 테스트합니다.

모델 선택은 다중 캐릭터 기능에 상당히 영향을 미칩니다. 일부 기본 모델은 훈련 데이터 구성으로 인해 여러 피사체를 다른 모델보다 더 잘 처리합니다. Realistic Vision, Deliberate 및 DreamShaper 모델은 일반적으로 여러 캐릭터로 잘 작동합니다. 지속적인 문제가 발생하면 기술이 잘못되었다고 결론 짓기 전에 다양한 기본 모델을 테스트합니다.

샘플링 단계와 CFG 스케일은 다중 캐릭터 작업을 위해 조정이 필요합니다. 샘플링 단계를 35-50으로 증가시켜 모델에 여러 LoRA 또는 임베딩의 경쟁하는 신호를 해결할 더 많은 반복 시간을 제공합니다. CFG 스케일을 6-8로 낮춰 혼합이 잘 안 되는 경직된 캐릭터 표현을 야기할 수 있는 프롬프트 준수를 줄입니다.

특정 캐릭터 조합의 지속적인 문제의 경우 단계적으로 장면을 생성하는 것을 고려합니다. 먼저 장면에서 캐릭터 A를 혼자 만든 후 별도 패스에서 인페인팅을 사용하여 캐릭터 B를 추가합니다. 이 단계적 접근 방식은 각 캐릭터에 대해 전체 모델 주의를 허용하지만 더 많은 수동 작업이 필요합니다.

하드웨어 제한은 일관성 문제로 나타날 수 있습니다. 지역별 프롬프트 및 스태킹된 LoRA를 사용한 다중 캐릭터 생성은 표준 단일 캐릭터 작업보다 더 많은 VRAM을 필요로 합니다. 저사양 하드웨어에서 충돌이나 성능 저하가 발생하면 전문 등급 인프라에서 계산 복잡성을 처리하는 Apatero.com 사용을 고려합니다.

ComfyUI 워크플로우는 다중 캐릭터 생성을 어떻게 간소화합니까?

ComfyUI 워크플로우는 시각적 노드 기반 프로그래밍을 통해 다중 캐릭터 일관성에 대한 가장 강력하고 유연한 접근을 제공합니다. 주요 노드와 연결 패턴을 이해하면 복잡한 다중 캐릭터 시나리오를 안정적으로 처리하는 재사용 가능한 워크플로우를 구축할 수 있습니다.

기초 워크플로우는 각 캐릭터에 대해 분리된 Load LoRA 노드로 시작합니다. 각각을 해당 캐릭터의 특정 설명을 포함하는 자신의 CLIP Text Encode 노드에 연결합니다. 이러한 조건 출력은 공간 영역을 정의하는 ConditioningSetArea 노드로 피드됩니다. 두 ConditioningSetArea 노드의 출력은 샘플러에 연결하기 전에 ConditioningCombine 노드를 통해 결합됩니다.

IP-Adapter 워크플로우의 경우 LoRA 노드를 IPAdapter 노드로 바꾸거나 보충합니다. LoadImage 노드를 통해 참조 이미지를 로드한 후 IPAdapter Apply 노드에 연결합니다. IPAdapter 노드의 마스크 입력을 사용하여 텍스트 기반 조건과 동일한 지역 제어를 달성하는 특정 영역으로 얼굴 임베딩 영향을 제한합니다.

ControlNet 통합은 제어의 또 다른 계층을 추가합니다. 두 캐릭터를 보여주는 자세 참조를 생성하는 구성 스케치를 만들거나 OpenPose를 사용합니다. 이를 전체 생성에 영향을 미치는 ControlNet Apply 노드를 통해 피드하면서 지역별 캐릭터 조건이 개별 모양 일관성을 유지합니다. ControlNet은 배치를 처리하고 지역별 프롬프트는 특징을 처리합니다.

Latent couple 워크플로우는 더 복잡한 노드 배열이 필요하지만 우수한 분리를 제공합니다. LatentComposite 노드를 사용하여 잠재 공간을 문자 그대로 영역으로 나눕니다. 각 지역을 병합하기 전에 다양한 조건으로 별도의 샘플러 노드를 통해 처리합니다. 이 접근 방식은 최종 구도 단계까지 캐릭터 생성 경로 간의 상호작용을 방지합니다.

Attention Couple 확장은 생성 중에 주의 가중치를 수정하는 노드를 추가합니다. 각 캐릭터가 나타나는 위치를 표시하는 주의 마스크를 만든 후 이러한 마스크를 사용하여 지정된 영역에서 주의를 증폭하거나 억제합니다. 이는 모델이 캔버스 전체에 처리 능력을 할당하는 방식을 실제로 변경함으로써 지역별 프롬프트를 강화합니다.

워크플로우 효율성은 노드 그룹 및 재사용 가능한 구성 요소를 통해 개선됩니다. LoadLoRA, CLIPTextEncode 및 ConditioningSetArea 노드를 포함하는 캐릭터 모듈을 한 캐릭터에 대해 구축합니다. 이를 그룹으로 저장한 후 두 캐릭터에 대해 두 개의 복사본을 인스턴스화합니다. 전체 구조를 일관되게 유지하면서 지역 정의와 프롬프트 텍스트를 조정합니다.

고급 워크플로우는 초기 생성이 구도를 설정한 후 후속 패스가 img2img 기술을 사용하여 각 캐릭터를 개별적으로 개선하는 반복적 개선을 구현합니다. 첫 번째 패스는 낮은 가중치 LoRA를 사용하여 대략적인 구도를 만듭니다. 두 번째 패스는 캐릭터 A의 영역을 마스킹하고 더 높은 가중치로 캐릭터 A의 LoRA로 처리합니다. 세 번째 패스는 캐릭터 B에 대해 동일하게 수행합니다.

반복되는 캐릭터 쌍으로 여러 프로젝트를 관리하는 전문가의 경우 매개변수화된 워크플로우가 엄청난 시간을 절약합니다. 캐릭터 LoRA, 임베딩, 지역 경계 및 프롬프트 요소가 외부 파일이나 구성 노드에서 로드되는 워크플로우 템플릿을 만듭니다. 이는 전체 워크플로우 구조를 재구축하지 않고도 캐릭터 정의를 바꿀 수 있게 합니다.

ComfyUI는 비교할 수 없는 제어와 유연성을 제공하지만 기술 숙달보다는 결과를 원하는 제작자의 경우 학습 곡선이 가파를 수 있습니다. Apatero.com과 같은 플랫폼은 노드 기반 프로그래밍이나 기술 구성을 이해할 필요 없이 신중하게 최적화된 워크플로우를 통해 동등한 일관성 및 품질을 제공합니다.

LoRA 및 IP-Adapter 이외의 대체 방법이 존재합니까?

몇 가지 새로운 기술 및 대체 접근 방식은 다중 캐릭터 생성을 위한 다양한 트레이드오프를 제공합니다. 이러한 옵션을 이해하면 특정 시나리오에 적합한 도구를 선택하는 데 도움이 됩니다.

다중 캐릭터 데이터세트에 대한 DreamBooth 훈련은 이 두 캐릭터가 자연스럽게 함께 존재한다고 모델에 가르쳐 일관성을 제공합니다. 각 캐릭터에 대해 분리된 LoRA를 훈련하는 대신 두 캐릭터를 함께 보여주는 이미지에서 단일 모델 체크포인트를 훈련합니다. 이 접근 방식은 다양한 상황에서 캐릭터 쌍을 보여주는 광범위한 훈련 데이터가 있을 때 가장 잘 작동합니다.

텍스트 반전은 전체 모델 훈련 없이 각 캐릭터를 나타내는 임베딩 토큰을 생성합니다. 이러한 임베딩은 일반적으로 LoRA보다 영향력이 적어 결합될 때 더 자연스럽게 호환됩니다. LoRA와 비교하여 일관성을 희생하면서 특징 혼합의 위험이 적게 여러 텍스트 반전 임베딩을 스태킹할 수 있습니다.

ControlNet 캐릭터 참조 모드는 LoRA 훈련 없이 자세 및 대략적인 모양 지원을 통해 일관성을 제공합니다. 캐릭터 A를 보여주는 참조 이미지를 제공하고 ControlNet은 생성에서 해당 캐릭터의 모양을 일치시키려고 시도합니다. 두 캐릭터의 경우 각각 자신의 참조 이미지를 사용하는 두 개의 별도 ControlNet 패스 또는 모델을 사용합니다.

스케칭 및 인페인팅 워크플로우는 캐릭터 경계에 대한 수동 제어를 제공합니다. 캐릭터가 나타나야 할 위치를 표시하는 대략적인 구도를 생성한 후 각 캐릭터를 개별적으로 구체화하기 위해 인페인팅을 사용하되 특정 LoRA 또는 임베딩을 사용합니다. 이 수동 접근 방식은 완전한 분리를 보장하지만 더 많은 시간과 예술 기술이 필요합니다.

얼굴 교환 후처리는 생성 기술이 일관성을 유지하지 못할 때 폴백을 제공합니다. 사용 가능한 최상의 기술로 다중 캐릭터 장면을 생성한 후 얼굴 교환 도구를 사용하여 얼굴을 일관된 참조 버전으로 바꿉니다. 이 접근 방식은 작동하지만 생성 전면에서 패배를 인정하는 것처럼 느껴지며 신중하게 수행하지 않으면 눈에 띄는 아티팩트를 생성할 수 있습니다.

스타일 전환 방법은 별도 생성의 캐릭터를 통합합니다. 각 캐릭터를 일관성을 유지하기 쉬운 개별 생성에서 만듭니다. 이미지 편집 도구를 사용하여 이들을 단일 캔버스로 구성한 후 낮은 강도로 스타일 전환 또는 img2img를 실행하여 응집력 있는 장면으로 혼합합니다. 이는 삽화 또는 스타일화된 콘텐츠에 특히 잘 작동합니다.

AI 지원 편집 도구는 프레임 간의 캐릭터 정체성을 이해하고 있습니다. 주로 비디오 일관성을 위해 개발되었지만 여러 캐릭터를 포함하는 정지 이미지로도 일부가 작동합니다. 각 그림을 별도로 분석하고 개별 정체성을 보존하면서 장면 응집력을 유지하기 위한 일관성 조정을 적용합니다.

실제 현실은 고급 기술을 사용해도 다중 캐릭터 일관성이 여전히 어렵다는 것입니다. 학습 곡선보다 결과를 우선시하는 제작자의 경우 Apatero.com과 같은 서비스는 간단한 인터페이스를 통해 이러한 정교한 워크플로우에 접근하여 기술 구성 대신 간단한 프롬프트를 통해 일관된 다중 캐릭터 장면을 생성할 수 있게 합니다.

두 캐릭터 모두에서 스타일 일관성을 어떻게 유지합니까?

스타일 일관성은 캐릭터 일관성과 별개의 도전입니다. 얼굴 특징과 모양이 안정적으로 유지되어도 캐릭터 간의 불일치하는 예술 스타일은 자동화된 생성 기술의 제약이 아닌 잘못된 포토샵 작업처럼 보이는 불쾌한 구도를 만듭니다.

스타일 LoRA는 지역별보다는 전역으로 적용되어야 합니다. 공간 분리가 필요한 캐릭터 LoRA와 달리 예술 스타일은 캔버스 전체에 동등하게 영향을 미쳐야 합니다. 개별 캐릭터 특징이 설정된 후 스타일 LoRA를 로딩 순서 마지막에 배치하여 두 캐릭터의 렌더링을 수정합니다.

기본 모델 선택은 기초 스타일을 결정합니다. 대상하는 예술 스타일에 탁월한 모델을 선택합니다. 사실적 사진 작업은 Realistic Vision 또는 CyberRealistic과 같은 모델을 사용해야 합니다. 애니메이션 또는 삽화 스타일은 Anything V5 또는 CounterfeitV3과 같은 모델로 더 잘 작동합니다. 올바른 기본 모델로 시작하면 LoRA가 수행해야 할 스타일링 작업이 감소합니다.

조명 일관성은 스타일 경계를 넘어 캐릭터를 통합합니다. 두 지역별 프롬프트 모두 유사한 조명 설명자를 포함하도록 합니다. 캐릭터 A가 "왼쪽에서 부드러운 창 빛"을 가진다면 캐릭터 B는 "가혹한 스포트라이트"와 같은 모순하는 용어보다는 "부드러운 주변 조명" 같은 호환 가능한 조명을 참조해야 합니다. 일관된 조명은 모델에 두 캐릭터를 동일한 물리적 환경의 일부로 렌더링하도록 지시합니다.

프롬프트를 통한 색상 그레이딩은 시각적 조화를 유지하는 데 도움이 됩니다. 캐릭터별 영역이 아닌 전체 장면에 적용되는 전체 색상 기분 설명자를 포함합니다. "따뜻한 색상 팔레트," "채도가 낮은 톤" 또는 "생생한 색상" 같은 용어는 기본 프롬프트에 두 캐릭터에 동시에 영향을 미칩니다.

생성 후 조정은 생성 중에 미끄러진 스타일 불일치를 구할 수 있습니다. 이미지 편집 도구를 사용하여 전체 이미지에 균일한 색 보정, 선명하게 또는 필터 효과를 적용합니다. 통일된 후처리 단계는 종종 생성 중에 스타일 일치를 완벽히 하려는 시도보다 캐릭터를 더 효과적으로 혼합합니다.

ControlNet 전처리자 색상 및 깊이와 같은 것은 캐릭터 전체에 스타일 정보를 추출하고 재적용할 수 있습니다. 초기 다중 캐릭터 이미지를 생성한 후 ControlNet 색상 전처리자를 통해 실행하여 색상 분배를 추출합니다. 이를 캐릭터 정체성을 보존하면서 스타일을 통합하는 후속 생성 패스에 대한 지침으로 사용합니다.

프롬프트 구조 우선순위는 스타일 유지에 중요합니다. 장면 전체 스타일 설명자를 프롬프트의 시작 부분에 배치하여 최대 가중치를 받습니다. 캐릭터별 모양 세부 사항을 따릅니다. 이 순서는 모델에 캐릭터 변화에서 스타일 일관성이 중요도 계층에서 더 중요하다고 지시합니다.

자주 묻는 질문

2명 이상의 캐릭터 LoRA를 동시에 사용할 수 있습니까?

기술적으로 3개 이상의 캐릭터 LoRA를 스태킹할 수 있지만 각 추가 캐릭터로 성공률이 급격히 떨어집니다. 경쟁하는 신호가 점점 더 균형 잡기 어려워지고 지역별 프롬프트가 더 복잡해집니다. 대부분의 워크플로우는 안정적인 일관성으로 2명 캐릭터에서 최대치입니다. 3명 이상의 캐릭터가 필요한 장면의 경우 별도 패스로 생성하여 합성하거나 복잡한 다중 캐릭터 시나리오를 최적화된 처리 파이프라인을 통해 처리하는 Apatero.com 사용을 고려합니다.

2명 캐릭터 장면에 가장 잘 작동하는 LoRA 가중치는?

각 캐릭터 LoRA에 대해 0.5 가중치로 시작한 후 결과에 따라 조정합니다. 한 캐릭터가 지배하면 그들의 가중치를 0.4로 줄이고 다른 캐릭터를 0.6으로 증가시킵니다. 모든 캐릭터 LoRA의 총 결합 가중치는 기본 모델을 압도하지 않도록 일반적으로 1.2 미만으로 유지해야 합니다. 0.3~0.4 주변의 더 낮은 가중치는 3개 이상의 LoRA를 결합할 때 더 잘 작동하지만 각 추가 캐릭터로 일관성이 저하됩니다.

각 캐릭터 영역에 대해 별개의 프롬프트가 필요합니까?

별개의 지역별 프롬프트는 일관성을 극적으로 개선하고 안정적인 다중 캐릭터 생성을 위해 필수로 간주되어야 합니다. 각 캐릭터는 다른 캐릭터의 설명의 간섭 없이 모양, 자세, 표정 및 의류를 지정하는 자신의 설명 텍스트가 필요합니다. 두 캐릭터를 함께 설명하는 전역 프롬프트는 빈번한 특징 혼합으로 인한 열등한 결과를 생성합니다.

캐릭터가 같은 얼굴을 가지는 것을 어떻게 방지합니까?

충분히 서로 다른 캐릭터 LoRA를 사용하되 명확하게 다른 피사체에서 훈련되고, 엄격한 지역별 프롬프트 경계를 구현하며, 다른 참조 얼굴을 사용한 IP-Adapter 얼굴 임베딩을 추가하는 것을 고려합니다. 문제는 종종 충분히 구별되지 않게 훈련된 LoRA에서 비롯됩니다. 예방이 실패하면 얼굴 교환 후처리가 생성 후 캐릭터를 차별화할 수 있습니다.

일관된 2명 캐릭터 장면에 필요한 최소 이미지 해상도는?

안정적인 캐릭터 분리 및 세부 사항을 위해 최소 차원에서 최소 1024픽셀을 생성합니다. 1024x768 또는 1280x768과 같은 더 넓은 이미지는 수평 분리 공간을 더 많이 제공하기 때문에 2명 캐릭터의 경우 정사각형 형식보다 더 잘 작동합니다. 1280x896 또는 1536x864와 같은 더 높은 해상도는 일관성을 더 개선하지만 더 많은 VRAM과 생성 시간이 필요합니다.

다른 훈련 소스의 캐릭터 LoRA를 함께 사용할 수 있습니까?

다양한 훈련자 또는 훈련 방법의 LoRA를 기본 모델과 호환하는 한 성공적으로 결합할 수 있습니다. 핵심 요소는 상대적 LoRA 강도와 충분한 지역 분리입니다. 일부 훈련 접근 방식은 다른 것보다 더 강하거나 약한 효과를 생성하므로 다양한 기술로 훈련된 LoRA를 균형 잡기 위해 더 많은 가중치 조정이 필요할 수 있습니다.

다중 캐릭터 일관성을 위해 기본 모델이 중요합니까?

기본 모델 선택은 다중 캐릭터 성공률에 상당히 영향을 미칩니다. 많은 다중 인물 이미지가 있는 다양한 데이터세트로 훈련된 모델은 주로 단일 피사체 초상화로 훈련된 모델보다 캐릭터 분리를 더 잘 처리합니다. Realistic Vision, Deliberate 및 DreamShaper는 일반적으로 여러 캐릭터로 잘 작동하는 반면 일부 특수 모델은 어려움을 겪습니다.

2명 캐릭터 생성에 몇 개의 샘플링 단계가 필요합니까?

단일 캐릭터의 일반적인 2030과 비교하여 다중 캐릭터 작업에 3550 샘플링 단계를 사용합니다. 추가 복잡성은 모델이 경쟁하는 신호를 해결하고 깨끗한 결과를 생성할 더 많은 반복이 필요합니다. 60 이상의 극도로 높은 단계 수는 시간 투자를 정당화할 만큼 품질을 거의 개선하지 않습니다.

같은 이미지에서 현실적이고 애니메이션 캐릭터 스타일을 혼합할 수 있습니까?

단일 이미지에 근본적으로 다양한 예술 스타일을 혼합하는 것이 기술적으로 가능하지만 미학적으로 만족스러운 결과를 거의 생성하지 않습니다. 기본 모델은 스타일 간의 타협을 시도하여 잘못 보이는 불안한 중간 지대를 만드는 경우가 많습니다. 혼합 스타일이 필요한 프로젝트의 경우 캐릭터를 별도로 생성하여 합성하거나 이질적인 요소를 더 자연스럽게 혼합할 수 있는 Apatero.com과 같은 서비스로 작업합니다.

캐릭터가 아무리 노력해도 계속 혼합되면 어떻게 해야 합니까?

모든 기술적 솔루션이 실패하면 각 캐릭터를 동일한 구도, 조명 및 자세 지원을 사용하여 별도 이미지에 개별적으로 생성합니다. 그런 다음 이미지 편집 소프트웨어를 사용하여 이들을 단일 장면으로 합성합니다. 이 보장된 성공 접근 방식은 생성 편의성을 수동 편집 작업으로 교환하지만 자동화된 기술이 실패할 때 안정적인 결과를 생성합니다. 또는 Apatero.com과 같은 플랫폼이 평균 사용자가 자신을 구성할 필요가 없는 특수 워크플로우를 통해 이러한 어려운 시나리오를 처리합니다.

결론

같은 이미지에서 2명의 일관된 캐릭터를 생성하는 것은 AI 이미지 생성을 한계까지 밀어붙이며 기술 기술과 구도 전략의 조합이 필요합니다. 성공은 여러 캐릭터가 생성 프로세스 내에서 경쟁하는 신호를 만들고 신중한 설정을 통해 갈등을 최소화하는 것이 당신의 일이라는 것을 이해하는 데서 비롯됩니다.

가장 안정적인 접근 방식은 감소된 가중치로 캐릭터별 LoRA를 캐릭터 영역을 공간적으로 분리하는 엄격한 지역별 프롬프트와 결합합니다. IP-Adapter 얼굴 임베딩을 추가하면 전체 구도와 간섭하지 않으면서 캐릭터 정체성을 강화하는 추가 일관성 계층을 제공합니다. 캐릭터를 명확한 분리로 배치하는 전략적 레이아웃 계획은 구성이 잘못된 다중 캐릭터 시도를 괴롭히는 특징 혼합을 방지합니다.

이러한 기술은 적절한 구현으로 효과적으로 작동하지만 숙달하려면 상당한 기술 지식과 인내심 있는 실험이 필요합니다. ComfyUI 워크플로우는 가장 큰 제어를 제공하지만 가파른 학습 곡선이 있습니다. 생성 엔지니어가 되기보다는 전문 다중 캐릭터 결과를 원하는 제작자의 경우 Apatero.com은 간단한 프롬프트 인터페이스를 통해 동일한 정교한 일관성 기술을 제공합니다.

핵심 통찰은 다중 캐릭터 일관성이 해결 가능하지만 자동이 아니라는 것입니다. 추가 캐릭터는 복잡성을 기하급수적으로 곱합니다. 상호작용이 노력을 정당화하는 필수 장면에만 다중 캐릭터 작업에 초점을 맞추고 다른 모든 것에는 단일 캐릭터 생성을 사용합니다.

다중 캐릭터 워크플로우를 개발할 때 불완전한 결과가 약간의 후처리로 완벽해질 수 있다는 것을 기억합니다. 90%까지 도달하는 생성은 작은 수동 조정으로 완벽하게 광택될 수 있어 수백 번의 생성을 통해 마지막 10%를 추구할 필요가 없습니다. 기술적 완벽성과 실질적인 효율성의 균형을 맞춰서 다중 캐릭터 장면이 단일 캐릭터 작업이 절대 할 수 없는 이야기를 말합니다.