RTX 4090에서 Flux LoRA 트레이닝 메모리 부족 오류 해결하기

24GB VRAM의 RTX 4090을 가지고 있고 로컬 Flux 트레이닝에 충분하다고 여겨지지만, 매번 CUDA out of memory 오류로 크래시됩니다. 트레이닝이 정상적으로 시작되고 몇 단계 실행한 후 중단됩니다. 배치 크기를 줄여봤지만 여전히 크래시됩니다. 무엇이 그 모든 메모리를 소비하고 있는 걸까요?

빠른 답변: RTX 4090에서 Flux LoRA 트레이닝 OOM은 Flux의 대규모 아키텍처가 기본 트레이닝 설정에서 30-40GB VRAM을 필요로 하기 때문에 발생합니다. 그래디언트 체크포인팅을 활성화하여 계산과 메모리를 트레이드오프하고, 배치 크기를 1로 줄이고, 1024x1024 대신 512x512 트레이닝 해상도를 사용하고, FP16 또는 BF16으로 혼합 정밀도를 활성화하고, 메모리 효율적인 어텐션 구현을 사용하여 이를 해결하세요. 이러한 설정으로 24GB에서 완전한 트레이닝이 가능하며 품질 높은 LoRA를 생성할 수 있습니다.

RTX 4090은 적절히 구성하면 Flux LoRA 트레이닝에 훌륭한 카드입니다. 문제는 기본 트레이닝 구성이 24GB 이상의 VRAM을 가정한다는 것입니다. 올바른 설정으로 고품질 Flux LoRA를 효율적으로 트레이닝할 수 있습니다. 안정적인 트레이닝을 위한 설정을 구성해 봅시다.

왜 Flux 트레이닝에 그렇게 많은 VRAM이 필요한가?

트레이닝 중 무엇이 메모리를 소비하는지 이해하면 효과적으로 최적화할 수 있습니다.

모델 크기

Flux의 기본 모델은 SDXL이나 SD 1.5보다 상당히 큽니다. 전체 정밀도의 모델 가중치만으로 약 23GB를 소비합니다. 이는 트레이닝이 시작되기도 전에 이미 4090의 전체 VRAM입니다.

트레이닝 중에는 모델, 그래디언트, 옵티마이저 상태, 활성화를 위한 메모리가 필요합니다. 이들 각각이 모델 자체의 크기에 근접할 수 있습니다.

LoRA 트레이닝의 경우 기본 모델을 동결하고 작은 어댑터 레이어만 트레이닝합니다. 이것이 상당히 도움이 되지만 전체 모델을 통과하는 활성화와 그래디언트의 메모리 압력을 제거하지는 않습니다.

활성화 메모리

순방향 패스 동안 중간 활성화가 역방향 패스에서 사용하기 위해 저장됩니다. 이러한 활성화는 배치 크기와 해상도에 따라 증가합니다.

1024x1024 해상도에서 활성화 메모리는 모델 크기를 초과할 수 있습니다. 단일 트레이닝 배치에 활성화만으로 15-20GB가 필요할 수 있습니다.

이것이 트레이닝이 몇 단계 후에 크래시되는 이유입니다. 첫 번째 단계는 맞을 수 있지만 메모리 단편화와 누적된 상태로 인해 후속 단계가 실패합니다.

옵티마이저 상태

Adam과 같은 옵티마이저는 모든 학습 가능한 매개변수에 대해 두 개의 모멘텀 값을 저장합니다. 이는 학습 중인 매개변수에 필요한 메모리를 두 배로 만듭니다.

전체 파인튜닝의 경우 옵티마이저 상태 메모리는 모델 크기의 2배에 해당합니다. LoRA 트레이닝은 학습되는 매개변수가 적으므로 옵티마이저 상태가 더 작지만 여전히 상당합니다.

그래디언트 메모리

각 학습 가능한 매개변수의 그래디언트는 역방향 패스 동안 저장이 필요합니다. 이는 학습 가능한 매개변수 크기의 전체 복사본을 메모리 요구 사항에 추가합니다.

모델, 활성화, 옵티마이저 상태와 결합하면 기본 Flux 트레이닝 구성의 총 메모리 요구 사항은 쉽게 40-50GB에 도달합니다.

24GB VRAM에서 트레이닝을 어떻게 구성하나요?

이러한 설정으로 RTX 4090에서 안정적인 Flux LoRA 트레이닝이 가능합니다.

그래디언트 체크포인팅 활성화

그래디언트 체크포인팅은 가장 영향력 있는 메모리 최적화입니다. 20-30%의 계산 시간 증가 비용으로 활성화 메모리를 60-70% 줄입니다.

순방향 패스 동안 모든 활성화를 저장하는 대신, 체크포인팅은 대부분을 버리고 역방향 패스 동안 다시 계산합니다. 메모리 사용량은 모델 깊이에 관계없이 거의 일정해집니다.

Kohya SS에서는 트레이닝 구성에서 그래디언트 체크포인팅을 활성화합니다. 옵션은 일반적으로 간단한 체크박스나 불리언 매개변수입니다.

diffusers를 사용하는 커스텀 트레이닝 스크립트에서는 트레이닝 시작 전에 model.enable_gradient_checkpointing()을 호출합니다.

체크포인팅이 활성화되면 트레이닝이 더 오래 걸리지만 크래시 대신 실제로 완료됩니다. 시간 트레이드오프는 가치가 있습니다.

배치 크기를 1로 설정

배치 크기는 활성화 메모리를 직접 곱합니다. 배치 크기 4는 배치 크기 1의 약 4배 활성화 메모리를 사용합니다.

배치 크기를 1로 설정하세요. 메모리 비용 없이 더 큰 유효 배치 크기를 시뮬레이션하려면 그래디언트 누적을 사용하세요.

예를 들어, 배치 크기 1과 그래디언트 누적 단계 4는 메모리에 1개 샘플의 활성화만 유지하면서 유효 배치 크기 4를 제공합니다.

그래디언트 누적은 가중치를 업데이트하기 전에 여러 순방향 패스에 걸쳐 그래디언트를 누적합니다. 메모리 사용량은 배치 크기 1에서 일정하게 유지되면서 트레이닝 역학은 더 큰 배치에 근사합니다.

트레이닝 해상도 줄이기

해상도는 메모리에 제곱 영향을 미칩니다. 해상도를 두 배로 늘리면 활성화 메모리가 네 배가 됩니다.

1024x1024 대신 512x512에서 트레이닝하세요. 이렇게 하면 활성화 메모리가 약 75% 줄어듭니다.

512x512 트레이닝이 네이티브 해상도보다 나쁜 결과를 생성할까 걱정될 수 있습니다. 실제로는 낮은 해상도에서 트레이닝된 LoRA가 높은 해상도 추론에 잘 전달됩니다. 트레이닝하는 스타일 요소와 개념은 1024x1024 생성에서도 나타납니다.

특정 사용 사례에 더 높은 해상도 트레이닝이 필요한 경우, 다른 공격적인 최적화와 함께 768x768이 가능할 수도 있습니다. 주의 깊게 테스트하고 메모리를 모니터링하세요.

혼합 정밀도 트레이닝 사용

혼합 정밀도는 중요한 값을 FP32로 유지하면서 대부분의 연산에 FP16 또는 BF16을 사용합니다.

BF16은 Ampere 및 최신 GPU에 권장됩니다. 더 큰 동적 범위로 인해 FP16보다 그래디언트를 더 잘 처리합니다.

트레이닝 구성에서 혼합 정밀도를 활성화하세요. Kohya SS에서는 정밀도 드롭다운에서 BF16을 선택합니다. 커스텀 스크립트에서는 PyTorch의 autocast 컨텍스트 매니저를 사용합니다.

혼합 정밀도는 모델 가중치와 활성화의 메모리를 대략 절반으로 줄입니다. 다른 최적화와 결합하면 24GB 트레이닝에 필수적입니다.

메모리 효율적 어텐션 활성화

표준 어텐션 구현은 큰 중간 텐서를 할당합니다. xFormers나 Flash Attention과 같은 메모리 효율적 변형은 어텐션을 청크로 처리합니다.

xFormers는 트레이닝에 잘 작동하며 널리 지원됩니다. 별도로 설치하고 트레이닝 구성에서 활성화하세요.

Flash Attention은 최신 GPU에서 더 나은 성능을 제공합니다. 트레이닝 프레임워크가 지원하는지 확인하세요.

메모리 효율적 어텐션은 어텐션 메모리 사용량을 80% 이상 줄일 수 있습니다. Flux와 같은 대규모 모델의 경우 이는 수 GB 절약으로 이어집니다.

8비트 옵티마이저 사용

표준 Adam 옵티마이저는 매개변수당 두 개의 FP32 값을 저장합니다. 8비트 Adam은 이를 INT8로 양자화하여 옵티마이저 메모리를 절반으로 줄입니다.

bitsandbytes 라이브러리를 설치하고 트레이닝 설정에서 8비트 Adam을 구성하세요. Kohya SS는 이를 직접 지원합니다. 커스텀 스크립트는 bitsandbytes에서 8비트 옵티마이저를 임포트해야 합니다.

품질 영향은 최소입니다. 8비트 Adam은 대부분의 경우 전체 정밀도와 유사하게 수렴합니다.

Kohya SS에서 가장 잘 작동하는 설정은 무엇인가요?

Kohya SS는 가장 인기 있는 Flux LoRA 트레이닝 도구입니다. 다음은 구체적으로 작동하는 구성입니다.

권장 구성

RTX 4090 Flux LoRA 트레이닝의 시작점으로 이러한 설정을 사용하세요.

해상도: 512,512 배치 크기: 1 그래디언트 누적 단계: 4 혼합 정밀도: bf16 그래디언트 체크포인팅: 활성화 xFormers: 활성화 옵티마이저: AdamW8bit 네트워크 랭크: 16-32 네트워크 알파: 랭크와 동일하거나 절반 학습률: 1e-4 트레이닝 단계: 캐릭터의 경우 1000-2000, 스타일의 경우 2000-4000

이 구성은 약 20GB VRAM을 사용하여 안정성을 위한 여유를 남깁니다.

다양한 트레이닝 유형에 맞게 조정

캐릭터 LoRA는 약 16의 낮은 랭크와 약 1000의 적은 단계를 사용할 수 있습니다. 캐릭터 특징은 캡처하기가 비교적 간단합니다.

스타일 LoRA는 약 32-64의 높은 랭크와 약 3000-4000의 더 많은 트레이닝 단계의 혜택을 받습니다. 예술적 스타일은 학습할 변화가 더 많습니다.

특정 객체나 포즈를 위한 컨셉 LoRA는 크게 다릅니다. 캐릭터 설정으로 시작하고 결과에 따라 조정하세요.

높은 랭크는 더 많은 VRAM이 필요합니다. 랭크를 64 이상으로 올리면 트레이닝 중 메모리 사용량을 모니터링하세요. 해상도를 448x448로 줄여야 할 수 있습니다.

캡션 구성

좋은 캡션은 트레이닝 품질을 극적으로 향상시킵니다. Flux는 자연어 설명에 잘 반응합니다.

BLIP 또는 유사한 도구를 사용하여 초기 캡션을 생성한 다음 수동으로 다듬습니다. 부정확한 설명을 제거하고 트리거 단어를 추가합니다.

Flux에서는 SD 1.5보다 더 긴 캡션이 일반적으로 더 잘 작동합니다. 피사체 외에 이미지 콘텐츠에 대한 관련 세부 정보를 포함하세요.

데이터셋 전체에서 반복되는 캡션을 피하세요. 트리거 단어를 일관되게 유지하면서 언어를 다양화하세요.

샘플 이미지 생성

진행 상황을 모니터링하기 위해 트레이닝 중 샘플 생성을 활성화하세요. 샘플 빈도를 100-200 단계마다로 설정하세요.

샘플 생성은 메모리 오버헤드를 추가합니다. 샘플링 중 OOM이 발생하면 그래디언트 누적을 늘리거나 샘플 빈도를 줄이세요.

샘플은 트레이닝이 잘 진행되는지와 과적합이 시작되었는지를 알려줍니다. 샘플이 좋아 보이지만 아직 품질이 떨어지기 시작하지 않았을 때 트레이닝을 중지하세요.

지속적인 OOM 오류를 어떻게 해결하나요?

최적화 후에도 크래시가 계속되면 이러한 추가 요소를 조사하세요.

VRAM 단편화

PyTorch의 메모리 할당자는 시간이 지남에 따라 VRAM을 단편화하여 총 여유 메모리가 충분해 보여도 실패를 일으킬 수 있습니다.

PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:128 환경 변수로 트레이닝을 실행하세요. 이렇게 하면 단편화를 줄이기 위해 할당 전략이 변경됩니다.

이전 GPU 작업 없이 새로 시작하는 것이 도움이 됩니다. 트레이닝 전에 시스템을 재시작하거나 적어도 모든 Python 프로세스를 종료하세요.

메모리 사용량 모니터링

트레이닝 중 VRAM 사용량을 관찰하여 OOM이 정확히 언제 발생하는지 확인하세요.

별도의 터미널에서 nvidia-smi -l 1을 실행하여 매초 업데이트되는 메모리 사용량을 확인하세요.

크래시 직전의 피크 사용량을 기록하세요. 이를 통해 얼마나 줄여야 하는지 알 수 있습니다.

크래시가 즉시 발생하면 모델 로딩 구성이 잘못된 것입니다. 크래시가 몇 단계 후에 발생하면 활성화 누적이나 단편화가 문제입니다.

데이터셋 문제

데이터셋의 극도로 높은 해상도 이미지는 트레이닝을 위해 로드될 때 OOM을 일으킬 수 있습니다.

모든 이미지가 트레이닝 해상도 이하인지 확인하기 위해 데이터셋을 전처리하세요. 512x512에서 트레이닝할 때 4K 이미지를 로드하는 이점은 없습니다.

종횡비가 합리적인지 확인하세요. 매우 넓거나 높은 이미지는 동일한 총 픽셀에서도 처리 중 더 많은 메모리를 필요로 할 수 있습니다.

VRAM을 사용하는 다른 프로세스

트레이닝 전에 GPU 메모리를 소비하는 다른 애플리케이션을 확인하세요.

웹 브라우저, Discord 및 기타 GPU 가속 애플리케이션을 닫으세요. 다른 곳에서 소비되는 몇 백 MB도 한계를 넘어설 수 있습니다.

여러 Python 프로세스가 이전 실패한 실행에서 VRAM을 보유할 수 있습니다. 깨끗한 상태를 위해 Python 인터프리터나 전체 시스템을 재시작하세요.

트레이닝 프레임워크 버그

때때로 Kohya SS나 다른 트레이닝 도구의 버그가 메모리 누수를 일으킵니다.

트레이닝 도구의 최신 버전으로 업데이트하세요. 메모리 관련 수정은 업데이트에서 일반적입니다.

도구의 GitHub 이슈에서 증상과 일치하는 보고서를 확인하세요. 다른 사람들이 해결 방법이나 수정을 찾았을 수 있습니다.

이러한 기술적 제한을 관리하지 않고 LoRA를 트레이닝하려는 사용자의 경우, Apatero.com은 전문가급 하드웨어를 사용한 클라우드 기반 트레이닝을 제공합니다. 트레이닝 작업과 데이터셋을 정의하면 플랫폼이 메모리 관리와 최적화를 자동으로 처리합니다.

대안적인 트레이닝 접근법은 무엇인가요?

4090 트레이닝이 여전히 문제가 되면 이러한 대안을 고려하세요.

클라우드 트레이닝

48GB+ VRAM의 클라우드 인스턴스는 메모리 제약을 완전히 제거합니다.

RunPod, Vast.ai, Lambda Labs는 시간당 GPU 인스턴스를 제공합니다. A100 80GB 인스턴스는 전체 해상도에서 Flux LoRA를 편안하게 트레이닝합니다.

일반적인 LoRA 트레이닝 실행 비용은 제공업체와 GPU 유형에 따라 $5-15입니다. 이는 가끔 트레이닝이 필요한 경우에 합리적입니다.

데이터셋을 업로드하고, 트레이닝을 실행하고, LoRA를 다운로드하세요. 대부분의 프로젝트에서 프로세스는 총 1-2시간이 걸립니다.

더 낮은 정밀도 트레이닝

실험적인 FP8 트레이닝은 BF16보다 메모리를 더 줄입니다. 일부 커뮤니티 도구가 이를 지원합니다.

FP8 트레이닝은 BF16보다 품질에 대해 덜 검증되었습니다. 중요한 프로젝트에 채택하기 전에 결과를 주의 깊게 테스트하세요.

추가 30-40%의 메모리 절약으로 이전에 불가능했던 구성이 작동할 수 있습니다.

더 작은 LoRA 변형

LoKr, LoHa 및 유사한 저랭크 적응은 표준 LoRA보다 적은 메모리를 사용합니다.

이러한 변형은 일부 트레이닝 목표에는 잘 작동하지만 복잡한 스타일이나 개념에서는 성능이 떨어질 수 있습니다.

최적화에도 불구하고 표준 LoRA 구성이 여전히 문제가 되면 대안을 실험해 보세요.

자주 묻는 질문

왜 트레이닝이 매번 정확히 1단계 후에 크래시되나요?

이는 특정 메모리 임계값이 넘어갔음을 나타냅니다. 순방향 패스는 맞지만 역방향 패스 중 그래디언트를 추가하면 VRAM을 초과합니다. 점진적으로가 아니라 그래디언트 체크포인팅과 해상도 감소를 함께 활성화하세요.

RTX 4090에서 1024x1024로 트레이닝할 수 있나요?

최소 랭크, 헤비 체크포인팅, 모든 것에 8비트를 포함한 극단적인 최적화로 이론적으로 가능합니다. 실제로는 512x512에서의 결과가 충분히 좋아서 메모리 문제가 가치가 없습니다. 512x512에서 트레이닝하고 1024x1024에서 생성하세요.

배치 크기 1이 더 큰 배치보다 나쁜 LoRA를 생성하나요?

크게 그렇지 않습니다. 그래디언트 누적은 동등한 트레이닝 역학을 제공합니다. 일부는 매우 작은 배치가 약간 더 노이즈가 있다고 주장하지만 누적된 그래디언트가 이를 부드럽게 합니다. 품질 차이는 다른 요소에 비해 최소입니다.

내 LoRA가 올바르게 트레이닝되는지 어떻게 알 수 있나요?

트레이닝 중 샘플 이미지가 진행 상황을 보여줍니다. 200-400 단계 후에 트리거 단어가 생성에 영향을 미치는 것을 볼 수 있어야 합니다. 완전한 스타일 전이는 일반적으로 800-1000 단계에서 나타납니다. 샘플이 변경되지 않거나 즉시 품질이 떨어지면 학습률을 조정하세요.

왜 트레이닝 중 VRAM 사용량이 점진적으로 증가하나요?

메모리 단편화나 누수가 점진적 증가를 일으킵니다. 할당자가 재사용할 수 없는 작은 조각을 만듭니다. max_split_size_mb 환경 변수를 설정하고 커스텀 코드에 메모리 누수가 없는지 확인하세요.

xFormers를 사용해야 하나요 아니면 네이티브 PyTorch 어텐션을 사용해야 하나요?

xFormers는 대부분의 트레이닝 시나리오에서 더 나은 메모리 효율성을 제공합니다. 네이티브 어텐션은 때때로 특정 아키텍처에서 더 잘 작동합니다. xFormers로 시작하고 문제가 발생할 때만 전환하세요.

Flux LoRA에 어떤 네트워크 랭크를 사용해야 하나요?

캐릭터와 간단한 개념에는 16으로 시작하고, 스타일과 복잡한 피사체에는 32를 사용하세요. 높은 랭크는 더 많은 세부 사항을 캡처하지만 더 많은 메모리와 더 많은 트레이닝 데이터가 필요합니다. 낮은 랭크가 종종 잘 작동하므로 먼저 테스트하세요.

몇 개의 트레이닝 이미지가 필요한가요?

캐릭터의 경우 10-20개의 좋은 이미지가 잘 작동합니다. 스타일의 경우 50-200개의 이미지가 더 나은 커버리지를 제공합니다. 양보다 품질이 더 중요합니다. 잘 캡션이 달린 다양한 이미지가 수백 개의 유사한 샷보다 낫습니다.

OOM 크래시 후 트레이닝을 재개할 수 있나요?

트레이닝 구성에서 체크포인팅을 활성화했다면 가능합니다. Kohya SS는 주기적으로 진행 상황을 저장합니다. 메모리 설정을 수정한 후 마지막 체크포인트에서 재개하세요.

시작하기 전에 내 구성이 OOM될지 예측할 방법이 있나요?

모델 크기, 배치 크기, 해상도, 최적화를 기반으로 한 대략적인 추정. accelerate estimate-memory와 같은 도구가 추정을 제공합니다. 그러나 실제 메모리는 구현 세부 사항에 따라 다르므로 항상 보수적으로 시작하세요.

결론 및 권장 워크플로우

RTX 4090에서 Flux LoRA 트레이닝은 신중한 메모리 관리가 필요하지만 올바르게 구성되면 우수한 결과를 생성합니다. 핵심 설정은 그래디언트 체크포인팅, 누적 포함 배치 크기 1, 512x512 해상도, 혼합 정밀도 트레이닝입니다.

이 가이드에서 제공된 보수적인 구성으로 시작하세요. 전체 트레이닝 실행에 커밋하기 전에 안정성을 확인하기 위해 100-200 단계의 짧은 테스트를 실행하세요.

트레이닝 중 샘플을 모니터링하세요. LoRA가 과적합으로 품질이 저하되기 시작하기 전에 목표 개념을 캡처하면 중지하세요.

메모리 제한에 지속적으로 어려움을 겪거나 24GB가 허용하는 것보다 높은 품질 설정을 원하면 클라우드 트레이닝이 실용적인 대안을 제공합니다. Apatero.com과 같은 서비스를 사용하면 클라우드 인프라를 직접 관리하지 않고도 접근할 수 있습니다.

RTX 4090은 로컬 LoRA 트레이닝에 유능한 하드웨어입니다. 적절한 구성으로 모든 것을 자신의 머신에 유지하면서 특정 캐릭터, 스타일, 개념을 위한 커스텀 Flux LoRA를 트레이닝할 수 있습니다.