VRAM最適化フラグの解説 - ComfyUIとAI生成ガイド

ComfyUIとAI生成ツールには、数十のVRAM最適化フラグと設定があります。--lowvram、アテンションスライシング、FP16、CPUオフローディングなどの用語を見たことがありますが、実際に何をするのか、どれを使用すべきかわかりません。これらのフラグを理解することで、特定のハードウェアでパフォーマンスを最大化できます。

クイックアンサー: VRAM最適化フラグは、FP16やBF16の低精度、アテンション計算モード、CPUオフローディングなどの技術を通じて、モデルがGPUメモリをどのように使用するかを制御します。主要なフラグには、自動的に積極的な最適化を行う--lowvram、すべてをGPU上に保持する--gpu-only、xFormersやSageAttentionなどのアテンションモード、品質とメモリのバランスをとる精度フラグがあります。VRAMの量と生成ニーズに基づいてフラグを選択してください。

VRAMはローカルAI生成の主要な制約です。最適化フラグを理解することで、そうでなければハードウェアを超えるモデルを実行したり、ぎりぎり収まるモデルからより良いパフォーマンスを得ることができます。各主要な最適化カテゴリを解明しましょう。

精度フラグは何をするのか？

精度設定は数値の保存方法を制御し、メモリと品質に直接影響します。

FP32フル精度

FP32は数値ごとに32ビットを使用します。これは最大の数値精度を提供しますが、最も多くのメモリを使用します。

モデルの重み、アクティベーション、勾配はすべてFP32で各4バイトを取ります。

ほとんどのAI生成は実際にはFP32を必要としません。一部のツールではデフォルトですが、最適ではありません。

FP16ハーフ精度

FP16は数値ごとに16ビットを使用し、FP32と比較してメモリを半減します。

推論への品質への影響は通常知覚できません。生成は同じに見えます。

FP16は、限られたダイナミックレンジのため、非常に大きいまたは小さい数値で問題が発生する可能性があります。これは推論よりもトレーニングに重要です。

ほとんどの生成ツールはデフォルトでFP16を使用します。十分にテストされており、信頼性があります。

BF16ブレインフロート

BF16も16ビットを使用しますが、指数と仮数の間の割り当てが異なります。

FP32と同じダイナミックレンジを持ちますが、精度は低くなります。これはFP16よりもトレーニングをより良く処理します。

Ampereまたはそれより新しいGPUが必要です。RTX 30シリーズ以降はBF16をネイティブでサポートします。

推論では、BF16とFP16は同様の結果を生み出します。BF16はトレーニングに利点があります。

FP8とINT8

新しいGPUは、特定の操作に対してさらに低い精度フォーマットをサポートしています。

FP8は8ビットを使用し、FP16に対してさらに50%のメモリ削減を提供します。品質への影響は異なります。

INT8量子化は主に推論最適化のためです。モデルには量子化を意識した準備が必要です。

これらのフォーマットは、品質のトレードオフが許容できる場合に、より大きなモデルを実行したり、より高いスループットを達成するのに役立ちます。

精度の選択

ほとんどのユーザーにとって、FP16またはBF16が最良のバランスを提供します。FP32のメモリの半分で、知覚できる品質損失はありません。

より大きなモデルを収めたり、より速く実行する必要があり、潜在的な品質低下を受け入れられる場合はFP8を使用します。

FP32は、低精度で数値的なアーティファクトが見られる場合にのみ使用しますが、これは稀です。

アテンションモードはメモリにどのように影響するか？

アテンション計算はメモリを大量に消費し、最適化から大きな恩恵を受けます。

標準アテンション

デフォルトのPyTorchアテンションは、完全なアテンション行列を一度に計算します。

メモリ使用量はシーケンス長に対して二次的にスケールします。高解像度画像は長いシーケンスを持ちます。

これは機能しますが、かなりの最適化ポテンシャルが未使用のままです。

xFormersメモリ効率の良いアテンション

xFormersは一度にすべてではなく、チャンクでアテンションを実装します。

メモリ使用量は二次的ではなく、ほぼ線形になります。これにより、はるかに高い解像度が可能になります。

メモリ効率がGPU利用率を助けるため、速度も向上することが多いです。

xFormersは別途インストールする必要があります。広くサポートされており、十分にテストされています。

Flash Attention

Flash Attentionはメモリ転送を最小限に抑えるためにアテンション操作を融合します。

標準アテンションよりも高速で、メモリ効率も優れています。

Ampereまたはそれより新しいGPUが必要です。すべてのツールがまだサポートしているわけではありません。

SageAttention

SageAttentionはアテンションにカスタムTritonカーネルを使用します。

パフォーマンスは通常xFormersよりも優れており、同様のメモリ利点があります。

Tritonのインストールが必要で、GPUに合わせてコンパイルが必要な場合があります。

アテンションスライシング

アテンションスライシングは、アテンションを小さなバッチで順番に処理します。

メモリを大幅に削減しますが、生成を大幅に遅くします。

他のアテンション最適化では不十分な場合の最後の手段として使用します。

アテンションモードの選択

セットアップがサポートしている場合は、まずSageAttentionまたはFlash Attentionを試してください。最高のパフォーマンスとメモリ。

幅広い互換性と良好な結果のためにxFormersにフォールバックします。

アテンションスライシングは、効率的なアテンションモードで実行できない場合にのみ使用します。

モデルオフローディングは何をするのか？

オフローディングは、GPUメモリを解放するためにモデルコンポーネントをCPUに移動します。

フルモデルオフローディング

積極的なオフローディングでは、アクティブに計算しているモデルの部分のみがGPU上に残ります。

コンポーネントは必要に応じてCPUとGPUの間を移動します。これによりVRAM使用量が大幅に削減されます。

CPUからGPUへの転送が遅いため、速度は大幅に低下します。

テキストエンコーダーオフローディング

テキストエンコーダーは、プロンプトをエンコードするために生成開始時にのみ必要です。

エンコーディング後にCPUにオフロードすることで、メイン拡散プロセスのためのメモリを解放します。

エンコーディングは全体の時間の小さな部分なので、速度への影響は最小限です。

VAEオフローディング

VAEは生成の最後に潜在変数を画像にデコードします。

拡散中にVAEをオフロードすることで、メインモデルのためのメモリを解放します。

VAEは最後のデコーディングのためにリロードされ、わずかな時間オーバーヘッドが追加されます。

シーケンシャルオフローディング

シーケンシャルオフローディングは、計算中にモデルレイヤーを1つずつGPUに移動します。

各レイヤーがロードされ、計算され、アンロードされます。最小GPUメモリが必要です。

非常に遅いですが、非常に小さいGPUで非常に大きなモデルを実行できます。

オフローディングをいつ使用するか

テキストエンコーダーオフローディングは速度への影響が最小限で、価値のあるメモリ節約があります。デフォルトで使用します。

VAEオフローディングは、VAEがメインモデルとメモリを競合する場合に役立ちます。限られたVRAMに適しています。

フルオフローディングは、他に何も収まらない場合の最後の手段です。実行できるために遅い生成を受け入れます。

低VRAMモードとは何か？

メモリ制約のあるシステム向けの事前設定された最適化の組み合わせ。

--lowvramフラグ

アテンションスライシングとオフローディングを含む積極的な最適化の組み合わせを有効にします。

4-8GB VRAMのGPU向けに設計されています。そうでなければ実行できないモデルを実行可能にします。

速度は大幅に低下しますが、生成が可能です。

--medvramフラグ

8-12GB GPU向けの中程度の最適化。

lowvramほど積極的ではなく、より良い速度です。

GPUがモデルのボーダーラインにある場合の良い出発点です。

--gpu-onlyフラグ

lowvramの反対。オフローディングなしですべてをGPU上に保持します。

最大速度ですが、十分なVRAMが必要です。

十分なVRAMがあり、最速の生成が必要な場合に使用します。

自動検出

一部のツールはVRAMを自動検出し、適切なフラグを適用します。

これは通常機能しますが、特定の状況では手動オーバーライドがより良い場合があります。

自動検出が問題を引き起こす場合は、必要なフラグを明示的に設定します。

最適化をどのように組み合わせるか？

複数の最適化が累積的な利点のためにスタックします。

精度とアテンションの組み合わせ

FP16とxFormersを組み合わせることで、両方のメモリ削減が提供されます。

この組み合わせはほとんどのセットアップの標準であり、良好なバランスを提供します。

オフローディングの追加

追加のメモリ節約のためにテキストエンコーダーオフローディングを追加します。

この組み合わせは、ほとんどのコンシューマーGPUでほとんどのモデルを処理します。

段階的なエスカレーション

最小限の最適化から始めます。OOMが発生したら、さらに追加します。

最初にFP16、次に効率的なアテンション、次にオフローディング、次にアテンションスライシング。

安定性に必要な最小限の最適化を見つけます。

収穫逓減

一部の組み合わせは追加の利点がわずかです。

すでに収まるモデルに対する非常に積極的な最適化はパフォーマンスを浪費します。

最適化レベルを実際の必要性に合わせます。

これらの技術的な設定を管理せずに最適な生成を希望するユーザーのために、Apatero.comは適切に設定された生成インフラストラクチャへのアクセスを提供します。フラグ設定なしで最大パフォーマンスを得られます。

よくある質問

8GB VRAMにはどのフラグを使用すべきですか？

--medvramまたはxFormersとテキストエンコーダーオフローディングを使用したFP16から始めます。まだOOMの場合は、VAEオフローディングを追加するか--lowvramに切り替えます。

FP16は画像品質に影響しますか？

推論では、ほとんどすべての場合で品質への影響は知覚できません。FP16は生成の標準です。

lowvramモードで生成が遅いのはなぜですか？

lowvramは、すべての操作でCPUからGPUへの転送を必要とする積極的なオフローディングを使用します。これは本質的に遅いですが、実行を可能にします。

複数のアテンション最適化を一緒に使用できますか？

いいえ、1つを選択します。xFormers、Flash Attention、SageAttentionは補完ではなく代替です。

常に最も積極的な最適化を使用すべきですか？

いいえ、過度の最適化は速度を浪費します。安定した動作に必要な最小限の最適化を使用します。

生成におけるFP16とBF16の違いは何ですか？

推論では、結果は似ています。BF16は極端な値をより良く処理しますが、両方とも生成に適しています。

アテンションスライシングは常に役立ちますか？

メモリを削減しますが、生成を遅くします。効率的なアテンションモードでは不十分な場合にのみ使用します。

これらの最適化はトレーニングに役立ちますか？

はい、同様の最適化がトレーニングに適用されます。グラディエントチェックポイントは特にトレーニングメモリに重要です。

すべての最適化を使用してもまだOOMが発生するのはなぜですか？

モデルが利用可能なVRAM以上を本当に必要とする可能性があります。より小さなモデルまたはクラウドインスタンスを試してください。

どの最適化が役立っているかをどのように知ることができますか？

1つずつ有効にしてVRAM使用量を確認します。これにより、実際に役立っている最適化が特定されます。

結論

VRAM最適化フラグは、メモリ使用量とパフォーマンスのトレードオフを制御できます。各フラグが何をするかを理解することで、ハードウェアに最適な設定を構成できます。

ほとんどのユーザーにとって、メモリ効率の良いアテンションを持つFP16またはBF16精度は優れた結果を提供します。追加のメモリ節約が必要な場合はオフローディングを追加します。

アテンションスライシングなどの積極的な最適化は、他に何も機能しない状況のために確保します。速度コストは高いです。

最適化レベルを実際の必要性に合わせます。多いほど良いとは限りません。不要な最適化はパフォーマンスを浪費します。

フラグ管理なしで自動最適化を好むユーザーのために、Apatero.comはプロフェッショナル設定による生成へのアクセスを提供します。すべてのフラグを自分で理解することなく、最適なパフォーマンスを得られます。