Giải thích Flag Tối ưu VRAM - Hướng dẫn ComfyUI và Tạo AI

ComfyUI và các công cụ tạo AI có hàng chục flag và cài đặt tối ưu VRAM. Bạn đã thấy các thuật ngữ như --lowvram, attention slicing, FP16 và offloading CPU nhưng không chắc chắn chúng thực sự làm gì hoặc nên sử dụng cái nào. Hiểu các flag này giúp bạn tối đa hóa hiệu suất trên phần cứng cụ thể của mình.

Trả lời Nhanh: Flag tối ưu VRAM kiểm soát cách model sử dụng bộ nhớ GPU thông qua các kỹ thuật như độ chính xác giảm FP16 và BF16, chế độ tính toán attention và offloading CPU. Flag chính bao gồm --lowvram cho tối ưu tích cực tự động, --gpu-only để giữ mọi thứ trên GPU, chế độ attention như xFormers hoặc SageAttention, và flag độ chính xác cân bằng chất lượng với bộ nhớ. Chọn flag dựa trên lượng VRAM và nhu cầu tạo của bạn.

VRAM là ràng buộc chính cho tạo AI cục bộ. Hiểu flag tối ưu cho phép bạn chạy model mà nếu không sẽ vượt quá phần cứng của bạn hoặc có hiệu suất tốt hơn từ model vừa đủ. Hãy làm rõ từng loại tối ưu chính.

Flag Độ chính xác Làm gì?

Cài đặt độ chính xác kiểm soát cách số được lưu trữ, ảnh hưởng trực tiếp đến bộ nhớ và chất lượng.

FP32 Độ chính xác Đầy đủ

FP32 sử dụng 32 bit mỗi số. Điều này cung cấp độ chính xác số tối đa nhưng sử dụng nhiều bộ nhớ nhất.

Trọng số model, activation và gradient đều lấy 4 byte mỗi cái trong FP32.

Hầu như không có tạo AI nào thực sự cần FP32. Nó là mặc định trong một số công cụ nhưng hiếm khi tối ưu.

FP16 Độ chính xác Một nửa

FP16 sử dụng 16 bit mỗi số, giảm một nửa bộ nhớ so với FP32.

Ảnh hưởng chất lượng thường không thể nhận thấy cho inference. Việc tạo trông giống nhau.

FP16 có thể gặp vấn đề với số rất lớn hoặc nhỏ do phạm vi động hạn chế. Điều này quan trọng hơn cho huấn luyện hơn inference.

Hầu hết công cụ tạo sử dụng FP16 mặc định. Nó được test tốt và đáng tin cậy.

BF16 Brain Float

BF16 cũng sử dụng 16 bit nhưng với phân bổ khác giữa mũ và định trị.

Nó có cùng phạm vi động với FP32 nhưng ít độ chính xác hơn. Điều này xử lý huấn luyện tốt hơn FP16.

Yêu cầu GPU Ampere hoặc mới hơn. Series RTX 30 trở lên hỗ trợ BF16 native.

Cho inference, BF16 và FP16 tạo kết quả tương tự. BF16 có lợi thế cho huấn luyện.

FP8 và INT8

GPU mới hơn hỗ trợ định dạng độ chính xác thấp hơn cho các hoạt động cụ thể.

FP8 sử dụng 8 bit và cung cấp giảm bộ nhớ 50% nữa so với FP16. Ảnh hưởng chất lượng khác nhau.

Lượng tử hóa INT8 chủ yếu cho tối ưu inference. Model cần chuẩn bị nhận thức lượng tử hóa.

Các định dạng này hữu ích cho chạy model lớn hơn hoặc đạt throughput cao hơn khi đánh đổi chất lượng có thể chấp nhận.

Chọn Độ chính xác

Cho hầu hết người dùng, FP16 hoặc BF16 cung cấp cân bằng tốt nhất. Một nửa bộ nhớ FP32 không mất chất lượng có thể nhận thấy.

Sử dụng FP8 khi bạn cần vừa model lớn hơn hoặc chạy nhanh hơn và có thể chấp nhận giảm chất lượng tiềm năng.

Sử dụng FP32 chỉ khi bạn thấy artifact số với độ chính xác thấp hơn, điều này hiếm.

Chế độ Attention Ảnh hưởng Bộ nhớ như thế nào?

Tính toán attention tốn bộ nhớ và được hưởng lợi nhiều từ tối ưu.

Attention Tiêu chuẩn

Attention PyTorch mặc định tính toán ma trận attention đầy đủ cùng một lúc.

Sử dụng bộ nhớ tăng theo bình phương với độ dài chuỗi. Hình ảnh độ phân giải cao có chuỗi dài.

Điều này hoạt động nhưng để lại tiềm năng tối ưu đáng kể không sử dụng.

xFormers Memory Efficient Attention

xFormers thực hiện attention trong chunks thay vì tất cả cùng một lúc.

Sử dụng bộ nhớ trở nên gần như tuyến tính thay vì bình phương. Điều này cho phép độ phân giải cao hơn nhiều.

Tốc độ thường cải thiện vì hiệu quả bộ nhớ giúp sử dụng GPU.

xFormers phải được cài đặt riêng. Nó được hỗ trợ rộng rãi và test tốt.

Flash Attention

Flash Attention hợp nhất các hoạt động attention để giảm thiểu chuyển bộ nhớ.

Nhanh hơn attention tiêu chuẩn và hiệu quả bộ nhớ hơn.

Yêu cầu GPU Ampere hoặc mới hơn. Không phải tất cả công cụ hỗ trợ nó.

SageAttention

SageAttention sử dụng kernel Triton tùy chỉnh cho attention.

Hiệu suất thường tốt hơn xFormers với lợi ích bộ nhớ tương tự.

Yêu cầu cài đặt Triton và có thể cần biên dịch cho GPU của bạn.

Attention Slicing

Attention slicing xử lý attention trong batch nhỏ tuần tự.

Giảm đáng kể bộ nhớ nhưng làm chậm đáng kể việc tạo.

Sử dụng như biện pháp cuối cùng khi tối ưu attention khác không đủ.

Chọn Chế độ Attention

Thử SageAttention hoặc Flash Attention trước nếu setup của bạn hỗ trợ. Hiệu suất và bộ nhớ tốt nhất.

Quay lại xFormers cho khả năng tương thích rộng và kết quả tốt.

Sử dụng attention slicing chỉ khi bạn không thể chạy với bất kỳ chế độ attention hiệu quả nào.

Offloading Model Làm gì?

Offloading di chuyển thành phần model đến CPU để giải phóng bộ nhớ GPU.

Offloading Model Đầy đủ

Với offloading tích cực, chỉ phần model đang tính toán hoạt động ở trên GPU.

Thành phần di chuyển giữa CPU và GPU khi cần. Điều này giảm đáng kể sử dụng VRAM.

Tốc độ bị ảnh hưởng đáng kể vì chuyển CPU đến GPU chậm.

Offloading Bộ mã hóa Văn bản

Bộ mã hóa văn bản chỉ cần ở đầu việc tạo để mã hóa prompt của bạn.

Offload chúng đến CPU sau khi mã hóa giải phóng bộ nhớ cho quá trình khuếch tán chính.

Ảnh hưởng tốc độ tối thiểu vì mã hóa là phần nhỏ của tổng thời gian.

Offloading VAE

VAE decode latent thành hình ảnh ở cuối việc tạo.

Offload VAE trong khuếch tán giải phóng bộ nhớ cho model chính.

VAE tải lại để decode ở cuối, thêm overhead thời gian nhỏ.

Offloading Tuần tự

Offloading tuần tự di chuyển layer model đến GPU một lần một trong tính toán.

Mỗi layer tải, tính toán, rồi unload. Bộ nhớ GPU tối thiểu cần thiết.

Rất chậm nhưng cho phép model rất lớn trên GPU rất nhỏ.

Khi nào Sử dụng Offloading

Offloading bộ mã hóa văn bản có ảnh hưởng tốc độ tối thiểu và tiết kiệm bộ nhớ đáng giá. Sử dụng mặc định.

Offloading VAE giúp khi VAE cạnh tranh với model chính về bộ nhớ. Tốt cho VRAM hạn chế.

Offloading đầy đủ là biện pháp cuối cùng khi không có gì khác vừa. Chấp nhận tạo chậm để có khả năng chạy.

Chế độ VRAM Thấp là gì?

Kết hợp tối ưu được cấu hình trước cho hệ thống bị giới hạn bộ nhớ.

Flag --lowvram

Bật kết hợp tối ưu tích cực bao gồm attention slicing và offloading.

Thiết kế cho GPU có 4-8GB VRAM. Làm cho model chạy mà nếu không sẽ không.

Tốc độ giảm đáng kể nhưng việc tạo khả thi.

Flag --medvram

Tối ưu vừa phải cho GPU 8-12GB.

Ít tích cực hơn lowvram với tốc độ tốt hơn.

Điểm khởi đầu tốt nếu GPU của bạn ở ranh giới cho model.

Flag --gpu-only

Ngược lại với lowvram. Giữ mọi thứ trên GPU không offloading.

Tốc độ tối đa nhưng yêu cầu đủ VRAM.

Sử dụng khi bạn có nhiều VRAM và muốn tạo nhanh nhất.

Phát hiện Tự động

Một số công cụ tự động phát hiện VRAM và áp dụng flag phù hợp.

Điều này thường hoạt động nhưng ghi đè thủ công có thể tốt hơn cho tình huống cụ thể.

Nếu phát hiện tự động gây ra vấn đề, đặt rõ ràng flag bạn muốn.

Cách Kết hợp Tối ưu?

Nhiều tối ưu chồng cho lợi ích tích lũy.

Kết hợp Độ chính xác và Attention

FP16 cộng xFormers cung cấp cả hai giảm bộ nhớ.

Kết hợp này là tiêu chuẩn cho hầu hết setup và cung cấp cân bằng tốt.

Thêm Offloading

Thêm offloading bộ mã hóa văn bản để giải phóng bộ nhớ thêm.

Kết hợp xử lý hầu hết model trên hầu hết GPU tiêu dùng.

Leo thang Tiến bộ

Bắt đầu với tối ưu tối thiểu. Nếu OOM, thêm nhiều hơn.

FP16 trước, rồi attention hiệu quả, rồi offloading, rồi attention slicing.

Tìm tối ưu tối thiểu cần cho ổn định.

Lợi ích Giảm dần

Một số kết hợp cung cấp lợi ích thêm cận biên.

Tối ưu rất tích cực cho model đã vừa lãng phí hiệu suất.

Phù hợp mức tối ưu với nhu cầu thực tế.

Cho người dùng muốn tạo tối ưu không quản lý các cài đặt kỹ thuật này, Apatero.com cung cấp truy cập cơ sở hạ tầng tạo được cấu hình đúng. Bạn có hiệu suất tối đa không cần cấu hình flag.

Câu hỏi Thường gặp

Tôi nên sử dụng flag nào cho 8GB VRAM?

Bắt đầu với --medvram hoặc FP16 với xFormers và offloading bộ mã hóa văn bản. Nếu vẫn OOM, thêm offloading VAE hoặc chuyển sang --lowvram.

FP16 có ảnh hưởng chất lượng hình ảnh không?

Cho inference, ảnh hưởng chất lượng không thể nhận thấy trong hầu hết mọi trường hợp. FP16 là tiêu chuẩn cho việc tạo.

Tại sao việc tạo của tôi chậm với chế độ lowvram?

Lowvram sử dụng offloading tích cực yêu cầu chuyển CPU đến GPU cho mọi hoạt động. Điều này vốn chậm nhưng cho phép chạy.

Tôi có thể sử dụng nhiều tối ưu attention cùng nhau không?

Không, chọn một. xFormers, Flash Attention và SageAttention là thay thế không phải bổ sung.

Tôi có nên luôn sử dụng tối ưu tích cực nhất không?

Không, tối ưu quá mức lãng phí tốc độ. Sử dụng tối ưu tối thiểu cần cho hoạt động ổn định.

Sự khác biệt giữa FP16 và BF16 cho việc tạo là gì?

Cho inference, kết quả tương tự. BF16 xử lý giá trị cực đoan tốt hơn nhưng cả hai đều hoạt động tốt cho việc tạo.

Attention slicing có luôn giúp không?

Nó giảm bộ nhớ nhưng làm chậm việc tạo. Chỉ sử dụng nếu chế độ attention hiệu quả không đủ.

Các tối ưu này có thể giúp huấn luyện không?

Có, tối ưu tương tự áp dụng cho huấn luyện. Gradient checkpointing đặc biệt quan trọng cho bộ nhớ huấn luyện.

Tại sao tôi vẫn có OOM với tất cả tối ưu?

Model có thể thực sự cần nhiều VRAM hơn có sẵn. Thử model nhỏ hơn hoặc instance đám mây.

Làm sao tôi biết tối ưu nào đang giúp?

Bật từng cái một và kiểm tra sử dụng VRAM. Điều này xác định tối ưu nào thực sự giúp.

Kết luận

Flag tối ưu VRAM cho bạn kiểm soát đánh đổi giữa sử dụng bộ nhớ và hiệu suất. Hiểu mỗi flag làm gì giúp bạn cấu hình cài đặt tối ưu cho phần cứng của bạn.

Cho hầu hết người dùng, độ chính xác FP16 hoặc BF16 với attention hiệu quả bộ nhớ cung cấp kết quả xuất sắc. Thêm offloading khi bạn cần tiết kiệm bộ nhớ thêm.

Dành tối ưu tích cực như attention slicing cho tình huống không có gì khác hoạt động. Chi phí tốc độ cao.

Phù hợp mức tối ưu của bạn với nhu cầu thực tế. Nhiều hơn không phải luôn tốt hơn vì tối ưu không cần thiết lãng phí hiệu suất.

Cho người dùng thích tối ưu tự động không quản lý flag, Apatero.com cung cấp truy cập việc tạo với cấu hình chuyên nghiệp. Bạn có hiệu suất tối ưu không cần hiểu mọi flag.