Flag Optimasi VRAM Dijelaskan - Panduan ComfyUI dan Pembuatan AI

ComfyUI dan alat pembuatan AI memiliki puluhan flag dan pengaturan optimasi VRAM. Anda telah melihat istilah seperti --lowvram, attention slicing, FP16, dan offloading CPU tetapi tidak yakin apa yang sebenarnya mereka lakukan atau mana yang harus digunakan. Memahami flag ini membantu Anda memaksimalkan performa pada perangkat keras spesifik Anda.

Jawaban Cepat: Flag optimasi VRAM mengontrol bagaimana model menggunakan memori GPU melalui teknik seperti presisi berkurang FP16 dan BF16, mode komputasi attention, dan offloading CPU. Flag utama termasuk --lowvram untuk optimasi agresif otomatis, --gpu-only untuk menjaga semuanya di GPU, mode attention seperti xFormers atau SageAttention, dan flag presisi yang menyeimbangkan kualitas dengan memori. Pilih flag berdasarkan jumlah VRAM dan kebutuhan pembuatan Anda.

VRAM adalah batasan utama untuk pembuatan AI lokal. Memahami flag optimasi memungkinkan Anda menjalankan model yang seharusnya melebihi perangkat keras Anda atau mendapatkan performa lebih baik dari model yang hampir tidak muat. Mari kita jelaskan setiap kategori optimasi utama.

Apa yang Dilakukan Flag Presisi?

Pengaturan presisi mengontrol bagaimana angka disimpan, langsung mempengaruhi memori dan kualitas.

FP32 Presisi Penuh

FP32 menggunakan 32 bit per angka. Ini memberikan presisi numerik maksimum tetapi menggunakan memori paling banyak.

Bobot model, aktivasi, dan gradien semuanya mengambil 4 byte masing-masing dalam FP32.

Hampir tidak ada pembuatan AI yang benar-benar memerlukan FP32. Ini default di beberapa alat tetapi jarang optimal.

FP16 Presisi Setengah

FP16 menggunakan 16 bit per angka, mengurangi setengah memori dibandingkan FP32.

Dampak kualitas biasanya tidak terasa untuk inferensi. Pembuatan terlihat sama.

FP16 dapat memiliki masalah dengan angka sangat besar atau kecil karena rentang dinamis terbatas. Ini lebih penting untuk pelatihan daripada inferensi.

Sebagian besar alat pembuatan menggunakan FP16 secara default. Ini teruji baik dan andal.

BF16 Brain Float

BF16 juga menggunakan 16 bit tetapi dengan alokasi berbeda antara eksponen dan mantissa.

Memiliki rentang dinamis sama dengan FP32 tetapi presisi lebih rendah. Ini menangani pelatihan lebih baik dari FP16.

Memerlukan GPU Ampere atau lebih baru. Seri RTX 30 ke atas mendukung BF16 secara native.

Untuk inferensi, BF16 dan FP16 menghasilkan hasil serupa. BF16 memiliki keuntungan untuk pelatihan.

FP8 dan INT8

GPU lebih baru mendukung format presisi lebih rendah untuk operasi tertentu.

FP8 menggunakan 8 bit dan memberikan pengurangan memori 50% lagi dari FP16. Dampak kualitas bervariasi.

Kuantisasi INT8 terutama untuk optimasi inferensi. Model memerlukan persiapan sadar kuantisasi.

Format ini berguna untuk menjalankan model lebih besar atau mencapai throughput lebih tinggi ketika tradeoff kualitas dapat diterima.

Memilih Presisi

Untuk sebagian besar pengguna, FP16 atau BF16 memberikan keseimbangan terbaik. Setengah memori FP32 tanpa kehilangan kualitas yang terasa.

Gunakan FP8 ketika Anda perlu memuat model lebih besar atau berjalan lebih cepat dan dapat menerima pengurangan kualitas potensial.

Gunakan FP32 hanya jika Anda melihat artefak numerik dengan presisi lebih rendah, yang jarang.

Bagaimana Mode Attention Mempengaruhi Memori?

Komputasi attention intensif memori dan sangat diuntungkan dari optimasi.

Attention Standar

Attention PyTorch default menghitung matriks attention penuh sekaligus.

Penggunaan memori berkembang secara kuadrat dengan panjang urutan. Gambar resolusi tinggi memiliki urutan panjang.

Ini bekerja tetapi meninggalkan potensi optimasi signifikan tidak terpakai.

xFormers Memory Efficient Attention

xFormers mengimplementasikan attention dalam potongan alih-alih sekaligus.

Penggunaan memori menjadi hampir linear alih-alih kuadrat. Ini memungkinkan resolusi jauh lebih tinggi.

Kecepatan sering meningkat juga karena efisiensi memori membantu utilisasi GPU.

xFormers harus diinstal terpisah. Didukung luas dan teruji baik.

Flash Attention

Flash Attention menggabungkan operasi attention untuk meminimalkan transfer memori.

Lebih cepat dari attention standar dan lebih efisien memori.

Memerlukan GPU Ampere atau lebih baru. Belum semua alat mendukungnya.

SageAttention

SageAttention menggunakan kernel Triton kustom untuk attention.

Performa biasanya lebih baik dari xFormers dengan manfaat memori serupa.

Memerlukan instalasi Triton dan mungkin perlu kompilasi untuk GPU Anda.

Attention Slicing

Attention slicing memproses attention dalam batch kecil secara berurutan.

Secara dramatis mengurangi memori tetapi secara signifikan memperlambat pembuatan.

Gunakan sebagai upaya terakhir ketika optimasi attention lain tidak cukup.

Memilih Mode Attention

Coba SageAttention atau Flash Attention dulu jika setup Anda mendukung. Performa dan memori terbaik.

Kembali ke xFormers untuk kompatibilitas luas dan hasil baik.

Gunakan attention slicing hanya ketika Anda tidak dapat berjalan dengan mode attention efisien manapun.

Apa yang Dilakukan Offloading Model?

Offloading memindahkan komponen model ke CPU untuk membebaskan memori GPU.

Offloading Model Penuh

Dengan offloading agresif, hanya bagian model yang aktif menghitung yang tetap di GPU.

Komponen berpindah antara CPU dan GPU sesuai kebutuhan. Ini secara dramatis mengurangi penggunaan VRAM.

Kecepatan sangat terpengaruh karena transfer CPU ke GPU lambat.

Offloading Encoder Teks

Encoder teks hanya diperlukan di awal pembuatan untuk mengkode prompt Anda.

Meng-offload mereka ke CPU setelah encoding membebaskan memori untuk proses difusi utama.

Dampak kecepatan minimal karena encoding adalah bagian kecil dari total waktu.

Offloading VAE

VAE mendecode latent menjadi gambar di akhir pembuatan.

Meng-offload VAE selama difusi membebaskan memori untuk model utama.

VAE dimuat ulang untuk decoding di akhir, menambah overhead waktu kecil.

Offloading Berurutan

Offloading berurutan memindahkan layer model ke GPU satu per satu selama komputasi.

Setiap layer dimuat, dihitung, lalu di-unload. Memori GPU minimum diperlukan.

Sangat lambat tetapi memungkinkan model sangat besar di GPU sangat kecil.

Kapan Menggunakan Offloading

Offloading encoder teks memiliki dampak kecepatan minimal dan penghematan memori yang berharga. Gunakan secara default.

Offloading VAE membantu ketika VAE bersaing dengan model utama untuk memori. Baik untuk VRAM terbatas.

Offloading penuh adalah upaya terakhir ketika tidak ada yang lain muat. Terima pembuatan lambat untuk kemampuan berjalan sama sekali.

Apa Itu Mode VRAM Rendah?

Kombinasi optimasi yang dikonfigurasi sebelumnya untuk sistem dengan batasan memori.

Flag --lowvram

Mengaktifkan kombinasi optimasi agresif termasuk attention slicing dan offloading.

Dirancang untuk GPU dengan 4-8GB VRAM. Membuat model berjalan yang seharusnya tidak akan berjalan.

Kecepatan secara signifikan berkurang tetapi pembuatan dimungkinkan.

Flag --medvram

Optimasi moderat untuk GPU 8-12GB.

Kurang agresif dari lowvram dengan kecepatan lebih baik.

Titik awal yang baik jika GPU Anda di batas untuk model.

Flag --gpu-only

Kebalikan dari lowvram. Menjaga semuanya di GPU tanpa offloading.

Kecepatan maksimum tetapi memerlukan VRAM cukup.

Gunakan ketika Anda memiliki banyak VRAM dan menginginkan pembuatan tercepat.

Deteksi Otomatis

Beberapa alat mendeteksi VRAM otomatis dan menerapkan flag yang sesuai.

Ini biasanya bekerja tetapi override manual bisa lebih baik untuk situasi tertentu.

Jika deteksi otomatis menyebabkan masalah, tetapkan secara eksplisit flag yang Anda inginkan.

Bagaimana Menggabungkan Optimasi?

Beberapa optimasi bertumpuk untuk manfaat kumulatif.

Menggabungkan Presisi dan Attention

FP16 plus xFormers memberikan kedua pengurangan memori.

Kombinasi ini standar untuk sebagian besar setup dan memberikan keseimbangan yang baik.

Menambah Offloading

Tambahkan offloading encoder teks untuk membebaskan memori tambahan.

Kombinasi ini menangani sebagian besar model di sebagian besar GPU konsumen.

Eskalasi Progresif

Mulai dengan optimasi minimal. Jika OOM, tambah lebih banyak.

FP16 dulu, lalu attention efisien, lalu offloading, lalu attention slicing.

Temukan optimasi minimum yang diperlukan untuk stabilitas.

Diminishing Returns

Beberapa kombinasi memberikan manfaat tambahan marginal.

Optimasi sangat agresif untuk model yang sudah muat membuang performa.

Cocokkan level optimasi dengan kebutuhan aktual.

Untuk pengguna yang menginginkan pembuatan optimal tanpa mengelola pengaturan teknis ini, Apatero.com menyediakan akses ke infrastruktur pembuatan yang dikonfigurasi dengan benar. Anda mendapat performa maksimum tanpa konfigurasi flag.

Pertanyaan yang Sering Diajukan

Flag apa yang harus saya gunakan untuk 8GB VRAM?

Mulai dengan --medvram atau FP16 dengan xFormers dan offloading encoder teks. Jika masih OOM, tambah offloading VAE atau beralih ke --lowvram.

Apakah FP16 mempengaruhi kualitas gambar?

Untuk inferensi, dampak kualitas tidak terasa di hampir semua kasus. FP16 standar untuk pembuatan.

Mengapa pembuatan saya lambat dengan mode lowvram?

Lowvram menggunakan offloading agresif yang memerlukan transfer CPU ke GPU untuk setiap operasi. Ini secara inheren lambat tetapi memungkinkan berjalan sama sekali.

Bisakah saya menggunakan beberapa optimasi attention bersama?

Tidak, pilih satu. xFormers, Flash Attention, dan SageAttention adalah alternatif bukan pelengkap.

Haruskah saya selalu menggunakan optimasi paling agresif?

Tidak, optimasi berlebihan membuang kecepatan. Gunakan optimasi minimum yang diperlukan untuk operasi stabil.

Apa perbedaan antara FP16 dan BF16 untuk pembuatan?

Untuk inferensi, hasilnya serupa. BF16 menangani nilai ekstrem lebih baik tetapi keduanya bekerja baik untuk pembuatan.

Apakah attention slicing selalu membantu?

Mengurangi memori tetapi memperlambat pembuatan. Gunakan hanya jika mode attention efisien tidak cukup.

Bisakah optimasi ini membantu pelatihan?

Ya, optimasi serupa berlaku untuk pelatihan. Gradient checkpointing sangat penting untuk memori pelatihan.

Mengapa saya masih mendapat OOM dengan semua optimasi?

Model mungkin benar-benar memerlukan lebih banyak VRAM dari yang tersedia. Coba model lebih kecil atau instans cloud.

Bagaimana saya tahu optimasi mana yang membantu?

Aktifkan satu per satu dan periksa penggunaan VRAM. Ini mengidentifikasi optimasi mana yang benar-benar membantu.

Kesimpulan

Flag optimasi VRAM memberi Anda kontrol atas tradeoff antara penggunaan memori dan performa. Memahami apa yang dilakukan setiap flag membantu Anda mengonfigurasi pengaturan optimal untuk perangkat keras Anda.

Untuk sebagian besar pengguna, presisi FP16 atau BF16 dengan attention efisien memori memberikan hasil sangat baik. Tambah offloading ketika Anda memerlukan penghematan memori tambahan.

Simpan optimasi agresif seperti attention slicing untuk situasi di mana tidak ada yang lain bekerja. Biaya kecepatan tinggi.

Cocokkan level optimasi Anda dengan kebutuhan aktual Anda. Lebih banyak tidak selalu lebih baik karena optimasi yang tidak perlu membuang performa.

Untuk pengguna yang lebih suka optimasi otomatis tanpa manajemen flag, Apatero.com menyediakan akses ke pembuatan dengan konfigurasi profesional. Anda mendapat performa optimal tanpa memahami setiap flag sendiri.