Panduan Lengkap Model GGUF yang Dikuantisasi untuk Generasi Gambar AI

Ketika Anda menelusuri unduhan model, Anda akan menemukan akhiran yang membingungkan seperti Q4_K_M, Q8_0, dan Q5_K_S. Format kuantisasi GGUF ini mewakili teknik optimasi penting yang memungkinkan Anda menjalankan model yang memerlukan 24GB VRAM pada kartu 12GB, atau model yang memerlukan 12GB pada kartu 8GB. Memahami apa arti format-format ini, bagaimana mereka mempengaruhi kualitas, dan kapan menggunakan masing-masing memungkinkan Anda menjalankan model yang tidak akan muat di hardware Anda sambil membuat keputusan tepat tentang trade-off kualitas yang terlibat.

Panduan ini menjelaskan sistem kuantisasi GGUF secara komprehensif - dari apa arti konvensi penamaan hingga bagaimana kuantisasi mempengaruhi kualitas gambar, dari loading model GGUF di ComfyUI hingga memahami kompatibilitas dengan LoRA dan komponen lainnya. Di akhir, Anda akan tahu persis kuantisasi mana yang harus dipilih untuk hardware dan kebutuhan kualitas Anda.

Apa Itu Kuantisasi GGUF

Kuantisasi mengurangi ukuran model dengan merepresentasikan bobot dengan bit yang lebih sedikit daripada presisi asli. Model jaringan neural menyimpan bobot sebagai angka floating-point - biasanya presisi 16-bit (FP16) atau 32-bit (FP32). Kuantisasi mengonversi ini ke representasi bit yang lebih rendah: 8-bit, 4-bit, atau bahkan lebih rendah. Lebih sedikit bit per bobot berarti file lebih kecil, memori yang dibutuhkan lebih sedikit selama inference, dan seringkali komputasi lebih cepat.

GGUF (GPT-Generated Unified Format) adalah format kuantisasi spesifik yang dikembangkan untuk inference yang efisien. Ini berasal dari komunitas model bahasa (llama.cpp) tetapi telah diadopsi untuk model generasi gambar termasuk Flux, SDXL, dan lainnya. GGUF menyediakan skema kuantisasi standar dengan trade-off kualitas yang dipahami dengan baik.

Trade-off fundamental ini sederhana: kuantisasi bit yang lebih rendah berarti lebih banyak kompresi dan penggunaan memori yang lebih sedikit, tetapi juga lebih banyak kehilangan kualitas. Model yang dikuantisasi Q4 menggunakan seperempat bit dari FP16 asli, mengurangi kebutuhan memori sekitar 75%. Tetapi bit yang hilang itu mengkodekan informasi, jadi kualitas pasti menurun. Seni kuantisasi adalah menemukan tingkat kompresi di mana kehilangan kualitas dapat diterima untuk kasus penggunaan Anda.

Tingkat kuantisasi yang berbeda cocok untuk situasi yang berbeda. Jika Anda memiliki VRAM yang melimpah, gunakan presisi penuh atau Q8 untuk kualitas maksimum. Jika Anda memiliki VRAM terbatas, Q4 memungkinkan Anda menjalankan model yang sebaliknya tidak akan muat. Jika Anda mendistribusikan model dan ukuran unduhan penting, kuantisasi mengurangi kebutuhan bandwidth.

Memahami Nama Format GGUF

Nama kuantisasi GGUF mengkodekan informasi spesifik tentang skema kuantisasi. Mendekodekannya membantu Anda memilih dengan tepat.

Angka menunjukkan bit per bobot. Q8 menggunakan 8 bit, Q6 menggunakan 6 bit, Q5 menggunakan 5 bit, Q4 menggunakan 4 bit. Angka yang lebih rendah berarti lebih banyak kompresi dan file lebih kecil, tetapi kehilangan kualitas lebih banyak. Q8 menyediakan pengurangan sekitar 50% dari FP16. Q4 menyediakan pengurangan sekitar 75%.

Akhiran setelah garis bawah menunjukkan varian kuantisasi. Q8_0 dan Q4_0 adalah kuantisasi dasar menggunakan presisi seragam di semua bobot. Q4_1 menambahkan faktor skala yang meningkatkan kualitas dengan sedikit biaya ukuran. Varian Q4_K, Q5_K, Q6_K menggunakan k-quantization - skema yang lebih canggih yang memvariasikan presisi berdasarkan kepentingan layer.

Varian K (K_S, K_M, K_L) menunjukkan agresivitas. K-quantization mengidentifikasi layer mana yang paling penting dan mempertahankannya pada presisi lebih tinggi sambil mengompresi layer yang kurang penting lebih agresif. K_S (small) paling agresif - kompresi maksimum dalam skema k-quant. K_M (medium) menyeimbangkan kompresi dan kualitas. K_L (large) paling tidak agresif - kualitas lebih baik tetapi kompresi lebih sedikit.

Format GGUF umum yang akan Anda temui:

• Q8_0: Kuantisasi seragam 8-bit. Kualitas hampir tanpa kehilangan, kompresi sedang. Direkomendasikan ketika VRAM memungkinkan.
• Q6_K: K-quantization 6-bit. Keseimbangan yang baik ketika Q8 tidak muat tetapi Anda menginginkan kualitas bagus.
• Q5_K_M: K-quantization medium 5-bit. Lebih banyak kompresi daripada Q6, kualitas masih masuk akal.
• Q4_K_M: K-quantization medium 4-bit. Kompresi agresif dengan kualitas yang dapat diterima untuk banyak penggunaan.
• Q4_K_S: K-quantization small 4-bit. Kompresi maksimum ketika Anda membutuhkan ukuran minimum mutlak.
• Q4_0: Kuantisasi dasar 4-bit. Metode yang lebih lama, kurang direkomendasikan daripada varian K.

Progresi dari kualitas terbaik ke kompresi paling banyak kira-kira: Q8_0 > Q6_K > Q5_K_M > Q4_K_M > Q4_K_S > Q4_0 > Q3_K_S > Q2_K.

Penghematan VRAM berdasarkan Tingkat Kuantisasi

Manfaat utama kuantisasi adalah pengurangan VRAM. Berikut bagaimana tingkat yang berbeda mempengaruhi ukuran model sebenarnya.

Flux Dev sebagai contoh:

• FP16: ~23 GB
• Q8_0: ~12 GB
• Q6_K: ~9 GB
• Q4_K_M: ~6 GB
• Q4_K_S: ~5.5 GB

Ini berarti Flux, yang memerlukan GPU 24GB pada presisi penuh, dapat berjalan pada:

• Kartu 16GB pada Q8
• Kartu 12GB pada Q6 atau Q5
• Kartu 8GB pada Q4

SDXL sebagai contoh:

• FP16: ~6.5 GB
• Q8_0: ~3.5 GB
• Q4_K_M: ~2 GB

SDXL sudah dapat dikelola untuk sebagian besar GPU, tetapi kuantisasi membantu hardware yang terbatas atau meninggalkan VRAM bebas untuk komponen lain seperti model ControlNet.

Angka-angka ini hanya untuk bobot model. Penggunaan VRAM aktual selama inference mencakup memori aktivasi, yang bervariasi berdasarkan resolusi dan ukuran batch. Anda memerlukan ruang gerak di luar hanya bobot model. Aturan umum: jika GPU Anda memiliki X VRAM dan model yang dikuantisasi memerlukan Y, Anda dapat menjalankannya dengan andal ketika Y < 0.7 * X untuk resolusi standar.

Trade-off Kualitas berdasarkan Tingkat Kuantisasi

Kehilangan kualitas dari kuantisasi bervariasi berdasarkan model dan kasus penggunaan, tetapi pola umum berlaku.

Kualitas Q8_0 hampir tidak dapat dibedakan dari presisi penuh untuk sebagian besar pengguna. Perbandingan side-by-side mengungkap perbedaan halus dalam detail halus jika Anda melihat dengan cermat, tetapi tampilan biasa tidak menunjukkan perbedaan praktis. Ini adalah kuantisasi yang direkomendasikan kecuali VRAM memaksa lebih rendah.

Kualitas Q6_K tetap sangat baik. Perbedaan yang dapat dipersepsikan dari presisi penuh ada tetapi tetap dalam rentang "dapat diterima untuk sebagian besar penggunaan". Anda mungkin memperhatikan detail halus yang sedikit lebih lembut atau perbedaan kecil dalam rendering tekstur. Sebagian besar pengguna menemukan kualitas Q6 cukup untuk pekerjaan aktual.

Kualitas Q5_K_M menunjukkan degradasi yang lebih terlihat. Kehilangan detail menjadi terlihat tanpa perbandingan yang cermat. Akurasi warna mungkin sedikit berubah. Masih dapat digunakan untuk banyak tujuan tetapi kesenjangan kualitas terlihat jelas.

Kualitas Q4_K_M memiliki kehilangan kualitas yang jelas dibandingkan dengan presisi penuh. Gambar tampak lebih lembut, detail halus terdegradasi dengan jelas, dan beberapa kesetiaan tekstural hilang. Namun, gambar tetap dapat digunakan dan seringkali dapat diterima untuk pekerjaan draft, eksperimen, atau kasus di mana menjalankan model sama sekali lebih penting daripada kualitas maksimum.

Q4_K_S dan di bawah menunjukkan degradasi signifikan. Gunakan hanya ketika tidak ada yang lain yang muat. Pertimbangkan apakah menjalankan model ini dikuantisasi seagresif ini lebih baik daripada menggunakan model yang lebih kecil dengan presisi lebih tinggi.

Variasi spesifik model penting. Beberapa model mentoleransi kuantisasi lebih baik daripada yang lain. Flux tampaknya relatif tahan kuantisasi, mempertahankan kualitas lebih baik pada bit rendah daripada beberapa model sebelumnya. Model spesifik Anda mungkin merespons berbeda dari yang lain.

Variasi spesifik konten juga penting. Konten fotorealistik seringkali menunjukkan artefak kuantisasi lebih jelas daripada konten bergaya. Gradien halus mengungkap banding lebih dari permukaan bertekstur. Uji dengan konten yang mirip dengan penggunaan aktual Anda.

Loading Model GGUF di ComfyUI

ComfyUI tidak secara native loading model GGUF - Anda memerlukan custom node spesifik yang menangani format tersebut.

Instal ComfyUI-GGUF:

cd ComfyUI/custom_nodes
git clone https://github.com/city96/ComfyUI-GGUF
pip install -r ComfyUI-GGUF/requirements.txt

Restart ComfyUI setelah instalasi.

Tempatkan model GGUF di direktori model ComfyUI Anda, biasanya ComfyUI/models/checkpoints/ atau folder GGUF yang ditentukan tergantung pada konfigurasi node pack.

Gunakan node loader spesifik GGUF. Node pack menyediakan node loader yang menangani format GGUF. Ini menggantikan loader checkpoint standar dalam workflow Anda. Loader menangani dekuantisasi selama inference, mengonversi bobot yang dikuantisasi kembali ke presisi yang dapat digunakan untuk komputasi.

Karakteristik performa dengan GGUF sedikit berbeda dari format native. Dekuantisasi menambahkan overhead komputasi selama inference - bobot setiap layer harus didekompresi sebelum digunakan. Ini membuat generasi sedikit lebih lambat daripada model native VRAM yang setara. Namun, trade-off menjalankan model dengan beberapa overhead versus tidak menjalankannya sama sekali biasanya mendukung GGUF.

Kompatibilitas workflow memerlukan perhatian. Workflow yang menggunakan loader checkpoint standar perlu modifikasi untuk menggunakan loader GGUF sebagai gantinya. Output model terhubung dengan cara yang sama ke node berikutnya, tetapi loader itu sendiri berbeda.

Kompatibilitas GGUF dengan LoRA

Menggunakan LoRA dengan model dasar GGUF berfungsi tetapi memiliki pertimbangan.

LoRA standar umumnya berfungsi. LoRA menerapkan modifikasi mereka pada bobot yang didekuantisasi selama inference. LoRA tidak tahu atau peduli bahwa model dasar disimpan dikuantisasi - ia melihat bobot yang didekuantisasi dan menerapkan delta-nya secara normal. Sebagian besar LoRA bekerja dengan baik dengan basis GGUF.

Interaksi kualitas berarti efek kuantisasi dan LoRA keduanya muncul dalam output. Jika basis yang dikuantisasi memiliki detail yang dilunakkan, LoRA tidak dapat memulihkannya. LoRA bekerja dengan benar tetapi tidak dapat melebihi kemampuan model dasar yang dikuantisasi.

Performa mungkin sedikit menurun karena dekuantisasi terjadi sebelum aplikasi LoRA, tetapi ini biasanya dapat diabaikan dibandingkan dengan waktu generasi keseluruhan.

Beberapa kasus edge mungkin memiliki masalah. LoRA yang membuat modifikasi bobot yang tepat mungkin berinteraksi secara tidak terduga dengan aproksimasi kuantisasi. Jika LoRA menghasilkan hasil yang tidak terduga dengan basis GGUF tetapi bekerja dengan baik dengan format native, aproksimasi kuantisasi mungkin mengganggu.

Pengujian kombinasi LoRA dan GGUF spesifik Anda direkomendasikan. Hasilkan gambar uji dan bandingkan dengan LoRA yang sama dengan basis native untuk memverifikasi perilaku yang diharapkan.

Kompatibilitas GGUF dengan ControlNet dan IP-Adapter

Komponen kontrol bekerja dengan model dasar GGUF dengan pertimbangan serupa dengan LoRA.

ControlNet bekerja normal. Sinyal kontrol memandu generasi melalui modifikasi perhatian, yang terjadi pada waktu inference pada bobot yang didekuantisasi. Kontrol kedalaman, tepi canny, panduan pose - semuanya berfungsi dengan benar dengan basis GGUF.

IP-Adapter bekerja normal. Prompting gambar melalui IP-Adapter menyuntikkan fitur gambar selama generasi, beroperasi pada model yang didekuantisasi selama inference.

Lantai kualitas dari kuantisasi berlaku untuk generasi yang dikontrol juga. ControlNet tidak dapat membuat model dasar Q4 menghasilkan kualitas Q8 - ia masih bekerja dalam kemampuan model dasar seperti yang dibatasi oleh kuantisasi.

Manfaat VRAM dari basis yang dikuantisasi membantu saat menggunakan komponen kontrol. Jika workflow Anda memerlukan model dasar + ControlNet + VAE, basis yang dikuantisasi membebaskan VRAM untuk komponen lain. Ini dapat memungkinkan workflow pada hardware terbatas yang sebaliknya tidak akan muat.

Kapan Menggunakan Tingkat Kuantisasi yang Berbeda

Memilih tingkat kuantisasi tergantung pada hardware dan kebutuhan kualitas Anda.

Gunakan presisi penuh (FP16) ketika:

• Anda memiliki ruang VRAM di luar kebutuhan model
• Kualitas maksimum sangat penting (produksi akhir, perbandingan detail)
• Anda tidak dibatasi oleh unduhan/penyimpanan

Gunakan Q8_0 ketika:

• FP16 tidak cukup muat atau tidak meninggalkan ruang gerak
• Anda menginginkan kualitas hampir tanpa kehilangan dengan kompresi yang berarti
• Penyimpanan atau ukuran unduhan penting

Gunakan Q6_K ketika:

• Q8 tidak muat di VRAM Anda
• Anda menginginkan kualitas terbaik yang muat di hardware Anda
• Kualitas yang baik penting tetapi beberapa kehilangan dapat diterima

Gunakan Q4_K_M ketika:

• Kuantisasi yang lebih rendah tidak muat
• Anda perlu menjalankan model sama sekali, kualitas adalah sekunder
• Eksperimen, draft, atau kasus di mana menjalankan lebih penting daripada kualitas

Gunakan Q4_K_S atau Q3 ketika:

• Tidak ada yang lain yang muat
• Anda pada hardware yang sangat terbatas
• Output yang dapat digunakan apa pun dapat diterima

Pertimbangkan alternatif ketika:

• Q3 atau lebih rendah adalah satu-satunya pilihan Anda
• Kehilangan kualitas tidak dapat diterima untuk penggunaan Anda
• Model yang lebih kecil dengan presisi lebih tinggi mungkin lebih baik

Kadang-kadang menjalankan SDXL pada Q8 lebih baik daripada menjalankan Flux pada Q4. Keuntungan model yang lebih besar menghilang jika Anda mengkuantisasinya terlalu agresif. Evaluasi kualitas versus menjalankan model spesifik yang Anda inginkan.

Membuat Kuantisasi GGUF

Jika Anda memerlukan kuantisasi GGUF yang tidak ada atau menginginkan konfigurasi kustom, Anda dapat membuatnya sendiri.

Alat seperti utilitas kuantisasi llama.cpp menangani konversi GGUF untuk model bahasa. Untuk model gambar, komunitas telah mengembangkan alat yang setara. Proses umum:

1. Mulai dengan model asli dalam format yang dapat dibaca (safetensors, pt)
2. Konversi ke format perantara jika diperlukan
3. Jalankan kuantisasi dengan tingkat bit yang diinginkan
4. Output file GGUF

Alat dan proses spesifik bervariasi berdasarkan arsitektur model. Cari "{nama model} GGUF conversion" untuk pendekatan saat ini.

Pilih tingkat kuantisasi berdasarkan penggunaan target. Menawarkan beberapa tingkat (Q8, Q5, Q4) memungkinkan pengguna memilih berdasarkan hardware mereka.

Verifikasi kualitas setelah konversi. Hasilkan gambar uji dan bandingkan dengan model asli. Beberapa model dikuantisasi dengan buruk dan memerlukan pendekatan yang berbeda.

Pertanyaan yang Sering Diajukan

Format GGUF mana yang harus saya pilih untuk kualitas terbaik?

Q8_0 memberikan kualitas hampir asli. Gunakan ini kecuali VRAM memaksa pilihan yang lebih rendah. Jika Q8 tidak muat, Q6_K adalah tingkat kualitas berikutnya.

Bisakah saya menggunakan model GGUF dengan loader checkpoint ComfyUI standar?

Tidak. GGUF memerlukan node loader spesifik yang menangani format yang dikuantisasi. Instal ComfyUI-GGUF dan gunakan node loader-nya.

Mengapa generasi GGUF saya lebih lambat daripada FP16?

Dekuantisasi selama inference menambahkan overhead komputasi. Bobot harus didekompresi sebelum komputasi setiap layer. Ini adalah trade-off untuk penggunaan VRAM yang lebih rendah.

Apakah semua model memiliki versi GGUF yang tersedia?

Tidak. Seseorang perlu membuat kuantisasi. Model populer biasanya memiliki GGUF yang tersedia. Model yang tidak jelas mungkin tidak.

Bisakah saya membuat kuantisasi GGUF saya sendiri?

Ya. Alat ada untuk mengkuantisasi model ke format GGUF. Ini memerlukan model asli dan perangkat lunak kuantisasi yang sesuai untuk arsitektur model tersebut.

Apakah Q4_K_M atau Q4_K_S lebih baik?

Q4_K_M memiliki kualitas lebih baik daripada Q4_K_S karena kompresi yang kurang agresif. Gunakan Q4_K_S hanya ketika Q4_K_M tidak muat.

Apakah GGUF akan bekerja pada GPU AMD?

Tergantung pada implementasi loader. Beberapa loader GGUF spesifik NVIDIA. Periksa versi ComfyUI-GGUF Anda untuk dukungan AMD.

Bagaimana saya tahu apakah kualitas GGUF dapat diterima untuk penggunaan saya?

Hasilkan gambar uji pada pengaturan yang Anda inginkan dan evaluasi mereka. Kebutuhan kualitas bervariasi berdasarkan kasus penggunaan - apa yang baik untuk eksperimen mungkin tidak dapat diterima untuk produksi akhir.

Bisakah saya mencampur model GGUF dan non-GGUF dalam satu workflow?

Ya, selama masing-masing menggunakan loader yang sesuai. Checkpoint dasar Anda dapat berupa GGUF sementara model ControlNet adalah format native.

Apakah GGUF bekerja untuk training atau fine-tuning?

GGUF dirancang untuk inference, bukan training. Training memerlukan bobot presisi penuh untuk diperbarui. Anda tidak dapat melatih pada model GGUF secara langsung.

Apakah metode kuantisasi masa depan akan menggantikan GGUF?

Mungkin. Kuantisasi adalah area penelitian aktif. Metode yang lebih baik mungkin muncul. Tetapi GGUF saat ini sudah mapan dan didukung secara luas.

Berapa banyak kualitas yang saya hilangkan dari Q8 ke Q4?

Terlihat tetapi seringkali dapat diterima. Q8 hampir tanpa kehilangan. Q4 memiliki pelunakan dan kehilangan detail yang terlihat tetapi tetap dapat digunakan. Uji dengan model dan konten spesifik Anda.

Membuat Keputusan Kuantisasi

Memilih kuantisasi melibatkan proses keputusan praktis:

1. Tentukan anggaran VRAM Anda. Periksa VRAM GPU Anda dan berapa banyak model yang memerlukan pada presisi penuh. Lihat apakah muat.

2. Jika muat di FP16, gunakan FP16. Tidak ada alasan untuk mengkuantisasi jika Anda memiliki VRAM.

3. Jika tidak muat, hitung apa yang muat. Q8 adalah ~50% dari FP16, Q4 adalah ~25%. Temukan tingkat kualitas tertinggi yang muat di VRAM Anda dengan ruang gerak.

4. Evaluasi kualitas pada tingkat itu. Hasilkan gambar uji. Apakah kualitasnya dapat diterima untuk penggunaan Anda?

5. Jika tidak dapat diterima, pertimbangkan alternatif. Model yang lebih kecil dengan presisi lebih tinggi, komputasi cloud untuk model besar, atau menerima kehilangan kualitas.

Kuantisasi mendemokratisasi akses ke model besar pada hardware sederhana. Trade-off kualitas nyata tetapi seringkali dapat diterima. Menjalankan Flux Q4 menghasilkan hasil yang lebih baik daripada tidak menjalankan Flux sama sekali, dan hasil yang jauh lebih baik daripada menjalankan model yang jauh lebih kecil.

Kesimpulan

Kuantisasi GGUF membuat model besar dapat diakses pada VRAM terbatas dengan menukar kualitas untuk kompresi. Memahami nama format membantu Anda memilih tingkat kompresi yang sesuai - Q8_0 untuk kualitas hampir tanpa kehilangan, Q4_K_M untuk kompresi agresif dengan kualitas yang dapat diterima, dan poin di antaranya untuk trade-off yang berbeda.

Instal node loader yang sesuai untuk ComfyUI. Uji model spesifik Anda pada kuantisasi yang Anda pilih untuk memverifikasi kualitas memenuhi kebutuhan Anda. Gunakan tingkat kuantisasi tertinggi yang muat di VRAM Anda untuk kualitas terbaik.

Kehilangan kualitas nyata tetapi seringkali bermanfaat. Menjalankan model dengan beberapa kehilangan kualitas mengalahkan tidak menjalankannya sama sekali. GGUF mendemokratisasi akses ke model yang mampu di seluruh tingkat hardware, memungkinkan lebih banyak orang menjalankan model yang lebih mampu untuk lebih banyak kasus penggunaan.

Untuk pengguna yang menginginkan fleksibilitas model tanpa mengelola trade-off kuantisasi, Apatero.com menyediakan akses ke model presisi penuh melalui infrastruktur yang dioptimalkan yang tidak memerlukan manajemen VRAM lokal.

Aplikasi GGUF Lanjutan

Di luar penggunaan dasar, GGUF memungkinkan workflow dan konfigurasi yang canggih.

Workflow Multi-Model dengan GGUF

Penghematan memori GGUF memungkinkan mempertahankan beberapa model dimuat secara bersamaan:

Contoh: Workflow Transfer Gaya

GGUF Model 1 (Q4): Model generasi dasar
GGUF Model 2 (Q4): Model gaya untuk img2img
Total: ~12GB alih-alih ~46GB untuk presisi penuh

Ini memungkinkan workflow yang sebelumnya memerlukan beberapa GPU atau loading berurutan.

Menggabungkan GGUF dengan Teknik Optimasi

Tumpuk GGUF dengan optimasi lain untuk efisiensi maksimum:

GGUF + TeaCache: Penghematan memori dari GGUF plus peningkatan kecepatan dari TeaCache. Bekerja karena TeaCache beroperasi pada tingkat sampling, independen dari presisi model. Lihat panduan optimasi kami untuk konfigurasi TeaCache.

GGUF + SageAttention: SageAttention mempercepat komputasi perhatian yang didekuantisasi. Manfaat kecepatan bertumpuk dengan penghematan memori GGUF.

GGUF + Model Offloading: Untuk batasan memori ekstrem, gabungkan GGUF dengan offloading CPU. Beberapa layer tetap di CPU sementara layer yang dikuantisasi berjalan di GPU.

GGUF untuk Generasi Video

Generasi video mendapat manfaat khususnya dari GGUF:

WAN 2.2 dengan GGUF: WAN 2.2 14B biasanya memerlukan VRAM 24GB+. Versi Q4 GGUF berjalan pada kartu 12GB, membuat generasi video dapat diakses pada hardware konsumen.

Untuk workflow WAN 2.2, lihat panduan lengkap WAN 2.2 kami.

AnimateDiff dengan GGUF: Workflow AnimateDiff memuat model dasar + model gerakan. Model dasar GGUF meninggalkan VRAM untuk modul gerakan.

Pertimbangan GGUF Spesifik Model

Model yang berbeda merespons berbeda terhadap kuantisasi.

Model Flux

Respons Kuantisasi: Flux tampaknya relatif tahan kuantisasi, mempertahankan kualitas dengan baik bahkan pada Q4. Ini membuat GGUF sangat menarik untuk pengguna Flux.

Kuantisasi yang Direkomendasikan:

• 24GB: Q8_0 (kualitas terbaik)
• 16GB: Q6_K (kualitas bagus)
• 12GB: Q4_K_M (kualitas yang dapat diterima)
• 8GB: Q4_K_S (fungsional tetapi terdegradasi)

Model SDXL

Respons Kuantisasi: SDXL mentoleransi kuantisasi dengan baik. Checkpoint yang di-fine-tune mungkin bervariasi.

Penghematan VRAM: SDXL dapat dikelola pada presisi penuh untuk sebagian besar GPU, tetapi GGUF membebaskan memori untuk beberapa LoRA, ControlNet, atau ukuran batch yang lebih tinggi.

Model SD 1.5

Respons Kuantisasi: Ukuran kecil SD 1.5 berarti penghematan kuantisasi kurang berdampak. Seringkali lebih baik menjalankan presisi penuh.

Kasus Penggunaan: GGUF SD 1.5 berguna ketika menjalankan banyak model secara bersamaan atau pada hardware yang sangat terbatas (4-6GB).

Pola Workflow GGUF Praktis

Konfigurasi workflow umum menggunakan GGUF secara efektif.

Workflow Generasi Dasar

[UNETLoader GGUF] model: flux-q4_k_m.gguf
    → model

[DualCLIPLoader] (presisi standar)
    → clip

[VAELoader] (presisi standar)
    → vae

[KSampler] model, conditioning, ...
    → latent

[VAE Decode] latent, vae
    → image

Perhatikan bahwa hanya model utama yang perlu GGUF. CLIP dan VAE biasanya baik-baik saja pada presisi penuh.

GGUF dengan LoRA

[UNETLoader GGUF] → model

[LoRA Loader GGUF] model, lora: character.safetensors
    → model_with_lora

[KSampler] model_with_lora, ...

Untuk detail kompatibilitas LoRA, lihat panduan perbaikan GGUF LoRA kami.

GGUF dengan ControlNet

[UNETLoader GGUF] → model

[ControlNet Loader] (presisi standar)
    → controlnet

[Apply ControlNet] model, controlnet, image
    → conditioning

[KSampler] model, conditioning

ControlNet bekerja normal dengan model dasar GGUF.

Benchmark Performa dan Ekspektasi

Memahami karakteristik performa dunia nyata.

Perbandingan Kecepatan Generasi

GGUF menambahkan ~20-50% ke waktu generasi karena overhead dekuantisasi.

Perbandingan Kualitas

Ini adalah panduan umum; model dan konten spesifik Anda mungkin bervariasi.

Membangun Perpustakaan Model GGUF

Strategi untuk mengelola beberapa model GGUF secara efektif.

Sistem Organisasi

Buat struktur direktori:

models/
  checkpoints/
    flux/
      flux-dev-q8.gguf
      flux-dev-q4_k_m.gguf
      flux-schnell-q4_k_m.gguf
    sdxl/
      juggernaut-q8.gguf
      realisticVision-q6_k.gguf

Beri nama file dengan nama model dan tingkat kuantisasi untuk identifikasi mudah.

Pertimbangan Penyimpanan

Penyimpanan Lokal: Model GGUF 50-75% lebih kecil daripada presisi penuh. Pertahankan beberapa tingkat kuantisasi untuk fleksibilitas.

Penyimpanan Cloud/Remote: Ukuran GGUF yang lebih kecil mengurangi waktu unduhan dan biaya penyimpanan. Sangat berharga untuk workflow cloud.

Pohon Keputusan Pemilihan Model

1. Apakah saya memiliki ruang VRAM? → Gunakan presisi penuh
2. Apakah presisi penuh muat? → Gunakan Q8_0
3. Apakah Q8 muat dengan ruang gerak 20%? → Gunakan Q8_0
4. Apakah Q6 muat? → Gunakan Q6_K
5. Apakah Q4 muat? → Gunakan Q4_K_M
6. Tidak ada yang muat? → Pertimbangkan model yang lebih kecil atau GPU cloud

Komunitas dan Sumber Daya

Tetap diperbarui tentang perkembangan GGUF dan temukan model.

Menemukan Model GGUF

HuggingFace: Cari "[nama model] GGUF" atau telusuri space spesifik GGUF.

CivitAI: Beberapa pembuat model menyediakan versi GGUF bersama format standar.

Mengonversi Sendiri: Alat ada untuk mengonversi model ke GGUF. Berguna untuk model tanpa versi GGUF komunitas.

Tetap Diperbarui

Pengembangan GGUF aktif. Ikuti:

• Repository GitHub ComfyUI-GGUF
• Proyek llama.cpp (asal format GGUF)
• Server Discord komunitas

Untuk memulai dengan dasar generasi gambar AI, lihat panduan pemula kami.